CN113709409B - 一种室内监控处理方法、装置及设备 - Google Patents
一种室内监控处理方法、装置及设备 Download PDFInfo
- Publication number
- CN113709409B CN113709409B CN202010432434.4A CN202010432434A CN113709409B CN 113709409 B CN113709409 B CN 113709409B CN 202010432434 A CN202010432434 A CN 202010432434A CN 113709409 B CN113709409 B CN 113709409B
- Authority
- CN
- China
- Prior art keywords
- monitoring
- pose
- determining
- poses
- indoor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 191
- 238000003672 processing method Methods 0.000 title claims abstract description 11
- 238000009434 installation Methods 0.000 claims abstract description 61
- 238000000034 method Methods 0.000 claims abstract description 55
- 238000012545 processing Methods 0.000 claims description 34
- 238000012806 monitoring device Methods 0.000 claims description 26
- 238000010801 machine learning Methods 0.000 claims description 13
- 238000003384 imaging method Methods 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 101100295776 Drosophila melanogaster onecut gene Proteins 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011900 installation process Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本说明书实施例提供一种室内监控处理方法、装置及设备。方法包括：在完成室内三维地图的重建之后，响应用户需求，确定三维重建地图中用户需求监控的监控对象；然后，从三维重建地图中选取安装监控设备的多个位姿，并将监控对象投影至各位姿的监控设备的虚拟成像平面，从而计算出各位姿的监控设备覆盖监控对象所需的最小视场角，进而确定多个位姿中的候选位姿。由此，可利用三维重建地图实现监控设备型号及其安装位姿的推荐。
Description
技术领域
本文件涉及计算机技术领域，尤其涉及一种室内监控处理方法、装置及设 备。
背景技术
随着人们对居所安全条件的日益提高，人们对室内监控的需求越来越高。
目前，室内监控设备的安装方式一般是由用户基于个人经验选择安装位 置，或者请专业技术人员上门安装。对于前者，个人选择的安装位置可能无法 完全满足监控需求，导致安全隐患；对于后者，用户需要额外的成本。
因此，需要更加有效的室内监控处理方案。
发明内容
本说明书实施例提供一种室内监控处理方法，用以提高室内监控安装效率 和精确。
本说明书实施例还提供一种室内监控处理方法，包括：
确定室内三维重建地图中的监控对象；
将所述监控对象对应的三维坐标点分别投影至多个虚拟成像平面，所述多 个虚拟成像平面分别为所述三维重建地图中多个位姿的监控设备的成像面；
基于投影结果，确定各位姿的监控设备的最小视场角，所述最小视场角下 的监控设备的监控图像覆盖所述监控对象；
基于各位姿对应的最小视场角，确定所述多个位姿中的候选位姿和所述候 选姿态对应的监控设备型号。
本说明书实施例还提供一种室内监控处理装置，包括：
确定模块，用于确定室内三维重建地图中的监控对象；
第一处理模块，用于将所述监控对象对应的三维坐标点分别投影至多个虚 拟成像平面，所述多个虚拟成像平面分别为所述三维重建地图中多个位姿的监 控设备的成像面；
第二处理模块，用于基于投影结果，确定各位姿的监控设备的最小视场角， 所述最小视场角下的监控设备的监控图像覆盖所述监控对象；
第三处理模块，用于基于各位姿对应的最小视场角，确定所述多个位姿中 的候选位姿。
本说明书实施例还提供一种电子设备，其特征在于，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使 所述处理器执行如上述的方法的步骤。
本说明书实施例还提供一种计算机可读存储介质，所述计算机可读存储介 质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设 备执行如上述的方法的步骤。
本说明书一个实施例实现了，通过重建室内三维地图，并将用户需求的监 控对象投影至模拟出的多个位姿的监控设备的虚拟成像平面，从而计算出各位 姿的监控设备覆盖监控对象所需的最小视场角，进而确定多个位姿中的候选位 姿，实现向用户智能推送监控设备型号及其应安装的位姿。由此，可提高监控 设备的安装效率和精度，避免存在监控空白的情况，提高监控安全性。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一 部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说 明书的不当限定。在附图中：
图1为本说明书一实施例提供的一种室内监控处理方法的流程示意图；
图2为本说明书一实施例提供的三维重建地图的示意图；
图3为本说明书一实施例提供的带语义标注的三维重建地图的示意图；
图4a和图4b为本说明书一实施例提供的虚拟摄像头监控区域的示意图；
图5为本说明书一实施例提供的室内监控处理装置的流程示意图；
图6为本说明书一实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具 体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所 描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明 书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所 有其他实施例，都属于本文件保护的范围。
正如背景技术部分陈述的，目前室内监控设备的安装方案一般是基于人工 经验完成，其安装位姿和型号选择不够精确，可能存在监控漏洞，进而导致安 全隐患的问题。基于此，本说明书提供一种室内监控处理方法，通过重建室内 三维地图，并将用户需求的监控对象投影至模拟出的多个位姿的监控设备的虚 拟成像平面，从而计算出各位姿的监控设备覆盖监控对象所需的最小视场角， 进而确定多个位姿中的候选位姿，实现向用户智能推送监控设备型号及其应安 装的位姿的目的。由此，可提高监控设备的安装效率和精度，避免存在监控空 白的情况，提高监控安全性。
需要说明的是，虽然前述是以“居所”为例引出现有技术的缺陷，但本领 域技术人员不难获知的是，本说明书中的室内包括但不限于：办公场所、交通 工具(如公交、大客车)等。但为了方便理解、描述，下文以“居所”为例。另 外，本说明书中的监控设备可以举例为具备图像采集功能的设备，如摄像机、 相机、360度监控器等。同样地，为便于理解和描述，下文以摄像机为例。
以下结合附图，详细说明本说明书各实施例提供的技术方案。
图1为本说明书一实施例提供的一种室内监控处理方法的流程示意图，参 见图1，所述方法具体可以包括如下步骤：
步骤102、确定室内三维重建地图中的监控对象；
其中，室内三维重建地图是指对室内场景进行三维重建得到的地图，该地 图实现了室内三维地图的复现，描述了室内场景大小、障碍物分布等，参见图 2；监控对象是指用户需求监控的对象，其可以是物体，也可以是一片区域。
下面结合图2对三维重建过程进行示例性说明：
首先，利用带有摄像头的移动机器人自主构建室内三维重建地图，摄像头 可以为单目、双目或是RGB-D摄像头，以第一帧数据采集时的机器人所在坐 标作为整体地图的坐标。移动机器人采集的每一帧数据都有一个对应的地图位 姿坐标，该坐标通过图像特征点匹配获得。
然后，通过图像匹配的办法，可以获取每一帧图像对应的地图位姿，将图 像上的点深度信息、色彩信息，结合所在地图上的位姿，便可以获得室内的稠 密彩色三维重建地图，该地图反映了真实场景的物体分布、色彩分布，如图2。
基于三维重建地图，步骤102的第一种实现方式可以为：
首先，在执行步骤102之前，进行语义标记的准备步骤，具体地：
对室内三维重建地图进行语义分割处理；基于语义分割结果，对所述三维 重建地图进行语义标记，所述语义标记用于表征所述三维重建地图中的物体和 场景。
具体地可以示例为：根据室内三维重建地图，利用语义分割算法对地图内 物体与场景进行识别与分类。如对于物体，根据物体的形状、色彩，可分为门、 桌子、床、冰箱等，而根据同一场景内物体的种类和分布情况，可分为卧室、 厨房、客厅、走廊、店铺、电梯间、幼儿室等。最终，可以获取一张含有语义 标记的三维稠密地图。如图3，在图右侧的语义列表中包括：1-桌(1)，2-桌 (2)，3-墙(3)，4-墙(4)，5-柱(5)等。
然后，接收用户通过客户端输入的需求，该需求用于表征用户想要监控的 具体对象，包括但不限于监控出入口、全场景覆盖、监控幼儿室等；解析用户 需求的语义，再通过语义标记的地图，基于预设算法自动确定需要监控的对象。 如用户需求为监控出入口时，确定监控对象为门与门内外一小段过道，又如用 户需求为监控幼儿室是，确定监控对象为幼儿室。
基于此，本实现方式通过对三维重建地图进行语义标注，并对用户输入需 求进行语义分析，确定用户需求的监控对象，从而能够便于用户输入具象、抽 象等多样化的需求，提高用户使用便利性。
基于三维重建地图，步骤102的第二种实现方式可以为：
将三维重建地图发送给用户客户端，供用户浏览，并允许用户在三维重建 地图上进行框选操作；然后，确定用户在室内三维重建地图中框选的监控区域， 并将所述监控区域作为监控对象。
基于此，本实现方式运行用户在三维重建地图上自行框选监控区域，从而 进一步地提高用户使用便利性。
当然，不难理解的是，也可以将步骤102的上述两个实现方式进行结合， 如用户在框选一局部区域之后，输入监控该局部区域内所有出入口的需求，则 可结合步骤102的上述两个实现方式，确定需要监控的对象。
步骤104、将所述监控对象对应的三维坐标点分别投影至多个虚拟成像平 面，所述多个虚拟成像平面分别为所述三维重建地图中多个位姿的监控设备的 成像面；
其中，多个位姿包括多个安装位置以及同一安装位置下多个安装姿态，安 装位置是指安装的具体三维坐标点，安装姿态是指安装的角度；所述虚拟成像 平面与监控设备的安装方向相对应。
对于安装位置，由于室内可能有多个房间，即所述三维重建地图包括多个 子空间，因此，为筛除不需要的子空间，提高位姿推荐效率，在执行步骤104 之前，方法还包括：
基于所述监控需求信息对应的语义，基于预设算法自动确定所述三维重建 地图中需要安装监控设备的子空间；在所述子空间中，设置多个位姿。如用户 需求为监控出入口时，安装的房间为客厅或玄关，并在客厅或玄关预先设置多 个位姿。
下面对预先设置多个位姿的过程进行详细说明：
将所述监控对象的三维坐标数据输入预训练的机器学习模型中，得到所述 机器学习模型输出的位姿推荐信息，并基于所述位姿推荐信息得到所述多个位 姿；
其中，所述机器学习模型用于学习监控不同类型的监控对象时，监控设备 在不同室内三维重建地图中的位姿。即从大数据的角度，考虑室内不同布局的 因素，利用机器学习学习在监控用户需求的监控对象时其他用户偏好的安装位 姿。
基于此，本实现方式利用机器学习算法来推荐监控用户需求监控对象的多 个位姿，从而在大概率上推荐到比较好的位姿选择，避免位姿选择的次数过多 的情况，进而确保位姿推荐的效率。
当然，也可采用遍历所有可能的位姿的方式，如基于预设约束条件，在地 图x-y-z的三维坐标系下，以一定步长遍历所有可能的安装位姿，得到多个位 姿。其中，预设约束条件用于筛选出不太可能的位姿，如安装于房间的天花板 或高于一定高度的墙面上。
步骤106、基于投影结果，确定各位姿的监控设备的最小视场角，所述最 小视场角下的监控设备的监控图像覆盖所述监控对象；
其中，所述最小视场角是指在监控图像覆盖所述监控对象的前提下，监控 设备的最小视场角；覆盖所述监控对象是指监控图像中监控对象的显示比例大 于预设阈值，如至少显示80％，甚至，对于出入口等安全性要求较高的场景， 可要求监控图像中需要显示完整的监控对象。
以单个安装位姿为例，下面对步骤104和步骤106的一种实现方式进行说 明：
首先，将三维地图中该位姿所朝向的区域投影到该位姿的虚拟相机平面 下，产生一张监控图像(又称仿真图像)；然后，采用基于RayCast算法的投 影方法投影所述监控对象对应的三维坐标点，即从对应位姿发出一条射线，连 接至监控区域中监控对象的表面，或者，连接至监控对象的边界坐标点，得到 投影结果，所述投影结果至少包括所述监控对象的边界的三维坐标点投影至各 虚拟成像平面形成的投影射线；然后，在上述覆盖所述监控对象的约束条件下， 基于所述监控对象的边界的三维坐标点对应的投影射线，确定当前位姿的监控 设备的最小视场角(field of view，FOV)。
基于此，本实现方式通过使用RayCast投影方法投影所述监控对象对应的 三维坐标点，并基于投影射线，计算覆盖监控对象所需监控设备的最小视场角， 从而可精确计算出各位姿下监控设备的最小视场角，为后续监控设备推荐提供 数据支持。
步骤108、基于各位姿对应的最小视场角，确定所述多个位姿中的候选位 姿和所述候选姿态对应的监控设备型号。
需要说明的是，在合理视场角的约束条件下，并非所有位姿下产生的仿真 图片中均含有监控对象，如有些位姿下的最小视场角可能需要大于90度，180 度，甚至是要求360才能覆盖到监控对象，进而导致用户购买高视场角的监控 设备所多花的成本。因此，本实施例对于不含监控对象的位姿，设为无效位姿 态。对于该位姿下能够覆盖监控对象的位姿，设为候选位姿。
下面对步骤108的实现方式进行详细说明：
首先，预先设定合理的视场角约束条件，如‘一刀切’地设置视场角阈值 (90度、180度等)，又如为用户提供多种选择，包括性价比、安全性、均衡 性等，若用户选择性价比，则认为用户对监控设备的成本比较看重，则可选用 较低的视场角阈值(如90度)，若用户选择安全性，则认为用户对监控安全 性比较看重，则选用较高的视场角阈值(如180度)，当然，对于不同监控对 象，用户可灵活设置不同的优先级，如出入口场景的选择安全性，厨房场景的 选择性价比等，此处不再限定。
然后，基于各位姿对应的最小视场角，确定最小视场角大于预设视场角阈 值的无效位姿；将所述多个位姿中除无效位姿之外的其他位姿确定为候选位 姿。如，若第一位姿的最小视场角大于预设视场角阈值，则认为第一位姿为无 效位姿；反之，若第二位姿的最小视场角小于或等于预设视场角阈值，则认为 第二位姿为候选位姿。
基于此，本实现方式通过判断各位姿的最小视场角是否满足视场角约束条 件，从而筛选出其中不合理的无效位姿，减少后续型号推荐需要考虑的数据量。
下面以使用摄像机监控门的人员出入为例，对步骤108中的位姿筛选过程 进行详细说明：
首先，参见图4a，圆点表示虚拟相机位姿，对比1号位置和2号位置上所 需的摄像机FOV以及能否满足用户需求。
对于1号位置，图4a中，长方体框内为监控对象，带箭头的射线表示摄 像机FOV的边缘射线，不规则四边形ABCD为该摄像头在一定FOV约束条件 下能监控的区域。显然，在1号位置安装摄像机是无法满足用户需求的，即长 方体区域和不规则四边形区域的重合度较低。
对于2号位置，同样以一定FOV约束条件绘制虚拟摄像机的监控区域， 如图4b所示，2号位置下安装的虚拟摄像机的监控区域，如不规则四边形ABCD 所示，完全覆盖了监控对象对应的长方形区域，说明2号位置下可安装摄像机 能够满足用户需求，是侯选位姿态。
基于此，本说明书实施例通过重建室内三维地图，并将用户需求的监控对 象投影至模拟出的多个位姿的监控设备的虚拟成像平面，从而计算出各位姿的 监控设备覆盖监控对象所需的最小视场角，进而确定多个位姿中的候选位姿， 实现向用户智能推送监控设备型号及其应安装的位姿。由此，可提高监控设备 的安装效率和精度，避免存在监控空白的情况，提高监控安全性。
在另一可行实施例中，候选位姿可能还是有多个，为便于用户选择，可仅 推荐1个最佳安装位姿，当然，也可一并再推荐较佳多个安装位姿。因此，本 实施例在图1对应的实施例的基础上，进一步公开了筛选最佳安装位姿，其一 种实现方式可以为：
确定各候选位姿对应的监控图像中监控对象的像素占比；基于各候选位姿 对应的最小视场角和监控对象的像素占比，确定最佳安装位姿。
下面以图4a和图4b所示的监控对象为例对本实现方式进行示例性说明：
在通过遍历的方法，获取多个满足用户需求的候选位姿，并且每一个候选 位姿都对应了一个摄像机的所需的最小FO，记为FOVmin。然后，将监控对象 对应区域(图4a和图4b中的长方形区域)在三维重建地图中的点云集合(记 为Pt)投影到摄像机拍摄的二维平面UV中，这样，每个点的三维坐标都对应 了二维平面上的一个点xj＝(uj,vj)，由于相机具有分辨率限制，因此多个三维 坐标可能对应同一个二维平面上的点。然后，统计监控对象在二维平面中所占 总像素的比例R，从所有候选安装位姿中，选取所需FOV较小而分辨率占比较大的侯选位姿，其中，选取方式如下公式1。
其中，λ1、λ2分别为常数系数。
基于公式1，可得到得分score最高的位姿，记为最佳安装位姿。
进一步地，在筛选出最佳安装位姿之后，监控设备型号推荐方式可以为：
获取各型号监控设备的视场角数据；基于所述视场角数据，从中选出满足 所述最佳安装位姿对应的最小视场角的监控设备型号。
另外，本实施例还允许用户输入针对监控设备的需求，如是否需要红外灯， 是否需要移动侦测功能、所需清晰度、成本等，推荐能够满足用户需求且满足 最小视场角的监控设备型号。
基于此，本实施例通过引入监控对象投影到相机平面计算像素占比的概 念，进行候选位姿的筛选，从而筛选出清晰度高、FOV小的最佳安装位姿。由 此，可综合考虑监控图像的清晰度和监控设备的FOV大小，推荐出最佳安装 位姿。
进一步地，假设上述两个实施例获取的摄像机安装位姿和对应型号，所需 FOV最小值仍然大于180°的情况，则将虚拟摄像机数量增加1，重新搜索安 装位姿，此时同时搜索两个虚拟摄像机的位姿，并将多个摄像机的投影结果进 行叠加，判断是否可以实现对对象的监控。由于多个虚拟摄像机的位姿计算与 单个虚拟摄像机的位姿计算相似，故，此处不再展开说明。
在又一可行实施例中，在完成摄像头型号与安装位姿推荐后，用户可按照 推荐结果进行购买与安装。安装过程中，本方案会确定监控设备的当前安装位 姿；对比所述当前安装位姿与最佳安装位姿，生成位姿调整信息并提示用户， 所述位姿调整信息包括将监控设备调整至所述最佳安装位姿所需的修正参 数，以指导用户调整摄像机安装位姿至最佳安装位姿或较佳安装位姿。
具体地，获取摄像头在当前安装位姿下对场景进行拍摄，拍摄结果记为 fi，获取三维重建地图在推荐安装位姿下的投影图像，记为fk；然后，对两者 进行特征点匹配，计算出当前位姿和推荐安装位姿的位姿关系。当前位姿和推 荐安装位姿关系如下公式2。
xk＝Tik·xi 公式2
其中，Tik为fi和fk的特征点匹配结果的位姿变换矩阵，xi为当前摄像机位 姿，xk为推荐安装位姿。
根据Tik位姿变换矩阵，提醒用户当前位姿和推荐位姿是否有偏差，基于 当前位姿还应如何调整才能到达推荐位姿。最终可以辅助用户更好的安装摄像 头。
而且，完成摄像头安装后，本方案还可根据用户需求，对于可动摄像头会 自主进行摄像头动作，如用户需求为出入口监控，则当检测到有人员出入时， 摄像头会自主跟踪出入口人员一段时间。
基于此，本实施例在用户安装摄像机时，可以根据摄像机拍摄图像和最佳 位姿下图像进行对比，指导用户更好的调整摄像机的安装位姿，从而更好的实 现摄像机功能满足用户需求。
综上所述，本申请一方面利用三维重建的室内地图，根据用户需求向需要 实现室内监控的用户智能推送可购买的摄像机型号以及应安装的位姿；另一方 面，在用户安装摄像机时，可以根据摄像机拍摄图像和最佳位姿下图像进行对 比，指导用户更好的调整摄像机的安装位姿，从而更好的实现摄像机功能满足 用户需求。
图5为本说明书一实施例提供的室内监控处理装置的流程示意图，参见图 5，所述装置具体可以包括：确定模块501、第一处理模块502、第二处理模块 503以及第三处理模块504，其中：
确定模块501，用于确定室内三维重建地图中的监控对象；
第一处理模块502，用于将所述监控对象对应的三维坐标点分别投影至多 个虚拟成像平面，所述多个虚拟成像平面分别为所述三维重建地图中多个位姿 的监控设备的成像面；
第二处理模块503，用于基于投影结果，确定各位姿的监控设备的最小视 场角，所述最小视场角下的监控设备的监控图像覆盖所述监控对象；
第三处理模块504，用于基于各位姿对应的最小视场角，确定所述多个位 姿中的候选位姿。
可选的，装置还包括：
语义标注模块，用于对室内三维重建地图进行语义分割处理；基于语义分 割结果，对所述三维重建地图进行语义标记，所述语义标记用于表征所述三维 重建地图中的物体和场景；
其中，确定模块501，具体用于接收用户输入的监控需求信息；基于所述 监控需求信息对应的语义，确定室内三维重建地图中需要监控的监控对象。
可选的，所述三维重建地图包括多个子空间，则装置还包括：
预处理模块，用于基于所述监控需求信息对应的语义，确定所述三维重建 地图中需要安装监控设备的子空间；其中，所述多个位姿位于所述子空间中。
可选的，确定模块501，具体用于：
确定用户在室内三维重建地图中框选的监控区域，并将所述监控区域作为 监控对象。
可选的，装置还包括：
机器学习模块，用于将所述监控对象的三维坐标数据输入预训练的机器学 习模型中，得到所述机器学习模型输出的位姿推荐信息，并基于所述位姿推荐 信息得到所述多个位姿；
其中，所述机器学习模型用于学习监控不同类型的监控对象时，监控设备 在不同室内三维重建地图中的位姿。
可选的，所述投影结果至少包括所述监控对象的边界的三维坐标点投影至 各虚拟成像平面形成的投影射线；
其中，所述第二处理模块503，具体用于：
基于所述监控对象的边界的三维坐标点对应的投影射线，确定各位姿的监 控设备的最小视场角。
可选的，第三处理模块504，具体用于：
基于各位姿对应的最小视场角，确定最小视场角大于预设视场角阈值的无 效位姿；
将所述多个位姿中除无效位姿之外的其他位姿确定为候选位姿。
可选的，装置还包括：
筛选模块，用于确定各候选位姿对应的监控图像中监控对象的像素占比； 基于各候选位姿对应的最小视场角和监控对象的像素占比，确定最佳安装位 姿。
可选的，第三处理模块504，具体用于：
获取各型号监控设备的视场角数据；基于所述视场角数据，从中选出满足 所述最佳安装位姿对应的最小视场角的监控设备型号。
可选的，装置还包括：
安装提示模块，用于确定监控设备的当前安装位姿；对比所述当前安装位 姿与最佳安装位姿，生成位姿调整信息并提示用户，所述位姿调整信息包括将 监控设备调整至所述最佳安装位姿所需的修正参数。
基于此，本实施例通过重建室内三维地图，并将用户需求的监控对象投影 至模拟出的多个位姿的监控设备的虚拟成像平面，从而计算出各位姿的监控设 备覆盖监控对象所需的最小视场角，进而确定多个位姿中的候选位姿，实现向 用户智能推送监控设备型号及其应安装的位姿。由此，可提高监控设备的安装 效率和精度，避免存在监控空白的情况，提高监控安全性。
另外，对于上述装置实施方式而言，由于其与方法实施方式基本相似，所 以描述的比较简单，相关之处参见方法实施方式的部分说明即可。
应当注意的是，在本说明书的装置的各个部件中，根据其要实现的功能而 对其中的部件进行了逻辑划分，但是，本说明书不受限于此，可以根据需要对 各个部件进行重新划分或者组合。
图6为本说明书一实施例提供的一种电子设备的结构示意图，参见图6， 该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当 然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的 计算机程序到内存中然后运行，在逻辑层面上形成室内监控处理装置。当然， 除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或 软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻 辑单元，也可以是硬件或逻辑器件。
网络接口、处理器和存储器可以通过总线***相互连接。总线可以是 ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总 线、数据总线、控制总线等。为便于表示，图6中仅用一个双向箭头表示，但 并不表示仅有一根总线或一种类型的总线。
存储器用于存放程序。具体地，程序可以包括程序代码，所述程序代码包 括计算机操作指令。存储器可以包括只读存储器和随机存取存储器，并向处理 器提供指令和数据。存储器可能包含高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例 如至少1个磁盘存储器。
处理器，用于执行所述存储器存放的程序，并具体执行：
确定室内三维重建地图中的监控对象；
将所述监控对象对应的三维坐标点分别投影至多个虚拟成像平面，所述多 个虚拟成像平面分别为所述三维重建地图中多个位姿的监控设备的成像面；
基于投影结果，确定各位姿的监控设备的最小视场角，所述最小视场角下 的监控设备的监控图像覆盖所述监控对象；
基于各位姿对应的最小视场角，确定所述多个位姿中的候选位姿和所述候 选姿态对应的监控设备型号。
上述如本说明书图5所示实施例揭示的室内监控处理装置或管理者 (Master)节点执行的方法可以应用于处理器中，或者由处理器实现。处理器 可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的 各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上 述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit， CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable GateArray，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书实施例中的公开的各方法、步骤及逻辑框图。通用处理 器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书 实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用 译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储 器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存 器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中 的信息，结合其硬件完成上述方法的步骤。
室内监控处理装置还可执行图1的方法，并实现管理者节点执行的方法。
基于相同的发明创造，本说明书实施例还提供了一种计算机可读存储介 质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被 包括多个应用程序的电子设备执行时，使得所述电子设备执行图1对应的实施 例提供的室内监控处理方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相 似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之 处。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的 比较简单，相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的 范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实 施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过 程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施 方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本领域内的技术人员应明白，本说明书的实施例可提供为方法、***、或 计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例、 或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个 其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存 储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(***)、和计算机程 序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程 图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程 和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、 嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过 计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程 图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装 置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设 备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中 的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个 流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使 得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处 理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个 流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输 出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。 内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任 何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序 的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其 他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读 存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器 (CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁 磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算 设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒 体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖 非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅 包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过 程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包 括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者 设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、***或计算机 程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软 件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含 有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领 域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原 理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求 范围之内。
Claims (12)
1.一种室内监控处理方法，其特征在于，包括：
确定室内三维重建地图中的监控对象；
将所述监控对象对应的三维坐标点分别投影至多个虚拟成像平面，所述多个虚拟成像平面分别为所述三维重建地图中多个位姿的监控设备的成像面；
基于投影结果，确定各位姿的监控设备的最小视场角，所述最小视场角下的监控设备的监控图像覆盖所述监控对象；
基于各位姿对应的最小视场角，确定所述多个位姿中的候选位姿和所述候选位姿对应的监控设备型号。
2.根据权利要求1所述的方法，其特征在于，在确定室内三维重建地图中的监控对象之前，所述方法还包括：
对室内三维重建地图进行语义分割处理；
基于语义分割结果，对所述三维重建地图进行语义标记，所述语义标记用于表征所述三维重建地图中的物体和场景；
其中，所述确定室内三维重建地图中的监控对象，包括：
接收用户输入的监控需求信息；
基于所述监控需求信息对应的语义，确定室内三维重建地图中需要监控的监控对象。
3.根据权利要求2所述的方法，其特征在于，所述三维重建地图包括多个子空间，则方法还包括：
基于所述监控需求信息对应的语义，确定所述三维重建地图中需要安装监控设备的子空间；
其中，所述多个位姿位于所述子空间中。
4.根据权利要求1所述的方法，其特征在于，所述确定室内三维重建地图中的监控对象，包括：
确定用户在室内三维重建地图中框选的监控区域，并将所述监控区域作为监控对象。
5.根据权利要求1所述的方法，其特征在于，在将所述监控对象对应的三维坐标点分别投影至多个虚拟成像平面之前，所述方法还包括：
将所述监控对象的三维坐标数据输入预训练的机器学习模型中，得到所述机器学习模型输出的位姿推荐信息，并基于所述位姿推荐信息得到所述多个位姿；
其中，所述机器学习模型用于学习监控不同类型的监控对象时，监控设备在不同室内三维重建地图中的位姿。
6.根据权利要求1所述的方法，其特征在于，所述投影结果至少包括所述监控对象的边界的三维坐标点投影至各虚拟成像平面形成的投影射线；
其中，所述基于投影结果，确定各位姿的监控设备的最小视场角，包括：
基于所述监控对象的边界的三维坐标点对应的投影射线，确定各位姿的监控设备的最小视场角。
7.根据权利要求1所述的方法，其特征在于，所述基于各位姿对应的最小视场角，确定所述多个位姿中的候选位姿，包括：
基于各位姿对应的最小视场角，确定最小视场角大于预设视场角阈值的无效位姿；
将所述多个位姿中除无效位姿之外的其他位姿确定为候选位姿。
8.根据权利要求1所述的方法，其特征在于，还包括：
确定各候选位姿对应的监控图像中监控对象的像素占比；
基于各候选位姿对应的最小视场角和监控对象的像素占比，确定最佳安装位姿。
9.根据权利要求8所述的方法，其特征在于，所述基于各位姿对应的最小视场角，确定所述候选位姿对应的监控设备型号，包括：
获取各型号监控设备的视场角数据；
基于所述视场角数据，从中选出满足所述最佳安装位姿对应的最小视场角的监控设备型号。
10.根据权利要求9所述的方法，其特征在于，还包括：
确定监控设备的当前安装位姿；
对比所述当前安装位姿与最佳安装位姿，生成位姿调整信息并提示用户，所述位姿调整信息包括将监控设备调整至所述最佳安装位姿所需的修正参数。
11.一种室内监控处理装置，其特征在于，包括：
确定模块，用于确定室内三维重建地图中的监控对象；
第一处理模块，用于将所述监控对象对应的三维坐标点分别投影至多个虚拟成像平面，所述多个虚拟成像平面分别为所述三维重建地图中多个位姿的监控设备的成像面；
第二处理模块，用于基于投影结果，确定各位姿的监控设备的最小视场角，所述最小视场角下的监控设备的监控图像覆盖所述监控对象；
第三处理模块，用于基于各位姿对应的最小视场角，确定所述多个位姿中的候选位姿。
12.一种电子设备，其特征在于，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1至10中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010432434.4A CN113709409B (zh) | 2020-05-20 | 2020-05-20 | 一种室内监控处理方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010432434.4A CN113709409B (zh) | 2020-05-20 | 2020-05-20 | 一种室内监控处理方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113709409A CN113709409A (zh) | 2021-11-26 |
| CN113709409B true CN113709409B (zh) | 2024-03-01 |
Family
ID=78645734
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010432434.4A Active CN113709409B (zh) | 2020-05-20 | 2020-05-20 | 一种室内监控处理方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113709409B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120115871A (ko) * | 2011-04-11 | 2012-10-19 | 주식회사 이미지넥스트 | 감시 영상의 3차원 정합 방법 및 시스템 |
| JP2015088819A (ja) * | 2013-10-29 | 2015-05-07 | セコム株式会社 | 撮像シミュレーション装置 |
| CN107979741A (zh) * | 2016-10-25 | 2018-05-01 | 杭州萤石网络有限公司 | 一种安防监控方法、自主行动装置及安防监控*** |
| CN109003305A (zh) * | 2018-07-18 | 2018-12-14 | 江苏实景信息科技有限公司 | 一种定位定姿方法及装置 |
-
2020
- 2020-05-20 CN CN202010432434.4A patent/CN113709409B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120115871A (ko) * | 2011-04-11 | 2012-10-19 | 주식회사 이미지넥스트 | 감시 영상의 3차원 정합 방법 및 시스템 |
| JP2015088819A (ja) * | 2013-10-29 | 2015-05-07 | セコム株式会社 | 撮像シミュレーション装置 |
| CN107979741A (zh) * | 2016-10-25 | 2018-05-01 | 杭州萤石网络有限公司 | 一种安防监控方法、自主行动装置及安防监控*** |
| CN109003305A (zh) * | 2018-07-18 | 2018-12-14 | 江苏实景信息科技有限公司 | 一种定位定姿方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113709409A (zh) | 2021-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11189078B2 (en) | Automated understanding of three dimensional (3D) scenes for augmented reality applications | |
| Nishida et al. | Procedural modeling of a building from a single image | |
| CN109815843B (zh) | 图像处理方法及相关产品 | |
| US9303525B2 (en) | Method and arrangement for multi-camera calibration | |
| Bazzani et al. | Social interactions by visual focus of attention in a three‐dimensional environment | |
| DE102020102230A1 (de) | Missbrauchsindex für erklärbare künstliche intelligenz in computerumgebungen | |
| CN112712584B (zh) | 空间建模方法、装置、设备 | |
| CN110199322A (zh) | 从内部空间的3d网格表示提取2d平面图 | |
| CN109521879B (zh) | 交互式投影控制方法、装置、存储介质及电子设备 | |
| CN110287877B (zh) | 视频目标的处理方法及装置 | |
| US20170185870A1 (en) | Method of image processing | |
| CN110910445B (zh) | 一种物件尺寸检测方法、装置、检测设备及存储介质 | |
| US20230060211A1 (en) | System and Method for Tracking Moving Objects by Video Data | |
| CN112116714A (zh) | 基于二维图像生成房间结构模型的方法及装置 | |
| CN111105351B (zh) | 一种视频序列影像拼接方法及装置 | |
| Lee et al. | Improved method on image stitching based on optical flow algorithm | |
| CN113838134B (zh) | 图像关键点检测方法、装置、终端和存储介质 | |
| Qian et al. | LS3D: Single-view gestalt 3D surface reconstruction from Manhattan line segments | |
| CN113709409B (zh) | 一种室内监控处理方法、装置及设备 | |
| Almonfrey et al. | A flexible human detection service suitable for Intelligent Spaces based on a multi-camera network | |
| Zhang et al. | Fast plane segmentation with line primitives for RGB-D sensor | |
| CN114494824B (zh) | 用于全景图像的目标检测方法、装置、设备及存储介质 | |
| CN113792674B (zh) | 空座率的确定方法、装置和电子设备 | |
| Chen et al. | Grayscale− luminance converting polynomial function for digital images to determine Feu and L av in a low-contrast artificial lit space | |
| CN111383199B (zh) | 图像处理方法、装置、计算机可读存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |