发明内容
本发明的目的在于提供一种图像比例尺检测方法及装置,能够实现户型图比例尺的自动识别,提高家装设计的效率。
第一方面,本发明实施例提供一种图像比例尺检测方法,包括:
获取待测图像,所述待测图像包括目标尺寸标注图示,所述目标尺寸标注图示包括尺寸文本子图示和与所述尺寸文本子图示对应的尺寸界线子图示;
识别所述目标尺寸标注图示中的尺寸文本,得到实际尺寸;
检测所述目标尺寸标注图示中尺寸界线位置,根据所述尺寸界线位置确定图上尺寸;
根据所述实际尺寸和图上尺寸确定待测图像的比例尺。
本实施例通过识别待测图像中的尺寸文本的文字信息,和文字信息对应的尺寸界线位置,确定待测图像的比例尺;实现了户型图比例尺的自动识别,提高了家装设计的效率。
在可选的实施方式中,识别所述目标尺寸标注图示中的尺寸文本,得到实际尺寸包括:
采用预先训练的区域检测模型对所述待测图像中的目标尺寸标注图示进行定位,得到目标尺寸标注图示的图像;所述目标尺寸标注图示的图像中包括一个目标尺寸标注图示,所述目标尺寸标注图示为单层式或多层式;
采用预先训练的文本定位模型定位所述目标尺寸标注图示的图像中的尺寸文本子图示的位置;
采用预先训练的文本识别模型识别定位到的尺寸文本子图示位置处的文字信息,得到实际尺寸。
在可选的实施方式中,采用预先训练的区域检测模型对所述待测图像中的目标尺寸标注图示进行定位,得到目标尺寸标注图示的图像包括:
检测待测图像中的目标尺寸标注图示所在区域,并确定目标尺寸标注图示所在区域的边框坐标;
从目标尺寸标注图示所在区域中筛选出满足预设位置、预设标注方向的待定位区域;其中,所述标注方向为标注区域所在边框的最长边所在方向;
根据所述目标尺寸标注图示所在区域的边框坐标对所述待测图像进行裁剪,得到目标尺寸标注图示的图像。
在可选的实施方式中,所述尺寸文本子图示按位置划分包括中间文本和边缘文本;
采用预先训练的文本识别模型识别定位到的尺寸文本子图示位置处的文字信息,得到实际尺寸之前还包括:
确定定位后的尺寸文本中的中间文本的位置,以根据中间文本识别文字信息。
在可选的实施方式中,检测所述目标尺寸标注图示中尺寸界线位置包括:
将所述目标尺寸标注图示的图像转换为灰度图像;
从所述尺寸文本子图示的两端开始向两侧检测垂直于标注方向每一序列的像素和,当相邻两序列的像素和的差值大于预设阈值时,将远离尺寸文本子图示对应序列的坐标信息作为尺寸界线位置。
第二方面,本发明实施例提供一种图像比例尺检测装置,包括:
获取模块,用于获取待测图像,所述待测图像包括目标尺寸标注图示,所述目标尺寸标注图示包括尺寸文本子图示和与所述尺寸文本子图示对应的尺寸界线子图示;
识别模块,用于识别所述目标尺寸标注图示中的尺寸文本,得到实际尺寸;
检测模块,用于检测所述目标尺寸标注图示中尺寸界线位置,根据所述尺寸界线位置确定图上尺寸;
确定模块,用于根据所述实际尺寸和图上尺寸确定待测图像的比例尺。
本实施例通过获取模块获取待测图像,通过识别模块检测待测图像中尺寸文本图示的位置,并对尺寸文本进行识别,得到实际尺寸;然后通过检测模块检测尺寸文本图示中尺寸界线的位置,得到图上尺寸;确定模块根据实际尺寸和图上尺寸确定待测图像的比例尺。
在可选的实施方式中,识别模块包括:
第一定位模块,用于采用预先训练的区域检测模型对所述待测图像中的目标尺寸标注图示进行定位,得到目标尺寸标注图示的图像;所述目标尺寸标注图示的图像中包括一个目标尺寸标注图示,所述目标尺寸标注图示为单层式或多层式;
第二定位模块,用于采用预先训练的文本定位模型定位所述目标尺寸标注图示的图像中的尺寸文本子图示的位置;
文本识别模块,用于采用预先训练的文本识别模型识别定位到的尺寸文本子图示位置处的文字信息,得到实际尺寸。
在可选的实施方式中,第一定位模块包括:
区域检测模块,用于检测待测图像中的目标尺寸标注图示所在区域,并确定目标尺寸标注图示所在区域的边框坐标;
筛选模块,用于从目标尺寸标注图示所在区域中筛选出满足预设位置、预设标注方向的待定位区域;其中,所述标注方向为标注区域所在边框的最长边所在方向;
裁剪模块,用于根据所述目标尺寸标注图示所在区域的边框坐标对所述待测图像进行裁剪,得到目标尺寸标注图示的图像。
第三方面,本发明实施例提供一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述前述实施方式任一项所述的方法的步骤。
第四方面,本发明实施例提供一种具有处理器可执行的非易失的程序代码的计算机可读介质,所述程序代码使所述处理器执行所述前述实施方式任一所述方法。
本发明提供的图像比例尺检测方法及装置,通过获取带有目标尺寸标注图示的待测图像,识别目标尺寸标注图示中的尺寸文本,得到实际尺寸;检测目标尺寸标注图示中的尺寸界线位置,得到图上尺寸;根据实际尺寸与图上尺寸得到待测图像的比例尺;从而实现了户型图比例尺的检测识别,提高家装设计的效率。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中,需要说明的是,术语“第一”、“第二”、等仅用于区分描述,而不能理解为指示或暗示相对重要性。
户型图指的是住房的平面空间布局图,即对各个独立空间的使用功能、相应位置、大小进行描述的图形,能够直观的看清楚房屋的走向布局。通常,户型图的四周提供了各个房间的尺寸标注,方便用户了解各个房间的长度信息。
在进行家装设计时,需要通过识别户型图辅助建立三维模型。而目前,还没有室内设计软件能够识别户型图的比例尺以辅助建模,户型图比例尺仍然需要设计人员手工输入,降低了设计人员的工作效率。基于此,本发明提供一种图像比例尺检测方法及装置,下面通过实施例进行详细介绍。
参照图1,本实施例提供的一种图像比例尺检测方法,包括:
S100,获取待测图像,待测图像包括目标尺寸标注图示,目标尺寸标注图示包括尺寸文本子图示和与尺寸文本子图示对应的尺寸界线子图示。
具体地,待测图像为二维户型图,即平面户型图。户型图中不仅有房产的户型信息,还带有目标尺寸标注图示。目标尺寸标注图示包括尺寸文本子图示、尺寸界线子图示和尺寸线子图示。其中,尺寸文本一般为数字,即户型图的长度信息。尺寸界线与尺寸文本相对应,以图2为例,边框K1内部的竖线即为尺寸4000、2850、3750的尺寸界线;位于尺寸界线中间、数字4000下方的横线即为尺寸线。
S102,识别目标尺寸标注图示中的尺寸文本,得到实际尺寸。
具体地,对待测图像定位的方法有多种,一般方法为,获取尺寸文本图示的模板,将待测图像分为多个子图,遍历这些子图与尺寸文本模板的相关函数。本实施例采用预先训练的区域检测模型进行检测,该区域检测模型采用YOLOv3神经网络算法,检测出目标尺寸标注图示的位置,并用边框进行框选;然后根据边框坐标将待测图像的边框之外的区域进行裁剪,得到目标尺寸标注图示的图像。如图2所示K1、K2、K3即为框选的边框,将K1、K2、K3之外的区域进行裁剪即可得到尺寸标注图示的图像。
然后,检测目标尺寸标注图示的图像中尺寸文本的位置,并识别尺寸文本中的文字信息,具体涉及到图像的文本定位与识别。本实施例采用文本检测模型对目标尺寸标注图示进行定位,该文本检测模型采用YOLOv3神经网络算法。本实施例采用预先训练的文本识别模型识别尺寸文本子图示中的文字信息,文本识别模型为基于CRNN的神经网络模型。文字信息即代表长度的数字,这一长度即为该目标尺寸标注图示的实际尺寸。
S103,检测目标尺寸标注图示中尺寸界线位置,根据尺寸界线位置确定图上尺寸。
具体地,尺寸文本子图示对应的尺寸界线子图示,即一个尺寸标注的尺寸界线。本实施例中,一个尺寸标注包括一个代表长度的数字、一个表示长度范围的尺寸线,以及尺寸线两端的尺寸界线。检测尺寸界线的位置,即检测尺寸界线的坐标信息;根据坐标信息确定该目标尺寸标注图示的图上尺寸。
S104,根据实际尺寸和图上尺寸确定待测图像的比例尺。
具体地,根据识别出的实际尺寸与图上尺寸,计算待测图像单位长度对应实际尺寸,从而得到图像的比例尺。
本实施例通过获取带有目标尺寸标注图示的待测图像,识别目标尺寸标注图示中的尺寸文本,得到实际尺寸;检测目标尺寸标注图示中的尺寸界线位置,得到图上尺寸;根据实际尺寸与图上尺寸得到待测图像的比例尺;从而实现了户型图比例尺的检测识别,提高家装设计的效率。
可选地,步骤S101包括:
采用预先训练的区域检测模型对待测图像中的目标尺寸标注图示进行定位,得到目标尺寸标注图示的图像;目标尺寸标注图示的图像中包括一个目标尺寸标注图示,目标尺寸标注图示为单层式或多层式。
具体地,从获取的待测图像选取部分图像作为训练集,人工框选目标尺寸标注图示。采用YOLOv3神经网络进行目标尺寸标注图示的位置定位,总共53层卷积层和53层Res层,没有池化层;每个户型图可能存在多个目标尺寸标注图示,优选选择横向目标尺寸标注图示,若横向目标尺寸标注图示有多处,优先选择靠近图像上部的目标尺寸标注图示;目标尺寸标注图示的位置即最后识别出的边框坐标。
需要说明的是,目标尺寸标注图示的图像的角度需进行统一,例如,如果获得的目标尺寸标注图示的图像为纵向,需要旋转90度转换为横向。
采用预先训练的文本定位模型定位目标尺寸标注图示的图像中的尺寸文本子图示的位置。
具体地,文本定位模型仍然采用YOLOv3算法,样本输入为上一步得到的目标尺寸标注图示的图像,定位结果如图3所示。与上一步相同,训练模型前需要人工对尺寸文本子图示位置进行标注,见图3中方框。YOLOv3神经网络模型总共53层卷积层和53层Res层,没有池化层;采用训练好的YOLOv3神经网络模型识别尺寸文本子图示的边框坐标。
采用预先训练的文本识别模型识别定位到的尺寸文本子图示位置处的文字信息,得到实际尺寸。
具体地,文本识别模型的网络结构为CNN+RNN+CTC,样本输入为目标尺寸标注图示的图像;训练模型前需要人工对尺寸文本子图示内容进行标注,采用CNN+RNN网络进行比例尺文本识别,其中CNN有9层卷积层、4层池化层、2层BN层,RNN为双层LSTM结构,每层有512节点。采用文本识别网络得到的数字即为实际尺寸。
可选地,采用预先训练的区域检测模型对待测图像中的目标尺寸标注图示进行定位,得到目标尺寸标注图示的图像包括:
检测待测图像中的目标尺寸标注图示所在区域,并确定目标尺寸标注图示所在区域的边框坐标;
从目标尺寸标注图示所在区域中筛选出满足预设位置、预设标注方向的待定位区域;其中,标注方向为标注区域所在边框的最长边所在方向;
根据目标尺寸标注图示所在区域的边框坐标对待测图像进行裁剪,得到目标尺寸标注图示的图像。
具体地,采用YOLOv3神经网络进行目标尺寸标注图示的识别,得到目标尺寸标注图示的边框坐标。一幅户型图中可能有多个目标尺寸标注图示,优先选择标注方向为横向的目标尺寸标注图示,若横向目标尺寸标注图示有多处,优先选择靠近图像上部的目标尺寸标注图示。通过边框坐标确定标注方向,即边框为长方形框,长边所在的方向即为标注方向。同样地,通过边框坐标确定目标尺寸标注图示是否位于图像上部。
需要说明的是,当待测图像中没有满足预设位置、预设标注方向的待定位区域时,例如预设位置为图像中间,预设标注方向为横向,但是实际上待测图像中预设位置只有竖向的目标尺寸标注图示,那么需要将该竖向的目标尺寸标注图示进行处理,如旋转90度,得到满足预设条件的目标尺寸标注图示。当然,如果经处理后仍然没有满足预设条件的目标尺寸标注图示,那么可根据实际需要再次设置条件进行筛选。
可选地,尺寸文本子图示按位置划分包括中间文本和边缘文本;
采用预先训练的文本识别模型识别定位到的尺寸文本子图示位置处的文字信息,得到实际尺寸之前还包括:
确定定位后的尺寸文本中的中间文本的位置,以根据中间文本识别文字信息。
具体地,如图3所示,1650为中间文本,3700和3600为边缘文本。由于每个比例尺区域可能存在多个目标尺寸标注图示的图像,若选择了边缘文本,如图3中的3700或3600,当检测模型检测到的尺寸标注不完整时,会影响最终的尺寸界线子图示的定位精度,因而需要对文本进行筛选,优先选择多个文本中的中间位置文本,即中间文本,并依据文本边框中心点坐标进行判断筛选。
可选地,S103包括:
将目标尺寸标注图示的图像转换为灰度图像;
从尺寸文本子图示的两端开始向两侧检测垂直于标注方向每一序列的像素和,当相邻两序列的像素和的差值大于预设阈值时,将远离尺寸文本子图示对应序列的坐标信息作为尺寸界线位置。
具体地,如图3中的1650所示,由尺寸文本子图示1650的左端坐标向左推进,如左箭头所示,同时由尺寸文本子图示1650的右端坐标向右推进,如右箭头所示;统计推进过程中每一列像素的像素和,即得到定位文本两端的纵向像素和分布;此处纵向指的是图3的高度方向;预设阈值指的是纵向像素和分布的阈值,同样向左和向右推进,依次计算相邻两列像素对应的纵向像素和的差值,当差值大于预设阈值时,第二列像素对应的横坐标即为尺寸界线子图示所在横坐标,即尺寸界线的位置。
本实施例能够降低户型信息获取的工作量,提高家装设计的效率。
参照图4,本发明实施例提供的一种图像比例尺检测装置,包括:
获取模块41,用于获取待测图像,待测图像包括目标尺寸标注图示,目标尺寸标注图示包括尺寸文本子图示和与尺寸文本子图示对应的尺寸界线子图示;
识别模块42,用于识别目标尺寸标注图示中的尺寸文本,得到实际尺寸;
检测模块43,用于检测目标尺寸标注图示中尺寸界线位置,根据尺寸界线位置确定图上尺寸;
确定模块44,用于根据实际尺寸和图上尺寸确定待测图像的比例尺。
可选地,识别模块42包括:
第一定位模块,用于采用预先训练的区域检测模型对待测图像中的目标尺寸标注图示进行定位,得到目标尺寸标注图示的图像;目标尺寸标注图示的图像中包括一个目标尺寸标注图示,目标尺寸标注图示为单层式或多层式;
第二定位模块,用于采用预先训练的文本定位模型定位目标尺寸标注图示的图像中的尺寸文本子图示的位置;
文本识别模块,用于采用预先训练的文本识别模型识别定位到的尺寸文本子图示位置处的文字信息,得到实际尺寸。
可选地,第一定位模块包括:
区域检测模块,用于检测待测图像中的目标尺寸标注图示所在区域,并确定目标尺寸标注图示所在区域的边框坐标;
筛选模块,用于从目标尺寸标注图示所在区域中筛选出满足预设位置、预设标注方向的待定位区域;其中,标注方向为标注区域所在边框的最长边所在方向;
裁剪模块,用于根据目标尺寸标注图示所在区域的边框坐标对待测图像进行裁剪,得到目标尺寸标注图示的图像。
可选地,尺寸文本子图示按位置划分包括中间文本和边缘文本;
识别模块还包括:
中间文本筛选模块,确定定位后的尺寸文本中的中间文本,以根据目标中间文本识别文字信息。
可选地,检测模块43包括:
图像转换模块,用于将目标尺寸标注图示的图像转换为灰度图像;
像素检测模块,用于从尺寸文本子图示的两端开始向两侧检测垂直于标注方向每一序列的像素和,当相邻两序列的像素和的差值大于预设阈值时,将远离尺寸文本子图示对应序列的坐标信息作为尺寸界线位置。
参见图5,本发明实施例还提供了一种电子设备100,包括通信接口101、处理器102、存储器103以及总线104,处理器102、通信接口101和存储器103通过总线104连接;上述存储器103用于存储支持处理器102执行上述图像比例尺检测方法的计算机程序,上述处理器102被配置为用于执行该存储器103中存储的程序。
可选地,本发明实施例还提供一种具有处理器可执行的非易失的程序代码的计算机可读介质,程序代码使处理器执行如上述图像比例尺检测方法。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。