CN109829406A - 一种室内空间识别方法 - Google Patents
一种室内空间识别方法 Download PDFInfo
- Publication number
- CN109829406A CN109829406A CN201910060476.7A CN201910060476A CN109829406A CN 109829406 A CN109829406 A CN 109829406A CN 201910060476 A CN201910060476 A CN 201910060476A CN 109829406 A CN109829406 A CN 109829406A
- Authority
- CN
- China
- Prior art keywords
- interior space
- recognition methods
- picture
- user
- space recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000012549 training Methods 0.000 claims abstract description 25
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 12
- 230000008569 process Effects 0.000 claims abstract description 10
- 238000001514 detection method Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000009434 installation Methods 0.000 abstract description 3
- 238000011161 development Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供一种室内空间识别方法,包括如下步骤,S1:对待识别的室内空间进行视频拍摄;S2:将拍摄的视频拆帧为图片,过滤掉不符合条件的图片数据,将图片按照不同的空间进行分类,构建训练集;S3:利用训练集训练构建好的基于DenseNet的深度卷积神经网络得到网络模型;S4:构建移动端APP,用户可通过APP发起位置识别请求,部署有网络模型的服务器计算结构并通过网络相应请求,将位置识别结果返回用户。本发明为解决消费级室内定位问题,提出一种基于基于手机图片和计算机视觉的方法来实现室内定位,不要求提前布设室内基础设施,在识别过程中也不需要借助其他特殊设备。
Description
技术领域
本发明主要涉及室内定位相关技术领域,具体是一种室内空间识别方法。
背景技术
随着城市化速度的加快、智慧城市的建设与发展、以及移动设备的日益增多,基于位置的服务在城市居民生活中扮演着越来越重要的角色。现有的定位服务大多基于全球定位***(GPS)、北斗导航***、手机信号基站等技术设施,在室外定位环境中具有出色的表现,在室内定位中缺有着很大的缺陷。例如,基于通讯和定位卫星的全球定位***,北斗导航***的信号无法进入室内环境。随着城镇化进程的发展,居民在室内的活动比例正在日益提高,而当前的室内定位技术的发展并不能很好的满足居民对室内定位服务日益增长的需求。
在室内定位的相关方法中,利用WiFi信号基站,RFID等方式在实验室环境下可以取得较高的精度。然而在面对复杂多变的建筑环境时,此类方法的泛化能力较差,针对不同的建筑空间需要有对应的个性化方案支持;更重要的是,此类定位方法严重依赖于前期布设的基础设施,在提高成本的同时,对于电力、通信网络、防火标准等条件的依赖性也比较强。相比之下,基于手机图片和计算机视觉的方法不要求提前布设室内基础设施,在识别过程中也不需要借助其他特殊设备,在室内空间识别中更加稳定和鲁棒,可以广泛应用于室内商场导览,写字楼位置确定,餐厅送餐等场景。
在利用计算机视觉进行室内空间识别过程中,卷积神经网络(CNN)已经被广泛地用于图像分类、物体检测等问题上,在没有任何人为干预的情况下,从图像提取信息并且能够以高精度识别图像中的对象。神经网络是一种大规模、多参数优化的工具。依靠大量的训练数据,神经网络能够学习出数据中难以总结的隐藏特征,从而完成多项复杂的任务,如图片分类、物体检测等等。
在现有的基于计算机视觉和照片的室内空间识别方法中,大多基于传统手工/半手工的特征,如SIFT,SURF,ORB等,进行特征点匹配。此类方法泛化能力受室内环境的变化影响非常大,无法应用于大尺度环境和经常发生变化的环境。
发明内容
为解决目前技术的不足,本发明结合现有技术,从实际应用出发,提供一种室内空间识别方法,不要求提前布设室内基础设施,在识别过程中也不需要借助其他特殊设备即可实现室内的精确定位。
本发明的技术方案如下:
一种室内空间识别方法,包括如下步骤,
S1:对待识别的室内空间进行视频拍摄;
S2:将拍摄的视频拆帧为图片,过滤掉不符合条件的图片数据,将图片按照不同的空间进行分类,构建训练集;
S3:利用训练集训练构建好的基于DenseNet的深度卷积神经网络得到网络模型;
S4:构建移动端APP,用户可通过APP发起位置识别请求,部署有网络模型的服务器计算结构并通过网络相应请求,将位置识别结果返回用户。
进一步的,在步骤S1中,在室内空间拍摄前,首先根据应用场景对室内空间进行划分,进而在后期拍摄过程中对不同的空间进行标记。
进一步的,在步骤S1中,通过全景相机视频拍摄方法一次性拍摄指定位置多角度的视频数据。
进一步的,在步骤S2中,将采集到的视频数据按照一定比率抽帧,转为大量原始图片,利用Laplacian变换检测照片模糊程度,设定过滤阈值,过滤掉模糊的原始图片。
进一步的,在步骤S3中,具体分为两个步骤:训练深度网络和利用卷积神经网络分类器进行预测。
进一步的,在步骤S3中,首先采用DenseNet模型把标定好的图片按照空间标识整理若干类,并在并行计算设备上进行训练,当训练好网络模型后,输入新的图片,网络模型可以进行预测图片的所属空间类别,并给出概率值。
进一步的,DenseNet模型在深度学习框架pytorch下实现。
进一步的,在步骤S4中,首先将步骤S3中的网络模型部署在服务器端,随时准备相应用户的定位请求,用户在待识别空间中进行拍照,由APP将照片传回服务器端进行匹配,服务器端将匹配结果返回用户。
进一步的,服务器端返回用户的信息不仅包括位置信息还包括与该位置相关的其它信息。
本发明的有益效果:
本发明为解决消费级室内定位问题,提出一种基于基于手机图片和计算机视觉的方法来实现室内定位,不要求提前布设室内基础设施,在识别过程中也不需要借助其他特殊设备;基于DenseNet的深度卷积神经网络实现样本的分类及空间的识别,优于基于传统手工/半手工的特征,如SIFT,SURF,ORB等和特征点匹配的方法;全景相机视频拍摄的方法来采集数据,一次性拍摄指定位置多角度的视频数据,方便快捷,使得采集流程大大简化,并有效减少了手工采集时带来的视频抖动、模糊等问题;利用该方法实现商业综合体内部的识别能够取得较高的准确度,同时基于该识别方法可扩展其它应用,例如室内行人导航,商铺游览路线规划,基于位置的商铺优惠推送等,具有较高的商业价值。
附图说明
附图1为本发明总体框架图。
具体实施方式
结合附图和具体实施例,对本发明作进一步说明。应理解,这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解,在阅读了本发明讲授的内容之后,本领域技术人员可以对本发明作各种改动或修改,这些等价形式同样落于本申请所限定的范围。
如图1所示,本发明提供一种室内空间识别方法,主要用于解决消费级室内定位问题。其具体方法流程主要分为四个步骤,
1、利用全景相机和采集车对待识别的室内空间(如商场、写字楼等)进行视频拍摄;
2、对拍摄的视频进行拆帧,为图片,过滤掉不符合条件的图片数据,将图片按照不同的空间进行分类,构建训练集;
3、进一步,利用训练集,训练构建好的基于DenseNet的深度卷积神经网络,利用验证集测试模型性能;
4、构建移动端app,在使过程中,用户将通过app发起位置识别请求,部署有模型的服务器计算结果并通过网络响应请求,将位置识别结果返回用户。
上述四步骤中,具体内容如下:
步骤一:室内场景拍摄。
室内场景拍摄旨在采集模型训练需要使用到的室内环境的特征数据。在室内场景拍摄前,首先根据应用场景对室内空间进行合理划分,进而在后期拍摄过程中对不同的空间进行标记,方便模型训练集的组织。
室内场景拍摄旨在采集待使用空间的特征,为识别模型提供训练数据。以往的方法采用一般相机拍摄照片或视频的方法需要对指定空间进行多方位多角度的拍摄,采集过程繁琐;采集到的数据需要复杂得预处理。在本发明中,可通过基于全景相机视频拍摄的方法来采集数据,一次性拍摄指定位置多角度的视频数据,方便快捷,使得采集流程大大简化,同时使得后期频繁更新更具可行性。在具体拍摄过程中,可采用全景相机配合平滑移动装置相结合的方式来进行数据采集,以便提高数据采集的质量和效率,基于平滑移动装置采集的视频数据质量较高,能够有效减少手工采集时带来的视频抖动,模糊等问题。
步骤二:视觉数据预处理与模型训练集构建。
利用python工具将采集到的视频数据按照一定比率抽帧,转为大量原始图片。在预处理过程中,本发明采用的全景运动相机可以很大程度上地保证数据清晰度,使得原始图片的质量大大提高。为了过滤掉少部分模糊的图片数据,本发明利用Laplacian变换来检测照片模糊程度,设定过滤阈值,并过滤掉模糊的原始图片。如下公式(a)、(b)所示为拉普拉斯算子表达式,其中,Laplacian算子为{0,1,0;1,-4,1;0,1,0},将Laplacian算子对原始图像做卷积运算。由于平均梯度反映了图像中的微小细节反差和纹理变化特征,同时也反映出图像的清晰度;平均梯度越大,图像层次也丰富,图像越清晰。
按照原始图片的***编号,可以为每张图片设定所属空间的标签,作为模型训练集的标签。
步骤三:基于DenseNet的CNN室内空间识别模型训练。
深度学习模型中的卷积神经网络在图片识别有很高的准确度,因此本发明把卷积神经网络作为训练的分类器。具体分为两个步骤:训练深度网络和利用卷积神经网络分类器进行预测。首先,本发明把标定好的图片的按照空间标识整理若干类,并在高性能并行计算设备上进行训练。在实际应用中,本发明采用最新的DenseNet模型对图片进行分类。
DenseNet模型在经典的深度学习框架pytorch下实现。当训练好网络模型过后,输入新的图片,网络模型可以进行预测图片的所属空间类别,并给出概率值。在计算显卡(GPU)的支持下,可以对百万体量的室内图片进行处理和预测。
步骤四:移动端应用与在线识别。
将步骤三的预训练模型部署在服务器端,随时准备响应用户的定位请求。用户在手机客户端上发起定位请求后由服务器运行深度学习模型进行计算,并将计算结果返回给用户。在一般情况下,实际用户发起请求通常由上层APP实现,如用户在某商场空间中进行拍照,由APP将照片传回服务器端进行商家匹配可得知拍照的商家信息;不仅如此,app可以根据识别出的商家/位置信息返回给用户其他相关信息,如商家优惠等。
利用该方法能够实现商业综合体内部的识别项目,能够取得了较高的准确度。同时基于该方法能够发展了多项其他应用,例如室内行人导航,商铺游览路线规划,基于位置的商铺优惠推送等,具有较高的商业价值。
Claims (9)
1.一种室内空间识别方法,其特征在于,包括如下步骤,
S1:对待识别的室内空间进行视频拍摄;
S2:将拍摄的视频拆帧为图片,过滤掉不符合条件的图片数据,将图片按照不同的空间进行分类,构建训练集;
S3:利用训练集训练构建好的基于DenseNet的深度卷积神经网络得到网络模型;
S4:构建移动端APP,用户可通过APP发起位置识别请求,部署有网络模型的服务器计算结构并通过网络相应请求,将位置识别结果返回用户。
2.如权利要求1所述的一种室内空间识别方法,其特征在于,在步骤S1中,在室内空间拍摄前,首先根据应用场景对室内空间进行划分,进而在后期拍摄过程中对不同的空间进行标记。
3.如权利要求1所述的一种室内空间识别方法,其特征在于,在步骤S1中,通过全景相机视频拍摄方法一次性拍摄指定位置多角度的视频数据。
4.如权利要求1所述的一种室内空间识别方法,其特征在于,在步骤S2中,将采集到的视频数据按照一定比率抽帧,转为大量原始图片,利用Laplacian变换检测照片模糊程度,设定过滤阈值,过滤掉模糊的原始图片。
5.如权利要求1所述的一种室内空间识别方法,其特征在于,在步骤S3中,具体分为两个步骤:训练深度网络和利用卷积神经网络分类器进行预测。
6.如权利要求5所述的一种室内空间识别方法,其特征在于,在步骤S3中,首先采用DenseNet模型把标定好的图片按照空间标识整理若干类,并在并行计算设备上进行训练,当训练好网络模型后,输入新的图片,网络模型可以进行预测图片的所属空间类别,并给出概率值。
7.如权利要求6所述的一种室内空间识别方法,其特征在于,DenseNet模型在深度学习框架pytorch下实现。
8.如权利要求1所述的一种室内空间识别方法,其特征在于,在步骤S4中,首先将步骤S3中的网络模型部署在服务器端,随时准备相应用户的定位请求,用户在待识别空间中进行拍照,由APP将照片传回服务器端进行匹配,服务器端将匹配结果返回用户。
9.如权利要求8所述的一种室内空间识别方法,其特征在于,服务器端返回用户的信息不仅包括位置信息还包括与该位置相关的其它信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910060476.7A CN109829406A (zh) | 2019-01-22 | 2019-01-22 | 一种室内空间识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910060476.7A CN109829406A (zh) | 2019-01-22 | 2019-01-22 | 一种室内空间识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109829406A true CN109829406A (zh) | 2019-05-31 |
Family
ID=66861867
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910060476.7A Pending CN109829406A (zh) | 2019-01-22 | 2019-01-22 | 一种室内空间识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109829406A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110427936A (zh) * | 2019-07-04 | 2019-11-08 | 深圳市新潮酒窖文化传播有限公司 | 一种酒窖的藏酒管理方法及*** |
CN110636255A (zh) * | 2019-08-21 | 2019-12-31 | 西南交通大学 | 一种基于4g网络的无人机图像、视频传输分发***及方法 |
CN110855940A (zh) * | 2019-11-01 | 2020-02-28 | 武汉纺织大学 | 一种秸秆焚烧检测中视频流的处理方法 |
CN111105347A (zh) * | 2019-11-19 | 2020-05-05 | 贝壳技术有限公司 | 一种生成带深度信息的全景图的方法、装置及存储介质 |
US11055835B2 (en) | 2019-11-19 | 2021-07-06 | Ke.com (Beijing) Technology, Co., Ltd. | Method and device for generating virtual reality data |
WO2021237443A1 (zh) * | 2020-05-26 | 2021-12-02 | 蜂图志科技控股有限公司 | 一种视觉定位方法、装置、设备及可读存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106709462A (zh) * | 2016-12-29 | 2017-05-24 | 天津中科智能识别产业技术研究院有限公司 | 一种室内定位方法及其装置 |
CN108509976A (zh) * | 2018-02-12 | 2018-09-07 | 北京佳格天地科技有限公司 | 动物的识别装置和方法 |
CN108534781A (zh) * | 2018-03-30 | 2018-09-14 | 中山大学 | 基于视频的室内定位方法 |
CN108882151A (zh) * | 2018-07-02 | 2018-11-23 | 上海大学 | 基于csi信息区域化标注的室内定位方法 |
-
2019
- 2019-01-22 CN CN201910060476.7A patent/CN109829406A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106709462A (zh) * | 2016-12-29 | 2017-05-24 | 天津中科智能识别产业技术研究院有限公司 | 一种室内定位方法及其装置 |
CN108509976A (zh) * | 2018-02-12 | 2018-09-07 | 北京佳格天地科技有限公司 | 动物的识别装置和方法 |
CN108534781A (zh) * | 2018-03-30 | 2018-09-14 | 中山大学 | 基于视频的室内定位方法 |
CN108882151A (zh) * | 2018-07-02 | 2018-11-23 | 上海大学 | 基于csi信息区域化标注的室内定位方法 |
Non-Patent Citations (2)
Title |
---|
张燕翔等: "《虚拟/增强现实技术及其应用》", 31 January 2017 * |
曹福来: "发动机燃油喷雾图像筛选及处理方法的分析研究", 《中国优秀硕士论文电子期刊网》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110427936A (zh) * | 2019-07-04 | 2019-11-08 | 深圳市新潮酒窖文化传播有限公司 | 一种酒窖的藏酒管理方法及*** |
CN110427936B (zh) * | 2019-07-04 | 2022-09-30 | 深圳市新潮酒窖文化传播有限公司 | 一种酒窖的藏酒管理方法及*** |
CN110636255A (zh) * | 2019-08-21 | 2019-12-31 | 西南交通大学 | 一种基于4g网络的无人机图像、视频传输分发***及方法 |
CN110855940A (zh) * | 2019-11-01 | 2020-02-28 | 武汉纺织大学 | 一种秸秆焚烧检测中视频流的处理方法 |
CN111105347A (zh) * | 2019-11-19 | 2020-05-05 | 贝壳技术有限公司 | 一种生成带深度信息的全景图的方法、装置及存储介质 |
CN111105347B (zh) * | 2019-11-19 | 2020-11-13 | 贝壳找房(北京)科技有限公司 | 一种生成带深度信息的全景图的方法、装置及存储介质 |
US11055835B2 (en) | 2019-11-19 | 2021-07-06 | Ke.com (Beijing) Technology, Co., Ltd. | Method and device for generating virtual reality data |
US11721006B2 (en) | 2019-11-19 | 2023-08-08 | Realsee (Beijing) Technology Co., Ltd. | Method and device for generating virtual reality data |
WO2021237443A1 (zh) * | 2020-05-26 | 2021-12-02 | 蜂图志科技控股有限公司 | 一种视觉定位方法、装置、设备及可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109829406A (zh) | 一种室内空间识别方法 | |
CN109074358B (zh) | 提供与用户兴趣有关的地理位置 | |
US8923570B2 (en) | Automated memory book creation | |
CN111104898A (zh) | 基于目标语义和注意力机制的图像场景分类方法及装置 | |
US10089762B2 (en) | Methods for navigating through a set of images | |
US20110184953A1 (en) | On-location recommendation for photo composition | |
CN102647449A (zh) | 基于云服务的智能摄影方法、装置及移动终端 | |
CN103324677B (zh) | 一种可分级的快速图像gps位置估计方法 | |
CN104573617B (zh) | 一种摄像控制方法 | |
CN102647450A (zh) | 基于云服务的智能摄影方法及*** | |
CN103460238A (zh) | 从照片中进行事件确定 | |
CN105578027A (zh) | 一种拍照方法及装置 | |
WO2016145844A1 (zh) | 一种图片排序方法和相应的图片存储显示设备 | |
CN114358660B (zh) | 一种城市街道品质评估方法、***及存储介质 | |
CN110309810A (zh) | 一种基于批次中心相似度的行人重识别方法 | |
CN105159959A (zh) | 图像文件的处理方法和*** | |
CN106250396B (zh) | 一种图像标签自动生成***及方法 | |
CN109492601A (zh) | 人脸比对方法及装置、计算机可读介质和电子设备 | |
CN109522503A (zh) | 基于ar与lbs技术的旅游景点虚拟留言板*** | |
CN107945353B (zh) | 一种基于深度学习的自助导游*** | |
CN112906507B (zh) | 基于数码照片测算商业街行人轨迹的方法 | |
CN109982239A (zh) | 基于机器视觉的商场楼层定位***及方法 | |
CN108573220A (zh) | 一种基于群体多源数据的道路裂纹识别方法 | |
CN108984638B (zh) | 一种照片命名处理方法 | |
CN113627271A (zh) | 一种移动式岩石矿物快速智能识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190531 |
|
RJ01 | Rejection of invention patent application after publication |