CN117739995A - 基于拍摄和实景地图实现导航和时空回溯的***及方法 - Google Patents
基于拍摄和实景地图实现导航和时空回溯的***及方法 Download PDFInfo
- Publication number
- CN117739995A CN117739995A CN202410189446.7A CN202410189446A CN117739995A CN 117739995 A CN117739995 A CN 117739995A CN 202410189446 A CN202410189446 A CN 202410189446A CN 117739995 A CN117739995 A CN 117739995A
- Authority
- CN
- China
- Prior art keywords
- grid
- user
- image
- mode
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000008451 emotion Effects 0.000 claims abstract description 74
- 230000036541 health Effects 0.000 claims abstract description 61
- 238000012937 correction Methods 0.000 claims abstract description 16
- 230000001174 ascending effect Effects 0.000 claims description 72
- 238000004364 calculation method Methods 0.000 claims description 42
- 230000008859 change Effects 0.000 claims description 34
- 230000000694 effects Effects 0.000 claims description 30
- 230000002452 interceptive effect Effects 0.000 claims description 18
- 230000007704 transition Effects 0.000 claims description 18
- 230000002996 emotional effect Effects 0.000 claims description 17
- 230000007613 environmental effect Effects 0.000 claims description 12
- 230000005484 gravity Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 12
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 7
- 230000014509 gene expression Effects 0.000 claims description 7
- 206010034719 Personality change Diseases 0.000 claims description 6
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims description 6
- 239000008280 blood Substances 0.000 claims description 6
- 210000004369 blood Anatomy 0.000 claims description 6
- 230000036772 blood pressure Effects 0.000 claims description 6
- CLOMYZFHNHFSIQ-UHFFFAOYSA-N clonixin Chemical compound CC1=C(Cl)C=CC=C1NC1=NC=CC=C1C(O)=O CLOMYZFHNHFSIQ-UHFFFAOYSA-N 0.000 claims description 6
- 239000003086 colorant Substances 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 6
- 238000011161 development Methods 0.000 claims description 6
- 230000008921 facial expression Effects 0.000 claims description 6
- 230000036651 mood Effects 0.000 claims description 6
- 230000008520 organization Effects 0.000 claims description 6
- 229910052760 oxygen Inorganic materials 0.000 claims description 6
- 239000001301 oxygen Substances 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 239000013589 supplement Substances 0.000 claims description 6
- 230000032258 transport Effects 0.000 claims description 6
- 230000036391 respiratory frequency Effects 0.000 claims 2
- 208000019901 Anxiety disease Diseases 0.000 description 4
- 230000036506 anxiety Effects 0.000 description 4
- 230000036387 respiratory rate Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Navigation (AREA)
Abstract
本发明提供一种基于拍摄和实景地图实现导航和时空回溯的***及方法,包括网格划分模块、信息关联模块、定位修正模块、导航模块、时空回溯模块;网格划分模块将用户能够进行拍摄的三维空间划分为不重叠的网格;信息关联模块用于将用户拍摄的影像与当时的时间、空间位置、环境、事件、社交、健康、情绪信息进行关联;定位修正模块用于辅助用户通过拍摄的影像在实景三维地图中实现定位修正;导航模块用于帮助用户通过接收其他用户发送所拍摄的影像,在实景三维地图中实现路线规划;时空回溯模块用于帮助用户基于实景三维地图回溯所拍摄过的影像的相关数据。
Description
技术领域
本发明涉及导航领域,特别涉及一种基于拍摄和实景地图实现导航和时空回溯的***及方法。
背景技术
移动终端配备定位和拍摄元件已经成为常见基础配置,用户在使用此类移动终端产品进行拍摄时,生成的图片、视频等影像文件包含有经纬度信息,用户之间通过传输影像文件并解码位置信息,即可进行两个位置之间的导航。专利申请号2007101601763的文件详细记载了此项技术,但当前此项技术已相对落后,其实影像文件不止可以包含位置信息,还可以与终端获取的多种时空数据相关联并反向通过影像回溯相关信息,导航用的电子地图也已经迈入实景三维地图阶段,实景三维能够以更真实的方式呈现地理环境,这些地图数据可以作为所拍摄影像数据的参考和样本以辅助实现定位修正,并且实景三维地图具备了高程信息,导航也能够更加精细化。
发明内容
本发明为了升级旧有技术,在实景三维地图中通过所拍摄的影像进行导航及回溯影像相关信息,设计了一种基于拍摄和实景地图实现导航和时空回溯的***及方法。
本发明所采用的技术方案是,一种基于拍摄和实景地图实现导航和时空回溯的***:
包括网格划分模块、信息关联模块、定位修正模块、导航模块、时空回溯模块。
所述网格划分模块将用户能够进行拍摄的三维空间划分为不重叠的网格,具体方式为:
A1,在建筑物内,以建筑物的房间为基本网格单元进行网格划分,网格的边界对齐到房间的边界,其编码形式是I+地址编码+房间编码,其中I代表建筑物内部的网格;地址编码精确到户室,形式为行政区划代码+街巷院落代码+建筑门楼代码+单元户室代码;房间编码由六位组成,前三位表示由南向北的房间次序,后三位表示由西向东的房间次序。
A2,在建筑物外,将街巷院落内的空间均分为多个三维网格,网格的编码形式是O+地址编码+网格排序编码,其中O代表建筑物外部的网格;地址编码精确到街巷院落,形式为行政区划代码+街巷院落代码;网格排序编码由九位组成,前三位表示由南向北的网格排列次序,中间三位表示由西向东的网格排列次序,末尾三位表示由下向上的网格排列次序。
所述信息关联模块用于将用户拍摄的影像与当时的时间、空间位置、环境、事件、社交、健康、情绪信息进行关联,具体方式为:
B1,影像生成时,记录终端获取的时间、空间位置、环境、健康数据,其中空间位置数据为影像所在的网格的编码;环境数据包括天气、温度、湿度数据;健康数据包括心率、血压、运动、睡眠、血氧饱和度、呼吸数据;
用户自主补充事件数据、社交数据,事件数据包括事件类型、参与人员,其中事件类型包括商业活动、庆典庆祝、文化活动、公益活动、日常生活、旅行探险、赛事活动、艺术活动、自然景观、灾害事件、事故事件,并可以自主创建其他事件类型;社交数据包括人物信息、人物关系;
情绪数据来源于以下四种形式的分析推断:
①根据用户使用的终端设备上收集的生理数据推断用户的情绪状态,包括心率、呼吸频率,心率的增加与焦虑、愤怒相关,呼吸的变化与紧张、放松相关;
②根据用户在文本、社交媒体、聊天对话表达中的语言组织形式、词汇、表情符号推断用户的情绪;
③对用户在社交沟通中的语音进行分析,通过分析音调、语速、音量变化这些声音特征,推断出用户的情绪状态;
④对用户在视频社交中的面部表情进行分析,推断出用户的情绪状态。
B2,根据影像拍摄的目的进行归类:
①影像主要用来记录环境信息,归类为环境类影像;
②影像主要用来记录事件信息,归类为事件类影像;
③影像主要用来记录社交信息,归类为社交类影像;
④影像主要用来记录健康信息,归类为健康类影像;
⑤影像主要用来记录情绪信息,归类为情绪类影像。
所述定位修正模块用于辅助用户通过拍摄的影像在实景三维地图中实现定位修正,具体方式为:
C1,设移动终端的定位元件的定位误差为ΔR,用户拍摄的影像关联的原网格为Q;
C2,以网格Q的几何重心为球心,以距离球心≤ΔR的空间范围为对比空间,在对比空间范围内的网格、与对比空间有部分重叠空间的网格均归为待对比网格;
C3,根据现实世界中网格所对应的空间位置,在实景三维地图中找到每个待对比网格,在每个待对比网格的重心位置依次采集正上、正下、正东、正西、正北、正南这六个实景三维地图中的影像,将这些影像作为对比影像,对比影像的编码方式是所在网格编码+方位编码,方位编码的方式为:正上为U、正下为D、正东为E、正西为W、正北为N、正南为S;
C4,将用户拍摄的影像和对比影像进行对比分析,筛选出和用户拍摄影像重合度最高的对比影像P;
C5,当用户拍摄的影像所关联的网格编码和影像P所在网格的编码不同时,更换用户拍摄的影像所关联的网格编码,换成影像P所在网格的编码。
所述导航模块用于帮助用户通过接收其他用户发送所拍摄的影像,在实景三维地图中实现路线规划,具体方式为:
D1,设实景三维地图的道路的某段路线的起点的高程为H0,沿着道路某一方向前行,经过的路程为J,路程中的最高点的高程为Hi,当-0.5%≤[(Hi-H0)÷J]≤0.5%时,归类为平坦道路;当-3%≤[(Hi-H0)÷J]<-0.5%或0.5%<[(Hi-H0)÷J]≤3%时,归类为缓坡道路;当-6%≤[(Hi-H0)÷J]<-3%或3%<[(Hi-H0) ÷J]≤6%时,归类为中坡道路;当[(Hi-H0)÷J]>6%或[(Hi-H0)÷J]<-6%时,归类为陡坡道路;
D2,以每类道路的终点作为新的起点,按照D1的分类方法继续分割路线,直至所有路线分割完成;
D3,对缓坡道路、中坡道路、陡坡道路进行细分,沿着道路某一方向前行,道路高程由低到高的道路为上坡路段,道路高程由高到低的道路为下坡路段;缓坡道路划分为缓坡上坡路段和缓坡下坡路段,中坡道路划分为中坡上坡路段和中坡下坡路段,陡坡道路划分为陡坡上坡路段和陡坡下坡路段;
设缓坡上坡路段、缓坡下坡路段、中坡上坡路段、中坡下坡路段、陡坡上坡路段、陡坡下坡路段的成本系数分别为x1、x2、x3、x4、x5、x6;当交通方式为驾驶机动车辆时,1<x2<x1<x4<x3<x6<x5;
设缓坡上坡路段、缓坡下坡路段、中坡上坡路段、中坡下坡路段、陡坡上坡路段、陡坡下坡路段的难度系数分别为y1、y2、y3、y4、y5、y6;当交通方式为驾驶机动车辆时,设难度系数分别为y11、y21、y31、y41、y51、y61,并且1<y21<y11<y41=y31<y61<y51;当交通方式为自行车时,设难度系数分别为y12、y22、y32、y42、y52、y62,并且1<y12<y32<y52<y22<y42<y62。
当交通方式为公共交通、步行时,不涉及成本系数和难度系数;
D4,根据用户所在位置和收到的其他用户拍摄的影像所包含的位置,按照驾驶机动车辆、自行车、公共交通、步行这四类可通行道路,生成导航路线;设路线中平坦道路、缓坡上坡路段、缓坡下坡路段、中坡上坡路段、中坡下坡路段、陡坡上坡路段、陡坡下坡路段的路程分别为J0、J1、J2、J3、J4、J5、J6;
①当选择驾驶机动车辆的交通方式,
按成本最低选择导航路线,计算方式为Z=min(J0+x1×J1+x2×J2+x3×J3+x4×J4+x5×J5+x6×J6);
按驾驶难度最低选择导航路线,选择机动车辆对应的难度系数,计算方式为V1=min(J0+y11×J1+y21×J2+y31×J3+y41×J4+y51×J5+y61×J6);
按路径最短选择导航路线,计算方式为M=min(J0+J1+J2+J3+J4+J5+J6);
②当选择自行车的交通方式,
按难度最低选择导航路线,选择自行车对应的难度系数,计算方式为V2=min(J0+y12×J1+y22×J2+y32×J3+y42×J4+y52×J5+y62×J6);
按路径最短选择导航路线,计算方式与D4中的①的按路径最短选择导航路线的方式相同;
③当选择公共交通的交通方式,
按路径最短选择导航路线,计算方式与D4中的①的按路径最短选择导航路线的方式相同;
④当选择公共交通的交通方式,
按路径最短选择导航路线,计算方式与D4中的①的按路径最短选择导航路线的方式相同。
所述时空回溯模块用于帮助用户基于实景三维地图回溯所拍摄过的影像的相关数据,具体方式为:
E1,基于实景三维地图新增交互图层,在交互图层中只显示和分布具有关联影像数据的网格;
E2,将交互图层中的网格进行色彩填充,
①环境类影像数据最多的网格填充绿色;
②事件类影像数据最多的网格填充红色;
③社交类影像数据最多的网格填充黄色;
④健康类影像数据最多的网格填充橙色;
⑤情绪类影像数据最多的网格填充紫色;
E3,通过查看实景三维地图中的某填色网格开启影像回溯,影像回溯的方式分为五种,分别是位置变迁、人物成长、角色变化、健康趋势、情感历程:
①以位置变迁的方式回溯时,所有环境类影像按照从旧到新的规则依次复现,每份影像出现前,与之关联的填色网格在实景三维地图上闪烁t秒,0<t<1秒,同时播放轻柔自然的音乐,帮助用户回忆建筑发展情况和城乡变迁;
②以人物成长的方式回溯时,所有事件类影像按照从旧到新的规则依次复现,每份影像出现前,与之关联的填色网格在实景三维地图上闪烁t秒,0<t<1秒,同时播放激励人心的音乐,帮助用户回忆在不同事件中的成长和变化;
③以角色变化的方式回溯时,所有社交类影像按照从旧到新的规则依次复现,每份影像出现前,与之关联的填色网格在实景三维地图上闪烁t秒,0<t<1秒,同时播放明快活跃的音乐,帮助用户了解自己在社交圈子中的角色和影响力的变化;
④以健康趋势的方式回溯时,所有健康类影像按照从旧到新的规则依次复现,每份影像出现前,与之关联的填色网格在实景三维地图上闪烁t秒,0<t<1秒,同时生成健康趋势分析报告;
⑤以情感历程的方式回溯时,所有情绪类影像按照从旧到新的规则依次复现,每份影像出现前,与之关联的填色网格在实景三维地图上闪烁t秒,0<t<1秒,同时播放抒情的音乐,帮助用户回忆情绪状态和情感变化。
一种基于拍摄和实景地图实现导航和时空回溯的方法:
步骤1,将用户能够进行拍摄的三维空间划分为不重叠的网格,具体方式为:
A1,在建筑物内,以建筑物的房间为基本网格单元进行网格划分,网格的边界对齐到房间的边界,其编码形式是I+地址编码+房间编码,其中I代表建筑物内部的网格;地址编码精确到户室,形式为行政区划代码+街巷院落代码+建筑门楼代码+单元户室代码;房间编码由六位组成,前三位表示由南向北的房间次序,后三位表示由西向东的房间次序。
A2,在建筑物外,将街巷院落内的空间均分为多个三维网格,网格的编码形式是O+地址编码+网格排序编码,其中O代表建筑物外部的网格;地址编码精确到街巷院落,形式为行政区划代码+街巷院落代码;网格排序编码由九位组成,前三位表示由南向北的网格排列次序,中间三位表示由西向东的网格排列次序,末尾三位表示由下向上的网格排列次序。
步骤2,将用户拍摄的影像与当时的时间、空间位置、环境、事件、社交、健康、情绪信息进行关联,具体方式为:
B1,影像生成时,记录终端获取的时间、空间位置、环境、健康数据,其中空间位置数据为影像所在的网格的编码;环境数据包括天气、温度、湿度数据;健康数据包括心率、血压、运动、睡眠、血氧饱和度、呼吸数据;
用户自主补充事件数据、社交数据,事件数据包括事件类型、参与人员,其中事件类型包括商业活动、庆典庆祝、文化活动、公益活动、日常生活、旅行探险、赛事活动、艺术活动、自然景观、灾害事件、事故事件,并可以自主创建其他事件类型;社交数据包括人物信息、人物关系;
情绪数据来源于以下四种形式的分析推断:
①根据用户使用的终端设备上收集的生理数据推断用户的情绪状态,包括心率、呼吸频率,心率的增加与焦虑、愤怒相关,呼吸的变化与紧张、放松相关;
②根据用户在文本、社交媒体、聊天对话表达中的语言组织形式、词汇、表情符号推断用户的情绪;
③对用户在社交沟通中的语音进行分析,通过分析音调、语速、音量变化这些声音特征,推断出用户的情绪状态;
④对用户在视频社交中的面部表情进行分析,推断出用户的情绪状态。
B2,根据影像拍摄的目的进行归类:
①影像主要用来记录环境信息,归类为环境类影像;
②影像主要用来记录事件信息,归类为事件类影像;
③影像主要用来记录社交信息,归类为社交类影像;
④影像主要用来记录健康信息,归类为健康类影像;
⑤影像主要用来记录情绪信息,归类为情绪类影像。
步骤3,用户通过拍摄的影像在实景三维地图中实现定位修正,具体方式为:
C1,设移动终端的定位元件的定位误差为ΔR,用户拍摄的影像关联的原网格为Q;
C2,以网格Q的几何重心为球心,以距离球心≤ΔR的空间范围为对比空间,在对比空间范围内的网格、与对比空间有部分重叠空间的网格均归为待对比网格;
C3,根据现实世界中网格所对应的空间位置,在实景三维地图中找到每个待对比网格,在每个待对比网格的重心位置依次采集正上、正下、正东、正西、正北、正南这六个实景三维地图中的影像,将这些影像作为对比影像,对比影像的编码方式是所在网格编码+方位编码,方位编码的方式为:正上为U、正下为D、正东为E、正西为W、正北为N、正南为S;
C4,将用户拍摄的影像和对比影像进行对比分析,筛选出和用户拍摄影像重合度最高的对比影像P;
C5,当用户拍摄的影像所关联的网格编码和影像P所在网格的编码不同时,更换用户拍摄的影像所关联的网格编码,换成影像P所在网格的编码。
步骤4,用户通过接收其他用户发送所拍摄的影像,在实景三维地图中实现路线规划,具体方式为:
D1,设实景三维地图的道路的某段路线的起点的高程为H0,沿着道路某一方向前行,经过的路程为J,路程中的最高点的高程为Hi,当-0.5%≤[(Hi-H0)÷J]≤0.5%时,归类为平坦道路;当-3%≤[(Hi-H0)÷J]<-0.5%或0.5%<[(Hi-H0)÷J]≤3%时,归类为缓坡道路;当-6%≤[(Hi-H0)÷J]<-3%或3%<[(Hi-H0)÷J]≤6%时,归类为中坡道路;当[(Hi-H0)÷J]>6%或[(Hi-H0)÷J]<-6%时,归类为陡坡道路;
D2,以每类道路的终点作为新的起点,按照D1的分类方法继续分割路线,直至所有路线分割完成;
D3,对缓坡道路、中坡道路、陡坡道路进行细分,沿着道路某一方向前行,道路高程由低到高的道路为上坡路段,道路高程由高到低的道路为下坡路段;缓坡道路划分为缓坡上坡路段和缓坡下坡路段,中坡道路划分为中坡上坡路段和中坡下坡路段,陡坡道路划分为陡坡上坡路段和陡坡下坡路段;
设缓坡上坡路段、缓坡下坡路段、中坡上坡路段、中坡下坡路段、陡坡上坡路段、陡坡下坡路段的成本系数分别为x1、x2、x3、x4、x5、x6;当交通方式为驾驶机动车辆时,1<x2<x1<x4<x3<x6<x5;
设缓坡上坡路段、缓坡下坡路段、中坡上坡路段、中坡下坡路段、陡坡上坡路段、陡坡下坡路段的难度系数分别为y1、y2、y3、y4、y5、y6;当交通方式为驾驶机动车辆时,设难度系数分别为y11、y21、y31、y41、y51、y61,并且1<y21<y11<y41=y31<y61<y51;当交通方式为自行车时,设难度系数分别为y12、y22、y32、y42、y52、y62,并且1<y12<y32<y52<y22<y42<y62。
当交通方式为公共交通、步行时,不涉及成本系数和难度系数;
D4,根据用户所在位置和收到的其他用户拍摄的影像所包含的位置,按照驾驶机动车辆、自行车、公共交通、步行这四类可通行道路,生成导航路线;设路线中平坦道路、缓坡上坡路段、缓坡下坡路段、中坡上坡路段、中坡下坡路段、陡坡上坡路段、陡坡下坡路段的路程分别为J0、J1、J2、J3、J4、J5、J6;
①当选择驾驶机动车辆的交通方式,
按成本最低选择导航路线,计算方式为Z=min(J0+x1×J1+x2×J2+x3×J3+x4×J4+x5×J5+x6×J6);
按驾驶难度最低选择导航路线,选择机动车辆对应的难度系数,计算方式为V1=min(J0+y11×J1+y21×J2+y31×J3+y41×J4+y51×J5+y61×J6);
按路径最短选择导航路线,计算方式为M=min(J0+J1+J2+J3+J4+J5+J6);
②当选择自行车的交通方式,
按难度最低选择导航路线,选择自行车对应的难度系数,计算方式为V2=min(J0+y12×J1+y22×J2+y32×J3+y42×J4+y52×J5+y62×J6);
按路径最短选择导航路线,计算方式与D4中的①的按路径最短选择导航路线的方式相同;
③当选择公共交通的交通方式,
按路径最短选择导航路线,计算方式与D4中的①的按路径最短选择导航路线的方式相同;
④当选择公共交通的交通方式,
按路径最短选择导航路线,计算方式与D4中的①的按路径最短选择导航路线的方式相同。
步骤5,用户基于实景三维地图回溯所拍摄过的影像的相关数据,具体方式为:
E1,基于实景三维地图新增交互图层,在交互图层中只显示和分布具有关联影像数据的网格;
E2,将交互图层中的网格进行色彩填充,
①环境类影像数据最多的网格填充绿色;
②事件类影像数据最多的网格填充红色;
③社交类影像数据最多的网格填充黄色;
④健康类影像数据最多的网格填充橙色;
⑤情绪类影像数据最多的网格填充紫色;
E3,通过查看实景三维地图中的某填色网格开启影像回溯,影像回溯的方式分为五种,分别是位置变迁、人物成长、角色变化、健康趋势、情感历程:
①以位置变迁的方式回溯时,所有环境类影像按照从旧到新的规则依次复现,每份影像出现前,与之关联的填色网格在实景三维地图上闪烁t秒,0<t<1秒,同时播放轻柔自然的音乐,帮助用户回忆建筑发展情况和城乡变迁;
②以人物成长的方式回溯时,所有事件类影像按照从旧到新的规则依次复现,每份影像出现前,与之关联的填色网格在实景三维地图上闪烁t秒,0<t<1秒,同时播放激励人心的音乐,帮助用户回忆在不同事件中的成长和变化;
③以角色变化的方式回溯时,所有社交类影像按照从旧到新的规则依次复现,每份影像出现前,与之关联的填色网格在实景三维地图上闪烁t秒,0<t<1秒,同时播放明快活跃的音乐,帮助用户了解自己在社交圈子中的角色和影响力的变化;
④以健康趋势的方式回溯时,所有健康类影像按照从旧到新的规则依次复现,每份影像出现前,与之关联的填色网格在实景三维地图上闪烁t秒,0<t<1秒,同时生成健康趋势分析报告;
⑤以情感历程的方式回溯时,所有情绪类影像按照从旧到新的规则依次复现,每份影像出现前,与之关联的填色网格在实景三维地图上闪烁t秒,0<t<1秒,同时播放抒情的音乐,帮助用户回忆情绪状态和情感变化。
本发明一种实景三维地理信息***及方法具有如下优点:
(1) 根据影像拍摄特点对空间进行网格划分,影像关联网格编码,按网格位置映射到实景三维地图中,利用实景三维地图中网格内视角的实景三维影像制作对比影像,选出与用户所拍摄影像相似度最高的对比影像P,当用户拍摄的影像所关联的网格编码和影像P所在网格的编码不同时,更换用户拍摄的影像所关联的网格编码,换成影像P所在网格的编码,对用户在现实世界中拍摄的影像所关联的空间位置进行修正,思路新颖;
(2) 充分利用实景三维地图中的高程信息进行精准路径规划,针对交通工具类型创建成本最低、难度最低路径选择算式,具备显著的创造性;
(3) 用户通过查看实景三维地图中的填色网格进行影像相关数据回溯,根据回溯的数据类型进行沉浸式配乐或生成分析报告,构思巧妙。
本发明的其他特征和优点将在随后的说明书中阐述,或者通过实施本发明而了解。
附图说明
附图仅用于示出具体实施例的目的,而并不认为是对本发明的限制,在整个附图中,相同的参考符号表示相同的部件。
图1是本发明的方法流程图。
具体实施方式
以下将结合附图和实施例对本发明一种基于拍摄和实景地图实现导航和时空回溯的***及方法作进一步的详细描述。
本发明所采用的技术方案,一种基于拍摄和实景地图实现导航和时空回溯的***:
包括网格划分模块、信息关联模块、定位修正模块、导航模块、时空回溯模块。
所述网格划分模块将用户能够进行拍摄的三维空间划分为不重叠的网格,具体方式为:
A1,在建筑物内,以建筑物的房间为基本网格单元进行网格划分,网格的边界对齐到房间的边界,其编码形式是I+地址编码+房间编码,其中I代表建筑物内部的网格;地址编码精确到户室,形式为行政区划代码+街巷院落代码+建筑门楼代码+单元户室代码;房间编码由六位组成,前三位表示由南向北的房间次序,后三位表示由西向东的房间次序。
A2,在建筑物外,将街巷院落内的空间均分为多个三维网格,网格的编码形式是O+地址编码+网格排序编码,其中O代表建筑物外部的网格;地址编码精确到街巷院落,形式为行政区划代码+街巷院落代码;网格排序编码由九位组成,前三位表示由南向北的网格排列次序,中间三位表示由西向东的网格排列次序,末尾三位表示由下向上的网格排列次序。
所述信息关联模块用于将用户拍摄的影像与当时的时间、空间位置、环境、事件、社交、健康、情绪信息进行关联,具体方式为:
B1,影像生成时,记录终端获取的时间、空间位置、环境、健康数据,其中空间位置数据为影像所在的网格的编码;环境数据包括天气、温度、湿度数据;健康数据包括心率、血压、运动、睡眠、血氧饱和度、呼吸数据;
用户自主补充事件数据、社交数据,事件数据包括事件类型、参与人员,其中事件类型包括商业活动、庆典庆祝、文化活动、公益活动、日常生活、旅行探险、赛事活动、艺术活动、自然景观、灾害事件、事故事件,并可以自主创建其他事件类型;社交数据包括人物信息、人物关系;
情绪数据来源于以下四种形式的分析推断:
①根据用户使用的终端设备上收集的生理数据推断用户的情绪状态,包括心率、呼吸频率,心率的增加与焦虑、愤怒相关,呼吸的变化与紧张、放松相关;
②根据用户在文本、社交媒体、聊天对话表达中的语言组织形式、词汇、表情符号推断用户的情绪;
③对用户在社交沟通中的语音进行分析,通过分析音调、语速、音量变化这些声音特征,推断出用户的情绪状态;
④对用户在视频社交中的面部表情进行分析,推断出用户的情绪状态。
B2,根据影像拍摄的目的进行归类:
①影像主要用来记录环境信息,归类为环境类影像;
②影像主要用来记录事件信息,归类为事件类影像;
③影像主要用来记录社交信息,归类为社交类影像;
④影像主要用来记录健康信息,归类为健康类影像;
⑤影像主要用来记录情绪信息,归类为情绪类影像。
所述定位修正模块用于辅助用户通过拍摄的影像在实景三维地图中实现定位修正,具体方式为:
C1,设移动终端的定位元件的定位误差为ΔR,用户拍摄的影像关联的原网格为Q;
C2,以网格Q的几何重心为球心,以距离球心≤ΔR的空间范围为对比空间,在对比空间范围内的网格、与对比空间有部分重叠空间的网格均归为待对比网格;
C3,根据现实世界中网格所对应的空间位置,在实景三维地图中找到每个待对比网格,在每个待对比网格的重心位置依次采集正上、正下、正东、正西、正北、正南这六个实景三维地图中的影像,将这些影像作为对比影像,对比影像的编码方式是所在网格编码+方位编码,方位编码的方式为:正上为U、正下为D、正东为E、正西为W、正北为N、正南为S;
C4,将用户拍摄的影像和对比影像进行对比分析,筛选出和用户拍摄影像重合度最高的对比影像P;
C5,当用户拍摄的影像所关联的网格编码和影像P所在网格的编码不同时,更换用户拍摄的影像所关联的网格编码,换成影像P所在网格的编码。
所述导航模块用于帮助用户通过接收其他用户发送所拍摄的影像,在实景三维地图中实现路线规划,具体方式为:
D1,设实景三维地图的道路的某段路线的起点的高程为H0,沿着道路某一方向前行,经过的路程为J,路程中的最高点的高程为Hi,当-0.5%≤[(Hi-H0)÷J]≤0.5%时,归类为平坦道路;当-3%≤[(Hi-H0)÷J]<-0.5%或0.5%<[(Hi-H0)÷J]≤3%时,归类为缓坡道路;当-6%≤[(Hi-H0)÷J]<-3%或3%<[(Hi-H0)÷J]≤6%时,归类为中坡道路;当[(Hi-H0)÷J]>6%或[(Hi-H0)÷J]<-6%时,归类为陡坡道路;
D2,以每类道路的终点作为新的起点,按照D1的分类方法继续分割路线,直至所有路线分割完成;
D3,对缓坡道路、中坡道路、陡坡道路进行细分,沿着道路某一方向前行,道路高程由低到高的道路为上坡路段,道路高程由高到低的道路为下坡路段;缓坡道路划分为缓坡上坡路段和缓坡下坡路段,中坡道路划分为中坡上坡路段和中坡下坡路段,陡坡道路划分为陡坡上坡路段和陡坡下坡路段;
设缓坡上坡路段、缓坡下坡路段、中坡上坡路段、中坡下坡路段、陡坡上坡路段、陡坡下坡路段的成本系数分别为x1、x2、x3、x4、x5、x6;当交通方式为驾驶机动车辆时,1<x2<x1<x4<x3<x6<x5;
设缓坡上坡路段、缓坡下坡路段、中坡上坡路段、中坡下坡路段、陡坡上坡路段、陡坡下坡路段的难度系数分别为y1、y2、y3、y4、y5、y6;当交通方式为驾驶机动车辆时,设难度系数分别为y11、y21、y31、y41、y51、y61,并且1<y21<y11<y41=y31<y61<y51;当交通方式为自行车时,设难度系数分别为y12、y22、y32、y42、y52、y62,并且1<y12<y32<y52<y22<y42<y62。
当交通方式为公共交通、步行时,不涉及成本系数和难度系数;
D4,根据用户所在位置和收到的其他用户拍摄的影像所包含的位置,按照驾驶机动车辆、自行车、公共交通、步行这四类可通行道路,生成导航路线;设路线中平坦道路、缓坡上坡路段、缓坡下坡路段、中坡上坡路段、中坡下坡路段、陡坡上坡路段、陡坡下坡路段的路程分别为J0、J1、J2、J3、J4、J5、J6;
①当选择驾驶机动车辆的交通方式,
按成本最低选择导航路线,计算方式为Z=min(J0+x1×J1+x2×J2+x3×J3+x4×J4+x5×J5+x6×J6);
按驾驶难度最低选择导航路线,选择机动车辆对应的难度系数,计算方式为V1=min(J0+y11×J1+y21×J2+y31×J3+y41×J4+y51×J5+y61×J6);
按路径最短选择导航路线,计算方式为M=min(J0+J1+J2+J3+J4+J5+J6);
②当选择自行车的交通方式,
按难度最低选择导航路线,选择自行车对应的难度系数,计算方式为V2=min(J0+y12×J1+y22×J2+y32×J3+y42×J4+y52×J5+y62×J6);
按路径最短选择导航路线,计算方式与D4中的①的按路径最短选择导航路线的方式相同;
③当选择公共交通的交通方式,
按路径最短选择导航路线,计算方式与D4中的①的按路径最短选择导航路线的方式相同;
④当选择公共交通的交通方式,
按路径最短选择导航路线,计算方式与D4中的①的按路径最短选择导航路线的方式相同。
所述时空回溯模块用于帮助用户基于实景三维地图回溯所拍摄过的影像的相关数据,具体方式为:
E1,基于实景三维地图新增交互图层,在交互图层中只显示和分布具有关联影像数据的网格;
E2,将交互图层中的网格进行色彩填充,
①环境类影像数据最多的网格填充绿色;
②事件类影像数据最多的网格填充红色;
③社交类影像数据最多的网格填充黄色;
④健康类影像数据最多的网格填充橙色;
⑤情绪类影像数据最多的网格填充紫色;
E3,通过查看实景三维地图中的某填色网格开启影像回溯,影像回溯的方式分为五种,分别是位置变迁、人物成长、角色变化、健康趋势、情感历程:
①以位置变迁的方式回溯时,所有环境类影像按照从旧到新的规则依次复现,每份影像出现前,与之关联的填色网格在实景三维地图上闪烁t秒,0<t<1秒,同时播放轻柔自然的音乐,帮助用户回忆建筑发展情况和城乡变迁;
②以人物成长的方式回溯时,所有事件类影像按照从旧到新的规则依次复现,每份影像出现前,与之关联的填色网格在实景三维地图上闪烁t秒,0<t<1秒,同时播放激励人心的音乐,帮助用户回忆在不同事件中的成长和变化;
③以角色变化的方式回溯时,所有社交类影像按照从旧到新的规则依次复现,每份影像出现前,与之关联的填色网格在实景三维地图上闪烁t秒,0<t<1秒,同时播放明快活跃的音乐,帮助用户了解自己在社交圈子中的角色和影响力的变化;
④以健康趋势的方式回溯时,所有健康类影像按照从旧到新的规则依次复现,每份影像出现前,与之关联的填色网格在实景三维地图上闪烁t秒,0<t<1秒,同时生成健康趋势分析报告;
⑤以情感历程的方式回溯时,所有情绪类影像按照从旧到新的规则依次复现,每份影像出现前,与之关联的填色网格在实景三维地图上闪烁t秒,0<t<1秒,同时播放抒情的音乐,帮助用户回忆情绪状态和情感变化。
如图1所示,一种基于拍摄和实景地图实现导航和时空回溯的方法:
步骤1,将用户能够进行拍摄的三维空间划分为不重叠的网格,具体方式为:
A1,在建筑物内,以建筑物的房间为基本网格单元进行网格划分,网格的边界对齐到房间的边界,其编码形式是I+地址编码+房间编码,其中I代表建筑物内部的网格;地址编码精确到户室,形式为行政区划代码+街巷院落代码+建筑门楼代码+单元户室代码;房间编码由六位组成,前三位表示由南向北的房间次序,后三位表示由西向东的房间次序。
A2,在建筑物外,将街巷院落内的空间均分为多个三维网格,网格的编码形式是O+地址编码+网格排序编码,其中O代表建筑物外部的网格;地址编码精确到街巷院落,形式为行政区划代码+街巷院落代码;网格排序编码由九位组成,前三位表示由南向北的网格排列次序,中间三位表示由西向东的网格排列次序,末尾三位表示由下向上的网格排列次序。
步骤2,将用户拍摄的影像与当时的时间、空间位置、环境、事件、社交、健康、情绪信息进行关联,具体方式为:
B1,影像生成时,记录终端获取的时间、空间位置、环境、健康数据,其中空间位置数据为影像所在的网格的编码;环境数据包括天气、温度、湿度数据;健康数据包括心率、血压、运动、睡眠、血氧饱和度、呼吸数据;
用户自主补充事件数据、社交数据,事件数据包括事件类型、参与人员,其中事件类型包括商业活动、庆典庆祝、文化活动、公益活动、日常生活、旅行探险、赛事活动、艺术活动、自然景观、灾害事件、事故事件,并可以自主创建其他事件类型;社交数据包括人物信息、人物关系;
情绪数据来源于以下四种形式的分析推断:
①根据用户使用的终端设备上收集的生理数据推断用户的情绪状态,包括心率、呼吸频率,心率的增加与焦虑、愤怒相关,呼吸的变化与紧张、放松相关;
②根据用户在文本、社交媒体、聊天对话表达中的语言组织形式、词汇、表情符号推断用户的情绪;
③对用户在社交沟通中的语音进行分析,通过分析音调、语速、音量变化这些声音特征,推断出用户的情绪状态;
④对用户在视频社交中的面部表情进行分析,推断出用户的情绪状态。
B2,根据影像拍摄的目的进行归类:
①影像主要用来记录环境信息,归类为环境类影像;
②影像主要用来记录事件信息,归类为事件类影像;
③影像主要用来记录社交信息,归类为社交类影像;
④影像主要用来记录健康信息,归类为健康类影像;
⑤影像主要用来记录情绪信息,归类为情绪类影像。
步骤3,用户通过拍摄的影像在实景三维地图中实现定位修正,具体方式为:
C1,设移动终端的定位元件的定位误差为ΔR,用户拍摄的影像关联的原网格为Q;
C2,以网格Q的几何重心为球心,以距离球心≤ΔR的空间范围为对比空间,在对比空间范围内的网格、与对比空间有部分重叠空间的网格均归为待对比网格;
C3,根据现实世界中网格所对应的空间位置,在实景三维地图中找到每个待对比网格,在每个待对比网格的重心位置依次采集正上、正下、正东、正西、正北、正南这六个实景三维地图中的影像,将这些影像作为对比影像,对比影像的编码方式是所在网格编码+方位编码,方位编码的方式为:正上为U、正下为D、正东为E、正西为W、正北为N、正南为S;
C4,将用户拍摄的影像和对比影像进行对比分析,筛选出和用户拍摄影像重合度最高的对比影像P;
C5,当用户拍摄的影像所关联的网格编码和影像P所在网格的编码不同时,更换用户拍摄的影像所关联的网格编码,换成影像P所在网格的编码。
步骤4,用户通过接收其他用户发送所拍摄的影像,在实景三维地图中实现路线规划,具体方式为:
D1,设实景三维地图的道路的某段路线的起点的高程为H0,沿着道路某一方向前行,经过的路程为J,路程中的最高点的高程为Hi,当-0.5%≤[(Hi-H0)÷J]≤0.5%时,归类为平坦道路;当-3%≤[(Hi-H0)÷J]<-0.5%或0.5%<[(Hi-H0)÷J]≤3%时,归类为缓坡道路;当-6%≤[(Hi-H0)÷J]<-3%或3%<[(Hi-H0)÷J]≤6%时,归类为中坡道路;当[(Hi-H0)÷J]>6%或[(Hi-H0)÷J]<-6%时,归类为陡坡道路;
D2,以每类道路的终点作为新的起点,按照D1的分类方法继续分割路线,直至所有路线分割完成;
D3,对缓坡道路、中坡道路、陡坡道路进行细分,沿着道路某一方向前行,道路高程由低到高的道路为上坡路段,道路高程由高到低的道路为下坡路段;缓坡道路划分为缓坡上坡路段和缓坡下坡路段,中坡道路划分为中坡上坡路段和中坡下坡路段,陡坡道路划分为陡坡上坡路段和陡坡下坡路段;
设缓坡上坡路段、缓坡下坡路段、中坡上坡路段、中坡下坡路段、陡坡上坡路段、陡坡下坡路段的成本系数分别为x1、x2、x3、x4、x5、x6;当交通方式为驾驶机动车辆时,1<x2<x1<x4<x3<x6<x5;
设缓坡上坡路段、缓坡下坡路段、中坡上坡路段、中坡下坡路段、陡坡上坡路段、陡坡下坡路段的难度系数分别为y1、y2、y3、y4、y5、y6;当交通方式为驾驶机动车辆时,设难度系数分别为y11、y21、y31、y41、y51、y61,并且1<y21<y11<y41=y31<y61<y51;当交通方式为自行车时,设难度系数分别为y12、y22、y32、y42、y52、y62,并且1<y12<y32<y52<y22<y42<y62。
当交通方式为公共交通、步行时,不涉及成本系数和难度系数;
D4,根据用户所在位置和收到的其他用户拍摄的影像所包含的位置,按照驾驶机动车辆、自行车、公共交通、步行这四类可通行道路,生成导航路线;设路线中平坦道路、缓坡上坡路段、缓坡下坡路段、中坡上坡路段、中坡下坡路段、陡坡上坡路段、陡坡下坡路段的路程分别为J0、J1、J2、J3、J4、J5、J6;
①当选择驾驶机动车辆的交通方式,
按成本最低选择导航路线,计算方式为Z=min(J0+x1×J1+x2×J2+x3×J3+x4×J4+x5×J5+x6×J6);
按驾驶难度最低选择导航路线,选择机动车辆对应的难度系数,计算方式为V1=min(J0+y11×J1+y21×J2+y31×J3+y41×J4+y51×J5+y61×J6);
按路径最短选择导航路线,计算方式为M=min(J0+J1+J2+J3+J4+J5+J6);
②当选择自行车的交通方式,
按难度最低选择导航路线,选择自行车对应的难度系数,计算方式为V2=min(J0+y12×J1+y22×J2+y32×J3+y42×J4+y52×J5+y62×J6);
按路径最短选择导航路线,计算方式与D4中的①的按路径最短选择导航路线的方式相同;
③当选择公共交通的交通方式,
按路径最短选择导航路线,计算方式与D4中的①的按路径最短选择导航路线的方式相同;
④当选择公共交通的交通方式,
按路径最短选择导航路线,计算方式与D4中的①的按路径最短选择导航路线的方式相同。
步骤5,用户基于实景三维地图回溯所拍摄过的影像的相关数据,具体方式为:
E1,基于实景三维地图新增交互图层,在交互图层中只显示和分布具有关联影像数据的网格;
E2,将交互图层中的网格进行色彩填充,
①环境类影像数据最多的网格填充绿色;
②事件类影像数据最多的网格填充红色;
③社交类影像数据最多的网格填充黄色;
④健康类影像数据最多的网格填充橙色;
⑤情绪类影像数据最多的网格填充紫色;
E3,通过查看实景三维地图中的某填色网格开启影像回溯,影像回溯的方式分为五种,分别是位置变迁、人物成长、角色变化、健康趋势、情感历程:
①以位置变迁的方式回溯时,所有环境类影像按照从旧到新的规则依次复现,每份影像出现前,与之关联的填色网格在实景三维地图上闪烁t秒,0<t<1秒,同时播放轻柔自然的音乐,帮助用户回忆建筑发展情况和城乡变迁;
②以人物成长的方式回溯时,所有事件类影像按照从旧到新的规则依次复现,每份影像出现前,与之关联的填色网格在实景三维地图上闪烁t秒,0<t<1秒,同时播放激励人心的音乐,帮助用户回忆在不同事件中的成长和变化;
③以角色变化的方式回溯时,所有社交类影像按照从旧到新的规则依次复现,每份影像出现前,与之关联的填色网格在实景三维地图上闪烁t秒,0<t<1秒,同时播放明快活跃的音乐,帮助用户了解自己在社交圈子中的角色和影响力的变化;
④以健康趋势的方式回溯时,所有健康类影像按照从旧到新的规则依次复现,每份影像出现前,与之关联的填色网格在实景三维地图上闪烁t秒,0<t<1秒,同时生成健康趋势分析报告;
⑤以情感历程的方式回溯时,所有情绪类影像按照从旧到新的规则依次复现,每份影像出现前,与之关联的填色网格在实景三维地图上闪烁t秒,0<t<1秒,同时播放抒情的音乐,帮助用户回忆情绪状态和情感变化。
说明书中min[f(x)]算式是指取括号内式子计算出的最小的数值。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。
Claims (2)
1.一种基于拍摄和实景地图实现导航和时空回溯的***,其特征在于:
包括网格划分模块、信息关联模块、定位修正模块、导航模块、时空回溯模块;
所述网格划分模块将用户能够进行拍摄的三维空间划分为不重叠的网格,具体方式为:
A1,在建筑物内,以建筑物的房间为基本网格单元进行网格划分,网格的边界对齐到房间的边界,其编码形式是I+地址编码+房间编码,其中I代表建筑物内部的网格;地址编码精确到户室,形式为行政区划代码+街巷院落代码+建筑门楼代码+单元户室代码;房间编码由六位组成,前三位表示由南向北的房间次序,后三位表示由西向东的房间次序;
A2,在建筑物外,将街巷院落内的空间均分为多个三维网格,网格的编码形式是O+地址编码+网格排序编码,其中O代表建筑物外部的网格;地址编码精确到街巷院落,形式为行政区划代码+街巷院落代码;网格排序编码由九位组成,前三位表示由南向北的网格排列次序,中间三位表示由西向东的网格排列次序,末尾三位表示由下向上的网格排列次序;
所述信息关联模块用于将用户拍摄的影像与当时的时间、空间位置、环境、事件、社交、健康、情绪信息进行关联,具体方式为:
B1,影像生成时,记录终端获取的时间、空间位置、环境、健康数据,其中空间位置数据为影像所在的网格的编码;环境数据包括天气、温度、湿度数据;健康数据包括心率、血压、运动、睡眠、血氧饱和度、呼吸数据;
用户自主补充事件数据、社交数据,事件数据包括事件类型、参与人员,其中事件类型包括商业活动、庆典庆祝、文化活动、公益活动、日常生活、旅行探险、赛事活动、艺术活动、自然景观、灾害事件、事故事件,并可以自主创建其他事件类型;社交数据包括人物信息、人物关系;
情绪数据来源于以下四种形式的分析推断:
①根据用户使用的终端设备上收集的生理数据推断用户的情绪状态,包括心率、呼吸频率;
②根据用户在文本、社交媒体、聊天对话表达中的语言组织形式、词汇、表情符号推断用户的情绪;
③对用户在社交沟通中的语音进行分析,通过分析音调、语速、音量变化这些声音特征,推断出用户的情绪状态;
④对用户在视频社交中的面部表情进行分析,推断出用户的情绪状态;
B2,根据影像拍摄的目的进行归类:
①影像主要用来记录环境信息,归类为环境类影像;
②影像主要用来记录事件信息,归类为事件类影像;
③影像主要用来记录社交信息,归类为社交类影像;
④影像主要用来记录健康信息,归类为健康类影像;
⑤影像主要用来记录情绪信息,归类为情绪类影像;
所述定位修正模块用于辅助用户通过拍摄的影像在实景三维地图中实现定位修正,具体方式为:
C1,设移动终端的定位元件的定位误差为ΔR,用户拍摄的影像关联的原网格为Q;
C2,以网格Q的几何重心为球心,以距离球心≤ΔR的空间范围为对比空间,在对比空间范围内的网格、与对比空间有部分重叠空间的网格均归为待对比网格;
C3,根据现实世界中网格所对应的空间位置,在实景三维地图中找到每个待对比网格,在每个待对比网格的重心位置依次采集正上、正下、正东、正西、正北、正南这六个实景三维地图中的影像,将这些影像作为对比影像,对比影像的编码方式是所在网格编码+方位编码,方位编码的方式为:正上为U、正下为D、正东为E、正西为W、正北为N、正南为S;
C4,将用户拍摄的影像和对比影像进行对比分析,筛选出和用户拍摄影像重合度最高的对比影像P;
C5,当用户拍摄的影像所关联的网格编码和影像P所在网格的编码不同时,更换用户拍摄的影像所关联的网格编码,换成影像P所在网格的编码;
所述导航模块用于帮助用户通过接收其他用户发送所拍摄的影像,在实景三维地图中实现路线规划,具体方式为:
D1,设实景三维地图的道路的某段路线的起点的高程为H0,沿着道路某一方向前行,经过的路程为J,路程中的最高点的高程为Hi,当-0.5%≤[(Hi-H0)÷J]≤0.5%时,归类为平坦道路;当-3%≤[(Hi-H0)÷J]<-0.5%或0.5%<[(Hi-H0)÷J]≤3%时,归类为缓坡道路;当-6%≤[(Hi-H0)÷J]<-3%或3%<[(Hi-H0)÷J]≤6%时,归类为中坡道路;当[(Hi-H0)÷J]>6%或[(Hi-H0)÷J]<-6%时,归类为陡坡道路;
D2,以每类道路的终点作为新的起点,按照D1的分类方法继续分割路线,直至所有路线分割完成;
D3,对缓坡道路、中坡道路、陡坡道路进行细分,沿着道路某一方向前行,道路高程由低到高的道路为上坡路段,道路高程由高到低的道路为下坡路段;缓坡道路划分为缓坡上坡路段和缓坡下坡路段,中坡道路划分为中坡上坡路段和中坡下坡路段,陡坡道路划分为陡坡上坡路段和陡坡下坡路段;
设缓坡上坡路段、缓坡下坡路段、中坡上坡路段、中坡下坡路段、陡坡上坡路段、陡坡下坡路段的成本系数分别为x1、x2、x3、x4、x5、x6;当交通方式为驾驶机动车辆时,1<x2<x1<x4<x3<x6<x5;
设缓坡上坡路段、缓坡下坡路段、中坡上坡路段、中坡下坡路段、陡坡上坡路段、陡坡下坡路段的难度系数分别为y1、y2、y3、y4、y5、y6;当交通方式为驾驶机动车辆时,设难度系数分别为y11、y21、y31、y41、y51、y61,并且1<y21<y11<y41=y31<y61<y51;当交通方式为自行车时,设难度系数分别为y12、y22、y32、y42、y52、y62,并且1<y12<y32<y52<y22<y42<y62;
当交通方式为公共交通、步行时,不涉及成本系数和难度系数;
D4,根据用户所在位置和收到的其他用户拍摄的影像所包含的位置,按照驾驶机动车辆、自行车、公共交通、步行这四类可通行道路,生成导航路线;设路线中平坦道路、缓坡上坡路段、缓坡下坡路段、中坡上坡路段、中坡下坡路段、陡坡上坡路段、陡坡下坡路段的路程分别为J0、J1、J2、J3、J4、J5、J6;
①当选择驾驶机动车辆的交通方式,
按成本最低选择导航路线,计算方式为Z=min(J0+x1×J1+x2×J2+x3×J3+x4×J4+x5×J5+x6×J6);
按驾驶难度最低选择导航路线,选择机动车辆对应的难度系数,计算方式为V1=min(J0+y11×J1+y21×J2+y31×J3+y41×J4+y51×J5+y61×J6);
按路径最短选择导航路线,计算方式为M=min(J0+J1+J2+J3+J4+J5+J6);
②当选择自行车的交通方式,
按难度最低选择导航路线,选择自行车对应的难度系数,计算方式为V2=min(J0+y12×J1+y22×J2+y32×J3+y42×J4+y52×J5+y62×J6);
按路径最短选择导航路线,计算方式与D4中的①的按路径最短选择导航路线的方式相同;
③当选择公共交通的交通方式,
按路径最短选择导航路线,计算方式与D4中的①的按路径最短选择导航路线的方式相同;
④当选择公共交通的交通方式,
按路径最短选择导航路线,计算方式与D4中的①的按路径最短选择导航路线的方式相同;
所述时空回溯模块用于帮助用户基于实景三维地图回溯所拍摄过的影像的相关数据,具体方式为:
E1,基于实景三维地图新增交互图层,在交互图层中只显示和分布具有关联影像数据的网格;
E2,将交互图层中的网格进行色彩填充,
①环境类影像数据最多的网格填充绿色;
②事件类影像数据最多的网格填充红色;
③社交类影像数据最多的网格填充黄色;
④健康类影像数据最多的网格填充橙色;
⑤情绪类影像数据最多的网格填充紫色;
E3,通过查看实景三维地图中的某填色网格开启影像回溯,影像回溯的方式分为五种,分别是位置变迁、人物成长、角色变化、健康趋势、情感历程:
①以位置变迁的方式回溯时,所有环境类影像按照从旧到新的规则依次复现,每份影像出现前,与之关联的填色网格在实景三维地图上闪烁t秒,0<t<1秒,同时播放轻柔自然的音乐,帮助用户回忆建筑发展情况和城乡变迁;
②以人物成长的方式回溯时,所有事件类影像按照从旧到新的规则依次复现,每份影像出现前,与之关联的填色网格在实景三维地图上闪烁t秒,0<t<1秒,同时播放激励人心的音乐,帮助用户回忆在不同事件中的成长和变化;
③以角色变化的方式回溯时,所有社交类影像按照从旧到新的规则依次复现,每份影像出现前,与之关联的填色网格在实景三维地图上闪烁t秒,0<t<1秒,同时播放明快活跃的音乐,帮助用户了解自己在社交圈子中的角色和影响力的变化;
④以健康趋势的方式回溯时,所有健康类影像按照从旧到新的规则依次复现,每份影像出现前,与之关联的填色网格在实景三维地图上闪烁t秒,0<t<1秒,同时生成健康趋势分析报告;
⑤以情感历程的方式回溯时,所有情绪类影像按照从旧到新的规则依次复现,每份影像出现前,与之关联的填色网格在实景三维地图上闪烁t秒,0<t<1秒,同时播放抒情的音乐,帮助用户回忆情绪状态和情感变化。
2.一种基于拍摄和实景地图实现导航和时空回溯的方法,其特征在于:
步骤1,将用户能够进行拍摄的三维空间划分为不重叠的网格,具体方式为:
A1,在建筑物内,以建筑物的房间为基本网格单元进行网格划分,网格的边界对齐到房间的边界,其编码形式是I+地址编码+房间编码,其中I代表建筑物内部的网格;地址编码精确到户室,形式为行政区划代码+街巷院落代码+建筑门楼代码+单元户室代码;房间编码由六位组成,前三位表示由南向北的房间次序,后三位表示由西向东的房间次序;
A2,在建筑物外,将街巷院落内的空间均分为多个三维网格,网格的编码形式是O+地址编码+网格排序编码,其中O代表建筑物外部的网格;地址编码精确到街巷院落,形式为行政区划代码+街巷院落代码;网格排序编码由九位组成,前三位表示由南向北的网格排列次序,中间三位表示由西向东的网格排列次序,末尾三位表示由下向上的网格排列次序;
步骤2,将用户拍摄的影像与当时的时间、空间位置、环境、事件、社交、健康、情绪信息进行关联,具体方式为:
B1,影像生成时,记录终端获取的时间、空间位置、环境、健康数据,其中空间位置数据为影像所在的网格的编码;环境数据包括天气、温度、湿度数据;健康数据包括心率、血压、运动、睡眠、血氧饱和度、呼吸数据;
用户自主补充事件数据、社交数据,事件数据包括事件类型、参与人员,其中事件类型包括商业活动、庆典庆祝、文化活动、公益活动、日常生活、旅行探险、赛事活动、艺术活动、自然景观、灾害事件、事故事件,并可以自主创建其他事件类型;社交数据包括人物信息、人物关系;
情绪数据来源于以下四种形式的分析推断:
①根据用户使用的终端设备上收集的生理数据推断用户的情绪状态,包括心率、呼吸频率;
②根据用户在文本、社交媒体、聊天对话表达中的语言组织形式、词汇、表情符号推断用户的情绪;
③对用户在社交沟通中的语音进行分析,通过分析音调、语速、音量变化这些声音特征,推断出用户的情绪状态;
④对用户在视频社交中的面部表情进行分析,推断出用户的情绪状;
B2,根据影像拍摄的目的进行归类:
①影像主要用来记录环境信息,归类为环境类影像;
②影像主要用来记录事件信息,归类为事件类影像;
③影像主要用来记录社交信息,归类为社交类影像;
④影像主要用来记录健康信息,归类为健康类影像;
⑤影像主要用来记录情绪信息,归类为情绪类影像;
步骤3,用户通过拍摄的影像在实景三维地图中实现定位修正,具体方式为:
C1,设移动终端的定位元件的定位误差为ΔR,用户拍摄的影像关联的原网格为Q;
C2,以网格Q的几何重心为球心,以距离球心≤ΔR的空间范围为对比空间,在对比空间范围内的网格、与对比空间有部分重叠空间的网格均归为待对比网格;
C3,根据现实世界中网格所对应的空间位置,在实景三维地图中找到每个待对比网格,在每个待对比网格的重心位置依次采集正上、正下、正东、正西、正北、正南这六个实景三维地图中的影像,将这些影像作为对比影像,对比影像的编码方式是所在网格编码+方位编码,方位编码的方式为:正上为U、正下为D、正东为E、正西为W、正北为N、正南为S;
C4,将用户拍摄的影像和对比影像进行对比分析,筛选出和用户拍摄影像重合度最高的对比影像P;
C5,当用户拍摄的影像所关联的网格编码和影像P所在网格的编码不同时,更换用户拍摄的影像所关联的网格编码,换成影像P所在网格的编码;
步骤4,用户通过接收其他用户发送所拍摄的影像,在实景三维地图中实现路线规划,具体方式为:
D1,设实景三维地图的道路的某段路线的起点的高程为H0,沿着道路某一方向前行,经过的路程为J,路程中的最高点的高程为Hi,当-0.5%≤[(Hi-H0)÷J]≤0.5%时,归类为平坦道路;当-3%≤[(Hi-H0)÷J]<-0.5%或0.5%<[(Hi-H0)÷J]≤3%时,归类为缓坡道路;当-6%≤[(Hi-H0)÷J]<-3%或3%<[(Hi-H0)÷J]≤6%时,归类为中坡道路;当[(Hi-H0)÷J]>6%或[(Hi-H0)÷J]<-6%时,归类为陡坡道路;
D2,以每类道路的终点作为新的起点,按照D1的分类方法继续分割路线,直至所有路线分割完成;
D3,对缓坡道路、中坡道路、陡坡道路进行细分,沿着道路某一方向前行,道路高程由低到高的道路为上坡路段,道路高程由高到低的道路为下坡路段;缓坡道路划分为缓坡上坡路段和缓坡下坡路段,中坡道路划分为中坡上坡路段和中坡下坡路段,陡坡道路划分为陡坡上坡路段和陡坡下坡路段;
设缓坡上坡路段、缓坡下坡路段、中坡上坡路段、中坡下坡路段、陡坡上坡路段、陡坡下坡路段的成本系数分别为x1、x2、x3、x4、x5、x6;当交通方式为驾驶机动车辆时,1<x2<x1<x4<x3<x6<x5;
设缓坡上坡路段、缓坡下坡路段、中坡上坡路段、中坡下坡路段、陡坡上坡路段、陡坡下坡路段的难度系数分别为y1、y2、y3、y4、y5、y6;当交通方式为驾驶机动车辆时,设难度系数分别为y11、y21、y31、y41、y51、y61,并且1<y21<y11<y41=y31<y61<y51;当交通方式为自行车时,设难度系数分别为y12、y22、y32、y42、y52、y62,并且1<y12<y32<y52<y22<y42<y62;
当交通方式为公共交通、步行时,不涉及成本系数和难度系数;
D4,根据用户所在位置和收到的其他用户拍摄的影像所包含的位置,按照驾驶机动车辆、自行车、公共交通、步行这四类可通行道路,生成导航路线;设路线中平坦道路、缓坡上坡路段、缓坡下坡路段、中坡上坡路段、中坡下坡路段、陡坡上坡路段、陡坡下坡路段的路程分别为J0、J1、J2、J3、J4、J5、J6;
①当选择驾驶机动车辆的交通方式,
按成本最低选择导航路线,计算方式为Z=min(J0+x1×J1+x2×J2+x3×J3+x4×J4+x5×J5+x6×J6);
按驾驶难度最低选择导航路线,选择机动车辆对应的难度系数,计算方式为V1=min(J0+y11×J1+y21×J2+y31×J3+y41×J4+y51×J5+y61×J6);
按路径最短选择导航路线,计算方式为M=min(J0+J1+J2+J3+J4+J5+J6);
②当选择自行车的交通方式,
按难度最低选择导航路线,选择自行车对应的难度系数,计算方式为V2=min(J0+y12×J1+y22×J2+y32×J3+y42×J4+y52×J5+y62×J6);
按路径最短选择导航路线,计算方式与D4中的①的按路径最短选择导航路线的方式相同;
③当选择公共交通的交通方式,
按路径最短选择导航路线,计算方式与D4中的①的按路径最短选择导航路线的方式相同;
④当选择公共交通的交通方式,
按路径最短选择导航路线,计算方式与D4中的①的按路径最短选择导航路线的方式相同;
步骤5,用户基于实景三维地图回溯所拍摄过的影像的相关数据,具体方式为:
E1,基于实景三维地图新增交互图层,在交互图层中只显示和分布具有关联影像数据的网格;
E2,将交互图层中的网格进行色彩填充,
①环境类影像数据最多的网格填充绿色;
②事件类影像数据最多的网格填充红色;
③社交类影像数据最多的网格填充黄色;
④健康类影像数据最多的网格填充橙色;
⑤情绪类影像数据最多的网格填充紫色;
E3,通过查看实景三维地图中的某填色网格开启影像回溯,影像回溯的方式分为五种,分别是位置变迁、人物成长、角色变化、健康趋势、情感历程:
①以位置变迁的方式回溯时,所有环境类影像按照从旧到新的规则依次复现,每份影像出现前,与之关联的填色网格在实景三维地图上闪烁t秒,0<t<1秒,同时播放轻柔自然的音乐,帮助用户回忆建筑发展情况和城乡变迁;
②以人物成长的方式回溯时,所有事件类影像按照从旧到新的规则依次复现,每份影像出现前,与之关联的填色网格在实景三维地图上闪烁t秒,0<t<1秒,同时播放激励人心的音乐,帮助用户回忆在不同事件中的成长和变化;
③以角色变化的方式回溯时,所有社交类影像按照从旧到新的规则依次复现,每份影像出现前,与之关联的填色网格在实景三维地图上闪烁t秒,0<t<1秒,同时播放明快活跃的音乐,帮助用户了解自己在社交圈子中的角色和影响力的变化;
④以健康趋势的方式回溯时,所有健康类影像按照从旧到新的规则依次复现,每份影像出现前,与之关联的填色网格在实景三维地图上闪烁t秒,0<t<1秒,同时生成健康趋势分析报告;
⑤以情感历程的方式回溯时,所有情绪类影像按照从旧到新的规则依次复现,每份影像出现前,与之关联的填色网格在实景三维地图上闪烁t秒,0<t<1秒,同时播放抒情的音乐,帮助用户回忆情绪状态和情感变化。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410189446.7A CN117739995B (zh) | 2024-02-20 | 2024-02-20 | 基于拍摄和实景地图实现导航和时空回溯的***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410189446.7A CN117739995B (zh) | 2024-02-20 | 2024-02-20 | 基于拍摄和实景地图实现导航和时空回溯的***及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117739995A true CN117739995A (zh) | 2024-03-22 |
CN117739995B CN117739995B (zh) | 2024-06-21 |
Family
ID=90277787
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410189446.7A Active CN117739995B (zh) | 2024-02-20 | 2024-02-20 | 基于拍摄和实景地图实现导航和时空回溯的***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117739995B (zh) |
Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101231642A (zh) * | 2007-08-27 | 2008-07-30 | 中国测绘科学研究院 | 时空数据库管理方法及其*** |
CN101464154A (zh) * | 2007-12-21 | 2009-06-24 | 英业达股份有限公司 | 导航方法及应用其的导航装置 |
US20130073387A1 (en) * | 2011-09-15 | 2013-03-21 | Stephan HEATH | System and method for providing educational related social/geo/promo link promotional data sets for end user display of interactive ad links, promotions and sale of products, goods, and/or services integrated with 3d spatial geomapping, company and local information for selected worldwide locations and social networking |
CN105797349A (zh) * | 2016-03-17 | 2016-07-27 | 深圳市智游人科技有限公司 | 实景跑步装置、方法及*** |
CN106027936A (zh) * | 2016-07-19 | 2016-10-12 | 姚前 | 一种录像方法和装置 |
CN107590173A (zh) * | 2017-07-28 | 2018-01-16 | 武汉市测绘研究院 | 二维时空地理信息在线回溯及对比方法 |
CN109475294A (zh) * | 2016-05-06 | 2019-03-15 | 斯坦福大学托管董事会 | 用于治疗精神障碍的移动和可穿戴视频捕捉和反馈平台 |
CN109714563A (zh) * | 2017-10-25 | 2019-05-03 | 北京航天长峰科技工业集团有限公司 | 一种基于要害部位的全景监控*** |
CN110378293A (zh) * | 2019-07-22 | 2019-10-25 | 泰瑞数创科技(北京)有限公司 | 一种基于实景三维模型生产高精度地图的方法 |
CN110580269A (zh) * | 2019-09-06 | 2019-12-17 | 中科院合肥技术创新工程院 | 一种面向公共安全事件的时空数据动态演化图生成方法及其动态演化*** |
CN113283669A (zh) * | 2021-06-18 | 2021-08-20 | 南京大学 | 一种主动与被动相结合的智慧规划出行调研方法及*** |
CN113596400A (zh) * | 2021-07-28 | 2021-11-02 | 上海六梓科技有限公司 | 轨迹回溯的方法 |
CN113743772A (zh) * | 2021-09-01 | 2021-12-03 | 厦门精图信息技术有限公司 | 基于KingMap GIS的智慧城市管理方法、***及设备 |
CN114937210A (zh) * | 2022-06-21 | 2022-08-23 | 西安瑞特森信息科技有限公司 | 一种林区自然资源多期影像数据对比分析方法 |
CN115481212A (zh) * | 2022-09-26 | 2022-12-16 | 福州市勘测院有限公司 | 一种顾及逻辑幢的建筑物时空编码方法 |
CN115543964A (zh) * | 2022-10-20 | 2022-12-30 | 北斗伏羲中科数码合肥有限公司 | 基于时空网格的空间对象历史回溯方法及装置 |
CN116561085A (zh) * | 2022-01-28 | 2023-08-08 | 华为技术有限公司 | 图片分享方法和电子设备 |
CN116989820A (zh) * | 2023-09-27 | 2023-11-03 | 厦门精图信息技术有限公司 | 一种智能导航***及方法 |
-
2024
- 2024-02-20 CN CN202410189446.7A patent/CN117739995B/zh active Active
Patent Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101231642A (zh) * | 2007-08-27 | 2008-07-30 | 中国测绘科学研究院 | 时空数据库管理方法及其*** |
CN101464154A (zh) * | 2007-12-21 | 2009-06-24 | 英业达股份有限公司 | 导航方法及应用其的导航装置 |
US20130073387A1 (en) * | 2011-09-15 | 2013-03-21 | Stephan HEATH | System and method for providing educational related social/geo/promo link promotional data sets for end user display of interactive ad links, promotions and sale of products, goods, and/or services integrated with 3d spatial geomapping, company and local information for selected worldwide locations and social networking |
CN105797349A (zh) * | 2016-03-17 | 2016-07-27 | 深圳市智游人科技有限公司 | 实景跑步装置、方法及*** |
CN109475294A (zh) * | 2016-05-06 | 2019-03-15 | 斯坦福大学托管董事会 | 用于治疗精神障碍的移动和可穿戴视频捕捉和反馈平台 |
CN106027936A (zh) * | 2016-07-19 | 2016-10-12 | 姚前 | 一种录像方法和装置 |
CN107590173A (zh) * | 2017-07-28 | 2018-01-16 | 武汉市测绘研究院 | 二维时空地理信息在线回溯及对比方法 |
CN109714563A (zh) * | 2017-10-25 | 2019-05-03 | 北京航天长峰科技工业集团有限公司 | 一种基于要害部位的全景监控*** |
CN110378293A (zh) * | 2019-07-22 | 2019-10-25 | 泰瑞数创科技(北京)有限公司 | 一种基于实景三维模型生产高精度地图的方法 |
CN110580269A (zh) * | 2019-09-06 | 2019-12-17 | 中科院合肥技术创新工程院 | 一种面向公共安全事件的时空数据动态演化图生成方法及其动态演化*** |
CN113283669A (zh) * | 2021-06-18 | 2021-08-20 | 南京大学 | 一种主动与被动相结合的智慧规划出行调研方法及*** |
CN113596400A (zh) * | 2021-07-28 | 2021-11-02 | 上海六梓科技有限公司 | 轨迹回溯的方法 |
CN113743772A (zh) * | 2021-09-01 | 2021-12-03 | 厦门精图信息技术有限公司 | 基于KingMap GIS的智慧城市管理方法、***及设备 |
CN116561085A (zh) * | 2022-01-28 | 2023-08-08 | 华为技术有限公司 | 图片分享方法和电子设备 |
CN114937210A (zh) * | 2022-06-21 | 2022-08-23 | 西安瑞特森信息科技有限公司 | 一种林区自然资源多期影像数据对比分析方法 |
CN115481212A (zh) * | 2022-09-26 | 2022-12-16 | 福州市勘测院有限公司 | 一种顾及逻辑幢的建筑物时空编码方法 |
CN115543964A (zh) * | 2022-10-20 | 2022-12-30 | 北斗伏羲中科数码合肥有限公司 | 基于时空网格的空间对象历史回溯方法及装置 |
CN116989820A (zh) * | 2023-09-27 | 2023-11-03 | 厦门精图信息技术有限公司 | 一种智能导航***及方法 |
Non-Patent Citations (4)
Title |
---|
CHANG-HYEON JOH等: "A Position-Sensitive Sequence-Alignment Method Illustrated for Space–Time Activity-Diary Data", 《ENVIRONMENT AND PLANNING A: ECONOMY AND SPACE》, vol. 33, no. 2, 28 February 2001 (2001-02-28), pages 313 - 338 * |
PEIZHONG YANG等: "SCPM-CR: A Novel Method for Spatial Co-location Pattern Mining with Coupling Relation Consideration", 《2022 IEEE 38TH INTERNATIONAL CONFERENCE ON DATA ENGINEERING (ICDE)》, 2 August 2022 (2022-08-02), pages 1503 - 1504 * |
张鹏程等: "智慧广州时空云平台接口即服务的设计与实现", 《测绘与空间地理信息》, vol. 42, no. 5, 31 May 2019 (2019-05-31), pages 1 - 3 * |
方梦静;郑钰旦;夏兆煊;晏海;邵锋;: "基于微博大数据的游客情感时空变化特征――以杭州西溪国家湿地公园为例", 《西南大学学报(自然科学版)》, vol. 42, no. 3, 20 March 2020 (2020-03-20), pages 156 - 164 * |
Also Published As
Publication number | Publication date |
---|---|
CN117739995B (zh) | 2024-06-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108829852B (zh) | 一种个性化旅游路线推荐方法 | |
Gartner | Location-based mobile pedestrian navigation services-the role of multimedia cartography | |
Butler | Memoryscape: How audio walks can deepen our sense of place by integrating art, oral history and cultural geography | |
US20050192025A1 (en) | Method and apparatus for an interactive tour-guide system | |
CN109636679A (zh) | 一种基于人工智能的交互式旅游行程规划方法 | |
CN106225799A (zh) | 旅游信息动态导航***及方法 | |
CA2666535A1 (en) | Method, system and computer program for detecting and monitoring human activity utilizing location data | |
CN103906993A (zh) | 用于基于感兴趣点(poi)信息构造道路网络的方法和设备 | |
Lin et al. | Exploring virtual geographic environments | |
CN107270922A (zh) | 一种基于poi索引的交通事故空间定位方法 | |
CN102003963B (zh) | 一种终端设备中显示中心导航路线的方法 | |
US20210173415A1 (en) | Method and apparatus for providing dynamic obstacle data for a collision probability map | |
Neuhaus | Emergent spatio-temporal dimensions of the city | |
CN116664346A (zh) | 一种基于行动轨迹的景区运营管理***及方法 | |
CN106897382A (zh) | 适应性车载内容服务***和装置及其方法 | |
Speed | Developing a sense of place with locative media: An “Underview Effect” | |
CN117739995B (zh) | 基于拍摄和实景地图实现导航和时空回溯的***及方法 | |
CN110532464B (zh) | 一种基于多旅游上下文建模的旅游推荐方法 | |
CN111367902A (zh) | 一种基于od数据的轨迹可视分析方法 | |
Linturi et al. | Helsinki Arena 2000-Augmenting a real city to a virtual one | |
US20220100796A1 (en) | Method, apparatus, and system for mapping conversation and audio data to locations | |
CN107860385A (zh) | 室内导航服务的提供方法及装置、服务器设备及可读介质 | |
Benita et al. | 3D-4D visualisation of IoT data from Singapore’s National Science Experiment | |
Fonseca et al. | The EXPO’98 CD-ROM: a multimedia system for environmental exploration | |
CN102235868B (zh) | 操作导航***以提供路线指引的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |