CN115063653A - 基于图像脑敏感数据的建成环境主导色测度方法和*** - Google Patents
基于图像脑敏感数据的建成环境主导色测度方法和*** Download PDFInfo
- Publication number
- CN115063653A CN115063653A CN202210896092.0A CN202210896092A CN115063653A CN 115063653 A CN115063653 A CN 115063653A CN 202210896092 A CN202210896092 A CN 202210896092A CN 115063653 A CN115063653 A CN 115063653A
- Authority
- CN
- China
- Prior art keywords
- color
- environment
- dominant color
- image
- dominant
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 210000004556 brain Anatomy 0.000 title claims abstract description 46
- 230000035945 sensitivity Effects 0.000 claims abstract description 101
- 238000005259 measurement Methods 0.000 claims abstract description 45
- 238000012549 training Methods 0.000 claims abstract description 37
- 239000003086 colorant Substances 0.000 claims abstract description 13
- 230000007613 environmental effect Effects 0.000 claims description 32
- 238000000605 extraction Methods 0.000 claims description 24
- 230000011218 segmentation Effects 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000010606 normalization Methods 0.000 claims description 13
- 238000003066 decision tree Methods 0.000 claims description 12
- 238000001228 spectrum Methods 0.000 claims description 10
- 230000007480 spreading Effects 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 238000013441 quality evaluation Methods 0.000 claims description 5
- 230000000638 stimulation Effects 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 210000000869 occipital lobe Anatomy 0.000 claims description 3
- 238000011158 quantitative evaluation Methods 0.000 claims description 3
- 230000003595 spectral effect Effects 0.000 claims description 3
- 238000004737 colorimetric analysis Methods 0.000 claims description 2
- 238000012417 linear regression Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 10
- 238000012854 evaluation process Methods 0.000 abstract description 4
- 238000011156 evaluation Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 8
- 238000013461 design Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000002790 cross-validation Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013077 scoring method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000004070 electrodeposition Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000012880 independent component analysis Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供基于图像脑敏感数据的建成环境主导色测度方法和***,涉及城市品质测度领域。该基于图像脑敏感数据的建成环境主导色测度方法,包括获取建成环境图像样本对应脑电数据;基于脑电数据计算环境主导色的敏感度;根据建成环境图像样本提取主导色特征参数;搭建建成环境主导色测度模型,将敏感度数据和主导色特征作为输入进行训练;将待分析的环境图像输入到训练好的模型中,得到预测的主导色敏感度结果,解决了对融合图像色彩特征与环境品质的非线性模型预测的效果和传统环境图像评价过程繁琐,整体流程周期过长,导致无法同步地对主导色信息进行反馈、影响环境主导色品质预测的精度和效率的问题。
Description
技术领域
本发明涉及城市品质测度技术领域,具体为基于图像脑敏感数据的建成环境主导色测度方法和***。
背景技术
建成环境主导色是环境品质的重要内容,通常能够有效地揭示建成环境的秩序和功能,被认为是区域定位和空间组织的关键线索,对环境提质增效有着重要作用。由于环境主导色自身具备的易感性和可识别性等特质,环境主导色可以有效运用于城市品质测度任务上,例如,在城市更新保护方面中,通过优化建成环境的主导色系,测量并改善杂乱的城市色彩现状,以此达到较为统一协调的老城主导色风貌;在环境规划设计方面,通过环境主导色品质测度建立环境标准色,及时调整色彩设计问题,提升建成环境的规划管理水平。
近年来,为提高环境主导色对于环境品质的评估效果,越来越多的学者将图像数据与主导色预测联系起来。相关知识产权成果有:例如专利申请号为CN202110987218.0的一种基于色彩分布学习的街景图像评分方法,通过图像语义分割、图像实体色彩值计算、实体混合色评估、标签数据训练基于机器学习和色彩分布的街景图像评分方法;例如专利申请号为CN202110893036.7的一种城市街区建筑色彩和谐度评估方法与装置,通过建筑照片样本获取、照片取色分析、色彩区域划分、美景度评价的城市街区建筑色彩和谐度评估方法;例如专利申请号为CN201910833403.7的一种基于人工智算法的城市景观评价指标计算方法通过建立影响因子权重、采集城市评价图片集、景观色彩丰富度评分、因子目标评价函数计算的色彩景观评价指标计算方法。尽管基于图像数据的环境主导色测度方法研究已取得一定进展,但对融合多维度图像主导色特征与环境品质的非线性模型预测效果问题仍需进一步解决。与此同时,传统环境图像评价过程繁琐,整体流程周期过长,人工识别环境主导色品质成本较高,导致无法同步地对主导色信息进行反馈、影响环境主导色品质预测的精度和效率。
因此,现有技术方法在进行环境主导色测度分析时,具有基础数据处理分析主观性、随机性,测度模型运行效率、精度及全局性等不足,难以支撑复杂的建成环境主导色测度研究、深入指导建成环境景观主导色品质解析,一种结合图像脑敏感数据进行的建成环境主导色测度方法亟待优化发展并实践应用,有助于实现建成环境主导色与环境品质测度的精确、多维度、整体分析,进而推动城市品质的提质增效。
发明内容
(一)解决的技术问题
针对现有技术的不足,本发明提供了基于图像脑敏感数据的建成环境主导色测度方法和***,解决了对融合多维度的图像色彩特征与环境品质的非线性模型预测的效果和传统环境图像评价过程繁琐,整体流程周期过长,导致无法同步地对主导色信息进行反馈、影响环境主导色品质预测的精度和效率的问题。
(二)技术方案
为实现以上目的,本发明通过以下技术方案予以实现:
一方面,提供了一种基于图像脑敏感数据的建成环境主导色测度方法,所述方法包括:
获取建成环境图像样本对应脑电数据;
基于脑电数据计算环境主导色的敏感度;
根据建成环境图像样本提取主导色特征参数;
搭建建成环境主导色测度模型,将敏感度数据和主导色特征作为输入进行训练;
将待分析的环境图像输入到训练好的模型中,得到预测的主导色敏感度结果。
优选的,所述获取建成环境图像样本对应脑电数据包括对J位被试者在相同的实验室环境下进行I张建成环境图像样本脑电数据采集,得到I*J组脑电数据,每一组数据的数据量均为n(d),其中,d是每组数据的主导色特征维度,n是单次采集的脑电数据样本数量。
优选的,所述基于脑电数据计算环境主导色的敏感度机体的具体步骤包括:
选取枕叶区域O1、OZ、O2、POZ、PO3、PO4、PO7、PO8八个导联对于建成环境图像样本刺激的前后3秒脑电信号;
通过原始脑电数据获取样本视觉刺激数据的差异波;
对每一导脑电信号做短时傅里叶变换,分别提取预处理后脑电数据的α频带8~13Hz、β频带14~41Hz、θ频带4~8Hz功率谱密度;
根据α频带、β频带、θ频带的平均相对功率谱计算脑电敏感度指数,从而得到图像样本建成环境主导色敏感度,计算过程如下:
其中,EFT表示脑电敏感度指数,1≤k≤8,表示所述的八个导联;Pθ(k)、Pα(k)、Pβ(k)分别是导联α、β、θ频带的平均相对功率谱;
针对被试者个体差异的影响,对脑敏感度指数进行无量纲处理,具体为:
其中,Zj(i)表示第j个被试者对第i张图像样本无量纲处理后的脑敏感度,n表示图像样本的数量;
建成环境主导色敏感度数值如下:
优选的,所述根据建成环境图像样本提取主导色特征参数的步骤具体包括:
将样本图像{i1,i2,...,im}进行数据维度转换,令图像缩放后的尺寸设为1024×600像素;
对图像进行色彩识别与分割,输出颜色簇划D={d1,d2,...,dk},具体为:
其中,S表示各个颜色簇畸变程度之和,Q(n)表示该像素的颜色值,N表示颜色簇的像素数目,n表示环境图像像素点的坐标,dk表示第k类颜色的质心,K表示颜色簇数,rnk为二分量,用于判断Q(n)是否属于第k类颜色,Tk表示第k个颜色簇的像素数目;
根据图像样本色彩提取结果,获取与图像颜色簇关联的所有颜色名称,计算图像样本第{k1,k2,...,kj}个颜色类别的饱和度、明度、亮度、通道以及颜色簇色块的面积和周长;颜色簇色块的边界由像素颜色的平均值计算得到,并经过适度平滑,避免因简化边界造成的测算误差;
构造环境主导色特征特征参数,包括色相比例、饱和度比例、明度比例、最大颜色簇面积、颜色簇面积复杂度、颜色簇多样性、颜色簇分割度和相似颜色簇蔓延度;
对环境主导色特征进行min-max归一化处理,具体为:
其中,Hstd表示归一化前的特征值,Hint表示归一化后所述特征值的结果。
优选的,所述搭建建成环境主导色测度模型,将敏感度数据和主导色特征作为输入进行训练的具体步骤包括:
将建成环境图像及其脑敏感数据转化为若干建成环境序列样本,使用XGBoost决策树算法搭建建成环境主导色测度模型,将75%建成环境样本数据进行训练,其余作为测试集;
利用串联拼接方法融合所述8个维度的环境主导色特征,得到总体环境主导色特征Hall;
将敏感度数据和主导色特征参数输入建成环境主导色测度模型,具体为:
Z={(Hi,yi)|i=1,2,...,n}
其中,Hi表示第i张图像样本的总体环境主导色特征,yi表示该图像样本的主导色敏感度数值,n表示图像样本的数量;
对输入特征参数进行Kaiser-Meyer-Olkin检验和Bartlett球面判断。
优选的,所述将待分析的环境图像输入到训练好的模型中,得到预测的主导色敏感度结果的步骤具体包括:
将色相比例(HS)、饱和度比例(BS)、明度比例(VS)、最大颜色簇面积(MCA)、颜色簇面积复杂度(NPC)、颜色簇多样性(CDS)、颜色簇分割度(DPC)和相似颜色簇蔓延度(IPS)作为影响指标得到关于建成环境主导色预测的非线性回归模型为:
为达到最终训练的权重更加平滑,以避免过拟合现象,采用的损失函数为:
其中,表示所述模型回归树所有预测参数与真实参数之差的集合,表示测量预测参数与目标参数之差,表示正则项优化函数,以避免过拟合,T表示所述回归树的叶子结点数,ω表示每个叶子结点的得分,η和ρ表示需要调参的系数;
计算所述模型的主导色特征重要性分数,具体为:
其中,表示所述序列样本第i个主导色特征值的平均数,分别表示所有阳性样本和阴性样本特征值的平均数,r表示第i个环境主导色特征对应的实例;F(i)越大,表示所述特征对主导色敏感度的影响较大,由此可以筛选重点景观色彩特征,综合建立环境主导色量化体系,以此提环境规划设计品质;
计算所述模型的主导色特征权重,并根据特征权重进行环境主导色品质评估,具体处理过程如下:
环境主导色品质分数计算公式为:
Hquality=n·w1H1+5·w2H2+4·w3H3+w4H4+w5H5++w6H6+w7H7+w8H8
其中,n表示颜色簇的色相总数,w表示主导色特征的权重值,H表示主导色特征的参变量,将Hquality归一化得到最终的环境主导色品质分数。
又一方面,提供了一种基于图像脑敏感数据的建成环境主导色测度***,所述***包括:
数据采集处理模块,用于获取若干建成环境图像对应的脑电数据,转化为若干建成环境图像序列样本;
脑敏感度提取模块,用于从所述脑电数据中提取脑敏感度指数,得到建成环境主导色的敏感度数值;
主导色特征提取模块,用于从所述图像样本中进行图像色彩识别与分割,得到图像颜色簇和主导色特征参数;
环境主导色测度模型训练模块,用于搭建建成环境主导色测度模型,将敏感度数据和主导色特征参数输入,利用XGBoost决策树算法进行训练;
特征重要性识别模块,用于识别重要主导色特征,根据环境主导色特征选择表,建立综合环境主导色测度体系;
品质量化评估模块,用于建成环境测度方法应用,根据主导色特征权重进行环境主导色品质评估。
优选的,所述脑敏感度提取模块具体包括:
脑电信号预处理单元,用于对原始脑电数据进行过滤和伪像矫正,并将幅值在10μV-100μV区间范围以外的数据作为坏导剔除,根据图像样本进行重分类与叠加平均;
脑电频带提取单元,用于提取八个导联的α频带、β频带、θ频带的平均相对功率谱;
敏感度指数计算单元,用于从脑电特征中计算脑敏感度指数;
主导色敏感度获取单元,用于得到建成环境主导色的敏感度数值,作为环境主导色测度模型的训练数据。
所述主导色特征提取模块体包括:
样本图像处理单元,用于将所述图像序列样本进行数据维度转换;
颜色簇提取单元,用于将所述图像序列样本进行色彩识别与分割,得到图像样本的饱和度、明度、亮度、通道以及颜色簇色块的面积和周长;
主导色特征选择单元,用于构造环境主导色特征,包括色相比例、饱和度比例、明度比例、最大颜色簇面积、颜色簇面积复杂度、颜色簇多样性、颜色簇分割度和相似颜色簇蔓延度;
特征参数计算单元,用于分别计算各主导色特征的参变量;
归一化单元,用于主导色特征能够编码为建成环境主导色测度模型的输入特征,使得环境主导色特征参数落在[0,1]区间内。
所述环境主导色测度模型训练模块具体包括:
环境主导色测度模型构建单元,利用XGBoost决策树算法建立对于环境主导色敏感度和主导色特征的测度模型;
特征融合单元,用于加速训练过程;
环境主导色测度模型训练单元,用于训练以环境主导色特征为影响指标的非线性回归模型;
环境主导色敏感度预测单元,用于将待预测的建成环境图像数据输入训练好的环境主导色测度模型,得到预测的建成环境主导色敏感度。
(三)有益效果
本发明基于图像脑敏感数据的建成环境主导色测度方法和***,从而有效的解决了对融合图像色彩特征与环境品质的非线性模型预测的效果和传统环境图像评价过程繁琐,整体流程周期过长,导致无法同步地对主导色信息进行反馈、影响环境主导色品质预测的精度和效率的问题。
附图说明
图1为本发明基于图像脑敏感数据的建成环境主导色测度方法流程图;
图2为本发明实施例的大脑视觉区域和枕叶区域采集导联电极示意图;
图3为本发明实施例的建成环境图像样本脑敏感度分布图;
图4为本发明实施例的XGBoost决策树方法路线图;
图5为本发明实施例的建成环境主导色测度模型的预测结果示意图;
图6为本发明实施例测度模型的预测环境敏感度与实际环境敏感度的拟合曲线图。
具体实施方式
下面将结合本发明的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
如图1所示,本实施例提供一种基于图像脑敏感数据的建成环境主导色测度方法,该方法具体包括:
获取建成环境图像样本对应脑电数据。对J位被试者在相同的实验室环境下进行I张建成环境图像样本脑电数据采集,得到I*J组脑电数据,每一组数据的数据量均为n(d),其中,d是每组数据的主导色特征维度,n是单次采集的脑电数据样本数量。
本实施例中,所有被试者按照年龄及性别比例进行选择,其生理与心理状态均为健康、生活环境类似,并签署知情同意书。利用E-Prime实验操作***搭建视觉刺激呈现和脑电数据收集***,每张环境图像显示时长3s并播放三轮,实时采集被试者的原始脑电信号。
基于脑电数据计算环境主导色的敏感度,该步骤具体包括:
选取枕叶区域O1、OZ、O2、POZ、PO3、PO4、PO7、PO8八个导联(如图2所示)对于建成环境图像样本刺激的前后3秒脑电信号,该区域导联的脑电信号能较好反映环境色彩的视觉信息;
为了提高脑电特征提取速度,减少冗余计算,通过原始脑电数据进行电极定位、滤波、独立成分分析、伪迹去除、基线校准和重分类处理,求得样本视觉刺激数据的差异波,差异波幅值大小代表了该图像样本对人的脑敏感度影响力;
对每一导脑电信号做短时傅里叶变换,采用汉宁窗进行窗处理,分别提取预处理后脑电数据的α频带(8~13Hz)、β频带(14~41Hz)、θ频带(4~8Hz)功率谱密度;
根据α频带、β频带、θ频带的平均相对功率谱计算脑电敏感度指数(FTG),从而得到图像样本建成环境主导色敏感度(ATD),计算过程如下:
式中,EFT表示脑电敏感度指数,1≤k≤8,表示所述的八个导联;Pθ(k)、Pα(k)、Pβ(k)分别是导联α、β、θ频带的平均相对功率谱;
针对到被试者个体差异的影响,对脑敏感度指数进行无量纲处理,具体为:
式中,Zj(i)表示第j位被试者对第i张图像样本无量纲处理后的脑敏感度,n表示图像样本的数量;
建成环境主导色敏感度数值如下:
主导色敏感度用以测量建成环境主导色品质,当敏感度数值EAT≥60,认定主导色敏感度的影响力较强;当40≤EAT<60,认定主导色敏感度的影响力中等;0<EAT<40认定主导色敏感度的影响力较弱。
实施例中,原始脑电数据的预处理和频带提取采用eego mylab的asa分析软件包,该软件具有较高的脑电过滤和伪像矫正速度,通过导入所需导联电极位,采用平均电极参考,将幅值在10μV-100μV区间范围以外的数据作为坏导剔除,去除眼电、肌电的伪迹干扰,根据图像样本进行重分类与叠加平均,进而对其幅度和相位进行分析,抓取其中的α频带、β频带、θ频带平均相对功率谱,最终得到建成环境图像样本的主导色敏感度数值(如图3所示)。
根据建成环境图像样本提取主导色特征参数,该步骤具体包括:
将样本图像{i1,i2,...,im}进行数据维度转换,令图像缩放后的尺寸设为1024×600像素;
对图像进行色彩识别与分割,输出颜色簇划D={d1,d2,...,dk},具体为:
式中,S表示各个颜色簇畸变程度之和,Q(n)表示该像素的颜色值,N表示颜色簇的像素数目,n表示环境图像像素点的坐标,dk表示第k类颜色的质心,K表示颜色簇数,rnk为二分量,用于判断Q(n)是否属于第k类颜色,Tk表示第k个颜色簇的像素数目;
根据图像样本色彩提取结果,获取与图像颜色簇关联的所有颜色名称,计算图像样本第{k1,k2,...,kj}个颜色类别的饱和度、明度、亮度、通道以及颜色簇色块的面积和周长;颜色簇色块的边界由像素颜色的平均值计算得到,并经过适度平滑,避免因简化边界造成的测算误差;
构造环境主导色特征特征参数(表1),包括色相比例、饱和度比例、明度比例、最大颜色簇面积、颜色簇面积复杂度、颜色簇多样性、颜色簇分割度和相似颜色簇蔓延度。
表1:环境主导色特征选择
对环境主导色特征进行min-max归一化处理,具体为:
其中,Hstd表示归一化前的特征值,Hint表示归一化后所述特征值的结果。
本实施例中,令K取[4,6],得到接近人们视觉空间的颜色簇(如图3所示)即图像样本的主导色,利用误差平方和(SSE)作为评价指标,SSE值越小表示数据点越接近于颜色簇的质心,即样本色彩的提取效果越好。颜色簇饱和度和明度的计算采用OpenCV自带的开源直方图估算器cv2.calcHist;颜色簇像素色块的面积和周长采用Canny边缘检测器,从而计算出每张图像的环境主导色特征参变量。通过归一化处理使得环境主导色特征参数均落在[0,1]区间内,能够编码为建成环境主导色测度模型的输入特征。
搭建建成环境主导色测度模型,将敏感度数据和主导色特征作为输入进行训练,该步骤具体包括:
将建成环境图像及其脑敏感数据转化为若干建成环境序列样本,使用XGBoost决策树算法搭建建成环境主导色测度模型(如图5所示),将75%建成环境样本数据进行训练,其余作为测试集;
利用串联拼接(Concat)方法融合8个维度的环境主导色特征,得到总体环境主导色特征Hall;
将敏感度数据和主导色特征参数输入建成环境主导色测度模型,具体为:
Z={(Hi,yi)|i=1,2,...,n}
其中,Hi表示第i张图像样本的总体环境主导色特征,yi表示该图像样本的主导色敏感度数值,n表示图像样本的数量;
对输入特征参数进行Kaiser-Meyer-Olkin检验和Bartlett球面判断,若数据结果KMO值>0.5,同时Bartlett球度检验概率P值<0.05,则可进行主导色测度模型参数设置。
本实施例训练建成环境主导色测度模型时,利用随机搜索算法对决策树算法进行参数寻优,网络参数设置值如表2所示,进而根据模型评估指标进行超参数优化,并利用K-fold交叉验证、决定系数(R2)、平均绝对误差(MAE)和均方根误差(RMSE)进一步进行模型评估(表3),其中R2越大表明模型的效果越好,MAE、RMSE的值越小表明模型预测越准确。
为控制迭代速率,防止过拟合,利用参数learning_rate以控制迭代速率,同时采用LightGBM算法在保证精确度的前提下加速训练过程。
表2:XGBoost决策树算法参数设置
表3:K-fold交叉验证下建成环境主导色测度模型性能评估结果
将待分析的环境图像输入到训练好的模型中,得到预测的主导色敏感度结果,该步骤具体包括:
将相比例(HS)、饱和度比例(BS)、明度比例(VS)、最大颜色簇面积(MCA)、颜色簇面积复杂度(NPC)、颜色簇多样性(CDS)、颜色簇分割度(DPC)和相似颜色簇蔓延度(IPS)作为影响指标得到关于建成环境主导色预测的非线性回归模型为:
为达到最终训练的权重更加平滑,以避免过拟合现象,采用的损失函数为:
式中,表示所述模型回归树所有预测参数与真实参数之差的集合,表示测量预测参数与目标参数之差,表示正则项优化函数,以避免过拟合,T表示所述回归树的叶子结点数,ω表示每个叶子结点的得分,η和ρ表示需要调参的系数;
本实施例中,当融合环境主导色特征时,可以将任一种特征的预测评价结果和多个样本图像主导色敏感度评价结果中输入预设的损失函数,得到环境主导色融合特征的预测结果和评价结果的误差,该误差即为预设的损失函数的输出,从而判断训练模型是否收敛。
计算模型的主导色特征重要性分数,具体为:
式中,表示所述样本第i个主导色特征值的平均数,分别表示所有阳性样本和阴性样本特征值的平均数,r表示第i个环境主导色特征对应的实例;F(i)越大,表示特征对主导色敏感度的影响较大,由此可以筛选重点景观色彩特征,综合建立环境主导色量化体系,以此提环境规划设计品质。
计算模型的主导色特征权重,并根据特征权重进行环境主导色品质评估,具体处理过程如下:
环境主导色品质分数计算过程如下所示:
Hquality=n·w1H1+5·w2H2+4·w3H3+w4H4+w5H5++w6H6+w7H7+w8H8
其中,n表示颜色簇的色相总数,w表示主导色特征的权重值,H表示主导色特征的参变量,将Hquality归一化得到最终的环境主导色品质分数。
本实施例中,根据模型计算色彩特征重要性分数,其中最大颜色簇面积、颜色簇分割度、色相比例、颜色簇多样性、相似颜色簇蔓延度、饱和度比例、明度比例、颜色簇形状复杂度的分数依次为8486.848、4135.527、3665.604、1270.764、764.674、474.965、440.531、205.862(表4)。因此,结合图5和图6中的分析结果得出,在景观色彩规划设计时,应重点考虑景观色彩的最大颜色簇面积、颜色簇分割度、色相比例以及颜色簇多样性。建成环境样本的部分预测结果如图6所示,其中9.28%的建成环境图像样本的主导色敏感度(ATD)≥70,78%的图像样本的主导色敏感度(ATD)≥40,均可被认为是获得一定关注的景观。在这样的情况下则基于主导色敏感度的高低(主导色敏感度越大说明配色效果越容易引起人们的关注和兴趣),由此选出其中相对敏感度低的景观进行更新设计。
表4:环境主导色特征权重及重要性分布
实施例二
本实施例,提供了一种基于图像脑敏感数据的建成环境主导色测度***,该***包括:
数据采集处理模块,用于获取若干建成环境图像对应的脑电数据,转化为若干建成环境图像序列样本;
脑敏感度提取模块,用于从脑电数据中提取脑敏感度指数,得到建成环境主导色的敏感度数值;
主导色特征提取模块,用于从图像样本中进行图像色彩识别与分割,得到图像颜色簇和主导色特征参数;
环境主导色测度模型训练模块,用于搭建建成环境主导色测度模型,将敏感度数据和主导色特征参数输入,利用XGBoost决策树算法进行训练;
特征重要性识别模块,用于识别重要主导色特征,根据环境主导色特征选择表,建立综合环境主导色测度体系;
品质量化评估模块,用于建成环境测度方法应用,根据主导色特征权重进行环境主导色品质评估。
脑敏感度提取模块具体包括:
脑电信号预处理单元,用于对原始脑电数据进行过滤和伪像矫正,并将幅值在10μV-100μV区间范围以外的数据作为坏导剔除,根据图像样本进行重分类与叠加平均;
脑电频带提取单元,用于提取八个导联的α频带、β频带、θ频带的平均相对功率谱;
敏感度指数计算单元,用于从脑电特征中计算脑敏感度指数;
主导色敏感度获取单元,用于得到建成环境主导色的敏感度数值,作为环境主导色测度模型的训练数据。
主导色特征提取模块体包括:
样本图像处理单元,用于将图像序列样本进行数据维度转换;
颜色簇提取单元,用于将图像序列样本进行色彩识别与分割,得到图像样本的饱和度、明度、亮度、通道以及颜色簇色块的面积和周长;
主导色特征选择单元,用于构造环境主导色特征,包括色相比例、饱和度比例、明度比例、最大颜色簇面积、颜色簇面积复杂度、颜色簇多样性、颜色簇分割度和相似颜色簇蔓延度;
特征参数计算单元,用于分别计算各主导色特征的参变量;
归一化单元,用于主导色特征能够编码为建成环境主导色测度模型的输入特征,使得环境主导色特征参数落在[0,1]区间内。
环境主导色测度模型训练模块具体包括:
环境主导色测度模型构建单元,利用XGBoost决策树算法建立对于环境主导色敏感度和主导色特征的测度模型;
特征融合单元,用于加速训练过程;
环境主导色测度模型训练单元,用于训练以环境主导色特征为影响指标的非线性回归模型,训练时利用参数learning_rate以控制迭代速率,防止过拟合,同时采用LightGBM算法在保证精确度的前提下加速训练过程;
环境主导色敏感度预测单元,用于将待预测的建成环境图像数据输入训练好的环境主导色测度模型,得到预测的建成环境主导色敏感度。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (10)
1.一种基于图像脑敏感数据的建成环境主导色测度方法,其特征在于,包括:
获取建成环境图像样本对应脑电数据;
基于脑电数据计算环境主导色敏感度;
根据建成环境图像样本提取主导色特征参数;
搭建建成环境主导色测度模型,将敏感度数据和主导色特征作为输入进行训练;
将待分析的环境图像输入到训练好的模型中,得到预测的主导色敏感度结果。
2.根据权利要求1所述的一种基于图像脑敏感数据的建成环境主导色测度方法,其特征在于:所述获取建成环境图像样本对应脑电数据包括对J位被试者在相同的实验室环境下进行I张建成环境图像的脑电数据采集,得到I*J组脑电数据,每一组数据的数据量均为n(d),其中,d是每组数据的主导色特征维度,n是单次采集的脑电数据样本数量。
3.根据权利要求2所述的一种基于图像脑敏感数据的建成环境主导色测度方法,其特征在于:所述基于脑电数据计算环境主导色敏感度的具体步骤包括:
选取枕叶区域O1、OZ、O2、POZ、PO3、PO4、PO7、PO8八个导联对于建成环境图像样本刺激的前后3秒脑电信号;
通过原始脑电数据获取图像样本视觉刺激数据的差异波;
对每一导脑电信号做短时傅里叶变换,分别提取预处理后脑电数据的α频带8~13Hz、β频带14~41Hz、θ频带4~8Hz功率谱密度;
根据α频带、β频带、θ频带的平均相对功率谱计算脑电敏感度指数,从而得到图像样本建成环境主导色敏感度,计算过程如下:
其中,EFT表示脑电敏感度指数,1≤k≤8,表示所述的八个导联;Pθ(k)、Pα(k)、Pβ(k)分别是导联α、β、θ频带的平均相对功率谱;
针对被试者个体差异的影响,对脑敏感度指数进行无量纲处理,具体为:
其中,Zj(i)表示第j位被试者对第i张图像样本无量纲处理后的脑敏感度,n表示图像样本的数量;
建成环境主导色敏感度数值如下:
其中,EAT表示图像样本建成环境主导色敏感度。
4.根据权利要求3所述的一种基于图像脑敏感数据的建成环境主导色测度方法,其特征在于:所述根据建成环境图像样本提取主导色特征参数的步骤具体包括:
将图像样本{i1,i2,...,im}进行数据维度转换,令图像缩放后的尺寸设为1024×600像素;
对图像进行色彩识别与分割,输出颜色簇划D={d1,d2,...,dk},具体为:
其中,S表示各个颜色簇畸变程度之和,Q(n)表示该像素的颜色值,N表示颜色簇的像素数目,n表示环境图像像素点的坐标,dk表示第k类颜色的质心,K表示颜色簇数,rnk为二分量,用于判断Q(n)是否属于第k类颜色,Tk表示第k个颜色簇的像素数目;
根据图像样本色彩提取结果,获取与图像颜色簇关联的所有颜色名称,计算图像样本第{k1,k2,...,kj}个颜色类别的饱和度、明度、亮度、通道以及颜色簇色块的面积和周长;颜色簇色块的边界由像素颜色的平均值计算得到,并经过适度平滑,避免因简化边界造成的测算误差;
构造环境主导色特征特征参数,包括色相比例、饱和度比例、明度比例、最大颜色簇面积、颜色簇面积复杂度、颜色簇多样性、颜色簇分割度和相似颜色簇蔓延度;
对环境主导色特征进行min-max归一化处理,具体为:
其中,Hstd表示归一化前的特征值,Hint表示归一化后所述特征值的结果。
5.根据权利要求4所述的一种基于图像脑敏感数据的建成环境主导色测度方法,其特征在于:所述搭建建成环境主导色测度模型,将敏感度数据和主导色特征作为输入进行训练的具体步骤包括:
将建成环境图像及其脑敏感数据转化为若干建成环境序列样本,使用XGBoost决策树算法搭建建成环境主导色测度模型,将75%序列样本数据进行训练,其余作为测试集;
利用串联拼接方法融合所述8个维度的环境主导色特征,得到总体环境主导色特征Hall;
将敏感度数据和主导色特征参数输入建成环境主导色测度模型,具体为:
Z={(Hi,yi)|i=1,2,...,n}
其中,Hi表示第i张图像样本的总体环境主导色特征,yi表示该图像样本的主导色敏感度数值,n表示图像样本的数量;
对输入特征参数进行Kaiser-Meyer-Olkin检验和Bartlett球面判断。
6.根据权利要求5所述的一种基于图像脑敏感数据的建成环境主导色测度方法,其特征在于:所述将待分析的环境图像输入到训练好的模型中,得到预测的主导色敏感度结果的步骤具体包括:
将色相比例、饱和度比例、明度比例、最大颜色簇面积、颜色簇面积复杂度、颜色簇多样性、颜色簇分割度和相似颜色簇蔓延度作为影响指标得到关于建成环境主导色预测的非线性回归模型为:
其中,表示预测的主导色敏感度数据,HS表示色相比例,BS表示饱和度,VS表示明度,MCA表示最大颜色簇面积,DPC表示颜色簇分割度,NPC表示颜色簇多样性,IPS表示相似颜色簇蔓延度,CDS表示颜色簇形状复杂度;
针对达到最终训练的权重更加平滑,以避免过拟合现象,采用的损失函数为:
其中,表示所述模型回归树所有预测参数与真实参数之差的集合,表示测量预测参数与目标参数之差,表示正则项优化函数,以避免过拟合,T表示所述回归树的叶子结点数,ω表示每个叶子结点的得分,η和ρ表示需要调参的系数;
计算所述模型的主导色特征重要性分数F(i),具体为:
计算所述模型的主导色特征权重,并根据特征权重进行环境主导色品质评估,具体处理过程如下:
环境主导色品质分数计算公式为:
Hquality=n·w1H1+5·w2H2+4·w3H3+w4H4+w5H5++w6H6+w7H7+w8H8
其中,n表示颜色簇的色相总数,w表示主导色特征的权重值,H表示主导色特征的参变量,将Hquality归一化得到最终的环境主导色品质分数。
7.一种基于图像脑敏感数据的建成环境主导色测度***,其特征在于,所述***包括:
数据采集处理模块,用于获取若干建成环境图像及其对应的脑电数据,转化为若干建成环境序列样本;
脑敏感度提取模块,用于从所述脑电数据中提取脑敏感度指数,得到建成环境主导色的敏感度数值;
主导色特征提取模块,用于从所述图像样本中进行图像色彩识别与分割,得到图像颜色簇和主导色特征参数;
环境主导色测度模型训练模块,用于搭建建成环境主导色测度模型,将敏感度数据和主导色特征参数输入,利用XGBoost决策树算法进行训练;
特征重要性识别模块,用于识别重要主导色特征,根据环境主导色特征选择表,建立综合环境主导色测度体系;
品质量化评估模块,用于建成环境测度方法应用,根据主导色特征权重进行环境主导色品质评估。
8.根据权利要求7所示的一种基于图像脑敏感数据的建成环境主导色测度***,其特征在于:所述脑敏感度提取模块具体包括:
脑电信号预处理单元,用于对原始脑电数据进行过滤和伪像矫正,并将幅值在10μV-100μV区间范围以外的数据作为坏导剔除,根据图像样本进行重分类与叠加平均;
脑电频带提取单元,用于提取八个导联的α频带、β频带、θ频带的平均相对功率谱;
敏感度指数计算单元,用于从脑电特征中计算脑敏感度指数;
主导色敏感度获取单元,用于得到建成环境主导色的敏感度数值,作为环境主导色测度模型的训练数据。
9.根据权利要求7所示的一种基于图像脑敏感数据的建成环境主导色测度***,其特征在于:所述主导色特征提取模块体包括:
样本图像处理单元,用于将所述图像样本进行数据维度转换;
颜色簇提取单元,用于将所述图像样本进行色彩识别与分割,得到图像样本的饱和度、明度、亮度、通道以及颜色簇色块的面积和周长;
主导色特征选择单元,用于构造环境主导色特征,包括色相比例、饱和度比例、明度比例、最大颜色簇面积、颜色簇面积复杂度、颜色簇多样性、颜色簇分割度和相似颜色簇蔓延度;
特征参数计算单元,用于分别计算各主导色特征的参变量;
归一化单元,用于主导色特征能够编码为建成环境主导色测度模型的输入特征,使得环境主导色特征参数落在[0,1]区间内。
10.根据权利要求7所示的一种基于图像脑敏感数据的建成环境主导色测度***,其特征在于:所述环境主导色测度模型训练模块具体包括:
环境主导色测度模型构建单元,利用XGBoost决策树算法建立对于环境主导色敏感度和主导色特征的测度模型;
特征融合单元,用于加速训练过程;
环境主导色测度模型训练单元,用于训练以环境主导色特征为影响指标的非线性回归模型;
环境主导色敏感度预测单元,用于将待预测的建成环境图像数据输入训练好的环境主导色测度模型,得到预测的建成环境主导色敏感度。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210896092.0A CN115063653B (zh) | 2022-07-27 | 2022-07-27 | 基于图像脑敏感数据的建成环境主导色测度方法和*** |
PCT/CN2022/130220 WO2024021359A1 (zh) | 2022-07-27 | 2022-11-07 | 基于图像脑敏感数据的建成环境主导色测度方法和*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210896092.0A CN115063653B (zh) | 2022-07-27 | 2022-07-27 | 基于图像脑敏感数据的建成环境主导色测度方法和*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115063653A true CN115063653A (zh) | 2022-09-16 |
CN115063653B CN115063653B (zh) | 2023-05-23 |
Family
ID=83207212
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210896092.0A Active CN115063653B (zh) | 2022-07-27 | 2022-07-27 | 基于图像脑敏感数据的建成环境主导色测度方法和*** |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN115063653B (zh) |
WO (1) | WO2024021359A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024021359A1 (zh) * | 2022-07-27 | 2024-02-01 | 东南大学 | 基于图像脑敏感数据的建成环境主导色测度方法和*** |
CN117828106A (zh) * | 2024-03-04 | 2024-04-05 | 国维技术有限公司 | 基于记忆强化算法结合大模型驱动实现个性化npc的方法 |
WO2024098649A1 (zh) * | 2022-11-08 | 2024-05-16 | 东南大学 | 一种基于生理唤醒识别的街道绿化品质检测方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106462913A (zh) * | 2014-02-28 | 2017-02-22 | 戴尔斯生活有限责任公司 | 用于加强与可居住环境相关的健康的***、方法和制品 |
CN110751362A (zh) * | 2019-09-04 | 2020-02-04 | 西安工程大学 | 一种基于人工智算法的城市景观评价指标计算方法 |
CN113610293A (zh) * | 2021-08-04 | 2021-11-05 | 东南大学 | 一种城市街区建筑色彩和谐度评估方法与装置 |
CN113673456A (zh) * | 2021-08-26 | 2021-11-19 | 江苏省城市规划设计研究院有限公司 | 一种基于色彩分布学习的街景图像评分方法 |
CN114298415A (zh) * | 2021-12-29 | 2022-04-08 | 中国科学院地理科学与资源研究所 | 一种地理环境愉悦度的预测方法和装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104933229B (zh) * | 2015-05-29 | 2018-04-13 | 华南理工大学 | 一种基于网络图片的建成环境景观特征识别方法 |
CN110135244B (zh) * | 2019-04-02 | 2020-11-17 | 杭州电子科技大学 | 一种基于脑-机协同智能的表情识别方法 |
CN115063653B (zh) * | 2022-07-27 | 2023-05-23 | 东南大学 | 基于图像脑敏感数据的建成环境主导色测度方法和*** |
-
2022
- 2022-07-27 CN CN202210896092.0A patent/CN115063653B/zh active Active
- 2022-11-07 WO PCT/CN2022/130220 patent/WO2024021359A1/zh active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106462913A (zh) * | 2014-02-28 | 2017-02-22 | 戴尔斯生活有限责任公司 | 用于加强与可居住环境相关的健康的***、方法和制品 |
US20170053068A1 (en) * | 2014-02-28 | 2017-02-23 | Delos Living Llc | Methods for enhancing wellness associated with habitable environments |
CN110751362A (zh) * | 2019-09-04 | 2020-02-04 | 西安工程大学 | 一种基于人工智算法的城市景观评价指标计算方法 |
CN113610293A (zh) * | 2021-08-04 | 2021-11-05 | 东南大学 | 一种城市街区建筑色彩和谐度评估方法与装置 |
CN113673456A (zh) * | 2021-08-26 | 2021-11-19 | 江苏省城市规划设计研究院有限公司 | 一种基于色彩分布学习的街景图像评分方法 |
CN114298415A (zh) * | 2021-12-29 | 2022-04-08 | 中国科学院地理科学与资源研究所 | 一种地理环境愉悦度的预测方法和装置 |
Non-Patent Citations (3)
Title |
---|
李哲等: "基于脑电分析技术的景观关注度主成分量化解析——以南京市玄武湖公园为例", 《中国园林》 * |
王琳虹等: "公路景观色彩对驾驶员脑电δ波成分的影响", 《哈尔滨工业大学学报》 * |
龙瀛等: "人本尺度城市形态:测度、效应评估及规划设计响应", 《南方建筑》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024021359A1 (zh) * | 2022-07-27 | 2024-02-01 | 东南大学 | 基于图像脑敏感数据的建成环境主导色测度方法和*** |
WO2024098649A1 (zh) * | 2022-11-08 | 2024-05-16 | 东南大学 | 一种基于生理唤醒识别的街道绿化品质检测方法 |
US12048549B1 (en) | 2022-11-08 | 2024-07-30 | Southeast University | Street greening quality detection method based on physiological activation recognition |
CN117828106A (zh) * | 2024-03-04 | 2024-04-05 | 国维技术有限公司 | 基于记忆强化算法结合大模型驱动实现个性化npc的方法 |
CN117828106B (zh) * | 2024-03-04 | 2024-05-28 | 国维技术有限公司 | 基于记忆强化算法结合大模型驱动实现个性化npc的方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2024021359A1 (zh) | 2024-02-01 |
CN115063653B (zh) | 2023-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115063653B (zh) | 基于图像脑敏感数据的建成环境主导色测度方法和*** | |
CN109325431B (zh) | 草原放牧绵羊采食路径中植被覆盖度的检测方法及其装置 | |
CN109670510A (zh) | 一种基于深度学习的胃镜活检病理数据筛查***和方法 | |
CN111274860A (zh) | 一种基于机器视觉的在线自动烟叶等级分选的识别方法 | |
CN108875821A (zh) | 分类模型的训练方法和装置、移动终端、可读存储介质 | |
CN103034838B (zh) | 一种基于图像特征的特种车辆仪表类型识别与标定方法 | |
CN106997475B (zh) | 一种基于并行卷积神经网络的害虫图像识别方法 | |
CN111161362B (zh) | 一种茶树生长状态光谱影像鉴别方法 | |
CN110479636B (zh) | 基于神经网络自动分拣烟叶的方法及装置 | |
CN111507426B (zh) | 基于视觉融合特征的无参考图像质量分级评价方法及装置 | |
CN108734205A (zh) | 一种针对不同品种小麦种子的单粒定点识别技术 | |
CN112967285B (zh) | 一种基于深度学习的黄褐斑图像识别方法、***和装置 | |
CN114359727B (zh) | 基于轻量级优化Yolo v4的茶叶病害识别方法及*** | |
CN110021019B (zh) | 一种aga临床图像的ai辅助毛发的粗细分布分析方法 | |
Ji et al. | In-field automatic detection of maize tassels using computer vision | |
CN115994907B (zh) | 用于食品检测机构综合信息的智能处理***及方法 | |
CN116058195B (zh) | 一种叶菜生长环境光照调控方法、***及装置 | |
CN115563484A (zh) | 一种基于生理唤醒识别的街道绿化品质检测方法 | |
WO2023197496A1 (zh) | 一种机采棉脱叶效果综合评价指标监测与评价方法及*** | |
CN113657449A (zh) | 一种含噪标注数据的中医舌象腐腻分类方法 | |
CN115424006A (zh) | 应用于作物表型参数反演的多源多层次数据融合方法 | |
CN114965501A (zh) | 基于冠层参数处理的花生病害检测与产量预测方法 | |
CN113011467B (zh) | 基于图像结构纹理信息的当归药材产地识别方法 | |
CN110766665A (zh) | 基于强监督算法和深度学习网络的舌象数据分析方法 | |
Yu et al. | A diagnosis model of soybean leaf diseases based on improved residual neural network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |