CN113705544B - 汽车内饰清洁方法、装置、电子设备及存储介质 - Google Patents

汽车内饰清洁方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113705544B
CN113705544B CN202111259091.7A CN202111259091A CN113705544B CN 113705544 B CN113705544 B CN 113705544B CN 202111259091 A CN202111259091 A CN 202111259091A CN 113705544 B CN113705544 B CN 113705544B
Authority
CN
China
Prior art keywords
region
image
halo
area
cleaning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111259091.7A
Other languages
English (en)
Other versions
CN113705544A (zh
Inventor
钟泽邦
张校志
范朝龙
刘家骏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202111259091.7A priority Critical patent/CN113705544B/zh
Publication of CN113705544A publication Critical patent/CN113705544A/zh
Application granted granted Critical
Publication of CN113705544B publication Critical patent/CN113705544B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S3/00—Vehicle cleaning apparatus not integral with vehicles
    • B60S3/008—Vehicle cleaning apparatus not integral with vehicles for interiors of land vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)

Abstract

本申请属于清洁技术领域，公开了一种汽车内饰清洁方法、装置、电子设备及存储介质，汽车内饰图像获取各区域的类别信息，然后根据各区域的类别信息确定候选材质信息，再根据各区域对白光的反射图像从对应的候选材质中确定各区域的材质类型，进而根据各区域的材质类型对各区域执行相应清洁模式的清洁操作；相对于传统的采用光谱的材质识别方式，该汽车内饰清洁方法在进行材质识别时不需要使用光谱仪和单色光源，节约成本；同时，因为先确定了各区域的候选材质信息，再结合对反射光结果进行综合分析，减小了对反射光本身属性的依赖，具有更好的鲁棒性；可准确识别汽车内饰各部件的材质，从而确定相应的清洁模式，自动化程度高。

Description

汽车内饰清洁方法、装置、电子设备及存储介质
技术领域
本申请涉及清洁技术领域，具体而言，涉及一种汽车内饰清洁方法、装置、电子设备及存储介质。
背景技术
现有的汽车自动清洗方法通常是针对汽车的外饰的，由于汽车外饰主要包括金属、塑料、玻璃等材料，可通用同一种清洗方式进行清洗即可，因此容易实现自动清洗。而对于汽车内饰，包括皮革、织物、塑料等材料，这些材料难以通过同一种清洗方式进行清洗，例如，对于皮革和塑料可用擦拭方式进行清洁，而织物无法通过擦拭方式进行清洁，对于塑料可用水进行擦拭，而对于皮革需要用专用的清洁液进行擦拭。
针对汽车的内饰可利用机械臂进行自动清洁，但为了实现清洁的自动化，需要机械臂能够对内饰的各部位的材质进行有效识别，才能针对不同的材质执行对应的清洁模式。传统的材质识别方法主要是利用材料表面纹理和光谱确定材质，但是由于汽车内饰环境比较复杂，且有时候对材料表面进行了特殊处理（如座椅会有编织、翻毛皮、打孔皮等），采用纹理识别难以有效识别材质，而且可能出现不同材质的表面产生相同光谱的情况，因此，传统的材质识别方法难以有效对汽车内饰的材质进行识别，从而在利用机械臂对汽车内饰进行自动清洁时，需要人工确认各部分的材质，自动化程度较低。
发明内容
本申请的目的在于提供一种汽车内饰清洁方法、装置、电子设备及存储介质，可准确识别汽车内饰各部件的材质，从而确定相应的清洁模式，自动化程度高。
第一方面，本申请提供了一种汽车内饰清洁方法，应用于机械臂，以对汽车内饰进行清洁；所述机械臂包括相机和白光照射灯；
所述汽车内饰清洁方法包括以下步骤：
A1.获取由所述相机采集的汽车内饰图像；
A2.利用预先训练好的深度学习网络对所述汽车内饰图像进行分割，获取各区域的类别信息；
A3.根据各所述区域的类别信息获取各所述区域的候选材质信息；
A4.使用所述白光照射灯照射各所述区域并获取由所述相机采集的各所述区域的白光照射区的反射图像；
A5.根据各所述区域的所述反射图像和所述候选材质信息，从对应的候选材质中确定各所述区域的材质类型；
A6.根据各所述区域的材质类型确定各所述区域的清洁模式；
A7.根据各所述区域的清洁模式对各所述区域执行对应的清洁操作。
该汽车内饰清洁方法，先根据各区域的类别信息确定候选材质信息，再根据各区域对白光的反射图像从对应的候选材质中确定各区域的材质类型，进而根据各区域的材质类型对各区域执行相应清洁模式的清洁操作；相对于传统的采用光谱的材质识别方式，该汽车内饰清洁方法在进行材质识别时不需要使用光谱仪和单色光源，节约成本；同时，因为先确定了各区域的候选材质信息，再结合对反射光结果进行综合分析，减小了对反射光本身属性的依赖，具有更好的鲁棒性；可准确识别汽车内饰各部件的材质，从而确定相应的清洁模式，自动化程度高。
优选地，步骤A1之后和步骤A4之前，还包括步骤：
A8.发送关灯指令，使环境照明灯光关闭。
可降低环境灯光的干扰，提高材质识别的准确性，从而保证对各区域的清洁模式的正确性，避免由于清洁模式不正确而造成内饰损坏。
优选地，步骤A5包括：
A501.获取各所述区域的所述反射图像的光晕大小、光晕亮度和图像亮度；
A502.根据各所述区域的所述候选材质信息和对应的光晕大小、光晕亮度和图像亮度，从对应的候选材质中确定各所述区域的材质类型。
反射图像的光晕大小、光晕亮度和图像亮度能够综合反映了材料表面的粗糙程度，通过在候选材质中选取光晕大小、光晕亮度和图像亮度与该反射图像的光晕大小、光晕亮度和图像亮度最接近的材质作为识别结果，识别结果比较准确。
优选地，步骤A4包括：
使用所述白光照射灯照射目标区域，并获取由所述相机采集的所述目标区域的白光照射区的第一反射图像；
使所述白光照射灯平移第一距离以照射所述目标区域，并获取由所述相机采集的所述目标区域的白光照射区的第二反射图像；
步骤A501包括：
获取所述第一反射图像中的光晕区域的最小外接圆的第一像素直径和第一像素中心坐标；所述光晕区域是指所有RGB值为（255,255,255）的像素点所包围的区域，所述最小外接圆是把所述光晕区域包围在内的直径最小的圆；
获取所述第二反射图像中的光晕区域的最小外接圆的第二像素中心坐标；
根据以下公式计算像素距离：
Figure 448847DEST_PATH_IMAGE001
；
其中，
Figure 185728DEST_PATH_IMAGE002
为所述像素距离，
Figure 739200DEST_PATH_IMAGE003
、
Figure 658877DEST_PATH_IMAGE005
分别为所述第一像素中心坐标的两个像素坐标值，
Figure 292989DEST_PATH_IMAGE006
、
Figure 154766DEST_PATH_IMAGE007
分别为所述第二像素中心坐标的两个像素坐标值；
根据以下公式计算光晕大小：
Figure 403390DEST_PATH_IMAGE008
；
其中，
Figure 313708DEST_PATH_IMAGE009
为所述光晕大小，
Figure 474431DEST_PATH_IMAGE010
为所述第一距离，
Figure 772688DEST_PATH_IMAGE011
为所述第一像素直径。
优选地，步骤A501包括：
在第一圆周上选取至少四个沿所述第一圆周均匀分布的第一参考点，计算所有所述第一参考点的第一GRB平均值；所述第一圆周是以所述第一像素中心坐标对应的点为圆心且以所述第一像素直径为直径的圆周；
在第二圆周上选取至少四个沿所述第二圆周均匀分布的第二参考点，计算所有所述第二参考点的第二GRB平均值；所述第二圆周是以所述第一像素中心坐标对应的点为圆心且直径为所述第一像素直径的两倍的圆周；
根据以下公式计算光晕亮度：
Figure 51485DEST_PATH_IMAGE012
；
其中，
Figure 342658DEST_PATH_IMAGE013
为所述光晕亮度，
Figure 436516DEST_PATH_IMAGE014
为所述第一GRB平均值，
Figure 859669DEST_PATH_IMAGE015
为所述第二GRB平均值。
优选地，步骤A501包括：
计算所述第一反射图像中的目标区域的像素点的RGB平均值作为图像亮度。
优选地，步骤A502包括：
把各所述区域的所述候选材质信息和对应的光晕大小、光晕亮度和图像亮度输入预先训练好的识别模型，得到各所述区域的材质类型识别结果。
第二方面，本申请提供了一种汽车内饰清洁装置，应用于机械臂，以对汽车内饰进行清洁；所述机械臂包括相机和白光照射灯；
所述汽车内饰清洁装置包括：
第一获取模块，用于获取由所述相机采集的汽车内饰图像；
第一识别模块，用于利用预先训练好的深度学习网络对所述汽车内饰图像进行分割并获取各区域的类别信息；
第二获取模块，用于根据各所述区域的类别信息获取各所述区域的候选材质信息；
第三获取模块，用于使用所述白光照射灯照射各所述区域并获取由所述相机采集的各所述区域的白光照射区的反射图像；
第二识别模块，用于根据各所述区域的所述反射图像和所述候选材质信息，从对应的候选材质中确定各所述区域的材质类型；
第一执行模块，用于根据各所述区域的材质类型确定各所述区域的清洁模式；
第二执行模块，用于根据各所述区域的清洁模式对各所述区域执行对应的清洁操作。
该汽车内饰清洁装置，先根据各区域的类别信息确定候选材质信息，再根据各区域对白光的反射图像从对应的候选材质中确定各区域的材质类型，进而根据各区域的材质类型对各区域执行相应清洁模式的清洁操作；相对于传统的采用光谱的材质识别方式，该汽车内饰清洁装置在进行材质识别时不需要使用光谱仪和单色光源，节约成本；同时，因为先确定了各区域的候选材质信息，再结合对反射光结果进行综合分析，减小了对反射光本身属性的依赖，具有更好的鲁棒性；可准确识别汽车内饰各部件的材质，从而确定相应的清洁模式，自动化程度高。
第三方面，本申请提供了一种电子设备，包括处理器和存储器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时，运行如前文所述汽车内饰清洁方法中的步骤。
第四方面，本申请提供了一种计算机可读取存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如前文所述汽车内饰清洁方法中的步骤。
有益效果：
本申请提供的汽车内饰清洁方法、装置、电子设备及存储介质，先根据各区域的类别信息确定候选材质信息，再根据各区域对白光的反射图像从对应的候选材质中确定各区域的材质类型，进而根据各区域的材质类型对各区域执行相应清洁模式的清洁操作；相对于传统的采用光谱的材质识别方式，该汽车内饰清洁方法在进行材质识别时不需要使用光谱仪和单色光源，节约成本；同时，因为先确定了各区域的候选材质信息，再结合对反射光结果进行综合分析，减小了对反射光本身属性的依赖，具有更好的鲁棒性；可准确识别汽车内饰各部件的材质，从而确定相应的清洁模式，自动化程度高。
本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请了解。
附图说明
图1为本申请实施例提供的汽车内饰清洁方法的一种流程图。
图2为本申请实施例提供的汽车内饰清洁装置的结构示意图。
图3为本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参照图1，图1是本申请一些实施例中的一种汽车内饰清洁方法，应用于机械臂，以对汽车内饰进行清洁；机械臂包括相机和白光照射灯；
汽车内饰清洁方法包括以下步骤：
A1.获取由相机采集的汽车内饰图像；
A2.利用预先训练好的深度学习网络对汽车内饰图像进行分割，获取各区域的类别信息；
A3.根据各区域的类别信息获取各区域的候选材质信息；
A4.使用白光照射灯照射各区域并获取由相机采集的各区域的白光照射区的反射图像；
A5.根据各区域的反射图像和候选材质信息，从对应的候选材质中确定各区域的材质类型；
A6.根据各区域的材质类型确定各区域的清洁模式；
A7.根据各区域的清洁模式对各区域执行对应的清洁操作。
该汽车内饰清洁方法，先根据各区域的类别信息确定候选材质信息，再根据各区域对白光的反射图像从对应的候选材质中确定各区域的材质类型，进而根据各区域的材质类型对各区域执行相应清洁模式的清洁操作；相对于传统的采用光谱的材质识别方式，该汽车内饰清洁方法在进行材质识别时不需要使用光谱仪和单色光源，节约成本；同时，因为先确定了各区域的候选材质信息，再结合对反射光结果进行综合分析，减小了对反射光本身属性的依赖，具有更好的鲁棒性；可准确识别汽车内饰各部件的材质，从而确定相应的清洁模式，自动化程度高。
其中，在获取汽车内饰图像时，可在自然光条件下或在室内照明环境下，通过相机采集汽车内饰图像，具体由机械臂带动相机对汽车内饰进行扫描，以获取汽车内饰各部分的图像。
在一些优选实施方式中，步骤A1之后和步骤A4之前，还包括步骤：
A8.发送关灯指令，使环境照明灯光关闭。
在该实施方式中，汽车进入专用的清洁室进行清洁，在获取由相机采集的汽车内饰图像时，在清洁室的照明灯的照明环境下拍摄图像，机械臂的控制***可与该清洁室的照明***通讯连接，当需要采集反射图像时，可由机械臂的控制***向该清洁室的照明***发送关灯指令，使环境照明灯光关闭，从而可降低环境灯光的干扰，提高材质识别的准确性，进而保证对各区域的清洁模式的正确性，避免由于清洁模式不正确而造成内饰损坏。
实际应用中，若清洁室有可透光的门、窗，则可设置自动开合的遮光装置（例如电动遮光卷帘），并使机械臂的控制***与遮光装置的控制***通讯连接，从而步骤A1之后和步骤A4之前，还包括步骤：
A9. 发送遮光指令，使遮光装置遮挡透光的门和/或窗。
从而，进一步使清洁室内的亮度降低，避免环境光的干扰，提高材质识别的准确性。
具体地，步骤A2中，利用预先训练好的深度学习网络对包含不同部件的图像进行分割并识别分割出来的各区域的类别是现有技术，此处不对其步骤进行详细说明。其中，各区域的类别例如包括中控台、座椅、地板等。
其中，不同类别的区域均有对应的常用材质，例如，对于座椅，其材质一般为皮革或织物。可事先根据各类别的区域的常用材质生成候选材质查询表，在该候选材质查询表中记录各类别区域的常用材质作为对应的候选材质；步骤A3中，根据各区域的类别信息在该候选材质查询表中进行查询，得到各区域的候选材质信息。通过该步骤，可缩小各区域的材质识别对比的范围，从而提高识别效率。
在一些优选实施方式中， 白光照射灯固定设置在相机上，在采集反射图像时，可使白光照射灯垂直地照射目标区域，从而相机垂直地拍摄目标区域的反射图像，保证各反射图像的采集角度统一，从而保证识别结果的准确性。其中，为保证白光照射灯垂直地照射目标区域，步骤A4包括：
A401.使白光照射灯绕第一方向轴摆动，并基于爬坡算法使白光照射灯摆动至反射光强最高的角度；其中，反射光强最高的角度是指使相机采集到的第一图像中的最大亮度值最高的角度，其中，第一图像是在白光照射灯绕第一方向轴摆动时由相机实时采集的图像，第一图像的最大亮度是指第一图像中亮度最大的像素点的亮度值；其中，第一方向轴是与白光照射灯的光轴垂直的一个方向轴；
A402. 使白光照射灯绕第二方向轴摆动，并基于爬坡算法使白光照射灯摆动至反射光强最高的角度；其中，反射光强最高的角度是指使相机采集到的第二图像中的最大亮度值最高的角度，其中，第二图像是在白光照射灯绕第二方向轴摆动时由相机实时采集的图像，第二图像的最大亮度是指第二图像中亮度最大的像素点的亮度值；其中，第二方向轴是与白光照射灯的光轴垂直的另一个方向轴。
通过上述步骤，使相机采集到的图像的亮度最高，此时，相机的光轴基本垂直于目标区域。其中，基于爬坡算法使白光照射灯摆动至反射光强最高的角度的步骤包括：
S1.以预设步长（角度步长）使白光照射灯逐步摆动（绕第一方向轴或第二方向轴摆动），并在每一步摆动后获取由相机采集的图像（第一图像或第二图像），并提取该图像的最大亮度值；
S2.分别以步骤S1中最大亮度值最高的图像的下一个图像的摆动角度和上一个图像的摆动角度为起始角度和终点角度，以预设步长的一半为有效步长，使白光照射灯从起始角度开始反向地逐步摆动，并在每一步摆动后获取由相机采集的图像，并提取该图像的最大亮度值，直到到达或越过终点角度；
S3. 以步骤S2中最大亮度值最高的图像对应的摆动角度为目标角度，使白光照射灯摆动至该目标角度。
进一步地，为了进一步使各区域的白光照射条件统一以提高识别结果的准确性，在采集反射图像时，可使相机与目标区域的距离统一为预设距离；从而步骤A402之后，还包括步骤：
A403.沿相机的光轴方向调节相机的位置，使相机与目标区域的距离为预设距离。
其中，该相机可以是3d相机，从而可测量相机与目标区域的距离；若该相机本身不具备测距功能，则可在相机上设置测距传感器（如激光测距传感器）以测量相机与目标区域的距离。其中，由于已经使相机垂直于目标区域，因此在调节相机的位置时只需要沿相机的光轴方向调节即可，从而保证相机始终垂直于目标区域。
优选地，步骤A5包括：
A501.获取各区域的反射图像的光晕大小、光晕亮度和图像亮度；
A502.根据各区域的候选材质信息和对应的光晕大小、光晕亮度和图像亮度，从对应的候选材质中确定各区域的材质类型。
反射图像的光晕大小、光晕亮度和图像亮度能够综合反映了材料表面的粗糙程度，通过在候选材质中选取光晕大小、光晕亮度和图像亮度与该反射图像的光晕大小、光晕亮度和图像亮度最接近的材质作为识别结果，识别结果比较准确。
优选地，步骤A4包括：
使用白光照射灯照射目标区域，并获取由相机采集的该目标区域的白光照射区的第一反射图像；
使白光照射灯平移第一距离以照射该目标区域，并获取由相机采集的该目标区域的白光照射区的第二反射图像；
步骤A501包括：
获取该第一反射图像中的光晕区域的最小外接圆的第一像素直径和第一像素中心坐标；光晕区域是指所有RGB值为（255,255,255）的像素点所包围的区域，该最小外接圆是把该光晕区域包围在内的直径最小的圆；
获取该第二反射图像中的光晕区域的最小外接圆的第二像素中心坐标；
根据以下公式计算像素距离：
Figure 124297DEST_PATH_IMAGE001
；
其中，
Figure 720626DEST_PATH_IMAGE002
为像素距离，
Figure 403411DEST_PATH_IMAGE003
、
Figure 823897DEST_PATH_IMAGE005
分别为第一像素中心坐标的两个像素坐标值，
Figure 857712DEST_PATH_IMAGE006
、
Figure 992152DEST_PATH_IMAGE007
分别为第二像素中心坐标的两个像素坐标值；
根据以下公式计算光晕大小：
Figure 263865DEST_PATH_IMAGE008
；
其中，
Figure 589673DEST_PATH_IMAGE009
为光晕大小，
Figure 110784DEST_PATH_IMAGE010
为第一距离，
Figure 517757DEST_PATH_IMAGE011
为所述第一像素直径。
需要说明的是，步骤A4中会依次以各区域为目标区域进行第一反射图像和第二反射图像的获取，从而根据各第一反射图像和第二反射图像进行光晕大小的计算，可得到各区域的光晕大小。其中，第一距离
Figure 955560DEST_PATH_IMAGE010
的大小可根据实际需要预先设置。
进一步地，步骤A501包括：
在第一圆周上选取至少四个沿该第一圆周均匀分布的第一参考点，计算所有第一参考点的第一GRB平均值；第一圆周是以第一像素中心坐标对应的点为圆心且以第一像素直径为直径的圆周；
在第二圆周上选取至少四个沿该第二圆周均匀分布的第二参考点，计算所有第二参考点的第二GRB平均值；第二圆周是以第一像素中心坐标对应的点为圆心且直径为第一像素直径的两倍的圆周；
根据以下公式计算光晕亮度：
Figure 203002DEST_PATH_IMAGE012
；
其中，
Figure 165404DEST_PATH_IMAGE013
为光晕亮度，
Figure 156494DEST_PATH_IMAGE014
为第一GRB平均值，
Figure 917645DEST_PATH_IMAGE015
为第二GRB平均值。
例如，可选取第一圆周上位于其圆心正上方、正下方、正左方和正右方的四个点为第一参考点，可选取第二圆周上位于其圆心正上方、正下方、正左方和正右方的四个点为第二参考点。但第一参考点和第二参考点的数量和分布位置不限于此。
其中，第一GRB平均值可通过以下公式计算：
Figure 36123DEST_PATH_IMAGE016
；
其中，
Figure 515514DEST_PATH_IMAGE018
、
Figure 733131DEST_PATH_IMAGE019
、
Figure 365101DEST_PATH_IMAGE020
分别是第i个第一参考点的R、G、B通道值，n是第一参考点的总数。
其中，第二GRB平均值可通过以下公式计算：
Figure 469192DEST_PATH_IMAGE021
；
其中，
Figure 642072DEST_PATH_IMAGE022
、
Figure 974964DEST_PATH_IMAGE023
、
Figure 913970DEST_PATH_IMAGE024
分别是第i个第二参考点的R、G、B通道值，m是第二参考点的总数。
进一步地，步骤A501包括：
计算第一反射图像中的目标区域的像素点的RGB平均值作为图像亮度。
其中，可以计算第一反射图像中的目标区域的所有像素点的RGB平均值作为图像亮度。也可以在第一反射图像中的目标区域中随机选取预设数量个（如100个，但不限于此）像素点并计算其RGB平均值作为图像亮度。其中，计算RGB平均值的方法可参考前文的第一GRB平均值的计算方法。
在一些实施方式中，步骤A502包括：
把各区域的候选材质信息和对应的光晕大小、光晕亮度和图像亮度输入预先训练好的识别模型，得到各区域的材质类型识别结果。
可事先用若干已经标注好的图片，使用决策树训练出识别模型，再将本次需要识别的信息（候选材质信息和对应的光晕大小、光晕亮度和图像亮度）输入模型，输出各区域的材质类型识别结果。
在另一些实施方式中，步骤A502包括：
依次以各区域为目标区域执行：
获取目标区域的各候选材质的标准光晕大小、标准光晕亮度和标准图像亮度；
计算目标区域的光晕大小、光晕亮度和图像亮度与各候选材质的标准光晕大小、标准光晕亮度和标准图像亮度之间的偏差（为绝对值）；
根据以下公式计算各候选材质的匹配值：
Figure 159269DEST_PATH_IMAGE025
；
其中，
Figure 160723DEST_PATH_IMAGE026
为第i种候选材质的匹配值，
Figure 484257DEST_PATH_IMAGE027
为目标区域的光晕大小与第i种候选材质的标准光晕大小之间的偏差，
Figure 356398DEST_PATH_IMAGE028
为目标区域的光晕亮度与第i种候选材质的标准光晕亮度之间的偏差，
Figure DEST_PATH_IMAGE029
为目标区域的图像亮度与第i种候选材质的标准图像亮度之间的偏差；a、b、c分别是预设的权重值；
以匹配值最大的候选材质的材质类型为目标区域的材质类型。
其中，各材质类型对应的清洁模式可根据实际需要设置，例如，对于皮革，清洁模式为皮革清洗液擦拭模式（对应的清洁操作为：用专用的皮革清洗液对皮革区域进行擦拭）；对于塑料，清洁模式为普通擦拭模式（对应的清洁操作为：用清水对塑料区域进行擦拭）；对于织物，清洁模式为吸尘模式（对应的清洁操作为：用吸尘装置对织物区域进行吸尘处理）；但清洁模式不限于此。可事先生成清洁模式查询表，并为各清洁模式生成对应的清洁操作程序脚本，清洁模式查询表中记载了各材质类型与各清洁模式的映射关系，步骤A6中，根据各区域的材质类型在清洁模式查询表中查询，得到各区域的清洁模式。步骤A7中，根据各区域的清洁模式调用对应的清洁操作程序脚本，从而使机械臂执行对应的清洁操作。
由上可知，该汽车内饰清洁方法，通过获取由相机采集的汽车内饰图像；利用预先训练好的深度学习网络对汽车内饰图像进行分割，获取各区域的类别信息；根据各区域的类别信息获取各区域的候选材质信息；使用白光照射灯照射各区域并获取由相机采集的各区域的白光照射区的反射图像；根据各区域的反射图像和候选材质信息，从对应的候选材质中确定各区域的材质类型；根据各区域的材质类型确定各区域的清洁模式；根据各区域的清洁模式对各区域执行对应的清洁操作；相对于传统的采用光谱的材质识别方式，该汽车内饰清洁方法在进行材质识别时不需要使用光谱仪和单色光源，节约成本；同时，因为先确定了各区域的候选材质信息，再结合对反射光结果进行综合分析，减小了对反射光本身属性的依赖，具有更好的鲁棒性；可准确识别汽车内饰各部件的材质，从而确定相应的清洁模式，自动化程度高。
请参考图2，本申请提供了一种汽车内饰清洁装置，应用于机械臂，以对汽车内饰进行清洁；机械臂包括相机和白光照射灯；
该汽车内饰清洁装置包括：
第一获取模块1，用于获取由相机采集的汽车内饰图像；
第一识别模块2，用于利用预先训练好的深度学习网络对汽车内饰图像进行分割并获取各区域的类别信息；
第二获取模块3，用于根据各区域的类别信息获取各区域的候选材质信息；
第三获取模块4，用于使用白光照射灯照射各区域并获取由相机采集的各区域的白光照射区的反射图像；
第二识别模块5，用于根据各区域的反射图像和候选材质信息，从对应的候选材质中确定各区域的材质类型；
第一执行模块6，用于根据各区域的材质类型确定各区域的清洁模式；
第二执行模块7，用于根据各区域的清洁模式对各区域执行对应的清洁操作。
其中，在获取汽车内饰图像时，可在自然光条件下或在室内照明环境下，通过相机采集汽车内饰图像，具体由机械臂带动相机对汽车内饰进行扫描，以获取汽车内饰各部分的图像。
在一些优选实施方式中，该汽车内饰清洁装置还包括：
关灯模块，用于在需要采集反射图像时，发送关灯指令，使环境照明灯光关闭。
在该实施方式中，汽车进入专用的清洁室进行清洁，在获取由相机采集的汽车内饰图像时，在清洁室的照明灯的照明环境下拍摄图像，机械臂的控制***可与该清洁室的照明***通讯连接，当需要采集反射图像时，可由机械臂的控制***向该清洁室的照明***发送关灯指令，使环境照明灯光关闭，从而可降低环境灯光的干扰，提高材质识别的准确性，进而保证对各区域的清洁模式的正确性，避免由于清洁模式不正确而造成内饰损坏。
实际应用中，若清洁室有可透光的门、窗，则可设置自动开合的遮光装置（例如电动遮光卷帘），并使机械臂的控制***与遮光装置的控制***通讯连接，从而该汽车内饰清洁装置还包括：
遮光模块，用于在需要采集反射图像时，发送遮光指令，使遮光装置遮挡透光的门和/或窗。
从而，进一步使清洁室内的亮度降低，避免环境光的干扰，提高材质识别的准确性。
具体地，利用预先训练好的深度学习网络对包含不同部件的图像进行分割并识别分割出来的各区域的类别是现有技术，此处不对其步骤进行详细说明。其中，各区域的类别例如包括中控台、座椅、地板等。
其中，不同类别的区域均有对应的常用材质，例如，对于座椅，其材质一般为皮革或织物。可事先根据各类别的区域的常用材质生成候选材质查询表，在该候选材质查询表中记录各类别区域的常用材质作为对应的候选材质；第二获取模块3用于在根据各区域的类别信息获取各区域的候选材质信息的时候，根据各区域的类别信息在该候选材质查询表中进行查询，得到各区域的候选材质信息。通过该技术方案，可缩小各区域的材质识别对比的范围，从而提高识别效率。
在一些优选实施方式中， 白光照射灯固定设置在相机上，在采集反射图像时，可使白光照射灯垂直地照射目标区域，从而相机垂直地拍摄目标区域的反射图像，保证各反射图像的采集角度统一，从而保证识别结果的准确性。其中，为保证白光照射灯垂直地照射目标区域，第三获取模块4用于在使用白光照射灯照射各区域并获取由相机采集的各区域的白光照射区的反射图像的时候，执行：
使白光照射灯绕第一方向轴摆动，并基于爬坡算法使白光照射灯摆动至反射光强最高的角度；其中，反射光强最高的角度是指使相机采集到的第一图像中的最大亮度值最高的角度，其中，第一图像是在白光照射灯绕第一方向轴摆动时由相机实时采集的图像，第一图像的最大亮度是指第一图像中亮度最大的像素点的亮度值；其中，第一方向轴是与白光照射灯的光轴垂直的一个方向轴；
使白光照射灯绕第二方向轴摆动，并基于爬坡算法使白光照射灯摆动至反射光强最高的角度；其中，反射光强最高的角度是指使相机采集到的第二图像中的最大亮度值最高的角度，其中，第二图像是在白光照射灯绕第二方向轴摆动时由相机实时采集的图像，第二图像的最大亮度是指第二图像中亮度最大的像素点的亮度值；其中，第二方向轴是与白光照射灯的光轴垂直的另一个方向轴。
通过上述技术方案，使相机采集到的图像的亮度最高，此时，相机的光轴基本垂直于目标区域。其中，基于爬坡算法使白光照射灯摆动至反射光强最高的角度的步骤包括：
S1.以预设步长（角度步长）使白光照射灯逐步摆动（绕第一方向轴或第二方向轴摆动），并在每一步摆动后获取由相机采集的图像（第一图像或第二图像），并提取该图像的最大亮度值；
S2.分别以步骤S1中最大亮度值最高的图像的下一个图像的摆动角度和上一个图像的摆动角度为起始角度和终点角度，以预设步长的一半为有效步长，使白光照射灯从起始角度开始反向地逐步摆动，并在每一步摆动后获取由相机采集的图像，并提取该图像的最大亮度值，直到到达或越过终点角度；
S3. 以步骤S2中最大亮度值最高的图像对应的摆动角度为目标角度，使白光照射灯摆动至该目标角度。
进一步地，为了进一步使各区域的白光照射条件统一以提高识别结果的准确性，在采集反射图像时，可使相机与目标区域的距离统一为预设距离；从而第三获取模块4在使用白光照射灯照射各区域并获取由相机采集的各区域的白光照射区的反射图像的时候，还执行：
沿相机的光轴方向调节相机的位置，使相机与目标区域的距离为预设距离。
其中，该相机可以是3d相机，从而可测量相机与目标区域的距离；若该相机本身不具备测距功能，则可在相机上设置测距传感器（如激光测距传感器）以测量相机与目标区域的距离。其中，由于已经使相机垂直于目标区域，因此在调节相机的位置时只需要沿相机的光轴方向调节即可，从而保证相机始终垂直于目标区域。
优选地，第二识别模块5用于在根据各区域的反射图像和候选材质信息，从对应的候选材质中确定各区域的材质类型的时候，执行：
获取各区域的反射图像的光晕大小、光晕亮度和图像亮度；
根据各区域的候选材质信息和对应的光晕大小、光晕亮度和图像亮度，从对应的候选材质中确定各区域的材质类型。
反射图像的光晕大小、光晕亮度和图像亮度能够综合反映了材料表面的粗糙程度，通过在候选材质中选取光晕大小、光晕亮度和图像亮度与该反射图像的光晕大小、光晕亮度和图像亮度最接近的材质作为识别结果，识别结果比较准确。
优选地，第三获取模块4用于在使用白光照射灯照射各区域并获取由相机采集的各区域的白光照射区的反射图像的时候，执行：
使用白光照射灯照射目标区域，并获取由相机采集的该目标区域的白光照射区的第一反射图像；
使白光照射灯平移第一距离以照射该目标区域，并获取由相机采集的该目标区域的白光照射区的第二反射图像；
第二识别模块5用于在获取目标区域的反射图像的光晕大小的时候，执行：
获取该第一反射图像中的光晕区域的最小外接圆的第一像素直径和第一像素中心坐标；光晕区域是指所有RGB值为（255,255,255）的像素点所包围的区域，该最小外接圆是把该光晕区域包围在内的直径最小的圆；
获取该第二反射图像中的光晕区域的最小外接圆的第二像素中心坐标；
根据以下公式计算像素距离：
Figure 162811DEST_PATH_IMAGE001
；
其中，
Figure 854824DEST_PATH_IMAGE002
为像素距离，
Figure 217934DEST_PATH_IMAGE003
、
Figure 193850DEST_PATH_IMAGE005
分别为第一像素中心坐标的两个像素坐标值，
Figure 972494DEST_PATH_IMAGE006
、
Figure 355065DEST_PATH_IMAGE007
分别为第二像素中心坐标的两个像素坐标值；
根据以下公式计算光晕大小：
Figure 82719DEST_PATH_IMAGE008
；
其中，
Figure 617868DEST_PATH_IMAGE009
为光晕大小，
Figure 156296DEST_PATH_IMAGE010
为第一距离，
Figure 72169DEST_PATH_IMAGE011
为所述第一像素直径。
需要说明的是第三获取模块4会依次以各区域为目标区域进行第一反射图像和第二反射图像的获取，从而第二识别模块5会根据各第一反射图像和第二反射图像进行光晕大小的计算，可得到各区域的光晕大小。其中，第一距离
Figure 557508DEST_PATH_IMAGE010
的大小可根据实际需要预先设置。
进一步地，第二识别模块5用于在获取目标区域的反射图像的光晕亮度的时候，执行：
在第一圆周上选取至少四个沿该第一圆周均匀分布的第一参考点，计算所有第一参考点的第一GRB平均值；第一圆周是以第一像素中心坐标对应的点为圆心且以第一像素直径为直径的圆周；
在第二圆周上选取至少四个沿该第二圆周均匀分布的第二参考点，计算所有第二参考点的第二GRB平均值；第二圆周是以第一像素中心坐标对应的点为圆心且直径为第一像素直径的两倍的圆周；
根据以下公式计算光晕亮度：
Figure 478321DEST_PATH_IMAGE012
；
其中，
Figure 109023DEST_PATH_IMAGE013
为光晕亮度，
Figure 341552DEST_PATH_IMAGE014
为第一GRB平均值，
Figure 850156DEST_PATH_IMAGE015
为第二GRB平均值。
例如，可选取第一圆周上位于其圆心正上方、正下方、正左方和正右方的四个点为第一参考点，可选取第二圆周上位于其圆心正上方、正下方、正左方和正右方的四个点为第二参考点。但第一参考点和第二参考点的数量和分布位置不限于此。
其中，第一GRB平均值可通过以下公式计算：
Figure 124012DEST_PATH_IMAGE016
；
其中，
Figure 941926DEST_PATH_IMAGE018
、
Figure 333855DEST_PATH_IMAGE019
、
Figure 410265DEST_PATH_IMAGE020
分别是第i个第一参考点的R、G、B通道值，n是第一参考点的总数。
其中，第二GRB平均值可通过以下公式计算：
Figure 820517DEST_PATH_IMAGE021
；
其中，
Figure 825645DEST_PATH_IMAGE022
、
Figure 406668DEST_PATH_IMAGE023
、
Figure 37500DEST_PATH_IMAGE024
分别是第i个第二参考点的R、G、B通道值，m是第二参考点的总数。
进一步地，第二识别模块5用于在获取目标区域的反射图像的图像亮度的时候，执行：
计算第一反射图像中的目标区域的像素点的RGB平均值作为图像亮度。
其中，可以计算第一反射图像中的目标区域的所有像素点的RGB平均值作为图像亮度。也可以在第一反射图像中的目标区域中随机选取预设数量个（如100个，但不限于此）像素点并计算其RGB平均值作为图像亮度。其中，计算RGB平均值的方法可参考前文的第一GRB平均值的计算方法。
在一些实施方式中，第二识别模块5用于在根据各区域的候选材质信息和对应的光晕大小、光晕亮度和图像亮度，从对应的候选材质中确定各区域的材质类型的时候，执行：
把各区域的候选材质信息和对应的光晕大小、光晕亮度和图像亮度输入预先训练好的识别模型，得到各区域的材质类型识别结果。
在另一些实施方式中，第二识别模块5用于在根据各区域的候选材质信息和对应的光晕大小、光晕亮度和图像亮度，从对应的候选材质中确定各区域的材质类型的时候，执行：
依次以各区域为目标区域执行：
获取目标区域的各候选材质的标准光晕大小、标准光晕亮度和标准图像亮度；
计算目标区域的光晕大小、光晕亮度和图像亮度与各候选材质的标准光晕大小、标准光晕亮度和标准图像亮度之间的偏差（为绝对值）；
根据以下公式计算各候选材质的匹配值：
Figure 787413DEST_PATH_IMAGE025
；
其中，
Figure 727556DEST_PATH_IMAGE026
为第i种候选材质的匹配值，
Figure 246742DEST_PATH_IMAGE027
为目标区域的光晕大小与第i种候选材质的标准光晕大小之间的偏差，
Figure 478003DEST_PATH_IMAGE028
为目标区域的光晕亮度与第i种候选材质的标准光晕亮度之间的偏差，
Figure 49798DEST_PATH_IMAGE029
为目标区域的图像亮度与第i种候选材质的标准图像亮度之间的偏差；a、b、c分别是预设的权重值；
以匹配值最大的候选材质的材质类型为目标区域的材质类型。
其中，各材质类型对应的清洁模式可根据实际需要设置，例如，对于皮革，清洁模式为皮革清洗液擦拭模式（对应的清洁操作为：用专用的皮革清洗液对皮革区域进行擦拭）；对于塑料，清洁模式为普通擦拭模式（对应的清洁操作为：用清水对塑料区域进行擦拭）；对于织物，清洁模式为吸尘模式（对应的清洁操作为：用吸尘装置对织物区域进行吸尘处理）；但清洁模式不限于此。可事先生成清洁模式查询表，并为各清洁模式生成对应的清洁操作程序脚本，清洁模式查询表中记载了各材质类型与各清洁模式的映射关系，从而，第一执行模块6用于在根据各区域的材质类型确定各区域的清洁模式的时候，执行：根据各区域的材质类型在清洁模式查询表中查询，得到各区域的清洁模式。第二执行模块7用于在根据各区域的清洁模式对各区域执行对应的清洁操作的时候，执行：根据各区域的清洁模式调用对应的清洁操作程序脚本，从而使机械臂执行对应的清洁操作。
由上可知，该汽车内饰清洁装置，通过获取由相机采集的汽车内饰图像；利用预先训练好的深度学习网络对汽车内饰图像进行分割，获取各区域的类别信息；根据各区域的类别信息获取各区域的候选材质信息；使用白光照射灯照射各区域并获取由相机采集的各区域的白光照射区的反射图像；根据各区域的反射图像和候选材质信息，从对应的候选材质中确定各区域的材质类型；根据各区域的材质类型确定各区域的清洁模式；根据各区域的清洁模式对各区域执行对应的清洁操作；相对于传统的采用光谱的材质识别方式，该汽车内饰清洁装置在进行材质识别时不需要使用光谱仪和单色光源，节约成本；同时，因为先确定了各区域的候选材质信息，再结合对反射光结果进行综合分析，减小了对反射光本身属性的依赖，具有更好的鲁棒性；可准确识别汽车内饰各部件的材质，从而确定相应的清洁模式，自动化程度高。
请参照图3，图3为本申请实施例提供的一种电子设备的结构示意图，该电子设备包括：处理器301和存储器302，处理器301和存储器302通过通信总线303和/或其他形式的连接机构（未标出）互连并相互通讯，存储器302存储有处理器301可执行的计算机程序，当电子设备运行时，处理器301执行该计算机程序，以执行上述实施例的任一可选的实现方式中的汽车内饰清洁方法，以实现以下功能：获取由相机采集的汽车内饰图像；利用预先训练好的深度学习网络对汽车内饰图像进行分割，获取各区域的类别信息；根据各区域的类别信息获取各区域的候选材质信息；使用白光照射灯照射各区域并获取由相机采集的各区域的白光照射区的反射图像；根据各区域的反射图像和候选材质信息，从对应的候选材质中确定各区域的材质类型；根据各区域的材质类型确定各区域的清洁模式；根据各区域的清洁模式对各区域执行对应的清洁操作。
本申请实施例提供一种计算机可读取存储介质，其上存储有计算机程序，计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的汽车内饰清洁方法，以实现以下功能：获取由相机采集的汽车内饰图像；利用预先训练好的深度学习网络对汽车内饰图像进行分割，获取各区域的类别信息；根据各区域的类别信息获取各区域的候选材质信息；使用白光照射灯照射各区域并获取由相机采集的各区域的白光照射区的反射图像；根据各区域的反射图像和候选材质信息，从对应的候选材质中确定各区域的材质类型；根据各区域的材质类型确定各区域的清洁模式；根据各区域的清洁模式对各区域执行对应的清洁操作。其中，计算机可读取存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（Static Random Access Memory, 简称SRAM），电可擦除可编程只读存储器（Electrically Erasable Programmable Read-OnlyMemory, 简称EEPROM），可擦除可编程只读存储器（Erasable Programmable Read OnlyMemory, 简称EPROM），可编程只读存储器（Programmable Red-Only Memory, 简称PROM），只读存储器（Read-Only Memory, 简称ROM），磁存储器，快闪存储器，磁盘或光盘。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (9)

1.一种汽车内饰清洁方法，应用于机械臂，以对汽车内饰进行清洁；其特征在于，所述机械臂包括相机和白光照射灯；
所述汽车内饰清洁方法包括以下步骤：
A1.获取由所述相机采集的汽车内饰图像；
A2.利用预先训练好的深度学习网络对所述汽车内饰图像进行分割，获取各区域的类别信息；
A3.根据各所述区域的类别信息获取各所述区域的候选材质信息；
A4.使用所述白光照射灯照射各所述区域并获取由所述相机采集的各所述区域的白光照射区的反射图像；
A5.根据各所述区域的所述反射图像和所述候选材质信息，从对应的候选材质中确定各所述区域的材质类型；
A6.根据各所述区域的材质类型确定各所述区域的清洁模式；
A7.根据各所述区域的清洁模式对各所述区域执行对应的清洁操作；
步骤A5包括：
A501.获取各所述区域的所述反射图像的光晕大小、光晕亮度和图像亮度；
A502.根据各所述区域的所述候选材质信息和对应的光晕大小、光晕亮度和图像亮度，从对应的候选材质中确定各所述区域的材质类型。
2.根据权利要求1所述的汽车内饰清洁方法，其特征在于，步骤A1之后和步骤A4之前，还包括步骤：
A8.发送关灯指令，使环境照明灯光关闭。
3.根据权利要求1所述的汽车内饰清洁方法，其特征在于，步骤A4包括：
使用所述白光照射灯照射目标区域，并获取由所述相机采集的所述目标区域的白光照射区的第一反射图像；
使所述白光照射灯平移第一距离以照射所述目标区域，并获取由所述相机采集的所述目标区域的白光照射区的第二反射图像；
步骤A501包括：
获取所述第一反射图像中的光晕区域的最小外接圆的第一像素直径和第一像素中心坐标；所述光晕区域是指所有RGB值为（255,255,255）的像素点所包围的区域，所述最小外接圆是把所述光晕区域包围在内的直径最小的圆；
获取所述第二反射图像中的光晕区域的最小外接圆的第二像素中心坐标；
根据以下公式计算像素距离：
Figure DEST_PATH_IMAGE001
；
其中，
Figure DEST_PATH_IMAGE002
为所述像素距离，
Figure DEST_PATH_IMAGE003
、
Figure DEST_PATH_IMAGE004
分别为所述第一像素中心坐标的两个像素坐标值，
Figure DEST_PATH_IMAGE005
、
Figure DEST_PATH_IMAGE006
分别为所述第二像素中心坐标的两个像素坐标值；
根据以下公式计算光晕大小：
Figure DEST_PATH_IMAGE007
；
其中，
Figure DEST_PATH_IMAGE008
为所述光晕大小，
Figure DEST_PATH_IMAGE009
为所述第一距离，
Figure DEST_PATH_IMAGE010
为所述第一像素直径。
4.根据权利要求3所述的汽车内饰清洁方法，其特征在于，步骤A501包括：
在第一圆周上选取至少四个沿所述第一圆周均匀分布的第一参考点，计算所有所述第一参考点的第一GRB平均值；所述第一圆周是以所述第一像素中心坐标对应的点为圆心且以所述第一像素直径为直径的圆周；
在第二圆周上选取至少四个沿所述第二圆周均匀分布的第二参考点，计算所有所述第二参考点的第二GRB平均值；所述第二圆周是以所述第一像素中心坐标对应的点为圆心且直径为所述第一像素直径的两倍的圆周；
根据以下公式计算光晕亮度：
Figure DEST_PATH_IMAGE011
；
其中，
Figure DEST_PATH_IMAGE012
为所述光晕亮度，
Figure DEST_PATH_IMAGE013
为所述第一GRB平均值，
Figure DEST_PATH_IMAGE014
为所述第二GRB平均值。
5.根据权利要求3所述的汽车内饰清洁方法，其特征在于，步骤A501包括：
计算所述第一反射图像中的目标区域的像素点的RGB平均值作为图像亮度。
6.根据权利要求1所述的汽车内饰清洁方法，其特征在于，步骤A502包括：
把各所述区域的所述候选材质信息和对应的光晕大小、光晕亮度和图像亮度输入预先训练好的识别模型，得到各所述区域的材质类型识别结果。
7.一种汽车内饰清洁装置，应用于机械臂，以对汽车内饰进行清洁；其特征在于，所述机械臂包括相机和白光照射灯；
所述汽车内饰清洁装置包括：
第一获取模块，用于获取由所述相机采集的汽车内饰图像；
第一识别模块，用于利用预先训练好的深度学习网络对所述汽车内饰图像进行分割并获取各区域的类别信息；
第二获取模块，用于根据各所述区域的类别信息获取各所述区域的候选材质信息；
第三获取模块，用于使用所述白光照射灯照射各所述区域并获取由所述相机采集的各所述区域的白光照射区的反射图像；
第二识别模块，用于根据各所述区域的所述反射图像和所述候选材质信息，从对应的候选材质中确定各所述区域的材质类型；
第一执行模块，用于根据各所述区域的材质类型确定各所述区域的清洁模式；
第二执行模块，用于根据各所述区域的清洁模式对各所述区域执行对应的清洁操作；
第二识别模块用于在根据各所述区域的所述反射图像和所述候选材质信息，从对应的候选材质中确定各所述区域的材质类型的时候，执行：
获取各所述区域的所述反射图像的光晕大小、光晕亮度和图像亮度；
根据各所述区域的所述候选材质信息和对应的光晕大小、光晕亮度和图像亮度，从对应的候选材质中确定各所述区域的材质类型。
8.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时，运行如权利要求1-6任一项所述汽车内饰清洁方法中的步骤。
9.一种计算机可读取存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-6任一项所述汽车内饰清洁方法中的步骤。
CN202111259091.7A 2021-10-28 2021-10-28 汽车内饰清洁方法、装置、电子设备及存储介质 Active CN113705544B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111259091.7A CN113705544B (zh) 2021-10-28 2021-10-28 汽车内饰清洁方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111259091.7A CN113705544B (zh) 2021-10-28 2021-10-28 汽车内饰清洁方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113705544A CN113705544A (zh) 2021-11-26
CN113705544B true CN113705544B (zh) 2022-02-08

Family

ID=78647208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111259091.7A Active CN113705544B (zh) 2021-10-28 2021-10-28 汽车内饰清洁方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113705544B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4473409A (en) * 1982-06-02 1984-09-25 Greeley Jackie D Apparatus and method for cleaning vehicle interiors
CN108875568A (zh) * 2017-05-12 2018-11-23 福特全球技术公司 车辆污点和垃圾检测***和方法
WO2019004618A1 (ko) * 2017-06-27 2019-01-03 엘지전자 주식회사 주행면의 특성에 기반하여 주행하는 방법 및 이를 구현하는 로봇
CN109562745A (zh) * 2016-08-18 2019-04-02 大众汽车有限公司 用于清洁机动车的内部空间的方法和装置
CN110403529A (zh) * 2019-06-21 2019-11-05 安克创新科技股份有限公司 自移动装置及地面材质识别方法
CN110448225A (zh) * 2019-07-01 2019-11-15 深圳拓邦股份有限公司 一种清扫策略的调整方法、***及清洁设备
CN112087480A (zh) * 2019-06-13 2020-12-15 福特全球技术公司 车辆维护
CN112232399A (zh) * 2020-10-10 2021-01-15 南京埃斯顿机器人工程有限公司 基于多特征融合机器学习的汽车座椅缺陷检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BE788560A (fr) * 1972-06-09 1973-03-08 Du Pont Protection contre le halo dans la formation d'images dans des photopolymeres en couches multiples
DE19829759A1 (de) * 1998-07-03 2000-01-05 Itt Mfg Enterprises Inc Wischarm für eine Anlage zum Reinigen einer Scheibe

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4473409A (en) * 1982-06-02 1984-09-25 Greeley Jackie D Apparatus and method for cleaning vehicle interiors
CN109562745A (zh) * 2016-08-18 2019-04-02 大众汽车有限公司 用于清洁机动车的内部空间的方法和装置
CN108875568A (zh) * 2017-05-12 2018-11-23 福特全球技术公司 车辆污点和垃圾检测***和方法
WO2019004618A1 (ko) * 2017-06-27 2019-01-03 엘지전자 주식회사 주행면의 특성에 기반하여 주행하는 방법 및 이를 구현하는 로봇
CN112087480A (zh) * 2019-06-13 2020-12-15 福特全球技术公司 车辆维护
CN110403529A (zh) * 2019-06-21 2019-11-05 安克创新科技股份有限公司 自移动装置及地面材质识别方法
CN110448225A (zh) * 2019-07-01 2019-11-15 深圳拓邦股份有限公司 一种清扫策略的调整方法、***及清洁设备
CN112232399A (zh) * 2020-10-10 2021-01-15 南京埃斯顿机器人工程有限公司 基于多特征融合机器学习的汽车座椅缺陷检测方法

Also Published As

Publication number Publication date
CN113705544A (zh) 2021-11-26

Similar Documents

Publication Publication Date Title
US10746763B2 (en) Apparatus and method for diagnosing electric power equipment using thermal imaging camera
CN108027248A (zh) 具有基于特征的定位和导航的工业车辆
US20140026762A1 (en) Cooking device and procedure for cooking food
CN106909911A (zh) 图像处理方法、图像处理装置和电子装置
CN101097599B (zh) 生物体认证装置
CN111612737B (zh) 一种人造板表面瑕疵检测装置及检测方法
US10482347B2 (en) Inspection of the contoured surface of the undercarriage of a motor vehicle
CN110998257B (zh) 车辆颜色测量方法和装置
CN109690569A (zh) 使用神经网络的照明控制
KR20090061296A (ko) 이동 로봇의 자세 보정 방법 및 장치
CN104541303B (zh) 用于对叶片预成形件进行非破坏性试验的方法
CN104458752A (zh) 外观检查***以及外观检查方法
JP2010509666A (ja) 画像の照明検出
CN113705544B (zh) 汽车内饰清洁方法、装置、电子设备及存储介质
JP5403779B2 (ja) 照明システム
CN109540892A (zh) 鸭肉品种鉴别方法及***
CN112329893A (zh) 基于数据驱动的异源多目标智能检测方法及***
CN110274911B (zh) 图像处理***、图像处理装置、存储介质
CN114760739B (zh) 一种基于环境信息的智能照明灯具控制***及方法
WO2018218437A1 (zh) 对待检测目标进行打光的方法、***和存储装置
KR102105066B1 (ko) 골격 정도 비전검사방법
CN110728281B (zh) 一种车牌分割和识别的方法
CN111639638B (zh) 一种识别透明平板的***以及识别方法
CN106033263B (zh) 用来侦测噪声的图像处理方法及其导航装置
ES2385882A1 (es) Sistema de reconocimiento de imágenes de losas de piedra.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant