CN113888494B - 一种汽车域控制器的人工智能接口引脚质量检测方法 - Google Patents
一种汽车域控制器的人工智能接口引脚质量检测方法 Download PDFInfo
- Publication number
- CN113888494B CN113888494B CN202111141275.3A CN202111141275A CN113888494B CN 113888494 B CN113888494 B CN 113888494B CN 202111141275 A CN202111141275 A CN 202111141275A CN 113888494 B CN113888494 B CN 113888494B
- Authority
- CN
- China
- Prior art keywords
- pin
- interface
- pins
- confidence
- range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30268—Vehicle interior
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种汽车域控制器的人工智能接口引脚质量检测方法,包括:采集可分辨出接口引脚的图像;构建汽车接口引脚目标检测卷积神经网络模型,输入为单目图像,输出为接口类型、接口边界框、接口置信度及引脚边界框、引脚置信度;以高置信度接口的类型、边界框分别检索得到接口引脚质量要求、接口检测范围;以接口检测范围中的高置信度引脚边界框为引脚范围,统计检测范围中的高置信度引脚数量,得到接口引脚数量,并结合引脚范围、深度图像,获得引脚实际形状,测得引脚高度测量值、引脚形心位置测量值特征参数;根据接口引脚数量检出数、引脚高度测量值、引脚形心位置测量值,计算得引脚高度偏差及引脚水平偏移,判断接口引脚质量;根据接口高度测量值、接口高度,计算得接口高度偏差。
Description
技术领域
本发明涉及汽车域控制器智能制造技术领域,尤其涉及一种汽车域控制 器DCU的人工智能接口引脚质量检测方法。
背景技术
现有汽车域控制器DCU(Domain Control Unit),最早是为了解决信息 安全,以及电子控制单元的瓶颈问题。根据汽车电子部件功能将整车划分为 动力总成,智能座舱和自动驾驶等几个域,利用处理能力更强的多核芯片相 对集中的控制每个域,以取代目前分布式电子电气架构。域控制器的核心发 展是芯片的计算能力快速提升,公用信息的***组件,能在软件中分配和执 行,可实现以足够的资源快速响应完成客户需求,具备平台化、兼容性、集 成高、性能好等优势。集中式架构相比分布式的架构,需要DCU的处理单 元拥有更强的多核、更大的计算能力,而域里其它的处理器相对就可以减少 性能和资源。各种传感器、执行器可以成为单独的模块,这样可以更方便实 现零部件的标准化。DCU能够接入不同传感器的信号并对信号进行分析和 处理,这样就可以方便地扩展外接的传感器,这样就能够更加适应不同需求 的开发,从而为平台化铺平道路。各种接口的高度集成化,其质量检测成为 DCU的智能制造中必须突破的一环。
目前采用深度学习结合深度相机,实现制造质量检测的相关发明有山东 大学《基于激光雷达和双目相机数据融合的衬板装配***及方法》(公开号: CN 111340834 A)公开了一种基于激光雷达和双目相机数据融合的衬板装配 ***及方法,基于激光雷达获取的磨机内部实时点云,以及包含衬板信息的 深度图像,进而确定衬板的实时位姿信息和耳部位姿,生成重载机械臂调整 衬板位姿的控制指令,以进行衬板装配,直至完成装配。主要是采用深度学 习结合深度相机,实现定位完成装配。
青岛理工大学李东年、陈成军团队,提出多层随机森林、注意力机制、 目标检测、像素分类、深度学习网络、深度图像对比、多模型集成等一系列 装配检测方法,其中最相关是《一种基于深度图像对比的装配体多视角检测 方法和***》(公开号:113269729 A)。该发明方法包括以下步骤:在装配体 上或附近设置注册卡,建立三维模型库和零件库;通过RGB传感器和深度 传感器分别采集装配体在装配过程各时刻的RGB图像和物理深度图像;计 算所述RGB传感器在注册卡坐标系中的位置和姿态;计算所述深度传感器 在注册卡坐标系中的位置和姿态;更新所述三维模型库的视角,获取三维模 型库当前视角下的合成深度图像;对比合成深度图像和物理深度图像,获取 变化区域;根据所述变化区域及视角在零件库中查询当前装配零件;更新所 述三维模型库。该发明主要采用通过深度变化实现装配体局部变化检测,难 以直接应用于本发明装配体局部没有变化的情况。
发明内容
为解决上述技术问题,本发明的目的是提供一种汽车域控制器DCU的 人工智能接口引脚质量检测方法。
本发明的目的通过以下的技术方案来实现:
一种汽车域控制器的人工智能接口引脚质量检测方法,包括:
步骤A采集可分辨出接口引脚的图像;
步骤B构建汽车DCU接口引脚目标检测卷积神经网络CNN模型,输入 为单目图像,输出为接口类型、接口边界框、接口置信度以及引脚边界框、 引脚置信度;
步骤C以高置信度接口的类型、边界框分别检索得到接口引脚质量要求、 接口检测范围;
步骤D以接口检测范围中的高置信度引脚边界框为引脚范围,统计检测 范围中的高置信度引脚数量,得到接口引脚数量,并结合引脚范围、深度图 像,获得引脚实际形状,测得引脚高度测量值、引脚形心位置测量值两项特 征参数;
步骤E根据接口引脚数量检出数、引脚高度测量值、引脚形心位置测量 值,计算得引脚高度偏差及引脚水平偏移,判断接口引脚质量;以及根据接 口高度测量值、接口高度,计算得接口高度偏差。
与现有技术相比,本发明的一个或多个实施例可以具有如下优点:
采用深度学习+深度相机,实现汽车域控制器多个接口引脚质量检测, 并判断不合格原因。
附图说明
图1是汽车域控制器的人工智能接口引脚质量检测方法流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合实施例及附图 对本发明作进一步详细的描述。
如图1所示,为汽车域控制器DCU的人工智能接口引脚质量检测方法 流程,包括以下步骤:
步骤10使用双目结构光相机,调整物距使成像视野合适,采集可分辨 出接口引脚的图像;图像中单个引脚像素数量应超过25个。
步骤20构建汽车DCU接口引脚目标检测CNN模型,输入为单目图 像,输出为接口类型、接口边界框、接口置信度,以及引脚边界框、引脚置 信度。
汽车DCU接口引脚目标检测CNN模型,主要指R-CNN、Fast R-CNN、 Faster R-CNN等Anchor-based的目标检测CNN模型。模型输出数据内容包 括:对象数量Nobject,Nobject个对象信息;设第n个对象信息具体包括:预测 边界框Rbbox-n、预测类型Rclass-n、预测置信度Rscore-n;其中
②预测类型Rclass-n是标量,设接口种类数Ninterface,则Rclass-n值为{0,1,2,3,..,Ninterface};表1为预测类型Rclass-n与类型标签对应表。
表1预测类型Rclass-n与类型标签对应表
③预测置信度Rscore-n定义域为[0,1]。
采用随机梯度下降SGD算法,在训练数据集上进行正向推理与反向学 习过程,在验证数据集上进行正向推理验证过程,训练汽车DCU接口引脚 目标检测CNN模型,使其拟合到训练数据集、验证数据集上;训练数据集、 验证数据集标注的类型标签,边界框为引脚、接口的最小外接矩形。训练采 用Mini-batch策略,分批数Nbatch=2,结合数据量大小,迭代训练次数Niter分别可选为1000、2000、3000……。即模型将训练Niter次,每次训练在训练 数据集中挑选两个图片上进行。
训练过程中,可观测分类损失loss_cls、定位损失loss_box_reg、总损失 total_loss是否减小,判断目标检测CNN模型是否收敛;模型完成训练后, 以重叠率超过50%的平均精度AP0.5作为主要评价指标;只要AP0.5≥90%,模 型满足应用需求。
步骤30以高置信度接口的类型、边界框分别检索得到接口引脚质量要 求、接口检测范围;
由接口检测结果,预测边界框Rbbox-n、预测类型Rclass-n、预测置信度Rscore-n、 得到接口检测范围Adetect-n:
接口引脚质量要求包括接口引脚数量NPIN,接口内每个引脚位置(XPIN-i, YPIN-i)、高度DPIN-i,i代表该接口的第i个引脚(i=1,2,3…NPIN);有:
步骤40以接口检测范围中的高置信度引脚边界框为引脚范围,统计检 测范围中的高置信度引脚数量,得到接口引脚数量,并结合引脚范围、深度 图像,测得引脚高度、引脚形心位置两项特征参数。
接口检测范围中的高置信度引脚边界框为引脚范围APIN-m,统计接口检 测范围Adetect-n中的高置信度引脚数量,得到接口引脚数量并结合引脚 范围APIN-m、深度图像,获得引脚实际形状获得引脚高度测量值形心位置测量值两项特征参数;
以接口检测范围中的高置信度引脚边界框为引脚范围APIN-n:
结合引脚范围APIN-m、深度图像,获得引脚实际形状SPIN-i;
步骤50根据接口引脚数量、引脚高度、引脚形心位置,判断接口引脚 质量。
接口引脚质量合格判断方法为:
接口引脚质量不合格及原因判断方法为:
虽然本发明所揭露的实施方式如上,但所述的内容只是为了便于理解本 发明而采用的实施方式,并非用以限定本发明。任何本发明所属技术领域内 的技术人员,在不脱离本发明所揭露的精神和范围的前提下,可以在实施的 形式上及细节上作任何的修改与变化,但本发明的专利保护范围,仍须以所 附的权利要求书所界定的范围为准。
Claims (8)
1.一种汽车域控制器的人工智能接口引脚质量检测方法,其特征在于,所述方法包括:
步骤A采集可分辨出接口引脚的图像;
步骤B构建汽车DCU接口引脚目标检测卷积神经网络CNN模型,输入为单目图像,输出为接口类型、接口边界框、接口置信度以及引脚边界框、引脚置信度;
步骤C以高置信度接口的类型、边界框分别检索得到接口引脚质量要求、接口检测范围;所述接口引脚质量要求包括接口引脚数量NPIN,接口内每个引脚位置(XPIN-i,YPIN-i)、接口内每个引脚高度DPIN-i,其中,i代表该接口的第i个引脚,i=1,2,3…NPIN;
步骤D以接口检测范围中的高置信度引脚边界框为引脚范围,统计检测范围中的高置信度引脚数量,得到接口引脚数量,并结合引脚范围、深度图像,获得引脚实际形状,测得引脚高度测量值、引脚形心位置测量值两项特征参数;其中,以接口检测范围中的高置信度引脚边界框为引脚范围APIN-m,统计接口检测范围Adetect-n中的高置信度引脚数量结合引脚范围APIN-m、深度图像,获得引脚实际形状SPIN-i;
步骤E根据接口引脚数量检出数、引脚高度测量值、引脚形心位置测量值,计算得引脚高度偏差及引脚水平偏移,判断接口引脚质量;以及根据接口高度测量值、接口高度,计算得接口高度偏差。
2.如权利要求1所述的汽车域控制器的人工智能接口引脚质量检测方法,其特征在于,所述步骤A中采用双目结构光相机采集可分辨出接口引脚的图像,所述可分辨出接口引脚的图像是指单个引脚像素数量超过25个。
3.如权利要求1所述的汽车域控制器的人工智能接口引脚质量检测方法,其特征在于,汽车DCU接口引脚目标检测卷积神经网络CNN模型指R-CNN、Fast R-CNN、Faster R-CNN、Anchor-based的目标检测CNN模型;模型输出数据内容包括:对象数量Nobject,Nobject个对象信息;设第n个对象信息具体包括:预测边界框Rbbox-n、预测类型Rclass-n、预测置信度Rscore-n。
5.如权利要求1所述的汽车域控制器的人工智能接口引脚质量检测方法,其特征在于,所述步骤B中汽车DCU接口引脚目标检测CNN模型,在训练集、验证集上学习特征提取与模式识别知识,系采用梯度下降型优化算法;
在训练数据集上进行正向推理与反向学习过程,在验证数据集上进行正向推理验证过程,训练汽车DCU接口引脚目标检测CNN模型,使其拟合到训练数据集、验证数据集上;训练数据集、验证数据集标注的类型标签以边界框为引脚、接口的最小外接矩形;
训练采用Mini-batch策略,分批数Nbatch=2,结合数据量大小,迭代训练次数Niter分别选为1000、2000、3000……;即模型将训练Niter次,每次训练在训练数据集中挑选两个图片上进行;
训练过程中,观测分类损失loss_cls、定位损失loss_box_reg、总损失total_loss是否减小,判断目标检测CNN模型是否收敛;
模型完成训练后,以重叠率超过50%的平均精度AP0.5作为评价指标;只要AP0.5≥90%,模型满足应用需求。
以接口检测范围中的高置信度引脚边界框为引脚范围APIN-m:
RPIN-bbox-m为引脚预测边界框、R PIN-class-m为引脚预测类型、R PIN-score-m为引脚预测置信度,Tscore为置信度下限;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111141275.3A CN113888494B (zh) | 2021-09-28 | 2021-09-28 | 一种汽车域控制器的人工智能接口引脚质量检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111141275.3A CN113888494B (zh) | 2021-09-28 | 2021-09-28 | 一种汽车域控制器的人工智能接口引脚质量检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113888494A CN113888494A (zh) | 2022-01-04 |
CN113888494B true CN113888494B (zh) | 2022-08-30 |
Family
ID=79007324
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111141275.3A Active CN113888494B (zh) | 2021-09-28 | 2021-09-28 | 一种汽车域控制器的人工智能接口引脚质量检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113888494B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116030053B (zh) * | 2023-03-27 | 2023-06-16 | 中江立江电子有限公司 | 一种连接器引脚缺陷检测方法、装置、设备及介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108982508A (zh) * | 2018-05-23 | 2018-12-11 | 江苏农林职业技术学院 | 一种基于特征模板匹配和深度学习的塑封体ic芯片缺陷检测方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9971953B2 (en) * | 2015-12-10 | 2018-05-15 | Intel Corporation | Visual recognition using deep learning attributes |
US11734910B2 (en) * | 2018-02-21 | 2023-08-22 | Robert Bosch Gmbh | Real-time object detection using depth sensors |
US11188705B2 (en) * | 2019-05-17 | 2021-11-30 | Synopsys, Inc. | Pin accessibility prediction engine |
CN112816496B (zh) * | 2021-01-05 | 2022-09-23 | 广州市华颉电子科技有限公司 | 一种汽车域控制器的接口装配质量自动光学检测方法及装置 |
CN113269234B (zh) * | 2021-05-10 | 2022-09-20 | 青岛理工大学 | 一种基于目标检测的连接件装配检测方法和*** |
CN113436182A (zh) * | 2021-07-08 | 2021-09-24 | 揭阳市汇宝昌电器有限公司 | 一种微型直流电机的端盖装配质量快速视觉检测鉴别方法 |
-
2021
- 2021-09-28 CN CN202111141275.3A patent/CN113888494B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108982508A (zh) * | 2018-05-23 | 2018-12-11 | 江苏农林职业技术学院 | 一种基于特征模板匹配和深度学习的塑封体ic芯片缺陷检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113888494A (zh) | 2022-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111798475B (zh) | 一种基于点云深度学习的室内环境3d语义地图构建方法 | |
CN110070074B (zh) | 一种构建行人检测模型的方法 | |
CN106228185B (zh) | 一种基于神经网络的通用图像分类识别***及方法 | |
CN111079640B (zh) | 一种基于自动扩增样本的车型识别方法及*** | |
CN107016413B (zh) | 一种基于深度学习算法的烟叶在线分级方法 | |
CN108734143A (zh) | 一种巡检机器人的基于双目视觉的输电线路在线检测方法 | |
CN112434586B (zh) | 一种基于域自适应学习的多复杂场景目标检测方法 | |
CN111223133A (zh) | 一种异源图像的配准方法 | |
CN113920107A (zh) | 一种基于改进yolov5算法的绝缘子破损检测方法 | |
CN111553201A (zh) | 一种基于YOLOv3优化算法的交通灯检测方法 | |
CN114266884A (zh) | 旋转框定位多形态瓶状物品分拣目标检测方法 | |
CN108549866B (zh) | 基于密集卷积神经网络的遥感飞机识别方法 | |
CN110287798B (zh) | 基于特征模块化和上下文融合的矢量网络行人检测方法 | |
CN113888494B (zh) | 一种汽车域控制器的人工智能接口引脚质量检测方法 | |
CN112861631A (zh) | 一种基于Mask Rcnn以及SSD的地磅人体入侵检测方法 | |
CN113313047A (zh) | 一种基于车道结构先验的车道线检测方法及*** | |
CN115049821A (zh) | 一种基于多传感器融合的三维环境目标检测方法 | |
CN115457130A (zh) | 一种基于深度关键点回归的电动汽车充电口检测定位方法 | |
CN116580322A (zh) | 一种地面背景下无人机红外小目标检测方法 | |
CN117456480B (zh) | 一种基于多源信息融合的轻量化车辆再辨识方法 | |
CN114170188A (zh) | 一种俯视图像的目标计数方法、***及存储介质 | |
CN110751005A (zh) | 融合深度感知特征和核极限学习机的行人检测方法 | |
CN116935356A (zh) | 基于弱监督的自动驾驶多模态图片和点云实例分割方法 | |
CN112017213A (zh) | 一种目标对象的位置更新方法及*** | |
CN113657438B (zh) | 一种热红外模式下vgg神经网络的排水管道病害检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |