CN110780982A - 一种图像处理方法、装置及设备 - Google Patents
一种图像处理方法、装置及设备 Download PDFInfo
- Publication number
- CN110780982A CN110780982A CN201910667544.6A CN201910667544A CN110780982A CN 110780982 A CN110780982 A CN 110780982A CN 201910667544 A CN201910667544 A CN 201910667544A CN 110780982 A CN110780982 A CN 110780982A
- Authority
- CN
- China
- Prior art keywords
- subtask
- operator
- detection object
- image
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 66
- 238000000034 method Methods 0.000 claims abstract description 52
- 230000008569 process Effects 0.000 claims abstract description 30
- 238000001514 detection method Methods 0.000 claims description 118
- 238000001914 filtration Methods 0.000 claims description 94
- 230000002452 interceptive effect Effects 0.000 claims description 24
- 238000000605 extraction Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 4
- 239000000463 material Substances 0.000 description 21
- 238000004891 communication Methods 0.000 description 17
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 239000002245 particle Substances 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000005622 photoelectricity Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种图像处理方法、装置及设备，设备中预先配置算子库，算子库中包括多种算子；该方法包括：确定待处理图像对应的每个子任务，以及每个子任务之间的执行顺序；按照执行顺序，依次调用每个子任务对应的算子，对待处理图像进行处理；可见本方案中，可以对图像设定不同的子任务，利用这些算子可以对图像进行多种形式的处理，也就是执行这些子任务，也就是说，该设备可以处理不同场景中的图像，提高了设备的通用性。
Description
技术领域
本发明涉及一种工业类机器视觉领域，特别是指一种图像处理方法、装置及设备。
背景技术
目前，一些电子设备具有图像处理功能。比如，考勤场景中设置的抓拍机可以进行人脸识别，交通场景中设置的摄像头可以进行车牌识别，物流场景中设置的工业相机可以识别物体的颜色尺寸等信息。
但是，这些电子设备中配置的算法是固定的，不同场景中设置的设备不能通用，比如用于人脸识别的相机不能用于车牌识别。可见，现有的图像处理设备的通用性较差。
发明内容
有鉴于此，本发明的目的在于提出一种图像处理方法、装置及设备，以提高设备的通用性。
基于上述目的，本发明实施例提供了一种图像处理方法，包括：
获取待处理图像；
确定所述待处理图像对应的每个子任务，以及每个子任务之间的执行顺序；
按照所述执行顺序，在预先配置的算子库中，依次调用每个子任务对应的算子，对所述待处理图像进行处理。
可选的，在所述获取待处理图像之后，还包括：
识别所述待处理图像中的每个检测对象；
所述确定所述待处理图像对应的每个子任务，以及每个子任务之间的执行顺序，包括：
分别确定每个检测对象对应的每个子任务；确定每个子任务之间的执行顺序；
所述按照所述执行顺序，在预先配置的算子库中，依次调用每个子任务对应的算子，对所述待处理图像进行处理，包括：
按照所述执行顺序，在预先配置的算子库中，依次调用每个子任务对应的算子，对检测对象进行处理。
可选的，在所述识别所述待处理图像中的每个检测对象之后，还包括：
针对每个检测对象，确定该检测对象对应的滤波方式；
利用所确定的滤波方式，对该检测对象进行滤波；
所述按照所述执行顺序，在预先配置的算子库中，依次调用每个子任务对应的算子，对检测对象进行处理，包括：
按照所述执行顺序，在预先配置的算子库中，依次调用每个子任务对应的算子，对滤波后的检测对象进行处理。
可选的，所述针对每个检测对象，确定该检测对象对应的滤波方式，包括：
展示每种滤波方式对应的解释信息；确定用户针对每个检测对象选择的滤波方式；
或者，根据预先配置的对象类型与滤波方式的对应关系，确定每个检测对象对应的滤波方式；
或者，展示每种滤波方式对检测对象的滤波结果；确定用户针对每个检测对象选择的滤波方式。
可选的，所述依次调用每个子任务对应的算子，对检测对象进行处理，包括以下任意一个或多个步骤：
若检测对象为图形码，则调用图形码扫描算子对检测对象进行扫描；
调用定位算子，确定所述检测对象的位置；
调用颜色识别算子，识别所述检测对象的颜色；
调用尺寸识别算子，识别所述检测对象的尺寸；
调用模型匹配算子，判断所述检测对象与预设模型是否相匹配。
可选的，所述确定所述待处理图像对应的每个子任务，以及每个子任务之间的执行顺序，包括：
在交互界面中展示多个第一级子任务；
确定用户选择的第一级子任务，作为第一级待执行子任务；
展示所述第一级待执行子任务的下一级子任务；
确定用户选择的下一级子任务，作为下一级待执行子任务。
基于上述目的，本发明实施例还提供了一种图像处理装置，包括：
获取模块，用于获取待处理图像；
第一确定模块，用于确定所述待处理图像对应的每个子任务，以及每个子任务之间的执行顺序；
调用模块，用于按照所述执行顺序，在预先配置的算子库中，依次调用每个子任务对应的算子，对所述待处理图像进行处理。
可选的，所述装置还包括：
识别模块，用于识别所述待处理图像中的每个检测对象；
所述第一确定模块，具体用于：分别确定每个检测对象对应的每个子任务；确定每个子任务之间的执行顺序；
所述调用模块，具体用于：按照所述执行顺序，在预先配置的算子库中，依次调用每个子任务对应的算子，对检测对象进行处理。
可选的，所述装置还包括：
第二确定模块，用于针对每个检测对象，确定该检测对象对应的滤波方式；
滤波模块，用于利用所确定的滤波方式，对该检测对象进行滤波；
所述调用模块，具体用于：
按照所述执行顺序，在预先配置的算子库中，依次调用每个子任务对应的算子，对滤波后的检测对象进行处理。
可选的，所述第二确定模块，具体用于：
展示每种滤波方式对应的解释信息；确定用户针对每个检测对象选择的滤波方式；
或者，根据预先配置的对象类型与滤波方式的对应关系，确定每个检测对象对应的滤波方式；
或者，展示每种滤波方式对检测对象的滤波结果；确定用户针对每个检测对象选择的滤波方式。
可选的，所述调用模块用于执行以下任意一个或多个步骤：
若检测对象为图形码，则调用图形码扫描算子对检测对象进行扫描；
调用定位算子，确定所述检测对象的位置；
调用颜色识别算子，识别所述检测对象的颜色；
调用尺寸识别算子，识别所述检测对象的尺寸；
调用模型匹配算子，判断所述检测对象与预设模型是否相匹配。
可选的，所述第一确定模块，具体用于：
在交互界面中展示多个第一级子任务；
确定用户选择的第一级子任务，作为第一级待执行子任务；
展示所述第一级待执行子任务的下一级子任务；
确定用户选择的下一级子任务，作为下一级待执行子任务。
基于上述目的，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一种图像处理方法。
可选的，所述处理器包括：现场可编程门阵列、中央处理器和数字信号处理芯片；
其中，所述现场可编程门阵列，用于确定对图像的处理逻辑；基于所述处理逻辑调用所述中央处理器对所述图像进行特征提取，得到特征数据；以及调用所述数字信号处理芯片对所述特征数据进行运算处理。
应用本发明所示实施例，设备中预先配置算子库，算子库中包括多种算子；确定待处理图像对应的每个子任务，以及每个子任务之间的执行顺序；按照执行顺序，依次调用每个子任务对应的算子，对待处理图像进行处理；可见本方案中，可以对图像设定不同的子任务，利用这些算子可以对图像进行多种形式的处理，也就是执行这些子任务，也就是说，该设备可以处理不同场景中的图像，提高了设备的通用性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种图像处理方法的流程示意图；
图2为本发明实施例提供的一种相机的结构示意图；
图3为本发明实施例提供的一种图像处理流程示意图；
图4为本发明实施例提供的另一种图像处理流程示意图；
图5为本发明实施例提供的一种图像处理装置的结构示意图；
图6为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
为了解决上述技术问题，本发明实施例提供了一种图像处理方法、装置及设备，该方法和装置可以应用于各种电子设备，比如，抓拍机、数字化工业相机等图像采集设备，或者也可以为与图像采集设备通信连接的其他设备，具体不做限定。下面首先对发明实施例提供的图像处理方法进行介绍。
图1为本发明实施例提供的一种图像处理方法的流程示意图，包括：
S101：获取待处理图像。
如果执行本方案的电子设备(执行主体，以下简称为本设备)为图像采集设备，则本设备可以自身采集得到待处理图像；如果本设备为与图像采集设备通信连接的设备，则本设备可以获取图像采集设备采集的图像，作为待处理图像。
举例来说，对于数字化工业相机来说，可以在检测到生产线(或者物流传输线，下同)上的物料到达指定位置的情况下，触发该相机进行图像采集。比如，可以在生产线上设置光电传感器，光电传感器判断是否存在遮挡物体，如果存在，表示生产线上的物料到达指定位置，光电传感器触发数字化工业相机对准物料进行图像采集，并将采集到的图像作为待处理图像。
S102：确定待处理图像对应的每个子任务，以及每个子任务之间的执行顺序。
举例来说，本设备可以向用户展示交互界面，由用户选择待处理图像对应的每个子任务，以及每个子任务之间的执行顺序。比如，用户可以选择先扫描图像中的图形码，再确定图像中物料的位置，再识别图像中物料的颜色，这种情况下，扫描图形码、确定位置、识别颜色即为三个子任务。图形码可以为条形码、二维码等等，具体不做限定。再比如，用户可以选择先识别图像中物料的数量，若数量大于一，再确定图像中物料的位置，这种情况下，识别数量、确定位置即为两个子任务。再比如，用户可以选择先识别图像中物料的尺寸，再判定物料的尺寸是否满足公差条件，这种情况下，识别尺寸、公差判定即为两个子任务。
用户可以根据实际情况确定需要执行的子任务及其顺序。比如，考勤场景中进行人脸识别时，各子任务可以包括：特征提取和模型匹配，交通场景中进行车牌识别时，各子任务可以包括：特征提取和字符识别，物流场景中，各子任务可以包括：扫描图形码、确定位置、识别颜色，等等，不再一一列举。可以将人脸识别理解为一个整体的任务，特征提取和模型匹配为该任务中的一部分，因此将其称为子任务。类似的，可以将车牌识别理解为一个整体的任务，特征提取和字符识别为该任务中的一部分，因此将其称为子任务。其他场景类似，不再一一说明。
一种实施方式中，在S101之后，可以先识别所述待处理图像中的每个检测对象；这样，S102可以包括：分别确定每个检测对象对应的每个子任务；确定每个子任务之间的执行顺序。
举例来说，本实施方式中，可以先对图像进行ROI(Region of Interest)检测，将检测到的每个图像区域分别作为一个检测对象。或者，也可以通过人工划线的方式确定图像中的每个检测对象。以物流场景为例来说，相机针对货物进行图像采集，采集到的图像中包括货物、货物上粘贴的图形码以及一些背景区域；对图像进行ROI检测，识别出图像中的货物和图形码，将货物记为检测对象1，将图形码记为检测对象2。
用户可以分别设定这两个检测对象对应的子任务，比如，对检测对象1设定的子任务为：识别颜色和确定尺寸，对检测对象2识别的子任务为：扫描。用户还可以设定这三个子任务的执行顺序，比如执行顺序可以为：扫描图形码、识别颜色和确定尺寸。
一种实施方式中，S102可以包括：在交互界面中展示多个第一级子任务；确定用户选择的第一级子任务，作为第一级待执行子任务；展示所述第一级待执行子任务的下一级子任务；确定用户选择的下一级子任务，作为下一级待执行子任务。
本实施方式中，子任务之间可以具有层级关系，比如，进行人脸识别时，通常先进行特征提取，再进行模型匹配，这样，模型匹配这一子任务则为特征提取这一子任务的下一层级。再比如，进行车牌识别时，通常先进行特征提取，再进行字符识别。再比如，检测生产线上物料时，通常先识别图像中物料的尺寸，再判定物料的尺寸是否满足公差条件。
可以先在交互界面中展示“特征提取”和“识别物料尺寸”这两个第一级子任务。如果用户选择的第一级子任务为“特征提取”，则可以继续展示“特征提取”的下一级子任务“模型匹配”和“字符识别”，假设用户选择“模型匹配”，则S102中确定的子任务及其执行顺序为：“特征提取”和“模型匹配”。如果用户选择的第一级子任务为“识别物料尺寸”，则可以继续展示“识别物料尺寸”的下一级子任务“公差判定”，具体情况类似，不再赘述。
S103：按照该执行顺序，在预先配置的算子库中，依次调用每个子任务对应的算子，对待处理图像进行处理。
本设备中预先配置算子库，该算子库中可以包括多个算子，比如，几何轮廓提取算子、BLOB(Binary Large Object，二进制大对象，是一个可以存储二进制文件的容器)分析算子、灰度直方图生成算子、边缘宽度算子、颜色识别算子、模型匹配算子、定位算子、公差判定算子等等，不再一一列举。
算子与子任务之间存在对应关系。比如，“确定物体(物料、货物等)位置”这一子任务可以对应定位算子，“识别物体(物料、货物等)颜色”这一子任务可以对应颜色识别算子，“模型匹配”这一子任务可以对应模型匹配算子等等，具体不做限定。在确定子任务及其执行顺序后，便可以根据子任务与算子之间的对应关系，调用相应的算子执行相应的子任务。
一种实施方式中，调用算子对检测对象进行处理可以包括以下任意一个或多个步骤：
若检测对象为图形码，则调用图形码扫描算子对检测对象进行扫描；
调用定位算子，确定所述检测对象的位置；
调用颜色识别算子，识别所述检测对象的颜色；
调用尺寸识别算子，识别所述检测对象的尺寸；
调用模型匹配算子，判断所述检测对象与预设模型是否相匹配。
如上所述，算子可以有多种类型，还可以调用几何轮廓提取算子，提取检测对象的几何轮廓，调用BLOB分析算子，分析检测对象的二进制值，调用灰度直方图生成算子，生成检测对象对应的灰度直方图，调用边缘宽度算子，计算检测对象的边缘宽度，调用公差判定算子，判定检测对象的尺寸是否满足公差条件等等，不再一一列举。
上述一种实施方式中，S101之后先识别待处理图像中的每个检测对象，这种实施方式中，S103可以包括：按照所述执行顺序，在预先配置的算子库中，依次调用每个子任务对应的算子，对检测对象进行处理。
举例来说，假设S102中确定出两个子任务，且执行顺序为先执行子任务A再执行子任务B，假设子任务A对应三个算子：算子1、算子2和算子3，子任务B对应两个算子：算子4和算子5。一种情况下，可以先调用算子1、算子2和算子3执行子任务A，待子任务A执行完成后，再调用算子4和算子5执行子任务B。另一种情况下，假设执行任务A的过程中，先调用算子1，再调用算子2，最后调用算子3，可以不等待子任务A执行完成再执行子任务B，比如可以在调用算子1之后，既调用算子2继续执行子任务A，又调用算子4开始执行子任务B。调用各算子的顺序可以根据实际情况设定，具体不做限定。
一种实施方式中，在识别待处理图像中的每个检测对象之后，还可以针对每个检测对象，确定该检测对象对应的滤波方式；利用所确定的滤波方式，对该检测对象进行滤波；这样，S103可以包括：按照所述执行顺序，在预先配置的算子库中，依次调用每个子任务对应的算子，对滤波后的检测对象进行处理。
本实施方式中，针对不同检测对象选择其适用的滤波方式，可以达到较好的滤波效果。
作为一种实施方式，可以根据预先配置的对象类型与滤波方式的对应关系，确定每个检测对象对应的滤波方式。
滤波方式有多种，比如中值滤波、限幅平均滤波、高斯滤波等等，这些滤波方式的适用场景不同，比如，中值滤波较适用于滤除点状噪声，限幅平均滤波较适用于滤除颗粒噪声，高斯滤波较较适用于滤除高斯噪声。可以根据滤波方式的特点，预先确定适用于各种检测对象的滤波方式，也就是预先配置对象类型与滤波方式的对应关系。这样，识别待处理图像中的检测对象后，便可以根据检测对象的类型，选择相应的滤波方式对其进行滤波处理。
作为另一种实施方式，可以展示每种滤波方式对应的解释信息；确定用户针对每个检测对象选择的滤波方式。该解释信息可以包括滤波方式的优缺点、适用场景等信息，该解释信息有助于用户选择适用于检测对象的滤波方式。
作为另一种实施方式，可以展示每种滤波方式对检测对象的滤波结果；确定用户针对每个检测对象选择的滤波方式。
本实施方式中，可以在与用户的交互界面中展示不同滤波方式对检测对象的滤波结果，用户根据所展示的滤波结果选择滤波方式。一种情况下，用户还可以通过交互界面，调整滤波参数，在交互界面中实时展示调整结果，这样，通过直观的展示，方便用户确定更合适的滤波方式。
一种实施方式中，用户还可以设定处理结果的输出格式、时机等等，还可以设定将处理结果输出至不同的交互设备。举例来说，本设备可以通过网口与计算机相连接，本设备还可以通过串口与PLC(Programmable Logic Controller，可编程逻辑控制器)相连接，等等，具体的通讯接口及交互设备不做限定，用户可以设定将处理结果发送至不同的交互设备。在S103得到对待处理图像的处理结果后，可以根据用户设定的输出格式、时机、交互设备，在到达该时机的情况下，将该处理结果按照该格式发送至该交互设备。
应用本发明所示实施例，设备中预先配置算子库，算子库中包括多种算子；确定待处理图像对应的每个子任务，以及每个子任务之间的执行顺序；按照执行顺序，依次调用每个子任务对应的算子，对待处理图像进行处理；可见本方案中，可以对图像设定不同的子任务，利用这些算子可以对图像进行多种形式的处理，也就是执行这些子任务，也就是说，该设备可以处理不同场景中的图像，提高了设备的通用性。
下面参考图2-图4，介绍一种具体的实施方式。本实施方式中，执行主体可以为一种基于DSP(Digital Signal Processing，数字信号处理)的嵌入式数字化工业智能相机，如图2所示，该相机可以包括硬件部分和软件部分：
硬件部分嵌入DSP芯片，硬件部分可以包括三级架构：FPGA(Field-ProgrammableGate Array，现场可编程门阵列)、CPU(Central Processing Unit，中央处理器)和DSP；其中，FPGA用于逻辑处理，CPU用于数据计算，DSP用于图像处理。硬件部分还包括I2C(Inter－Integrated Circuit，两线式串行总线)，CMOS(Complementary Metal OxideSemiconductor，互补金属氧化物半导体)传感器，Ethernet(以太网)接口，I/O(Input/Output，输入/输出)，RS232接口(异步传输标准接口)，SDRAM(Synchronous DynamicRandom-Access Memory，同步动态随机存取内存)，FLASH(闪存)，Micro SD(快闪存储器卡)，***时钟以及实时时钟。
软件部分包括C++算法颗粒、集成算子、软件框架、通讯框架以及UI(UserInterface，用户界面)；其中，C++算法颗粒即为上述各种算子；集成算子可以理解为将各算子进行集成的模块，将各算子进行集成以对图像进行处理；软件框架可以理解为：在相机中安装软件，通过该软件实施本方案；通讯框架可以理解为：相机通过不同的通讯接口与各种交互设备相连接，比如上述内容中，相机通过网口与计算机相连接，通过串口与PLC相连接，等等；UI即为相机提供的与用户进行交互的界面。
基于该相机进行图像处理的一种流程可以如图3所示，包括：
S301：待检料到位，侦测光电产生变化信号给出。
S302：相机拍摄图像并传输给相机中配置的软件。
举例来说，可以在检测到物料到达指定位置的情况下，触发相机进行图像采集。比如，可以设置光电传感器，光电传感器侦测光电产生变化信号，产生变化信号表示物料到达指定位置，光电传感器触发数字化工业相机对准物料进行图像采集。
S303：软件加载图像进行预处理。
预处理可以包括ROI检测，可以将检测到的每个图像区域分别作为一个检测对象。用户可以分别设定每个检测对象对应的子任务。
S304：算子做特征提取和标记。
相机中预先配置算子库，该算子库中可以包括多个算子，也就是上述C++算法颗粒。比如，几何轮廓提取算子、BLOB分析算子、灰度直方图生成算子、边缘宽度算子、颜色识别算子、模型匹配算子、定位算子、公差判定算子等等，不再一一列举。
算子与子任务之间存在对应关系。在确定子任务及其执行顺序后，便可以根据子任务与算子之间的对应关系，调用相应的算子执行相应的子任务，也就是调用算子对图像进行处理。
S305：整理处理结果并输出。
用户还可以设定处理结果的输出格式、时机等等，还可以设定将处理结果输出至不同的交互设备。举例来说，本设备可以通过网口与计算机相连接，本设备还可以通过串口与PLC(Programmable Logic Controller，可编程逻辑控制器)相连接，等等，具体的通讯接口及交互设备不做限定，用户可以设定将处理结果发送至不同的交互设备。在得到对图像的处理结果后，可以根据用户设定的输出格式、时机、交互设备，在到达该时机的情况下，将该处理结果按照该格式发送至该交互设备。
可选的，所述侦测光电产生信号，属于图像采集技术；
所述图像采集技术包括：集成所述相机架构、镜头和光源的同步控制来拍摄采集目标物的特征图像技术，方式有镜头靶面对焦，触发信号给出、光源发光分级控制。
可选的，所述智能相机拍摄图像并传输给软件，属于图像处理单元；
所述图像处理单元包括：集成所述相机架构的曝光、控制图像格式类型，通过电子快门控制采集图片后传输给图像处理软件。
可选的，所述图像处理软件，包括：
集成图像获取后的感兴趣区域，检测任务添加，检测算法设定和参数编辑，判定公差设定；
具体地，检测有无颜色识别，模型匹配，字符读码。
可选的，所述检测结果信号内容输出，属于网络通讯装置；
所述网络通讯装置，包括：集成网口、串口、输入/输出通讯接口，支持软触发、硬触发接入和良品/不良品判定信号和数据给出。
基于该相机进行图像处理的另一种流程可以如图4所示，包括：
S401：开始准备工作；
S402：相机中配置的***初始化，准备接受信号；
S403：相机进行图像采集，触发信号接收；
S404：基于DSP的嵌入式数字化工业智能相机光源点亮；
S405：相机调试，进行拍摄工作；
S406：进行图像处理单元，将图像由采集单元传输至图像处理软件单元；
S407：集成图像获取后的感兴趣区域；
S408：进行滤波处理；
S409：进行特征化提取；
S410：进行公差判定，实行图像处理；
S411：结果整理，通过界面显示结果；
S412：通过界面显示结果；
S413：数据输出至其他交互设备；
S414：***显示结束状态；等待下一个图像。
可选的，所述触发信号接收，属于图像采集技术；
所述图像采集技术包括：集成所述相机架构、镜头和光源的同步控制来拍摄采集目标物的特征图像技术，方式有镜头靶面对焦，触发信号给出、光源发光分级控制。
可选的，所述图像由采集单元传输至图像处理软件单元，属于图像处理单元；
所述图像处理单元包括：集成所述相机架构的曝光、控制图像格式类型，通过电子快门控制采集图片后传输给图像处理软件。
可选的，所述图像处理单元，包括：
集成图像获取后的感兴趣区域，检测任务添加，检测算法设定和参数编辑，判定公差设定；
具体地，检测有无颜色识别，模型匹配，字符读码。
可选的，所述数据输出，属于网络通讯装置；
所述网络通讯装置，包括：集成网口、串口、输入/输出通讯接口，支持软触发、硬触发接入和良品/不良品判定信号和数据给出。
从上述实施例可以看出，本发明提供的基于DSP的嵌入式数字化工业智能相机，应用了DSP、FPGA、CPU，采用图像采集单元、图像处理单元、图像处理软件、网络通信装置四个主要步骤来完成整个操作。
举例来说，本实施方式中，可以引导用户按步操作，用户可以对滤波参数进行实时修改，用户体验较佳。
与上述方法实施例相对应，本发明实施例还提供了一种图像处理装置，如图5所示，包括：
获取模块501，用于获取待处理图像；
第一确定模块502，用于确定所述待处理图像对应的每个子任务，以及每个子任务之间的执行顺序；
调用模块503，用于按照所述执行顺序，在预先配置的算子库中，依次调用每个子任务对应的算子，对所述待处理图像进行处理。
作为一种实施方式，所述装置还包括：
识别模块(图中未示出)，用于识别所述待处理图像中的每个检测对象；
第一确定模块502具体用于：分别确定每个检测对象对应的每个子任务；确定每个子任务之间的执行顺序；
调用模块503具体用于：按照所述执行顺序，在预先配置的算子库中，依次调用每个子任务对应的算子，对检测对象进行处理。
作为一种实施方式，所述装置还包括：第二确定模块和滤波模块(图中未示出)，其中，
第二确定模块，用于针对每个检测对象，确定该检测对象对应的滤波方式；
滤波模块，用于利用所确定的滤波方式，对该检测对象进行滤波；
调用模块503具体用于：
按照所述执行顺序，在预先配置的算子库中，依次调用每个子任务对应的算子，对滤波后的检测对象进行处理。
作为一种实施方式，所述第二确定模块，具体用于：
展示每种滤波方式对应的解释信息；确定用户针对每个检测对象选择的滤波方式；
或者，根据预先配置的对象类型与滤波方式的对应关系，确定每个检测对象对应的滤波方式；
或者，展示每种滤波方式对检测对象的滤波结果；确定用户针对每个检测对象选择的滤波方式。
作为一种实施方式，调用模块503用于执行以下任意一个或多个步骤：
若检测对象为图形码，则调用图形码扫描算子对检测对象进行扫描；
调用定位算子，确定所述检测对象的位置；
调用颜色识别算子，识别所述检测对象的颜色；
调用尺寸识别算子，识别所述检测对象的尺寸；
调用模型匹配算子，判断所述检测对象与预设模型是否相匹配。
作为一种实施方式，第一确定模块502具体用于：
在交互界面中展示多个第一级子任务；
确定用户选择的第一级子任务，作为第一级待执行子任务；
展示所述第一级待执行子任务的下一级子任务；
确定用户选择的下一级子任务，作为下一级待执行子任务。
上述实施例的装置用于实现前述实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
本发明实施例还提供一种电子设备，如图6所示，包括存储器602、处理器601及存储在存储器602上并可在处理器601上运行的计算机程序，处理器601执行所述程序时实现上述任一种图像处理方法。
该电子设备可以为抓拍机、数字化工业相机等图像采集设备，或者也可以为与图像采集设备通信连接的其他设备，具体不做限定。
一种实施方式中，处理器601可以包括：现场可编程门阵列、中央处理器和数字信号处理芯片；
其中，所述现场可编程门阵列，用于确定对图像的处理逻辑；基于所述处理逻辑调用所述中央处理器对所述图像进行特征提取，得到特征数据；以及调用所述数字信号处理芯片对所述特征数据进行运算处理。
举例来说，本实施例中的电子设备以为一种基于DSP的嵌入式数字化工业智能相机，如图2所示，该相机的包括硬件部分包括三级架构：FPGA、CPU和DSP；其中，FPGA用于逻辑处理，CPU用于数据计算，DSP用于图像处理。这三级架构可以提高设备的处理速度和准确性。
一种实施方式中，该设备包括以下任意一种或多种通讯接口：网口、串口、I/O口。该设备可以通过这些通讯接口与各种交互设备进行数据传输，比如计算机、PLC等等，具体不做限定。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本发明难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本发明难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。
本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (14)
1.一种图像处理方法，其特征在于，包括：
获取待处理图像；
确定所述待处理图像对应的每个子任务，以及每个子任务之间的执行顺序；
按照所述执行顺序，在预先配置的算子库中，依次调用每个子任务对应的算子，对所述待处理图像进行处理。
2.根据权利要求1所述的方法，其特征在于，在所述获取待处理图像之后，还包括：
识别所述待处理图像中的每个检测对象；
所述确定所述待处理图像对应的每个子任务，以及每个子任务之间的执行顺序，包括：
分别确定每个检测对象对应的每个子任务；确定每个子任务之间的执行顺序；
所述按照所述执行顺序，在预先配置的算子库中，依次调用每个子任务对应的算子，对所述待处理图像进行处理，包括：
按照所述执行顺序，在预先配置的算子库中，依次调用每个子任务对应的算子，对检测对象进行处理。
3.根据权利要求2所述的方法，其特征在于，在所述识别所述待处理图像中的每个检测对象之后，还包括：
针对每个检测对象，确定该检测对象对应的滤波方式；
利用所确定的滤波方式，对该检测对象进行滤波；
所述按照所述执行顺序，在预先配置的算子库中，依次调用每个子任务对应的算子，对检测对象进行处理，包括：
按照所述执行顺序，在预先配置的算子库中，依次调用每个子任务对应的算子，对滤波后的检测对象进行处理。
4.根据权利要求3所述的方法，其特征在于，所述针对每个检测对象，确定该检测对象对应的滤波方式，包括：
展示每种滤波方式对应的解释信息；确定用户针对每个检测对象选择的滤波方式；
或者，根据预先配置的对象类型与滤波方式的对应关系，确定每个检测对象对应的滤波方式；
或者，展示每种滤波方式对检测对象的滤波结果；确定用户针对每个检测对象选择的滤波方式。
5.根据权利要求2所述的方法，其特征在于，所述依次调用每个子任务对应的算子，对检测对象进行处理，包括以下任意一个或多个步骤：
若检测对象为图形码，则调用图形码扫描算子对检测对象进行扫描；
调用定位算子，确定所述检测对象的位置；
调用颜色识别算子，识别所述检测对象的颜色；
调用尺寸识别算子，识别所述检测对象的尺寸；
调用模型匹配算子，判断所述检测对象与预设模型是否相匹配。
6.根据权利要求1所述的方法，其特征在于，所述确定所述待处理图像对应的每个子任务，以及每个子任务之间的执行顺序，包括：
在交互界面中展示多个第一级子任务；
确定用户选择的第一级子任务，作为第一级待执行子任务；
展示所述第一级待执行子任务的下一级子任务；
确定用户选择的下一级子任务，作为下一级待执行子任务。
7.一种图像处理装置，其特征在于，包括：
获取模块，用于获取待处理图像；
第一确定模块，用于确定所述待处理图像对应的每个子任务，以及每个子任务之间的执行顺序；
调用模块，用于按照所述执行顺序，在预先配置的算子库中，依次调用每个子任务对应的算子，对所述待处理图像进行处理。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
识别模块，用于识别所述待处理图像中的每个检测对象；
所述第一确定模块，具体用于：分别确定每个检测对象对应的每个子任务；确定每个子任务之间的执行顺序；
所述调用模块，具体用于：按照所述执行顺序，在预先配置的算子库中，依次调用每个子任务对应的算子，对检测对象进行处理。
9.根据权利要求8所述的装置，其特征在于，所述装置还包括：
第二确定模块，用于针对每个检测对象，确定该检测对象对应的滤波方式；
滤波模块，用于利用所确定的滤波方式，对该检测对象进行滤波；
所述调用模块，具体用于：
按照所述执行顺序，在预先配置的算子库中，依次调用每个子任务对应的算子，对滤波后的检测对象进行处理。
10.根据权利要求9所述的装置，其特征在于，所述第二确定模块，具体用于：
展示每种滤波方式对应的解释信息；确定用户针对每个检测对象选择的滤波方式；
或者，根据预先配置的对象类型与滤波方式的对应关系，确定每个检测对象对应的滤波方式；
或者，展示每种滤波方式对检测对象的滤波结果；确定用户针对每个检测对象选择的滤波方式。
11.根据权利要求8所述的装置，其特征在于，所述调用模块用于执行以下任意一个或多个步骤：
若检测对象为图形码，则调用图形码扫描算子对检测对象进行扫描；
调用定位算子，确定所述检测对象的位置；
调用颜色识别算子，识别所述检测对象的颜色；
调用尺寸识别算子，识别所述检测对象的尺寸；
调用模型匹配算子，判断所述检测对象与预设模型是否相匹配。
12.根据权利要求7所述的装置，其特征在于，所述第一确定模块，具体用于：
在交互界面中展示多个第一级子任务；
确定用户选择的第一级子任务，作为第一级待执行子任务；
展示所述第一级待执行子任务的下一级子任务；
确定用户选择的下一级子任务，作为下一级待执行子任务。
13.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任意一项所述的方法。
14.根据权利要求13所述的设备，其特征在于，所述处理器包括：现场可编程门阵列、中央处理器和数字信号处理芯片；
其中，所述现场可编程门阵列，用于确定对图像的处理逻辑；基于所述处理逻辑调用所述中央处理器对所述图像进行特征提取，得到特征数据；以及调用所述数字信号处理芯片对所述特征数据进行运算处理。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2018108474841 | 2018-07-27 | ||
| CN201810847484 | 2018-07-27 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110780982A true CN110780982A (zh) | 2020-02-11 |
Family
ID=69383899
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910667544.6A Pending CN110780982A (zh) | 2018-07-27 | 2019-07-23 | 一种图像处理方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110780982A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111367643A (zh) * | 2020-03-09 | 2020-07-03 | 北京易华录信息技术股份有限公司 | 一种算法调度***、方法及装置 |
| CN111899149A (zh) * | 2020-07-09 | 2020-11-06 | 浙江大华技术股份有限公司 | 基于算子融合的图像处理方法和装置、存储介质 |
| CN112783614A (zh) * | 2021-01-20 | 2021-05-11 | 北京百度网讯科技有限公司 | 对象处理方法、装置、设备、存储介质以及程序产品 |
| WO2024098325A1 (zh) * | 2022-11-10 | 2024-05-16 | 京东方科技集团股份有限公司 | 图像处理方法、三维测量方法和电子设备 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001169275A (ja) * | 1999-12-08 | 2001-06-22 | Nagoya Electric Works Co Ltd | マルチタスクスケジューリングによる画像処理の統合方法 |
| RU36907U1 (ru) * | 2003-11-14 | 2004-03-27 | Общество с ограниченной ответственностью "Информационные исследования" ("Изучение, Оценивание, Распознавание") | Автоматизированная система базы знаний по обработке, анализу и распознаванию изображений |
| JP2006139358A (ja) * | 2004-11-10 | 2006-06-01 | Hitachi Ltd | 業務支援装置 |
| US20100205606A1 (en) * | 2009-02-12 | 2010-08-12 | Panzer Adi | System and method for executing a complex task by sub-tasks |
| CN102274045A (zh) * | 2011-05-27 | 2011-12-14 | 华南理工大学 | 一种并行的实时医学超声宽景成像方法 |
| CN102835974A (zh) * | 2012-08-23 | 2012-12-26 | 华南理工大学 | 基于并行计算机的医学超声三维成像方法 |
| CN103235974A (zh) * | 2013-04-25 | 2013-08-07 | 中国科学院地理科学与资源研究所 | 一种提高海量空间数据处理效率的方法 |
| US20140298231A1 (en) * | 2013-04-02 | 2014-10-02 | Toyota Jidosha Kabushiki Kaisha | Task changing apparatus, task changing method, and task changing program |
| CN105677812A (zh) * | 2015-12-31 | 2016-06-15 | 华为技术有限公司 | 一种数据查询方法及数据查询装置 |
| CN105900064A (zh) * | 2014-11-19 | 2016-08-24 | 华为技术有限公司 | 调度数据流任务的方法和装置 |
| US9547929B1 (en) * | 2011-04-25 | 2017-01-17 | Honeywell International Inc. | User interface device for adaptive systems |
| WO2018085778A1 (en) * | 2016-11-04 | 2018-05-11 | Google Llc | Unsupervised detection of intermediate reinforcement learning goals |
| CN108108819A (zh) * | 2017-12-15 | 2018-06-01 | 清华大学 | 一种跨界大数据分析***和方法 |
-
2019
- 2019-07-23 CN CN201910667544.6A patent/CN110780982A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001169275A (ja) * | 1999-12-08 | 2001-06-22 | Nagoya Electric Works Co Ltd | マルチタスクスケジューリングによる画像処理の統合方法 |
| RU36907U1 (ru) * | 2003-11-14 | 2004-03-27 | Общество с ограниченной ответственностью "Информационные исследования" ("Изучение, Оценивание, Распознавание") | Автоматизированная система базы знаний по обработке, анализу и распознаванию изображений |
| JP2006139358A (ja) * | 2004-11-10 | 2006-06-01 | Hitachi Ltd | 業務支援装置 |
| US20100205606A1 (en) * | 2009-02-12 | 2010-08-12 | Panzer Adi | System and method for executing a complex task by sub-tasks |
| US9547929B1 (en) * | 2011-04-25 | 2017-01-17 | Honeywell International Inc. | User interface device for adaptive systems |
| CN102274045A (zh) * | 2011-05-27 | 2011-12-14 | 华南理工大学 | 一种并行的实时医学超声宽景成像方法 |
| CN102835974A (zh) * | 2012-08-23 | 2012-12-26 | 华南理工大学 | 基于并行计算机的医学超声三维成像方法 |
| US20140298231A1 (en) * | 2013-04-02 | 2014-10-02 | Toyota Jidosha Kabushiki Kaisha | Task changing apparatus, task changing method, and task changing program |
| CN103235974A (zh) * | 2013-04-25 | 2013-08-07 | 中国科学院地理科学与资源研究所 | 一种提高海量空间数据处理效率的方法 |
| CN105900064A (zh) * | 2014-11-19 | 2016-08-24 | 华为技术有限公司 | 调度数据流任务的方法和装置 |
| CN105677812A (zh) * | 2015-12-31 | 2016-06-15 | 华为技术有限公司 | 一种数据查询方法及数据查询装置 |
| WO2018085778A1 (en) * | 2016-11-04 | 2018-05-11 | Google Llc | Unsupervised detection of intermediate reinforcement learning goals |
| CN108108819A (zh) * | 2017-12-15 | 2018-06-01 | 清华大学 | 一种跨界大数据分析***和方法 |
Non-Patent Citations (1)
| Title |
|---|
| 方惠蓉;: "FPGA在边缘检测中的应用", 信息通信, no. 01 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111367643A (zh) * | 2020-03-09 | 2020-07-03 | 北京易华录信息技术股份有限公司 | 一种算法调度***、方法及装置 |
| CN111367643B (zh) * | 2020-03-09 | 2024-07-09 | 北京易华录信息技术股份有限公司 | 一种算法调度***、方法及装置 |
| CN111899149A (zh) * | 2020-07-09 | 2020-11-06 | 浙江大华技术股份有限公司 | 基于算子融合的图像处理方法和装置、存储介质 |
| CN112783614A (zh) * | 2021-01-20 | 2021-05-11 | 北京百度网讯科技有限公司 | 对象处理方法、装置、设备、存储介质以及程序产品 |
| WO2024098325A1 (zh) * | 2022-11-10 | 2024-05-16 | 京东方科技集团股份有限公司 | 图像处理方法、三维测量方法和电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110780982A (zh) | 一种图像处理方法、装置及设备 | |
| JP6417702B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| CN109727275B (zh) | 目标检测方法、装置、***和计算机可读存储介质 | |
| CN112347887B (zh) | 一种物体检测方法、物体检测装置及电子设备 | |
| CN107710280B (zh) | 对象可视化方法 | |
| US8666145B2 (en) | System and method for identifying a region of interest in a digital image | |
| CN110400315A (zh) | 一种缺陷检测方法、装置及*** | |
| CN109116129B (zh) | 终端检测方法、检测设备、***及存储介质 | |
| CN104486552A (zh) | 一种获取图像的方法及电子设备 | |
| US10990778B2 (en) | Apparatus and method for recognizing barcode based on image detection | |
| CN111630568A (zh) | 电子装置及其控制方法 | |
| CN111008954A (zh) | 一种信息处理方法及装置、电子设备和存储介质 | |
| CN115619787B (zh) | 一种uv胶缺陷检测方法、***、设备及介质 | |
| CN108769521B (zh) | 一种拍照方法、移动终端及计算机可读存储介质 | |
| CN107577973B (zh) | 一种图像显示方法、图像识别方法及设备 | |
| CN113283439B (zh) | 基于图像识别的智能计数方法、装置及*** | |
| US10748019B2 (en) | Image processing method and electronic apparatus for foreground image extraction | |
| CN103942523A (zh) | 一种日照场景识别方法及装置 | |
| CN116908186A (zh) | 一种产品检测方法、装置、设备以及存储介质 | |
| US20170006212A1 (en) | Device, system and method for multi-point focus | |
| CN116017129A (zh) | 一种补光灯角度调整方法、装置、***、设备和介质 | |
| CN117666242A (zh) | 图像采集方法、装置、电子设备以及存储介质 | |
| US20210074010A1 (en) | Image-Processing Method and Electronic Device | |
| JP2014232477A (ja) | 被写体特定装置、撮像装置、被写体特定方法及び被写体特定プログラム | |
| JP2023535005A (ja) | 電子画像内の物体を認識するための方法及びシステム又は装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |