CN112135062B - 一种基于fpga的相机聚焦控制的方法和装置 - Google Patents

一种基于fpga的相机聚焦控制的方法和装置 Download PDF

Info

Publication number
CN112135062B
CN112135062B CN202011324968.1A CN202011324968A CN112135062B CN 112135062 B CN112135062 B CN 112135062B CN 202011324968 A CN202011324968 A CN 202011324968A CN 112135062 B CN112135062 B CN 112135062B
Authority
CN
China
Prior art keywords
frequency domain
moving step
step length
current position
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011324968.1A
Other languages
English (en)
Other versions
CN112135062A (zh
Inventor
韩方剑
余莉
黄少冰
苏文剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lansi (Ningbo) Intelligent Technology Co.,Ltd.
Original Assignee
Ningbo Lanxi Biotechnology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Lanxi Biotechnology Co ltd filed Critical Ningbo Lanxi Biotechnology Co ltd
Priority to CN202011324968.1A priority Critical patent/CN112135062B/zh
Publication of CN112135062A publication Critical patent/CN112135062A/zh
Application granted granted Critical
Publication of CN112135062B publication Critical patent/CN112135062B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种基于FPGA的相机聚焦控制的方法和装置，包括参数配置模块、聚焦控制模块、图像采集模块、图像处理模块以及比较判断模块，其中图像处理模块将缓存的当前位置图像的每一行的多个采样区域依次输出给并行流水线，并行流水线的数量与当前位置图像中采样区域的行数对应，每一条并行流水线用于将依次输入同一行的多个采样区域采用流水线的方式进行频域变换后进行累加，并将多条并行流水线的最终累加结果求和得到当前位置图像的清晰度函数值。本发明通过FPGA的并行流水线硬件加速和对图像采集装置的控制相结合来优化显微镜的自动聚焦，具有聚焦速度快、处理效率高的优点。

Description

一种基于FPGA的相机聚焦控制的方法和装置
技术领域
本发明涉及显微镜的自动聚焦技术，具体涉及一种基于FPGA的相机聚焦控制的方法和装置，用于通过FPGA控制相机移动，实现相机对玻片的自动聚焦。
背景技术
针对显微镜的玻片的自动聚焦，目前的研究主要是从软件方面研究自动聚焦的算法的实现，其主要关注的焦点为清晰度函数的实现。但是，随图像分辨率越来越高，图像处理对处理器性能的要求也越来越高，而且在医疗等特殊应用领域，图像处理对实时性有更高的要求，即使目前已有各类专用处理器被开始应用于实现算法任务的硬件加速，能够有效提高图像处理的效率，但在***维护升级等方面也存在不足。目前，如何实现软件和硬件加速相结合来优化显微镜的自动聚焦技术，则仍然是一项亟待解决的关键技术问题。当前主要使用DSP、GPU或CPU以帧为单位对图像进行处理，而FPGA可直接和图像传感器芯片连接获得图像数据流，以行为单位对图像进行实时流水线运算；FPGA还能够实现图像的并行处理，处理延时固定，能够达到最高的实时性；而且FPGA具有可编程特性，可根据需要进行重构配置，有较强的通用性。
发明内容
本发明要解决的技术问题：针对现有技术的上述问题，提供一种基于FPGA的相机聚焦控制的方法和装置，本发明通过FPGA的并行流水线硬件加速和对图像采集装置的控制相结合来优化显微镜的自动聚焦，具有聚焦速度快、处理效率高的优点。
为了解决上述技术问题，本发明采用的技术方案为：
一种基于FPGA的相机聚焦控制的方法，包括：
1）初始化设定各轮的移动步长、初始的当前移动步长及移动范围；
2）控制图像采集装置的电机按照移动步长将相机移动到当前位置；
3）控制图像采集装置的相机拍摄当前位置图像并缓存；
4）将缓存的当前位置图像的每一行的多个采样区域依次输出给并行流水线，所述并行流水线的数量与当前位置图像中采样区域的行数对应，每一条并行流水线用于将依次输入同一行的多个采样区域采用流水线的方式进行频域变换后将频域变换系数进行累加，并将多条并行流水线的频域变换系数最终累加结果求和得到当前位置图像的清晰度函数值；
5）判断当前位置是否超出移动范围，若尚未超出移动范围，则跳转执行步骤2）；否则，对比本轮移动步长下得到的各个位置图像的清晰度函数值，找出清晰度最佳的位置；判断是否仍有更小的移动步长，若还有更小的移动步长，则选择更小的移动步长作为新的当前移动步长，确定新的当前移动步长的移动范围，跳转执行步骤2）；判断已经没有更小的移动步长，则将本轮移动步长下找出清晰度最佳的位置作为聚焦结果输出。
一种基于FPGA的相机聚焦控制的装置，包括：
参数配置模块，用于初始化设定各轮的移动步长、初始的当前移动步长及移动范围；
聚焦控制模块，包括用于与图像采集装置的电机相连的电机控制接口，用于通过电机控制接口控制图像采集装置的电机按照移动步长将相机移动到当前位置；
图像采集模块，包括用于与图像采集装置的相机相连的图像采集接口，用于通过图像采集接口采集相机拍摄的当前位置图像并缓存；
图像处理模块，用于将缓存的当前位置图像的每一行的多个采样区域依次输出给并行流水线，所述并行流水线的数量与当前位置图像中采样区域的行数对应，每一条并行流水线用于将依次输入同一行的多个采样区域采用流水线的方式进行频域变换后将频域变换系数进行累加，并将多条并行流水线的频域变换系数最终累加结果求和得到当前位置图像的清晰度函数值；
比较判断模块，用于判断当前位置是否超出移动范围，若尚未超出移动范围，则调用聚焦控制模块按照当前移动步长将相机移动到新的当前位置；否则，对比本轮移动步长下得到的各个位置图像的清晰度函数值，找出清晰度最佳的位置；判断是否仍有更小的移动步长，若还有更小的移动步长，则选择更小的移动步长作为新的当前移动步长，确定新的当前移动步长的移动范围，调用聚焦控制模块按照新的当前移动步长将相机移动到新的当前位置；判断已经没有更小的移动步长，则将本轮移动步长下找出清晰度最佳的位置作为聚焦结果输出。
可选地，所述参数配置模块还包括用于与图像采集装置的光源控制端相连的光源控制接口，所述参数配置模块还用于通过光源控制接口配置图像采集装置的光源的控制参数。
可选地，所述图像处理模块包括图像采集单元、多条并行流水线以及累加单元，所述图像采集单元用于将缓存的当前位置图像的每一行的多个采样区域依次输出给并行流水线，所述并行流水线的数量与当前位置图像中采样区域的行数对应，每一条并行流水线用于将依次输入同一行的多个采样区域采用流水线的方式进行频域变换后将频域变换系数进行累加，所述累加单元用于将多条并行流水线的频域变换系数最终累加结果求和得到当前位置图像的清晰度函数值。
可选地，所述并行流水线包括：行频域变换器，用于针对输入的采样区域进行行频域变换；缓存器，用于缓存行各个采样区域频域变换的结果；列频域变换器，用于针对缓存的各个采样区域行频域变换的结果进行列频域变换得到频域变换系数；所述累加单元包括前级累加器和后级累加器，前级累加器用于将各个列频域变换器得到的频域变换系数累加计算得到每一列采样区域的频域变换系数累加结果，后级累加器，用于将每一列采样区域的频域变换系数累加结果累加计算得到所有采样区域的累加结果。
可选地，所述图像处理模块包括三条并行流水线L1、L2、L3，所述图像采集单元将缓存的当前位置图像均匀提取9个指定像素大小的采样区域，其中第一行采样区域为P1、P4、P7，第二行采样区域为P2、P5、P8，第三行采样区域为P3、P6、P9，将缓存的当前位置图像的第一行采样区域P1、P4、P7依次输出给并行流水线L1，将缓存的当前位置图像的第二行采样区域P2、P5、P8依次输出给并行流水线L2，将缓存的当前位置图像的第三行采样区域P3、P6、P9依次输出给并行流水线L3；并行流水线L1的行频域变换器依次对第一行采样区域P1、P4、P7进行行频域变换并缓存到对应的缓存器中，并行流水线L1的列频域变换器依次将缓存的第一行采样区域P1、P4、P7进行列频域变换并将列频域变换的结果送入前级累加器，并行流水线L2的行频域变换器依次对第二行采样区域P2、P5、P8进行行频域变换并缓存到对应的缓存器中，并行流水线L2的列频域变换器依次将缓存的第二行采样区域P2、P5、P8进行列频域变换并将列频域变换的结果送入前级累加器；并行流水线L3的行频域变换器依次对第三行采样区域P3、P6、P9进行行频域变换并缓存到对应的缓存器中，并行流水线L3的列频域变换器依次将缓存的第三行采样区域P3、P6、P9进行列频域变换并将列频域变换的结果送入前级累加器；前级累加器第一步将第一列采样区域P1、P2、P3求和得到频域变换系数累加结果Sum123并输出给后级累加器，前级累加器第二步将第二列采样区域P4、P5、P6求和得到频域变换系数累加结果Sum456并输出给后级累加器，前级累加器第三步将第三列采样区域P7、P8、P9求和得到频域变换系数累加结果Sum789并输出给后级累加器，后级累加器将频域变换系数累加结果Sum123、频域变换系数累加结果Sum456、频域变换系数累加结果Sum789求和得到所有采样区域的频域变换系数Sum作为得到当前位置图像的清晰度函数值。
可选地，所述指定像素大小的采样区域是指128×128像素大小的采样区域。
可选地，所述参数配置模块初始化设定各轮的移动步长为从大到小排列，且初始的当前移动步长为最大的移动步长，移动范围为图像沿移动方向的尺寸大小。
可选地，所述移动方向为Z轴方向。
可选地，所述比较判断模块确定新的当前移动步长的移动范围为[zi-2δ，zi+2δ]，其中zi为本轮当前移动步长找出的清晰度最佳的位置，δ为新的当前移动步长。
可选地，所述聚焦控制模块通过电机控制接口控制图像采集装置的电机按照移动步长将相机移动到当前位置时，相邻两轮移动步长的移动方向相反。
和现有技术相比，本发明具有下述优点：本发明包括参数配置模块、聚焦控制模块、图像采集模块、图像处理模块以及比较判断模块，其中图像处理模块将缓存的当前位置图像的每一行的多个采样区域依次输出给并行流水线，并行流水线的数量与当前位置图像中采样区域的行数对应，每一条并行流水线用于将依次输入同一行的多个采样区域采用流水线的方式进行频域变换后进行累加，并将多条并行流水线的最终累加结果求和得到当前位置图像的清晰度函数值。本发明通过FPGA的并行流水线硬件加速和对图像采集装置的控制相结合来优化显微镜的自动聚焦，具有聚焦速度快、处理效率高的优点。
附图说明
图1为本发明实施例装置的结构示意图。
图2为本发明实施例中多条并行流水线以及累加单元的结构示意图。
图3为本发明实施例中采样区域划分的示意图。
图4为本发明实施例中多轮移动步长的聚焦过程实例示意图。
图5为本发明实施例装置的基本控制流程示意图。
图6为本发明实施例装置的详细控制流程示意图。
具体实施方式
本实施例提供一种基于FPGA的相机聚焦控制的方法，包括：
1）初始化设定各轮的移动步长、初始的当前移动步长及移动范围；
2）控制图像采集装置的电机按照移动步长将相机移动到当前位置；
3）控制图像采集装置的相机拍摄当前位置图像并缓存；
4）将缓存的当前位置图像的每一行的多个采样区域依次输出给并行流水线，所述并行流水线的数量与当前位置图像中采样区域的行数对应，每一条并行流水线用于将依次输入同一行的多个采样区域采用流水线的方式进行频域变换后将频域变换系数进行累加，并将多条并行流水线的频域变换系数最终累加结果求和得到当前位置图像的清晰度函数值；
5）判断当前位置是否超出移动范围，若尚未超出移动范围，则跳转执行步骤2）；否则，对比本轮移动步长下得到的各个位置图像的清晰度函数值，找出清晰度最佳的位置；判断是否仍有更小的移动步长，若还有更小的移动步长，则选择更小的移动步长作为新的当前移动步长，确定新的当前移动步长的移动范围，跳转执行步骤2）；判断已经没有更小的移动步长，则将本轮移动步长下找出清晰度最佳的位置作为聚焦结果输出。
如图1所示，本实施例基于FPGA的相机聚焦控制的装置包括：
参数配置模块，用于初始化设定各轮的移动步长、初始的当前移动步长及移动范围；
聚焦控制模块，包括用于与图像采集装置的电机相连的电机控制接口，用于通过电机控制接口控制图像采集装置的电机按照移动步长将相机移动到当前位置；
图像采集模块，包括用于与图像采集装置的相机相连的图像采集接口，用于通过图像采集接口采集相机拍摄的当前位置图像并缓存；
图像处理模块，用于将缓存的当前位置图像的每一行的多个采样区域依次输出给并行流水线，所述并行流水线的数量与当前位置图像中采样区域的行数对应，每一条并行流水线用于将依次输入同一行的多个采样区域采用流水线的方式进行频域变换后将频域变换系数进行累加，并将多条并行流水线的频域变换系数最终累加结果求和得到当前位置图像的清晰度函数值；
比较判断模块，用于判断当前位置是否超出移动范围，若尚未超出移动范围，则调用聚焦控制模块按照当前移动步长将相机移动到新的当前位置；否则，对比本轮移动步长下得到的各个位置图像的清晰度函数值，找出清晰度最佳的位置；判断是否仍有更小的移动步长，若还有更小的移动步长，则选择更小的移动步长作为新的当前移动步长，确定新的当前移动步长的移动范围，调用聚焦控制模块按照新的当前移动步长将相机移动到新的当前位置；判断已经没有更小的移动步长，则将本轮移动步长下找出清晰度最佳的位置作为聚焦结果输出。
参见图1可知，图像采集装置包括电机、相机和光源，电机可在FPGA控制下移动，从而移动面阵相机，实现相机与玻片的焦距调整；相机（面阵相机）用于拍摄图像；光源用于对物体打光。为了实现对光源的控制来实现自动补光，本实施例中参数配置模块还包括用于与图像采集装置的光源控制端相连的光源控制接口，参数配置模块还用于通过光源控制接口配置图像采集装置的光源的控制参数。
图像处理模块对当前位置图像的清晰度函数值计算采用了采样区域代替原始图像的方式，能有效地减少计算量，从而提高计算效率。
本实施例中，图像处理模块包括图像采集单元（图中未绘出）、多条并行流水线以及累加单元，所述图像采集单元用于将缓存的当前位置图像的每一行的多个采样区域依次输出给并行流水线，所述并行流水线的数量与当前位置图像中采样区域的行数对应，每一条并行流水线用于将依次输入同一行的多个采样区域采用流水线的方式进行频域变换后将频域变换系数进行累加，所述累加单元用于将多条并行流水线的频域变换系数最终累加结果求和得到当前位置图像的清晰度函数值，通过上述结构可实现对多个采样区域的并行流水线处理，处理速度快、处理效率高。
如图2所示，并行流水线包括：行频域变换器，用于针对输入的采样区域进行行频域变换；缓存器，用于缓存行各个采样区域频域变换的结果；列频域变换器，用于针对缓存的各个采样区域行频域变换的结果进行列频域变换得到频域变换系数；所述累加单元包括前级累加器和后级累加器，前级累加器用于将各个列频域变换器得到的频域变换系数累加计算得到每一列采样区域的频域变换系数累加结果，后级累加器，用于将每一列采样区域的频域变换系数累加结果累加计算得到所有采样区域的累加结果。
如图2所示，本实施例中图像处理模块包括三条并行流水线L1、L2、L3，所述图像采集单元将缓存的当前位置图像均匀提取9个指定像素大小的采样区域，其中第一行采样区域为P1、P4、P7，第二行采样区域为P2、P5、P8，第三行采样区域为P3、P6、P9，将缓存的当前位置图像的第一行采样区域P1、P4、P7依次输出给并行流水线L1，将缓存的当前位置图像的第二行采样区域P2、P5、P8依次输出给并行流水线L2，将缓存的当前位置图像的第三行采样区域P3、P6、P9依次输出给并行流水线L3；并行流水线L1的行频域变换器依次对第一行采样区域P1、P4、P7进行行频域变换并缓存到对应的缓存器中，并行流水线L1的列频域变换器依次将缓存的第一行采样区域P1、P4、P7进行列频域变换并将列频域变换的结果送入前级累加器，并行流水线L2的行频域变换器依次对第二行采样区域P2、P5、P8进行行频域变换并缓存到对应的缓存器中，并行流水线L2的列频域变换器依次将缓存的第二行采样区域P2、P5、P8进行列频域变换并将列频域变换的结果送入前级累加器；并行流水线L3的行频域变换器依次对第三行采样区域P3、P6、P9进行行频域变换并缓存到对应的缓存器中，并行流水线L3的列频域变换器依次将缓存的第三行采样区域P3、P6、P9进行列频域变换并将列频域变换的结果送入前级累加器；前级累加器第一步将第一列采样区域P1、P2、P3求和得到频域变换系数累加结果Sum123并输出给后级累加器，前级累加器第二步将第二列采样区域P4、P5、P6求和得到频域变换系数累加结果Sum456并输出给后级累加器，前级累加器第三步将第三列采样区域P7、P8、P9求和得到频域变换系数累加结果Sum789并输出给后级累加器，后级累加器将频域变换系数累加结果Sum123、频域变换系数累加结果Sum456、频域变换系数累加结果Sum789求和得到所有采样区域的频域变换系数Sum作为得到当前位置图像的清晰度函数值。
本实施例中，指定像素大小的采样区域是指128×128像素大小的采样区域。
本实施例中，参数配置模块初始化设定各轮的移动步长为从大到小排列，且初始的当前移动步长为最大的移动步长，移动范围为图像沿移动方向的尺寸大小。
本实施例中，移动方向为Z轴方向。
为了进一步缩小每一轮的移动范围，本实施例中比较判断模块确定新的当前移动步长的移动范围为[zi-2δ，zi+2δ]，其中zi为本轮当前移动步长找出的清晰度最佳的位置，δ为新的当前移动步长。例如如图4所示，第一轮找出清晰度最佳的位置为80，第二轮移动步长为10，则确定第二轮移动步长的移动范围为[60,100]；第二轮找出清晰度最佳的位置为70，第三轮移动步长为2，则确定第三轮移动步长的移动范围为[66,74]。图4中，每一行图框为一轮移动步长的移动位置，该位置会采集图像并进行计算清晰度函数值，灰色图框为该轮移动步长下清晰度最佳的移动位置。
为了进一步提高每一轮的移动效率，本实施例中聚焦控制模块通过电机控制接口控制图像采集装置的电机按照移动步长将相机移动到当前位置时，相邻两轮移动步长的移动方向相反。例如如图4所示，第一轮移动步长为40时移动方向为z轴正方向，第二轮移动步长为10时移动方向为z轴负方向，第三轮移动步长为2时移动方向为z轴正方向，从而可避免电机每一轮的归位操作，可直接进入下一轮的移动初始位置。本实施例中，一共三轮移动步长，因此最终找到72的位置即为最终得到的聚焦结果。
如图5所示，本实施例基于FPGA的相机聚焦控制的装置为基于FPGA芯片的FPGA图像处理板实现，其主要工作过程如下：玻片位置保持固定，相机安装在电机平台；FPGA控制电机按步长移动，实现相机与玻片的焦距变化；电机每次移动后，FPGA控制相机进行拍摄，采集图像数据，进行图像处理，计算每一幅图像的清晰度函数值，当前步长移动结束后，获取最清晰位置；然后调整步长，再次重复以上过程；获取最小步长下图像最清晰的位置后，即实现了相机聚焦。FPGA主要工作内容：控制电机移动、控制光源开关、控制相机拍摄、图像数据采集缓存、图像处理、清晰度比较等。采集模块包括电机平台、面阵相机、光源；面阵相机安装在电机平台上，可随电机移动而移动，如图6所示，FPGA图像处理板具体的工作步骤包括：
1）参数配置模块初始化设定各轮的移动步长、初始的当前移动步长及移动范围；参数配置模块1用于预置FPGA的各项工作参数，本实施例中还包括光源强度、电机移动次数、图像长宽、图像处理长宽、图像处理坐标等；
2）聚焦控制模块通过电机控制接口控制图像采集装置的电机按照移动步长将相机移动到当前位置；
3）图像采集模块通过图像采集接口采集相机拍摄的当前位置图像并缓存；
4）图像处理模块将缓存的当前位置图像的每一行的多个采样区域依次输出给并行流水线，并行流水线的数量与当前位置图像中采样区域的行数对应，每一条并行流水线用于将依次输入同一行的多个采样区域采用流水线的方式进行频域变换后进行累加，并将多条并行流水线的最终累加结果求和得到当前位置图像的清晰度函数值；为兼顾清晰度分辨率及FPGA的并行流水实现，且能代表图像的各个位置，在1920×1200的整幅图像中均匀选取9个区域，每个区域大小为128×128，对每个区域进行行列频域处理计算，最终将9个区域的计算结果累加，采用频域变换系数的累加结果作为清晰度函数值，理论上，图像越清晰，图像的具体细节越丰富，频域变换之后的变换系数值就越大，变换系数的累加结果就越大，反过来，该值越大，则代表图像越清晰。
5）比较判断模块判断当前位置是否超出移动范围，若尚未超出移动范围，则跳转执行聚焦控制模块；否则，对比本轮移动步长下得到的各个位置图像的清晰度函数值，找出清晰度最佳的位置；判断是否仍有更小的移动步长，若还有更小的移动步长，则选择更小的移动步长作为新的当前移动步长，确定新的当前移动步长的移动范围，跳转执行聚焦控制模块；判断已经没有更小的移动步长，则将本轮移动步长下找出清晰度最佳的位置作为聚焦结果输出。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备（***）、和计算机程序产品的流程图和／的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于FPGA的相机聚焦控制的方法，其特征在于，包括：
1）初始化设定各轮的移动步长、初始的当前移动步长及移动范围；
2）控制图像采集装置的电机按照移动步长将相机移动到当前位置；
3）控制图像采集装置的相机拍摄当前位置图像并缓存；
4）将缓存的当前位置图像的每一行的多个采样区域依次输出给并行流水线，所述并行流水线的数量与当前位置图像中采样区域的行数对应，每一条并行流水线用于将依次输入同一行的多个采样区域采用流水线的方式进行频域变换后将频域变换系数进行累加，并将多条并行流水线的频域变换系数最终累加结果求和得到当前位置图像的清晰度函数值；
5）判断当前位置是否超出移动范围，若尚未超出移动范围，则跳转执行步骤2）；否则，对比本轮移动步长下得到的各个位置图像的清晰度函数值，找出清晰度最佳的位置；判断是否仍有更小的移动步长，若还有更小的移动步长，则选择更小的移动步长作为新的当前移动步长，确定新的当前移动步长的移动范围，跳转执行步骤2）；判断已经没有更小的移动步长，则将本轮移动步长下找出清晰度最佳的位置作为聚焦结果输出。
2.一种基于FPGA的相机聚焦控制的装置，其特征在于，包括：
参数配置模块，用于初始化设定各轮的移动步长、初始的当前移动步长及移动范围；
聚焦控制模块，包括用于与图像采集装置的电机相连的电机控制接口，用于通过电机控制接口控制图像采集装置的电机按照移动步长将相机移动到当前位置；
图像采集模块，包括用于与图像采集装置的相机相连的图像采集接口，用于通过图像采集接口采集相机拍摄的当前位置图像并缓存；
图像处理模块，用于将缓存的当前位置图像的每一行的多个采样区域依次输出给并行流水线，所述并行流水线的数量与当前位置图像中采样区域的行数对应，每一条并行流水线用于将依次输入同一行的多个采样区域采用流水线的方式进行频域变换后将频域变换系数进行累加，并将多条并行流水线的频域变换系数最终累加结果求和得到当前位置图像的清晰度函数值；
比较判断模块，用于判断当前位置是否超出移动范围，若尚未超出移动范围，则调用聚焦控制模块按照当前移动步长将相机移动到新的当前位置；否则，对比本轮移动步长下得到的各个位置图像的清晰度函数值，找出清晰度最佳的位置；判断是否仍有更小的移动步长，若还有更小的移动步长，则选择更小的移动步长作为新的当前移动步长，确定新的当前移动步长的移动范围，调用聚焦控制模块按照新的当前移动步长将相机移动到新的当前位置；判断已经没有更小的移动步长，则将本轮移动步长下找出清晰度最佳的位置作为聚焦结果输出。
3.根据权利要求2所述的基于FPGA的相机聚焦控制的装置，其特征在于，所述参数配置模块还包括用于与图像采集装置的光源控制端相连的光源控制接口，所述参数配置模块还用于通过光源控制接口配置图像采集装置的光源的控制参数。
4.根据权利要求2所述的基于FPGA的相机聚焦控制的装置，其特征在于，所述图像处理模块包括图像采集单元、多条并行流水线以及累加单元，所述图像采集单元用于将缓存的当前位置图像的每一行的多个采样区域依次输出给并行流水线，所述并行流水线的数量与当前位置图像中采样区域的行数对应，每一条并行流水线用于将依次输入同一行的多个采样区域采用流水线的方式进行频域变换后将频域变换系数进行累加，所述累加单元用于将多条并行流水线的频域变换系数最终累加结果求和得到当前位置图像的清晰度函数值。
5.根据权利要求4所述的基于FPGA的相机聚焦控制的装置，其特征在于，所述并行流水线包括：行频域变换器，用于针对输入的采样区域进行行频域变换；缓存器，用于缓存行各个采样区域频域变换的结果；列频域变换器，用于针对缓存的各个采样区域行频域变换的结果进行列频域变换得到频域变换系数；所述累加单元包括前级累加器和后级累加器，前级累加器用于将各个列频域变换器得到的频域变换系数累加计算得到每一列采样区域的频域变换系数累加结果，后级累加器，用于将每一列采样区域的频域变换系数累加结果累加计算得到所有采样区域的累加结果。
6.根据权利要求5所述的基于FPGA的相机聚焦控制的装置，其特征在于，所述图像处理模块包括三条并行流水线L1、L2、L3，所述图像采集单元将缓存的当前位置图像均匀提取9个指定像素大小的采样区域，其中第一行采样区域为P1、P4、P7，第二行采样区域为P2、P5、P8，第三行采样区域为P3、P6、P9，将缓存的当前位置图像的第一行采样区域P1、P4、P7依次输出给并行流水线L1，将缓存的当前位置图像的第二行采样区域P2、P5、P8依次输出给并行流水线L2，将缓存的当前位置图像的第三行采样区域P3、P6、P9依次输出给并行流水线L3；并行流水线L1的行频域变换器依次对第一行采样区域P1、P4、P7进行行频域变换并缓存到对应的缓存器中，并行流水线L1的列频域变换器依次将缓存的第一行采样区域P1、P4、P7进行列频域变换并将列频域变换的结果送入前级累加器，并行流水线L2的行频域变换器依次对第二行采样区域P2、P5、P8进行行频域变换并缓存到对应的缓存器中，并行流水线L2的列频域变换器依次将缓存的第二行采样区域P2、P5、P8进行列频域变换并将列频域变换的结果送入前级累加器；并行流水线L3的行频域变换器依次对第三行采样区域P3、P6、P9进行行频域变换并缓存到对应的缓存器中，并行流水线L3的列频域变换器依次将缓存的第三行采样区域P3、P6、P9进行列频域变换并将列频域变换的结果送入前级累加器；前级累加器第一步将第一列采样区域P1、P2、P3求和得到频域变换系数累加结果Sum123并输出给后级累加器，前级累加器第二步将第二列采样区域P4、P5、P6求和得到频域变换系数累加结果Sum456并输出给后级累加器，前级累加器第三步将第三列采样区域P7、P8、P9求和得到频域变换系数累加结果Sum789并输出给后级累加器，后级累加器将频域变换系数累加结果Sum123、频域变换系数累加结果Sum456、频域变换系数累加结果Sum789求和得到所有采样区域的频域变换系数Sum作为得到当前位置图像的清晰度函数值。
7.根据权利要求6所述的基于FPGA的相机聚焦控制的装置，其特征在于，所述指定像素大小的采样区域是指128×128像素大小的采样区域。
8.根据权利要求2所述的基于FPGA的相机聚焦控制的装置，其特征在于，所述参数配置模块初始化设定各轮的移动步长为从大到小排列，且初始的当前移动步长为最大的移动步长，移动范围为图像沿移动方向的尺寸大小。
9.根据权利要求8所述的基于FPGA的相机聚焦控制的装置，其特征在于，所述比较判断模块确定新的当前移动步长的移动范围为[zi-2δ，zi+2δ]，其中zi为本轮当前移动步长找出的清晰度最佳的位置，δ为新的当前移动步长。
10.根据权利要求9所述的基于FPGA的相机聚焦控制的装置，其特征在于，所述聚焦控制模块通过电机控制接口控制图像采集装置的电机按照移动步长将相机移动到当前位置时，相邻两轮移动步长的移动方向相反。
CN202011324968.1A 2020-11-24 2020-11-24 一种基于fpga的相机聚焦控制的方法和装置 Active CN112135062B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011324968.1A CN112135062B (zh) 2020-11-24 2020-11-24 一种基于fpga的相机聚焦控制的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011324968.1A CN112135062B (zh) 2020-11-24 2020-11-24 一种基于fpga的相机聚焦控制的方法和装置

Publications (2)

Publication Number Publication Date
CN112135062A CN112135062A (zh) 2020-12-25
CN112135062B true CN112135062B (zh) 2021-02-05

Family

ID=73852255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011324968.1A Active CN112135062B (zh) 2020-11-24 2020-11-24 一种基于fpga的相机聚焦控制的方法和装置

Country Status (1)

Country Link
CN (1) CN112135062B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112988395B (zh) * 2021-04-20 2021-08-24 宁波兰茜生物科技有限公司 一种可扩展异构边缘计算架构的病理分析方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102053339A (zh) * 2010-11-23 2011-05-11 天津市亚安科技电子有限公司 自动聚焦方法
CN102457666A (zh) * 2010-10-19 2012-05-16 赵菲 基于fpga的自动聚焦装置
CN103945133A (zh) * 2014-05-08 2014-07-23 山东神戎电子股份有限公司 一种可见光镜头的自动聚焦装置及方法
CN104284095A (zh) * 2014-10-28 2015-01-14 福建福光数码科技有限公司 一种长焦距可见光工业镜头的快速自动聚焦方法及***
CN107102328A (zh) * 2017-04-17 2017-08-29 王辉 基于fpga的实时成像信号处理方法及fpga
CN111866365A (zh) * 2019-04-29 2020-10-30 武汉精立电子技术有限公司 一种能够自动对焦的工业相机及控制方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10616511B2 (en) * 2017-06-08 2020-04-07 Intel Corporation Method and system of camera control and image processing with a multi-frame-based window for image data statistics

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102457666A (zh) * 2010-10-19 2012-05-16 赵菲 基于fpga的自动聚焦装置
CN102053339A (zh) * 2010-11-23 2011-05-11 天津市亚安科技电子有限公司 自动聚焦方法
CN103945133A (zh) * 2014-05-08 2014-07-23 山东神戎电子股份有限公司 一种可见光镜头的自动聚焦装置及方法
CN104284095A (zh) * 2014-10-28 2015-01-14 福建福光数码科技有限公司 一种长焦距可见光工业镜头的快速自动聚焦方法及***
CN107102328A (zh) * 2017-04-17 2017-08-29 王辉 基于fpga的实时成像信号处理方法及fpga
CN111866365A (zh) * 2019-04-29 2020-10-30 武汉精立电子技术有限公司 一种能够自动对焦的工业相机及控制方法

Also Published As

Publication number Publication date
CN112135062A (zh) 2020-12-25

Similar Documents

Publication Publication Date Title
US8169486B2 (en) Image acquisition method and apparatus
CN112135062B (zh) 一种基于fpga的相机聚焦控制的方法和装置
US20090324013A1 (en) Image processing apparatus and image processing method
EP1223549B1 (en) Camera system for high-speed image processing
EP2560375A1 (en) Image processing device, image capture device, program, and image processing method
EP3062502A1 (en) Blurless image capturing system
US20150103190A1 (en) Image acquisition method and apparatus with mems optical image stabilization (ois)
JP2008042874A (ja) 画像処理装置、画像復元方法およびプログラム
KR20130073986A (ko) 고속 반복된 적분 이미지들
US8121429B2 (en) Image processing apparatus, image-capturing apparatus, image processing method, and program
WO2022075198A1 (ja) 撮像制御装置及び撮像装置
CN111832668B (zh) 一种自适应特征及数据分布的目标检测方法
CN113163121A (zh) 一种视频防抖方法及可读存储介质
CN113163120A (zh) 一种基于transformer的视频防抖方法
CN116777842A (zh) 基于深度学习的轻量化纹理表面缺陷检测方法和***
JP3920659B2 (ja) Ａｆ評価値算出装置
US11544523B2 (en) Convolutional neural network method and system
WO2020237644A1 (zh) 一种基于fpga架构的实时景深合成算法和***
JP7121678B2 (ja) 画像処理装置、プログラム及び学習方法
JP5616989B2 (ja) 画像処理装置および閾値設定処理プログラム
CN116862953B (zh) 一种面向运动背景的运动小目标实时检测跟踪装置及方法
CN102739924B (zh) 一种图像处理方法和***
JP4446820B2 (ja) 画像処理装置
Rodríguez-Vázquez et al. A CMOS vision system on-chip with multicore sensory processing architecture for image analysis above 1,000 F/s
JP2007274029A (ja) 手振れ補正装置、手振れ補正方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Room 6-1-604, No.55 Fuye street, Luotuo street, Zhenhai District, Ningbo City, Zhejiang Province

Patentee after: Lansi (Ningbo) Intelligent Technology Co.,Ltd.

Address before: Room 6-1-604, No.55 Fuye street, Luotuo street, Zhenhai District, Ningbo City, Zhejiang Province

Patentee before: Ningbo Lanxi Biotechnology Co.,Ltd.

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20201225

Assignee: Changsha Lansi Intelligent Technology Co.,Ltd.

Assignor: Lansi (Ningbo) Intelligent Technology Co.,Ltd.

Contract record no.: X2023980033656

Denomination of invention: A method and device for camera focus control based on FPGA

Granted publication date: 20210205

License type: Common License

Record date: 20230321