CN105046637B - 基于 OmapL138芯片的光流跟踪实现方法 - Google Patents
基于 OmapL138芯片的光流跟踪实现方法 Download PDFInfo
- Publication number
- CN105046637B CN105046637B CN201510462205.6A CN201510462205A CN105046637B CN 105046637 B CN105046637 B CN 105046637B CN 201510462205 A CN201510462205 A CN 201510462205A CN 105046637 B CN105046637 B CN 105046637B
- Authority
- CN
- China
- Prior art keywords
- dsp core
- image data
- arm
- optical flow
- omapl138
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
Abstract
发明公开了一种基于 OmapL138芯片的光流跟踪实现方法，包括以下步骤：（1）读取待处理的图像YUV420数据，将其保存到DDR2中；（2）提取图像数据，并线性排布到DSP内核的L2内存中；（3）进行Fast角点检测运算，并将结果传回到L2内存中；（4）将Fast角点检测运算的结果进行非极大值抑制，筛选出最终的角点；（5）进行高斯滤波，将计算的结果放入L2中；然后进行降采样，并传送给DSP内核；（6）重复执行步骤（5），直到所有的图像数据通过ARM降采样后均达到了预定的图像最小值；（7）进行光流的差分方程的最小二乘矩阵计算，最终在DSP内核得到角点的运动矢量结果。本发明减少了运算之外的处理时间，全面提高了光流跟踪算法的实现速度，具有很高的实用价值。
Description
技术领域
本发明涉及一种光流跟踪算法，具体地说，是涉及一种基于 OmapL138芯片的光流跟踪实现方法。
背景技术
光流跟踪算法是为了利用图像序列中像素强度数据的时域变化和相关性来确定各自像素位置的“运动”,即研究图像灰度在时间上的变化与景象中物体结构及其运动的关系。
当物体运动时,在图像上对应物体的亮度模式也在运动。当人的眼睛观察运动物体时,物体的景象在人眼的视网膜上形成一系列连续变化的图像,这一系列连续变化的信息不断“流过”视网膜(即图像平面),好像一种光的“流”,故称之为光流。
更准确的说,光流是指空间运动物体在观测成像面上的像素运动的瞬时速度,是动态的外界在视网膜上的连续流动,是一个二维的速度场。当成像物体运动时,图像中的亮度图案也随之移动。光流是可看得到的亮度图案的运动,也可以说是表现运动希望光流能对应于运动场。光流的研究是利用图像序列中的像素强度数据的时域变化和相关性来确定各自像素位置的“运动”,即研究图像灰度在时间上的变化与景象中物体结构及其运动的关系。
将二维图像平面特定坐标点上的灰度瞬时变化率定义为光流矢量。光流场是指图像灰度模式的表观运动,它是一个二维矢量场，包含的信息即是各像素点的瞬时运动速度矢量信息。研究光流场的目的就是为了从序列图像中近似计算不能直接得到的运动场。光流表达了图像的变化,由于它包含了目标运动的信息,因此可被观察者用来确定目标的运动情况。
光流法实际是通过检测图像像素点的强度随时间的变化进而推断出物体移动速度及方向的方法。但是，现有的光流跟踪算法由于需要处理的数据量很大，处理速度很慢，无法满足当今社会的实际需求，急需对其进行改进。
发明内容
本发明的目的在于提供一种基于 OmapL138芯片的光流跟踪实现方法，解决现有技术中光流跟踪算法实现速度慢、无法满足实际需求的问题。
为了实现上述目的，本发明采用的技术方案如下：
基于 OmapL138芯片的光流跟踪实现方法，包括以下步骤：
（1）由OmapL138芯片的ARM内核读取待处理的图像YUV420数据，并将其保存到DDR2中；
（2）ARM内核从DDR2中提取图像数据，线性排布到DSP内核的L2内存中；
（3）DSP内核从L2内存中提取图像数据，进行Fast角点检测运算，并将结果传回到L2内存中；
（4）DSP内核将Fast角点检测运算的结果进行非极大值抑制，筛选出最终的角点；
（5）DSP内核将ARM内核传入的原始图像数据进行高斯滤波，将计算的结果放入L2中；ARM内核从L2内存中取出高斯滤波后的数据，并进行降采样，并传送给DSP内核；
（6）重复执行步骤（5），直到ARM降采样的结果达到了预定的图像最小值之后，ARM内核组织下一帧的原始图像数据传输给DSP，反复执行步骤（5），直到所有的图像数据通过ARM降采样后均达到了预定的图像最小值；
（7）DSP内核将当前帧图像数据与上一帧图像数据进行光流的差分方程的最小二乘矩阵计算，最终在DSP内核得到角点的运动矢量结果。
进一步地，所述步骤（2）中，ARM内核对从DDR2中提取出来的图像数据进行等量分组，并将所有分组数据排列成一条直线，存储于L2内存中。
再进一步地，所述步骤（3）中，DSP内核按照分组数据的先后顺序，从L2内存中依次提取图像数据，进行Fast角点检测运算。
在本发明中，OMAPL138芯片是TI公司推出的C6748浮点DSP内核和ARM9内核的双核高速处理器，该器件集图像、语音、网络、存储于一体，性价比高；频率最高达456MHz的C6748内核提供浮点工作能力以及更高性能的定点工作能力；ARM9内核具有高度的灵活性，开发人员可以在其上使用 Linux 等操作***，方便地为其应用添加人机接口、网络功能、触摸屏等。由此可见，OMAP-L138芯片的内存和外设资源是十分丰富的，完全可以满足光流跟踪***的设计要求，而且也方便将来进行***的扩展和升级。
与现有技术相比，本发明具有以下有益效果：
本发明充分考虑了光流跟踪算法的实现过程和OMAPL138芯片的双内核特性，通过对OMAPL138芯片双内核的分工合作，分别利用其两个内核的特性来实现光流跟踪算法中的相应步骤，将供需进行了完美的搭配，从而使光流跟踪算法的实现速度得到了大幅度提升。本发明不仅仅是常规的OMAPL138芯片应用，与OMAPL138芯片的常规应用方式不同，其将OMAPL138芯片的特性发挥到了最大程度，节省了硬件资源，同时也提高了算法的实现速度，具有很高的创造性。
具体实施方式
下面结合实施例对本发明作进一步说明，本发明的实施方式包括但不限于下列实施例。
实施例
本发明公开的基于 OmapL138芯片的光流跟踪实现方法，主要是针对现有的光流跟踪算法实现速度慢、无法满足实际需求的问题而改进的，其原理在于利用OmapL138芯片的双内核特性，将光流跟踪算法的整个过程分成几个部分，根据ARM内核和DSP内核的不同特性，进行分配不同的计算工作，使每一部分的工作得到最大程度的高效处理，最终达到提高光流跟踪算法实现速度的目的。
OmapL138芯片集成了ARM和DSP两个独立核心，ARM擅长实现逻辑运算，DSP适合乘加运算。充分发挥两个核心的各自特性，是实时光流跟踪算法高速实现的关键。
ARM作为控制器，提取出图像YUV420数据中的Y亮度分量，从DDR2中提取、组织Fast角点检测所需要的图像数据，分批把组织好的数据送到DSP的L2中。DSP内核从L2内存中分段提取数据，利用其中的8个计算核心，高速计算Fast角点检测的结果；然后将Fast角点检测的结果使用非极大值抑制最终确定图像中的角点并同时减少计算量。DSP内核对图像数据进行高斯滤波，将滤波后的计算结果交给ARM内核，ARM内核再进行降采样，并将降采样的结果传送给DSP内核，DSP内核再进行高斯滤波，如此反复，直到ARM内核降采样到图片的预设最小尺寸，即得到整个高斯金字塔。最后，将当前帧的数据与前一帧的图像数据中角点的位置进行光流跟踪算法，最终得到光流运动矢量的最终结果。
以上述思路为基础，本发明设计的具体步骤如下：
（1）由OmapL138芯片的ARM内核读取待处理的图像YUV420数据，并将其保存到DDR2中；
（2）ARM内核从DDR2中提取图像数据，线性排布到DSP内核的L2内存中；
（3）DSP内核从L2内存中提取图像数据，进行Fast角点检测运算，并将结果传回到L2内存中；
（4）DSP内核将Fast角点检测运算的结果进行非极大值抑制，筛选出最终的角点；
（5）DSP内核将ARM内核传入的原始图像数据进行高斯滤波，将计算的结果放入L2中；ARM内核从L2内存中取出高斯滤波后的数据，并进行降采样，并传送给DSP内核；
（6）重复执行步骤（5），直到ARM降采样的结果达到了预定的图像最小值之后，ARM内核组织下一帧的原始图像数据传输给DSP，反复执行步骤（5），直到所有的图像数据通过ARM降采样后均达到了预定的图像最小值；
（7）DSP内核将当前帧图像数据与上一帧图像数据进行光流的差分方程的最小二乘矩阵计算，最终在DSP内核得到角点的运动矢量结果。
本发明主要是对光流跟踪算法过程中的逻辑运算工作和乘加运算工作进行划分，然后将相应的工作分配到相应的内核进行处理，同时通过设计尽量减少数据的反复传输与存取，以减少运算之外的处理时间，如此达到全面提高光流跟踪算法实现速度的目的。
本发明并没有对现有的光流跟踪算法进行改变，而是对其具体的执行方式和执行部件进行选择，利用高性能芯片来处理大数据量的处理，并最大程度发挥芯片的性能，实现提速，具有很高的实用价值。
上述实施例仅为本发明的优选实施例，并非对本发明保护范围的限制，但凡采用本发明的设计原理，以及在此基础上进行非创造性劳动而作出的变化，均应属于本发明的保护范围之内。
Claims (3)
1.基于 OmapL138芯片的光流跟踪实现方法，其特征在于，包括以下步骤：
（1）由OmapL138芯片的ARM内核读取待处理的图像YUV420数据，并将其保存到DDR2中；
（2）ARM内核从DDR2中提取图像数据，线性排布到DSP内核的内存中；
（3）DSP内核从其内存中提取图像数据，进行Fast角点检测运算，并将结果传回到DSP内核的内存中；
（4）DSP内核将Fast角点检测运算的结果进行非极大值抑制，筛选出最终的角点；
（5）DSP内核将ARM内核传入的原始图像数据进行高斯滤波，将计算的结果放入DSP内核的内存中；ARM内核从DSP内核的内存中取出高斯滤波后的数据，并进行降采样，并传送给DSP内核；
（6）重复执行步骤（5），直到ARM降采样的结果达到了预定的图像最小值之后，ARM内核组织下一帧的原始图像数据传输给DSP，反复执行步骤（5），直到所有的图像数据通过ARM降采样后均达到了预定的图像最小值；
（7）DSP内核将当前帧图像数据与上一帧图像数据进行光流的差分方程的最小二乘矩阵计算，最终在DSP内核得到角点的运动矢量结果。
2.根据权利要求1所述的基于 OmapL138芯片的光流跟踪实现方法，其特征在于，所述步骤（2）中，ARM内核对从DDR2中提取出来的图像数据进行等量分组，并将所有分组数据排列成一条直线，存储于DSP内核的内存中。
3.根据权利要求2所述的基于 OmapL138芯片的光流跟踪实现方法，其特征在于，所述步骤（3）中，DSP内核按照分组数据的先后顺序，从DSP内核的内存中依次提取图像数据，进行Fast角点检测运算。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510462205.6A CN105046637B (zh) | 2015-07-31 | 2015-07-31 | 基于 OmapL138芯片的光流跟踪实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510462205.6A CN105046637B (zh) | 2015-07-31 | 2015-07-31 | 基于 OmapL138芯片的光流跟踪实现方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105046637A CN105046637A (zh) | 2015-11-11 |
| CN105046637B true CN105046637B (zh) | 2018-08-10 |
Family
ID=54453158
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510462205.6A Active CN105046637B (zh) | 2015-07-31 | 2015-07-31 | 基于 OmapL138芯片的光流跟踪实现方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105046637B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113781290B (zh) * | 2021-08-27 | 2023-01-31 | 北京工业大学 | 一种用于fast角点检测的向量化硬件装置 |
| CN114511477A (zh) * | 2022-01-20 | 2022-05-17 | 上海盈方微电子有限公司 | 一种适用于高斯平滑的neon优化方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1892578A (zh) * | 2005-06-30 | 2007-01-10 | 兄弟工业株式会社 | 图像数据处理***、控制设备和方法 |
| JP2010002985A (ja) * | 2008-06-18 | 2010-01-07 | Alpine Electronics Inc | 動きベクトル算出装置、障害物検出装置および動きベクトル算出方法 |
| CN103971319A (zh) * | 2013-05-13 | 2014-08-06 | 段然 | 一种由计算机执行的图像处理方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5644097B2 (ja) * | 2009-12-08 | 2014-12-24 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
-
2015
- 2015-07-31 CN CN201510462205.6A patent/CN105046637B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1892578A (zh) * | 2005-06-30 | 2007-01-10 | 兄弟工业株式会社 | 图像数据处理***、控制设备和方法 |
| JP2010002985A (ja) * | 2008-06-18 | 2010-01-07 | Alpine Electronics Inc | 動きベクトル算出装置、障害物検出装置および動きベクトル算出方法 |
| CN103971319A (zh) * | 2013-05-13 | 2014-08-06 | 段然 | 一种由计算机执行的图像处理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105046637A (zh) | 2015-11-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110084161B (zh) | 一种人体骨骼关键点的快速检测方法及*** | |
| CN107301370B (zh) | 一种基于Kinect三维骨架模型的肢体动作识别方法 | |
| Baraldi et al. | Gesture recognition in ego-centric videos using dense trajectories and hand segmentation | |
| WO2020119661A1 (zh) | 一种目标检测方法、装置以及行人检测方法、*** | |
| CN106133752B (zh) | 眼睛注视跟踪 | |
| CN104240277B (zh) | 基于人脸检测的增强现实交互方法和*** | |
| CN106033601B (zh) | 检测异常情形的方法和装置 | |
| CN108235770A (zh) | 图像识别方法及云端*** | |
| CN109522790A (zh) | 人体属性识别方法、装置、存储介质及电子设备 | |
| CN110147721A (zh) | 一种三维人脸识别方法、模型训练方法和装置 | |
| CN110532897A (zh) | 零部件图像识别的方法和装置 | |
| CN106446862A (zh) | 一种人脸检测方法及*** | |
| CN109902577A (zh) | 一种轻量级手势检测卷积神经网络模型的构建方法及应用 | |
| CN108694693A (zh) | 基于面部表情来调整图形渲染 | |
| CN109363698A (zh) | 一种乳腺影像征象识别的方法及装置 | |
| CN109583364A (zh) | 图像识别方法及设备 | |
| CN104821010A (zh) | 基于双目视觉的人手三维信息实时提取方法及*** | |
| SG181597A1 (en) | Head recognition method | |
| CN109508636A (zh) | 车辆属性识别方法、装置、存储介质及电子设备 | |
| CN111860400A (zh) | 人脸增强识别方法、装置、设备及存储介质 | |
| CN109166139A (zh) | 一种结合快速背景抑制的尺度自适应目标跟踪方法 | |
| CN105046637B (zh) | 基于 OmapL138芯片的光流跟踪实现方法 | |
| CN107358155A (zh) | 一种鬼脸动作检测方法和装置及活体识别方法和*** | |
| CN104794446A (zh) | 基于合成描述子的人体动作识别方法及*** | |
| Yu et al. | Human motion recognition based on neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |