CN115034805A - 一种基于深度学习目标检测技术的智能广告展示*** - Google Patents
一种基于深度学习目标检测技术的智能广告展示*** Download PDFInfo
- Publication number
- CN115034805A CN115034805A CN202210449235.3A CN202210449235A CN115034805A CN 115034805 A CN115034805 A CN 115034805A CN 202210449235 A CN202210449235 A CN 202210449235A CN 115034805 A CN115034805 A CN 115034805A
- Authority
- CN
- China
- Prior art keywords
- target detection
- module
- communication module
- server
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 51
- 238000013135 deep learning Methods 0.000 title claims abstract description 19
- 238000005516 engineering process Methods 0.000 title claims abstract description 12
- 238000004891 communication Methods 0.000 claims abstract description 39
- 238000007405 data analysis Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000000034 method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000004821 distillation Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0251—Targeted advertisements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Business, Economics & Management (AREA)
- Multimedia (AREA)
- Accounting & Taxation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Strategic Management (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Entrepreneurship & Innovation (AREA)
- Molecular Biology (AREA)
- Game Theory and Decision Science (AREA)
- Human Computer Interaction (AREA)
- Economics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明的目的在于提供一种基于深度学习目标检测技术的智能广告展示***，包括本地广告牌和服务器，其中本地广告牌包括图像采集模块、目标检测模块、通信模块和显示模块，服务器包括数据集和通信模块。本地广告牌通过通信模块将识别结果上传服务器并接收服务器下发的图片、视频和链接，将商品广告显示在触摸显示屏上。本发明能方便地更新消费者群体——相关广告关联数据库，使得数据库紧跟当下消费者群体青睐商品变化趋势，从而在不同时期都能推送行人感兴趣的广告。本发明可以匹配广告与特定人群，发挥广告的最大影响力，促成更多商品交易。
Description
技术领域
本发明涉及的是一种人工智能装置，具体地说是智能广告展示***。
背景技术
随着人工智能、机器学***台，可以识别行人性别年龄，穿衣风格，体貌特征，实现个性化广告的实时，精准投放。这样便可在成本不变的情况下，达到最好的宣传效果。
发明内容
本发明的目的在于提供实现个性化广告的实时、精准投放的一种基于深度学习目标检测技术的智能广告展示***。
本发明的目的是这样实现的：
本发明一种基于深度学习目标检测技术的智能广告展示***，其特征是：包括本地广告牌和服务器，所述本地广告牌包括图像采集模块、目标检测模块、通信模块，所述服务器包括数据库、多线程通信模块，图像采集模块采集视频画面并将图像数据传输给目标检测模块，通信模块连接目标检测模块并将目标检测模块识别的结果上传至服务器的多线程通信模块，多线程通信模块连接数据库并将识别的结果从数据库中检索匹配的图片、视频及链接并返回给本地广告牌的通信模块。
本发明还可以包括：
1、所述本地广告牌还包括显示模块，通信模块连接显示模块，并将接收到的服务器的多线程通信模块下发的图片、视频及链接通过显示模块展示。
2、所述目标检测模块包括依次连接的输入层、特征提取网络、数据分析网络、输出层，图像采集模块采集并实时回传视频图像数据，将接收到的视频经过解码处理后以缓存的形式输入目标检测模块中的输入层，在此之前，先采用深度学习框架和目标检测算法训练深度学习目标检测模型中特征提取网络参数，并将目标检测算法网络末端的全连接层替换为自设计的数据分析网络。
本发明的优势在于：本发明可以匹配广告与特定人群，实现个性化广告的实时、精准投放，发挥广告的最大影响力，促成更多商品交易。
附图说明
图1为本发明的结构示意图；
图2为目标检测模型结构示意图；
图3为目标检测算法网络中改进的数据分析网络；
图4为本地广告牌和服务器通信工作流程图。
具体实施方式
下面结合附图举例对本发明做更详细地描述：
结合图1-4，本发明一种基于深度学习目标检测技术的智能广告展示***，包括本地广告牌9和服务器8。其中本地广告牌9包括图像采集模块1、目标检测模块2、通信模块3和显示模块6，广告牌9的处理核心可选用具有AI算力的ARM板卡，服务器采用X86架构包含数据库5和通信模块4、数据库的操作界面7。
所述图像采集模块1包含具有云台控制功能的摄像头，可以采集高清视频画面，广告牌处理核心0可对原始视频流进行解码，并将解码后的图像数据传输给目标检测模块2；
所述目标检测模块2搭载改进的轻量级深度学习目标检测模型，可通过图像采集模块1采集到的行人面部信息和服装穿着信息实时检测识别出行人年龄、性别及服装风格类型，且具有用户信息安全保护机制，可及时销毁行人个人图像信息保护行人隐私；
所述通信模块3可将目标检测模块2识别的结果上传至服务器8，并接收服务器下发广告图片、视频及链接，广告图片、视频将通过显示模块6展示、播放；行人可以扫描广告图片上的二维码或者点击广告触发商铺链接跳转至商铺页面查看商品的详细信息；
所述服务器端多线程通信模块4可接收来自多地广告牌通信模块3上传的识别结果数据，并根据识别结果从数据库5中检索出匹配的广告图片、视频及店铺链接并返回给广告牌9；
所述数据库5存储大量不同类别的广告图片、视频和广告所对应的店铺链接，数据库设有操作界面7，运营人员可通过界面实时更新数据库5，使内容紧跟当前商品流行趋势。
本地广告牌9的处理核心0可搭载操作***，协调驱动各硬件设施，实现实时目标检测、广告展示及响应行人操作，可以使用多线程技术分摊负荷到各个核心。
本地广告牌9可以向服务器8定期回传自身工作情况，并在工作异常时向服务器8发出警报，请求调遣维修人员；所述的本地广告牌9的处理核心0可以实现透传功能，接受服务器端8发送的摄像头控制指令，并将指令传输至图像采集模块1的云台摄像头，实现服务器端8远程控制摄像头调焦变倍的调节功能。
目标检测模型2为基于大量特定类型的数据集训练所得，且经过量化、蒸馏和剪裁处理的轻量级模型，满足精准识别行人性别、年龄、穿衣风格和实时性要求，可以部署在较低成本嵌入式板卡上，便于广告牌的推广。
服务器8开启多线程模块4实现一对多通信，同时处理多个本地广告牌9的请求，并实时监控各个设备是否在线、工作状态、CPU负荷、警报情况等，服务器端8可以向广告牌9的处理核心0发送的控制指令，用于控制图像采集模块1的摄像头角度焦距的调节。
服务器端多线程通信模块4可以基于私有协议传输广告视频流，通信迅速稳定高效；所述服务器8可以记录用户广告选择结果，不断优化数据库5，紧跟不同群体感兴趣广告的流行趋势。
图像采集模块1通过RJ-45网口与ARM板卡0连接向其传输视频图像数据并接收ARM板卡0控制指令，ARM板卡0上搭载Linux操作***，同时启动目标检测线程、通信线程与广告显示线程。目标检测线程用以实时检测识别图像，ARM板卡启动程序后，可驱动图像采集模块1采集并实时回传视频图像数据，将接收到的视频经过解码处理后以缓存的形式输入深度学习目标检测模型2中的输入层21；在此之前，需要先采用合适的深度学习框架和目标检测算法训练深度学习目标检测模型2中特征提取网络22参数，并将目标检测算法网络末端的全连接层替换为自设计的数据分析网络23：并联全连接层模块，以更好地分析处理前端特征提取网络22输出的特征向量；模型训练集选取不同年龄段、不同性别、不同穿衣风格的人物照片，并在人物面部及衣服上标记类别标签，用以训练目标检测模型；；然后将模型经过量化、剪裁和蒸馏使其轻量化并最终部署在ARM板卡搭载的***上；目标检测模型2对输入图像进行计算处理并将检测结果输出，处理完的图像缓存数据会被清空销毁，不会保留任何图像缓存，保障行人个人隐私；。
通信模块3基于Socket通信与服务器握手连接后等待目标检测模块2检测输出结果，当目标检测模块2检测到行人时，通信模块3将检测识别结果以套接字形式发送至服务器，并接收服务器返回广告图片、视频与商铺链接。显示模块6通过HDMI口与ARM板卡连接，并播放接收到的广告图片和视频。
服务器8可搭载Linux操作***与本地广告牌9之间基于Socket套接字的IP端口通信，服务器8与广告牌9握手连接后可获取该广告牌设备的MAC地址序列、通信情况与硬件工作信息，多地广告牌同时请求通信时，服务器8可启动多线程同时处理不同广告牌设备的请求，在服务器8后台可以查看连接的广告牌设备在线状态、CPU负荷等信息。服务器8通信模块接收端41可接收广告牌通信模块3发送的识别信息，服务器8根据接收到的识别结果从数据库5对应的类别子库中选取广告图片、视频并基于私有协议编码后与商铺链接一起打包成Socket套接字再通过通信模块发送端42发至本地广告牌9。服务器8的数据库5具有操作界面，可以增加新的当下热门广告图片、视频和链接，删除过时的广告图片、视频和链接。
本地广告牌9中通信模块接收端32接收套接字并解码还原广告图片、视频和商铺链接，再通过显示模块6显示广告图片与视频。行人对所示广告内容感兴趣时，可以扫描广告图片上的二维码或者点击广告图片触发商铺链接进入店铺查看详细信息。商铺链接被行人打开后，主程序会启动计时器并于5分钟后提醒关闭店铺浏览页面，如果行人想继续浏览店铺，可点击取消自动关闭，若提示消息10秒未被应答，程序将自动关闭店铺浏览页面，切换默认广告循环播放模式，防止行人查看详细信息后未退出导致广告牌9不能正常向行人展示广告信息。
本地广告牌9可以接收服务器8发送的摄像头控制指令，调节摄像头1的角度及焦距，实现异地条件下服务器对广告牌摄像头的远程控制。
Claims (3)
1.一种基于深度学习目标检测技术的智能广告展示***，其特征是：包括本地广告牌和服务器，所述本地广告牌包括图像采集模块、目标检测模块、通信模块，所述服务器包括数据库、多线程通信模块，图像采集模块采集视频画面并将图像数据传输给目标检测模块，通信模块连接目标检测模块并将目标检测模块识别的结果上传至服务器的多线程通信模块，多线程通信模块连接数据库并将识别的结果从数据库中检索匹配的图片、视频及链接并返回给本地广告牌的通信模块。
2.根据权利要求1所述的一种基于深度学习目标检测技术的智能广告展示***，其特征是：所述本地广告牌还包括显示模块，通信模块连接显示模块，并将接收到的服务器的多线程通信模块下发的图片、视频及链接通过显示模块展示。
3.根据权利要求1所述的一种基于深度学习目标检测技术的智能广告展示***，其特征是：所述目标检测模块包括依次连接的输入层、特征提取网络、数据分析网络、输出层，图像采集模块采集并实时回传视频图像数据，将接收到的视频经过解码处理后以缓存的形式输入目标检测模块中的输入层，在此之前，先采用深度学习框架和目标检测算法训练深度学习目标检测模型中特征提取网络参数，并将目标检测算法网络末端的全连接层替换为自设计的数据分析网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210449235.3A CN115034805A (zh) | 2022-04-26 | 2022-04-26 | 一种基于深度学习目标检测技术的智能广告展示*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210449235.3A CN115034805A (zh) | 2022-04-26 | 2022-04-26 | 一种基于深度学习目标检测技术的智能广告展示*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115034805A true CN115034805A (zh) | 2022-09-09 |
Family
ID=83119422
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210449235.3A Pending CN115034805A (zh) | 2022-04-26 | 2022-04-26 | 一种基于深度学习目标检测技术的智能广告展示*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115034805A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107146096A (zh) * | 2017-03-07 | 2017-09-08 | 浙江工业大学 | 一种智能视频广告展示方法及装置 |
| CN108694627A (zh) * | 2018-07-16 | 2018-10-23 | 安徽爱依特科技有限公司 | 移动广告展示机器人*** |
| CN109241349A (zh) * | 2018-08-14 | 2019-01-18 | 中国电子科技集团公司第三十八研究所 | 一种基于深度学习的监控视频多目标分类检索方法及*** |
| CN109934625A (zh) * | 2019-03-01 | 2019-06-25 | 统云信息科技有限公司 | 一种人工智能显示屏广告动态投放***和方法 |
-
2022
- 2022-04-26 CN CN202210449235.3A patent/CN115034805A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107146096A (zh) * | 2017-03-07 | 2017-09-08 | 浙江工业大学 | 一种智能视频广告展示方法及装置 |
| CN108694627A (zh) * | 2018-07-16 | 2018-10-23 | 安徽爱依特科技有限公司 | 移动广告展示机器人*** |
| CN109241349A (zh) * | 2018-08-14 | 2019-01-18 | 中国电子科技集团公司第三十八研究所 | 一种基于深度学习的监控视频多目标分类检索方法及*** |
| CN109934625A (zh) * | 2019-03-01 | 2019-06-25 | 统云信息科技有限公司 | 一种人工智能显示屏广告动态投放***和方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021238631A1 (zh) | 物品信息的显示方法、装置、设备及可读存储介质 | |
| US11483621B2 (en) | Big data acquisition and analysis system using intelligent image recognition, and application method thereof | |
| CN108234591B (zh) | 基于身份验证装置的内容数据推荐方法、装置和存储介质 | |
| CN104769957B (zh) | 识别和呈现因特网可访问内容的方法和设备 | |
| CN110837579A (zh) | 视频分类方法、装置、计算机以及可读存储介质 | |
| CN105450778B (zh) | 信息推送*** | |
| US20100253778A1 (en) | Media displaying system and method | |
| WO2018097379A1 (ko) | 영상 인식에 의한 해시태그 삽입방법 및 그 방법을 수행하는 소프트웨어가 저장된 소프트웨어 분배 서버 | |
| CN106164959A (zh) | 行为事件测量***和相关方法 | |
| CN111432282B (zh) | 一种视频推荐方法及装置 | |
| CN113766296B (zh) | 直播画面的展示方法和装置 | |
| CN110443236B (zh) | 贷后文本要点信息提取方法及装置 | |
| US20110175992A1 (en) | File selection system and method | |
| CN111507741A (zh) | 商品信息展示方法、***、电子设备和计算机可读介质 | |
| CN111724199A (zh) | 基于行人主动感知的智慧社区广告精准投放方法及装置 | |
| CN112509148A (zh) | 一种基于多特征识别的交互方法、装置及计算机设备 | |
| US20220295150A1 (en) | Image recommendation for content publishing | |
| CN111263183A (zh) | 唱歌状态识别方法及装置 | |
| JP4889672B2 (ja) | 広告配信装置、システム及び方法 | |
| US20100095318A1 (en) | System and Method for Monitoring Audience Response | |
| CN115034805A (zh) | 一种基于深度学习目标检测技术的智能广告展示*** | |
| KR20190119919A (ko) | 스마트 광고 시스템 | |
| CA2983339C (en) | Display systems using facial recognition for viewership monitoring purposes | |
| CN113067887B (zh) | 一种多目标应用程序窗口信息抓取与网络推送方法及*** | |
| CN112862532B (zh) | 电子价签的显示控制方法及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |