CN107633441A - 追踪识别视频图像中的商品并展示商品信息的方法和装置 - Google Patents
追踪识别视频图像中的商品并展示商品信息的方法和装置 Download PDFInfo
- Publication number
- CN107633441A CN107633441A CN201710720442.7A CN201710720442A CN107633441A CN 107633441 A CN107633441 A CN 107633441A CN 201710720442 A CN201710720442 A CN 201710720442A CN 107633441 A CN107633441 A CN 107633441A
- Authority
- CN
- China
- Prior art keywords
- image
- virtualization
- real scene
- merchandise news
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000008569 process Effects 0.000 claims description 17
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 241000406668 Loxodonta cyclotis Species 0.000 claims 2
- 230000005540 biological transmission Effects 0.000 description 16
- 238000012545 processing Methods 0.000 description 12
- 230000003190 augmentative effect Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 239000011800 void material Substances 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000002407 reforming Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种追踪识别视频图像中的商品并展示商品信息的方法，所述方法包括：获取实景图像；识别实景图像中的特征图像；当所述特征图像与数据库中的商品特征匹配时，将实景图像中的所述特征图像的区域作为商品图像区域加载商品信息；和显示所述商品信息。本发明还公开了一种追踪识别视频图像中的商品并展示商品信息的装置。
Description
技术领域
本申请涉及图像识别领域，具体涉及一种用于追踪识别视频图像中的商品并展示商品信息的方法和装置。
背景技术
随着个人电脑和手机等终端设备的硬件技术的不断发展，越来越多的人选择使用个人电脑或者手机等终端设备观看由视频网站提供的各种电视节目。所谓视频网站是指在相关的技术平台支持下，让互联网用户在线流畅发布、浏览和分享视频作品的网站，众所周知的视频网站有优酷网、乐视网、爱奇艺等；通常视频网站也会推出自己的视频客户端应用程序(也称视频客户端)，专门用于在手机或者个人电脑等终端设备上播放视频网站提供的视频作品，例如：优酷视频客户端、爱奇艺视频客户端等。
除此之外，随着全景摄像设备的发展，大量自媒体纷纷涌现，各类的视频作品(例如全景视频，全景直播等)在小型的App上分享，吸引了很多爱好者参与。很多赞助商(或广告商)希望将自己的广告投放到这些受众广泛的视频上，但传统的广告模式由于缺乏趣味性和交互性，很难引起观众点击的兴趣，因而转化率很低。
发明内容
有鉴于此，本发明提供了一种新的在视频上加载广告的模式，以期改善广告转化率。
根据本发明的第一方面，本发明提供一种追踪识别视频图像中的商品并展示商品信息的方法，所述方法包括：
获取实景图像；
识别实景图像中的特征图像；
当特征图像与数据库中的商品特征匹配时，将实景图像中的特征图像的区域作为商品图像区域加载商品信息；
显示所述商品信息。
在本发明的一些实施方式中，当特征图像与数据库中的商品特征标识匹配时，对实景图像进行虚拟化处理，形成第一虚拟化图像，所述第一虚拟化图像包括与所述实景图像中特征图像对应的第一虚拟对象；
在所述第一虚拟化图像中第一虚拟对象的预设位置添加标识，生成第二虚拟化图像，其中，所述标识用于识别所述第一虚拟对象。
优选地，按照帧将视频分解成多个实景图像，在对多个实景图像进行虚拟化处理形成的多个第一虚拟化图像中，同一对象所对应的第一虚拟对象的所述标识保持一致。
优选地，所述第一虚拟化图像位于商品图像区域。
优选地，所述第二虚拟化图像为商品信息。
在本发明的一些实施方式中，所述第二虚拟化图像在视频播放时候显示。由于视频可以看作是由多帧实景图像的组合，因此可以看到第二虚拟化图像追随着视频中的特征图像的位置显示。
在本发明的另一些实施方式中，所述第二虚拟化图像在在视频暂停时候显示。对于一些视频观看者而言，在视频播放中显示商品信息会干扰他们观看视频。为了避免引起这样的观众的不满，可以将第二虚拟化图像设置为在视频播放时为透明的，暂停时显示内容。
根据本发明的第二方面，本发明提供一种追踪识别视频图像中的商品并展示商品信息的装置，其特征在于，包括
图像识别单元，用于获取实景图像并识别实景图像中的特征图像；
显示单元，用于显示视频和商品信息；
特征数据库，用于存储商品特征标识和对应的商品信息；和
商品信息加载单元，用于将实景图像中的所述特征图像的区域作为商品图像区域加载对应的商品信息。
在本发明的一些实施方式中，当特征图像与特征数据库中的商品特征标识匹配时，所述商品信息加载单元对所述图像识别单元获取的实景图像进行虚拟化处理，在商品图像区域形成第一虚拟化图像，所述第一虚拟化图像包含与所述实景图像中特征图像对应的第一虚拟对象；在所述第一虚拟化图像中第一虚拟对象的预设位置添加标识，生成包含商品信息的第二虚拟化图像，其中，所述标识用于识别所述第一虚拟对象。
优选地，图像识别单元按照帧将视频分解成多个实景图像，在对多个实景图像进行虚拟化处理形成的多个第一虚拟化图像中，同一对象所对应的第一虚拟对象的所述标识保持一致。
优选地，所述商品信息包括URL、商品介绍、和品牌介绍中的一种或多种。
根据本发明的第四方面，提供一种全景视频***的客户端包括，数据接收模块和数据显示模块，其中：所述数据接收模块，用于接收视频数据并发送至所述数据显示模块，所述视频数据包括全景视频及其相应VR图像或特定图像，其中所述VR图像附有超链接；所述数据显示模块，用于显示所述全景视频及所述其相应VR图像或特定图像，并接收针对用户点击所述超链接生成的请求信号并向外部发送所述请求信号。
优选地，所述全景视频是球面全景视频或立方体全景视频，所述特定图像显示于所述球面全景视频或所述立方体全景视频的顶部或底部。
优选地，所述全景视频是柱面全景视频，所述特定图像显示于所述柱面全景视频的上方或下方。
优选地，所述数据显示模块，还用于从所述全景视频跳转显示所述特定图像。
根据本发明的第五方面，提供一种全景视频***的服务器包括，VR生成模块、请求处理模块和数据发送模块，其中，所述VR生成模块，用于基于全景视频生成其相应VR图像并发送至所述数据发送模块；所述请求处理模块，用于从外部接收请求信号并针对所述请求信号执行相应操作并生成所述相应操作的特定图像，并将所述特定图像发送至所述数据发送模块；所述数据发送模块，用于向外部发送视频数据，其中所述视频数据包括所述全景视频及所述其相应VR图像或所述特定图像。
根据本发明的第六方面，提供一种全景视频***，其特征在于，包括如上所述的客户端和如上所述的服务器。
优选地，是一种全景视频地图***，所述全景视频是街道全景视频。
优选地，所述街道全景视频包括街道实景和街道地图。
优选地，所述VR图像是商品的VR图像。
优选地，所述特定图像是所述特定商品的广告或所述特定商品的网站。
根据本发明的第七方面，提供一种全景视频产品推介***，其包括：
图像识别单元，用于获取实景图像并识别实景图像中的特征图像；
显示单元，用于显示视频和商品信息；
特征数据库，用于存储商品特征标识和对应的商品信息；
虚拟图像生成单元，根据特征图像，生成虚拟图像并叠加在实景图像上；和
商品信息加载单元，用于将实景图像中的所述特征图像的区域作为商品图像区域加载对应的商品信息。
附图说明
下面将通过参照附图详细描述本发明的优选实施例，使本领域的普通技术人员更清楚本发明的上述及其它特征和优点，附图中：
图1是根据本发明的一些实施例的追踪识别视频图像中的商品并展示商品信息的方法的流程图。
图2是根据本发明的一些实施例的追踪识别视频图像中的商品并展示商品信息的装置的示意图。
图3是根据本发明的具体实施例的一种全景视频***。
图4是根据本发明的具体实施例的一种全景视频***的客户端。
图5是根据本发明的具体实施例的一种全景视频***的服务器。
具体实施方式
在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员来说显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。
图1是根据本发明的一些实施例的追踪识别视频图像中的商品并展示商品信息的方法的流程图。
如图1所示，步骤S110：获取实景图像。
虚拟现实设备或者增强现实设备可以通过自身的图像采集单元对当前场景进行拍摄，产生实景图像。另外，虚拟现实设备也可以接收其他电子设备发送的实景图像。
步骤S120：识别实景图像中的特征图像。
将视频按帧分解成连续的静态图像。针对每一帧静态图像，通过计算图像边缘点和/或计算图像锐度的方式，获取所述静态图像的清晰度。采用图像分割技术把所述静态图像划分成若干个图像区域；针对每一个图像区域，获取用于描述该图像区域性质的特征值，判断所述特征值是否符合预先设定的商品图像区域的特征；若是，则判定该图像区域为商品图像区域，该区域在所述静态图像中的位置即为其中包含的商品在所述静态图像中的位置。
步骤S130：判断所述特征图像与数据库中的商品特征是否匹配。
提取所述商品图像区域中的图像特征，作为基准特征；在预先生成的特征数据库中查找与所述基准特征相匹配的候选商品特征，并获取匹配成功的候选商品特征对应的商品信息。
步骤S140：当特征图像与数据库中的商品特征匹配时，将实景图像中的特征图像的区域作为商品图像区域加载商品信息。
对获取到的实景图像进行虚拟化处理，形成第一虚拟化图像。其中，第一虚拟化图像包含与实景图像中特征图像对应的虚拟对象。
虚拟现实设备对获取到的实景图像进行虚拟化处理，形成第一虚拟化图像，其中该第一虚拟化图像中包含与实景图像中全部或部分对象所对应的虚拟对象。
虚拟对象可以呈现三维立体状态，或平面状态。虚拟现实设备形成的第一虚拟化图像中的虚拟对象，是对实景图像中相应对象的模拟。
增强现实设备对获取到的实景图像进行虚拟化处理，具体是针对实景图像中的全部或部分特征图像添加对应的虚拟对象，添加的虚拟对象构成第一虚拟化图像。
在第一虚拟化图像中第一虚拟对象的预设位置添加标识，形成第二虚拟化图像。其中，标识用于识别所述第一虚拟对象。
第一虚拟对象为与实景图像中特定图像所对应的虚拟对象，第一虚拟对象可以为一个，也可以为多个。例如：第一虚拟对象可以为实景图像中某一对象所对应的虚拟对象，可以为实景图像中某一类对象所对应的虚拟对象，也可以为用户选中的一个或多个对象所对应的虚拟对象。
在第一虚拟对象的预设位置添加标识，该标识用于识别第一虚拟对象，有利于用户区分第一虚拟对象和其他的虚拟对象，便于用户追踪第一虚拟对象。
步骤S150：显示所述商品信息(第二虚拟化图像)。
虚拟现实设备的显示单元通常呈现封闭的显示效果，也就是说用户很难透过虚拟现实设备的显示单元看到真实的环境，往往只能看到虚拟现实设备的显示单元显示的第二虚拟化图像。
增强现实设备的显示单元呈现非封闭的显示效果，也就是说用户可以透过增强现实设备的显示单元观看真实的环境，同时观看增强现实设备通过显示单元显示的图像，对于用户而言真实场景与第二虚拟化图像是叠加显示的，能够产生虚实结合的视觉效果。
基于本发明公开的方法，电子设备对获取的实景图像进行虚拟化处理形成第一虚拟化图像，在第一虚拟化图像中第一虚拟对象的预设位置添加标识形成第二虚拟化图像，并由显示单元显示第二虚拟化图像。通过在第一虚拟化图像中第一虚拟对象的预设位置添加用于识别第一虚拟对象的标识，丰富了电子设备的功能，同时使得用户能够直观地区分第一虚拟对象和其他虚拟对象，便于用户追踪第一虚拟对象，能够提高用户体验。
实施中，在第一虚拟化图像中第一虚拟对象的预设位置添加标识可以为：在第一虚拟化图像中第一虚拟对象的预设位置添加预设的图标。
对于用户而言，通过在第一虚拟对象的预设位置添加的图标，可以直观地区分第一虚拟对象和其他虚拟对象。当实景图像中的对象的位置发生变化时，基于实景图像形成的第一虚拟化图像中，与该对象对应的虚拟对象的位置也发生相应变化，通过该虚拟对象的预设位置处的图标，可以直观地追踪虚拟对象。
在具体应用中，在第一虚拟化图像中第一虚拟对象的数量为多个的情况下，为了进一步区分多个第一虚拟对象，可以对图1所示的方法进行改进。具体的：在对多个实景图像进行虚拟化处理形成的多个第一虚拟化图像中，同一对象所对应的第一虚拟对象的标识保持一致。
虚拟现实设备或者增强现实设备通常是按照预设时间间隔获取实景图像，并对获取到的实景图像进行虚拟化处理形成第一虚拟化图像，通过设备的显示单元显示第一虚拟化图像，从而向用户呈现出连贯的影像。
本发明上述公开的技术方案中，在对多个实景图像进行虚拟化处理形成的多个第一虚拟化图像中，针对同一对象所对应的第一虚拟对象添加的标识保持一致。也就是说，针对同一场景形成的多个第二虚拟化图像中，同一对象对应的虚拟对象的标识是保持不变的。
实施中，还可以进一步设置不同对象对应的虚拟对象的标识是不同的。在这种情况下，用户根据各第一虚拟对象的标识，不仅可以区分各第一虚拟对象，而且根据各第一虚拟对象的标识直观地追踪第一虚拟对象。
图2是根据本发明的一些实施例的追踪识别视频图像中的商品并展示商品信息的装置的示意图。
图像识别单元101，用于获取实景图像并识别实景图像中的特征图像。所述实景图像既可以是通过自身的图像采集单元对当前场景进行拍摄，产生实景图像；也可以是拍摄好的视频图像。
将视频(或实景图像)按帧分解成连续的静态图像。针对每一帧静态图像，通过计算图像边缘点和/或计算图像锐度的方式，获取所述静态图像的清晰度。采用图像分割技术把所述静态图像划分成若干个图像区域；针对每一个图像区域，获取用于描述该图像区域性质的特征值，判断所述特征值是否符合预先设定的商品图像区域的特征；若是，则判定该图像区域为商品图像区域，该区域在所述静态图像中的位置即为其中包含的商品在所述静态图像中的位置。
特征数据库103，用于存储商品特征标识和对应的商品信息。图像识别单元101提取商品图像区域中的图像特征，作为基准特征；在预先生成的特征数据库103中查找与所述基准特征相匹配的候选商品特征，并获取匹配成功的候选商品特征对应的商品信息。
商品信息加载单元104，用于将实景图像中的所述特征图像的区域作为商品图像区域加载对应的商品信息。
当特征图像与特征数据库中的商品特征标识匹配时，所述商品信息加载单元104对所述图像识别单元获取的实景图像进行虚拟化处理，在商品图像区域形成第一虚拟化图像，所述第一虚拟化图像包含与所述实景图像中特征图像对应的第一虚拟对象；在所述第一虚拟化图像中第一虚拟对象的预设位置添加标识，生成包含商品信息的第二虚拟化图像，其中，所述标识用于识别所述第一虚拟对象。
所述商品信息包括URL、商品介绍、和品牌介绍中的一种或多种。
图像识别单元101按照帧将视频分解成多个实景图像，在对多个实景图像进行虚拟化处理形成的多个第一虚拟化图像中，同一对象所对应的第一虚拟对象的所述标识保持一致。
显示单元102，用于显示视频和商品信息。
虚拟现实设备(例如VR头盔、VR眼镜或VR盒子)的显示单元通常呈现封闭的显示效果，也就是说用户很难透过虚拟现实设备的显示单元看到真实的环境，往往只能看到虚拟现实设备的显示单元显示的第二虚拟化图像。
增强现实设备(例如智能手机、Pad，AR头盔等)的显示单元呈现非封闭的显示效果，也就是说用户可以透过增强现实设备的显示单元观看真实的环境，同时观看增强现实设备通过显示单元显示的图像，对于用户而言真实场景与第二虚拟化图像是叠加显示的，能够产生虚实结合的视觉效果。
全景视频***是由全景视频编辑浏览软件和全景视频采集传输设备构成，可以为人们提供丰富的全景图像，同时结合了现代网络技术，是视频采集和虚拟现实技术的有效融合，在网络传输场合就可以方便使用，采集设备利用起来相对经济，最终生成了高信息量的数字媒体方案，可以为人们提供实时的视频信息。
虚拟现实(Virtual Reality，VR)技术帮助用户以自然的方式与现实环境中的物体进行交互，极大地扩展了人类认识世界、模拟世界、适应世界甚至改造世界的能力。
但是当前应用环境下，用户在全景视频中关注特定目标后往往需要更多信息以及更强互动。
图3是根据本发明的具体实施例的一种全景视频***，如图3所示，根据本发明的具体实施例提供一种全景视频***100，其中包括客户端110和服务器120。
图4是根据本发明的具体实施例的全景视频***的客户端，如图4所示，根据本发明的具体实施例提供全景视频***100的客户端110。其中，全景视频***的客户端110包括数据接收模块111和数据显示模块112。其中：数据接收模块111，用于接收视频数据并发送至所述数据显示模块，所述视频数据包括全景视频及其相应VR图像或特定图像，其中所述VR图像附有超链接；数据显示模块112，用于显示所述全景视频及所述其相应VR图像或特定图像，并接收针对用户点击所述超链接生成的请求信号并向外部发送所述请求信号。
其中，数据接收模块111可通过多种方式实现，具体而言，例如数据接收模块111包括三个子模块，即网络接收反馈子模块114、解码视频同步子模块115和实时缝合子模块116。其中，网络接收反馈模块负责接收从服务器传输来的视频数据，解码视频同步模块负责将视频数据转化为全景视频形式的多段视频，并且将各段视频进行同步处理；而实时缝合模块是将各段视频在一定的参数指导下进行实时缝合，最终合成一段完整的全景视频。或者，数据接收模块111直接从外部接收全景视频，即无需进行任何数据处理直接将全景视频发送至数据显示模块112。
至此，数据显示模块112为用户提供一个三维的观赏界面，将全景视频展现在人们的面前。同时，数据显示模块还显示根据全景视频生成的VR图像，用户除了实景之外，还可以看到VR图像，并且VR图像附有超链接，即用户可以点击VR图像从而使全景视频***执行与超链接相应的特定操作，在本具体实施例中，例如数据显示模块显示特定图像。在此过程中，数据显示模块还用于接收用户点击VR图像而生成的请求信号，并将该请求信号发送至外部。
基于根据本发明的具体实施例的全景视频***的客户端，用户可以通过点击VR图像得到进一步内容或者与客户端进行其他形式的互动，从而加强了全景视频的丰富性和互动性。
全景视频的显示模式主要有3种，柱面全景视频、球面全景视频和立方体全景视频。在这三种显示模型中，柱面全景视频最能满足VR图像的需求和漫游***，并且创建起来比较简便，使用起来也非常方便。在生成柱面全景视频的过程中，主要利用全景照片的相关算法进行设计。
因此，基于根据本发明的具体实施例的一个方面的全景视频***的客户端，其中，全景视频是柱面全景视频，特定图像显示于所述柱面全景视频的上方或下方。当特定图像位于柱面全景视频的上方或下方时，特定图像不会影响用户持续观看全景视频的主要视图。
基于根据本发明的具体实施例的另一方面的全景视频***的客户端，所述全景视频是球面全景视频或立方体全景视频，特定图像显示于球面全景视频或立方体全景视频的顶部或底部。当特定图像位于球面全景视频或立方体全景视频的顶部或底部时，特定图像不会影响用户持续观看全景视频的主要视图。
基于根据本发明的具体实施例的另一方面的全景视频***的客户端，数据显示模块还用于从所述全景视频跳转显示所述特定图像。当全景视频跳转至特定图像时，用户可以更方便的观看特定图像，也易于更加丰富的呈现特定图像。
图5是根据本发明的具体实施例的全景视频***的服务器，如图3所示，根据本发明的具体实施例提供全景视频***100的服务器120。一种全景视频***的服务器120，包括VR生成模块121、请求处理模块122和数据发送模块123。其中，VR生成模块121，用于基于全景视频生成其相应VR图像并发送至所述数据发送模块123；请求处理模块122，用于从外部接收请求信号并针对所述请求信号执行相应操作并生成所述相应操作的特定图像，并将所述特定图像发送至所述数据发送模块123；所述数据发送模块123，用于向外部发送视频数据，其中所述视频数据包括所述全景视频及所述其相应VR图像或所述特定图像。
由此可见，根据本发明的具体实施例的全景视频***的服务器120通过请求处理模块122从外部，例如全景视频***的客户端110的数据显示模块112，接收请求信号并针对所述请求信号执行相应操作并生成所述相应操作的特定图像，并将所述特定图像发送至所述数据发送模块123；同时根据本发明的具体实施例的全景视频***的服务器120通过VR生成模块121基于全景视频生成其相应VR图像并发送至所述数据发送模块123；数据发送模块123向外部，例如全景视频***的客户端110的数据接收模块111，发送视频数据，其中所述视频数据包括所述全景视频及所述其相应VR图像或所述特定图像。
其中，数据发送模块123可通过多种方式实现，具体而言，例如数据发送模块123包括三个子模块，即网络接收反馈子模块、解码视频同步子模块和实时缝合子模块。其中，网络接收反馈模块负责接收从外部传输来的视频数据，解码视频同步模块负责将视频数据转化为全景视频形式的多段视频，并且将各段视频进行同步处理；而实时缝合模块是将各段视频在一定的参数指导下进行实时缝合，最终合成一段完整的全景视频。或者，数据发送模块123直接向外部发送视频数据，即无需进行任何数据处理直接将视频数据发送至数据接收模块111。
如上所述，图3是根据本发明的具体实施例的一种全景视频***，如图3所示，根据本发明的具体实施例提供一种全景视频***100，其中包括客户端110和服务器120。
具体而言，根据本发明的具体实施例的一种全景视频***是一种全景视频地图***，因此所述全景视频是街道全景视频。具体而言，所述街道全景视频包括街道实景和街道地图。现有电子地图仅包括全景照片，将本发明与电子地图结合，可为用户提供全景视频，从而提供更加准确的信息。
具体而言，所述VR图像是商品的VR图像。其中，商品的VR图像可以是产品的VR图像或者商户的VR图像。具体而言，
具体而言，根据本发明的具体实施例的一种全景视频***的客户端110或服务器120中所述特定图像是所述特定商品的广告或所述特定商品的网站。
实施例1
全景视频地图***
可以开发基于VR的全景视频地图或基于AR的全景视频地图。
以VR的全景视频地图为例，预先拍摄预定区域内的全景视频。将其中一些景物设置为特征图像，与数据库中的商品特征匹配。例如面包店与面包店内所售产品匹配；运动品商店与店内所售产品匹配；博物馆与博物馆内资讯匹配等。
根据需要设置第一虚拟化图像，显示例如产品图片。考虑到用户体验，第一虚拟化图像的内容尽可能简洁明了。也可以根据大数据计算结果选择推送图像。
用户通过手柄或视线点击被设置为特征图像的景物时，呈现第一虚拟化图像。
在一个优选的实施方式中，若用户暂停视频，则在视频暂停时，播放第二虚拟化图像，所述第二虚拟化图像为商品信息。
实施例2
视频地图***
以AR的视频地图为例，将预定区域内景物设置为特征图像，与数据库中的商品特征匹配。例如面包店与面包店内所售产品匹配；运动品商店与店内所售产品匹配；博物馆与博物馆内资讯匹配等。
根据需要设置第一虚拟化图像，显示例如产品图片。考虑到用户体验，第一虚拟化图像的内容尽可能简洁明了。也可以根据大数据计算结果选择推送图像。
在实景中，实时识别设置为特征图像的景物，在景物在视线中出现超过预设时间后(例如2秒)呈现第一虚拟化图像。
在一个优选的实施方式中，若用户通过手柄或视线点击或直接点击触摸屏上的第一虚拟化图像时，播放第二虚拟化图像，所述第二虚拟化图像为商品信息。
本发明的实施例并不限于全景视频地图，也可以是任何视频产品或利用视频的***，在需要加入商品信息或提高互动性时，均可以采用本发明所述的技术方案。第一虚拟化图像和第二虚拟化图像的表现内容也可以根据客户需要而设计，并不限于本发明说明书的实施例中所示范的。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
需要指出，根据实施的需要，可将本申请中描述的各个步骤/部件拆分为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件，以实现本发明的目的。
上述根据本发明的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的处理方法。此外，当通用计算机访问用于实现在此示出的处理的代码时，代码的执行将通用计算机转换为用于执行在此示出的处理的专用计算机。
本发明不限于上述实施方式，在本发明思想的范围内可以进行各种变更。本发明已通过上述实施例进行了说明，但应当理解的是，上述实施例只是用于举例和说明的目的，而非意在将本发明限制于所描述的实施例范围内。此外本领域技术人员可以理解的是，本发明并不局限于上述实施例，根据本发明教导还可以做出更多种的变型和修改，这些变型和修改均落在本发明所要求保护的范围以内。本发明的保护范围由附属的权利要求书及其等效范围所界定。
Claims (10)
1.一种追踪识别视频图像中的商品并展示商品信息的方法，所述方法包括：
获取实景图像；
识别实景图像中的特征图像；
当所述特征图像与数据库中的商品特征匹配时，将实景图像中的所述特征图像的区域作为商品图像区域加载商品信息；
显示所述商品信息。
2.如权利要求1所述的方法，其特征在于，当特征图像与特征数据库中的商品特征标识匹配时，对实景图像进行虚拟化处理，形成第一虚拟化图像，所述第一虚拟化图像包括与所述实景图像中特征图像对应的第一虚拟对象；
在所述第一虚拟化图像中第一虚拟对象的预设位置添加标识，生成第二虚拟化图像，其中，所述标识用于识别所述第一虚拟对象。
3.如权利要求2所述的方法，其特征在于，按照帧将视频分解成多个实景图像，在对多个实景图像进行虚拟化处理形成的多个第一虚拟化图像中，同一对象所对应的第一虚拟对象的所述标识保持一致。
4.如权利要求2或3所述的方法，其特征在于，所述第一虚拟化图像位于商品图像区域。
5.如权利要求4所述的方法，其特征在于，所述第二虚拟化图像为商品信息。
6.如权利要求2或3所述的方法，其特征在于，所述第二虚拟化图像在视频播放时候显示，或在视频暂停时候显示。
7.一种追踪识别视频图像中的商品并展示商品信息的装置，其特征在于，包括
图像识别单元，用于获取实景图像并识别实景图像中的特征图像；
显示单元，用于显示视频和商品信息；
特征数据库，用于存储商品特征标识和对应的商品信息；和
商品信息加载单元，用于将实景图像中的所述特征图像的区域作为商品图像区域加载对应的商品信息。
8.如权利要求7所述的装置，其特征在于，当特征图像与特征数据库中的商品特征标识匹配时，所述商品信息加载单元对所述图像识别单元获取的实景图像进行虚拟化处理，在商品图像区域形成第一虚拟化图像，所述第一虚拟化图像包含与所述实景图像中特征图像对应的第一虚拟对象；在所述第一虚拟化图像中第一虚拟对象的预设位置添加标识，生成包含商品信息的第二虚拟化图像，其中，所述标识用于识别所述第一虚拟对象。
9.如权利要求7所述的装置，其特征在于，所述商品信息包括URL、商品介绍、和品牌介绍中的一种或多种。
10.如权利要求8所述的装置，其特征在于，按照帧将视频分解成多个实景图像，在对多个实景图像进行虚拟化处理形成的多个第一虚拟化图像中，同一对象所对应的第一虚拟对象的所述标识保持一致。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610700943 | 2016-08-22 | ||
| CN2016107009434 | 2016-08-22 | ||
| CN2016107009627 | 2016-08-22 | ||
| CN201610700962 | 2016-08-22 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107633441A true CN107633441A (zh) | 2018-01-26 |
Family
ID=61100084
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710720442.7A Pending CN107633441A (zh) | 2016-08-22 | 2017-08-21 | 追踪识别视频图像中的商品并展示商品信息的方法和装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN107633441A (zh) |
| WO (1) | WO2018036456A1 (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108198044A (zh) * | 2018-01-30 | 2018-06-22 | 北京京东金融科技控股有限公司 | 商品信息的展示方法、装置、介质及电子设备 |
| CN108364209A (zh) * | 2018-02-01 | 2018-08-03 | 北京京东金融科技控股有限公司 | 商品信息的展示方法、装置、介质及电子设备 |
| CN108920707A (zh) * | 2018-07-20 | 2018-11-30 | 百度在线网络技术（北京）有限公司 | 用于标注信息的方法及装置 |
| CN109104632A (zh) * | 2018-09-27 | 2018-12-28 | 聚好看科技股份有限公司 | 一种电视终端ar场景的实现方法及*** |
| CN109462730A (zh) * | 2018-10-25 | 2019-03-12 | 百度在线网络技术（北京）有限公司 | 基于视频获取全景图的方法和装置 |
| CN110136265A (zh) * | 2018-02-02 | 2019-08-16 | 北京京东尚科信息技术有限公司 | 商品展示方法、装置、终端设备及零售*** |
| CN110858375A (zh) * | 2018-08-22 | 2020-03-03 | 阿里巴巴集团控股有限公司 | 数据、显示处理方法、装置、电子设备和存储介质 |
| CN110881134A (zh) * | 2019-11-01 | 2020-03-13 | 北京达佳互联信息技术有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN111865771A (zh) * | 2018-08-08 | 2020-10-30 | 创新先进技术有限公司 | 消息发送方法及装置和电子设备 |
| CN112132644A (zh) * | 2020-08-21 | 2020-12-25 | 苏州合浩网络科技有限公司 | 一种vr商城的商品智能陈列方法及更新*** |
| CN114051089A (zh) * | 2021-10-12 | 2022-02-15 | 聚好看科技股份有限公司 | 一种全景视频中投放资源的方法及显示设备 |
| CN114296548A (zh) * | 2021-12-14 | 2022-04-08 | 杭州朱道实业有限公司 | 一种展览用智能移动识别信息*** |
| CN115119004A (zh) * | 2019-05-13 | 2022-09-27 | 阿里巴巴集团控股有限公司 | 数据处理方法、信息显示方法、装置、服务器及终端设备 |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110648142A (zh) * | 2018-06-07 | 2020-01-03 | 阿里巴巴集团控股有限公司 | 商品溯源链路信息处理方法、装置以及电子设备 |
| CN110858134B (zh) * | 2018-08-22 | 2023-04-28 | 阿里巴巴集团控股有限公司 | 数据、显示处理方法、装置、电子设备和存储介质 |
| CN111353839B (zh) * | 2018-12-21 | 2023-05-02 | 阿里巴巴集团控股有限公司 | 商品信息处理方法、直播商品的方法、装置及电子设备 |
| CN111597863B (zh) * | 2019-02-21 | 2023-11-28 | 顺丰科技有限公司 | 一种装卸率确定方法、***、设备及存储介质 |
| US11074697B2 (en) | 2019-04-16 | 2021-07-27 | At&T Intellectual Property I, L.P. | Selecting viewpoints for rendering in volumetric video presentations |
| US11153492B2 (en) | 2019-04-16 | 2021-10-19 | At&T Intellectual Property I, L.P. | Selecting spectator viewpoints in volumetric video presentations of live events |
| US10970519B2 (en) | 2019-04-16 | 2021-04-06 | At&T Intellectual Property I, L.P. | Validating objects in volumetric video presentations |
| US11012675B2 (en) | 2019-04-16 | 2021-05-18 | At&T Intellectual Property I, L.P. | Automatic selection of viewpoint characteristics and trajectories in volumetric video presentations |
| CN110456901A (zh) * | 2019-08-16 | 2019-11-15 | 上海电气集团股份有限公司 | 展会中对象展示的控制方法、***、电子设备和存储介质 |
| CN112991553B (zh) * | 2021-03-11 | 2022-08-26 | 深圳市慧鲤科技有限公司 | 信息展示方法及装置、电子设备和存储介质 |
| CN113723251A (zh) * | 2021-08-23 | 2021-11-30 | 上海汉时信息科技有限公司 | 一种防损方法和装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102063436A (zh) * | 2009-11-18 | 2011-05-18 | 腾讯科技（深圳）有限公司 | 一种利用终端获取图像实现商品信息搜索的***及方法 |
| US20140146178A1 (en) * | 2012-11-28 | 2014-05-29 | Electronics And Telecommunications Research Institute | Image processing apparatus and method using smart glass |
| CN105373938A (zh) * | 2014-08-27 | 2016-03-02 | 阿里巴巴集团控股有限公司 | 识别视频图像中的商品和展示其信息的方法、装置及*** |
| CN105812680A (zh) * | 2016-03-31 | 2016-07-27 | 联想(北京)有限公司 | 图像处理方法及电子设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103577788A (zh) * | 2012-07-19 | 2014-02-12 | 华为终端有限公司 | 增强现实的实现方法和装置 |
| CN103886027A (zh) * | 2014-02-26 | 2014-06-25 | 四川长虹电器股份有限公司 | 扫描可视区域获取物品信息的方法和电视 |
-
2017
- 2017-08-21 CN CN201710720442.7A patent/CN107633441A/zh active Pending
- 2017-08-21 WO PCT/CN2017/098325 patent/WO2018036456A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102063436A (zh) * | 2009-11-18 | 2011-05-18 | 腾讯科技（深圳）有限公司 | 一种利用终端获取图像实现商品信息搜索的***及方法 |
| US20140146178A1 (en) * | 2012-11-28 | 2014-05-29 | Electronics And Telecommunications Research Institute | Image processing apparatus and method using smart glass |
| CN105373938A (zh) * | 2014-08-27 | 2016-03-02 | 阿里巴巴集团控股有限公司 | 识别视频图像中的商品和展示其信息的方法、装置及*** |
| CN105812680A (zh) * | 2016-03-31 | 2016-07-27 | 联想(北京)有限公司 | 图像处理方法及电子设备 |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108198044A (zh) * | 2018-01-30 | 2018-06-22 | 北京京东金融科技控股有限公司 | 商品信息的展示方法、装置、介质及电子设备 |
| CN108198044B (zh) * | 2018-01-30 | 2021-01-26 | 京东数字科技控股有限公司 | 商品信息的展示方法、装置、介质及电子设备 |
| CN108364209A (zh) * | 2018-02-01 | 2018-08-03 | 北京京东金融科技控股有限公司 | 商品信息的展示方法、装置、介质及电子设备 |
| CN110136265A (zh) * | 2018-02-02 | 2019-08-16 | 北京京东尚科信息技术有限公司 | 商品展示方法、装置、终端设备及零售*** |
| CN108920707A (zh) * | 2018-07-20 | 2018-11-30 | 百度在线网络技术（北京）有限公司 | 用于标注信息的方法及装置 |
| CN108920707B (zh) * | 2018-07-20 | 2022-03-15 | 百度在线网络技术（北京）有限公司 | 用于标注信息的方法及装置 |
| CN111865771A (zh) * | 2018-08-08 | 2020-10-30 | 创新先进技术有限公司 | 消息发送方法及装置和电子设备 |
| CN110858375A (zh) * | 2018-08-22 | 2020-03-03 | 阿里巴巴集团控股有限公司 | 数据、显示处理方法、装置、电子设备和存储介质 |
| CN110858375B (zh) * | 2018-08-22 | 2023-05-02 | 阿里巴巴集团控股有限公司 | 数据、显示处理方法、装置、电子设备和存储介质 |
| CN109104632A (zh) * | 2018-09-27 | 2018-12-28 | 聚好看科技股份有限公司 | 一种电视终端ar场景的实现方法及*** |
| CN109462730A (zh) * | 2018-10-25 | 2019-03-12 | 百度在线网络技术（北京）有限公司 | 基于视频获取全景图的方法和装置 |
| CN115119004A (zh) * | 2019-05-13 | 2022-09-27 | 阿里巴巴集团控股有限公司 | 数据处理方法、信息显示方法、装置、服务器及终端设备 |
| CN115119004B (zh) * | 2019-05-13 | 2024-03-29 | 阿里巴巴集团控股有限公司 | 数据处理方法、信息显示方法、装置、服务器及终端设备 |
| CN110881134A (zh) * | 2019-11-01 | 2020-03-13 | 北京达佳互联信息技术有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN112132644A (zh) * | 2020-08-21 | 2020-12-25 | 苏州合浩网络科技有限公司 | 一种vr商城的商品智能陈列方法及更新*** |
| CN114051089A (zh) * | 2021-10-12 | 2022-02-15 | 聚好看科技股份有限公司 | 一种全景视频中投放资源的方法及显示设备 |
| CN114051089B (zh) * | 2021-10-12 | 2023-09-15 | 聚好看科技股份有限公司 | 一种全景视频中投放资源的方法及显示设备 |
| CN114296548A (zh) * | 2021-12-14 | 2022-04-08 | 杭州朱道实业有限公司 | 一种展览用智能移动识别信息*** |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018036456A1 (zh) | 2018-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107633441A (zh) | 追踪识别视频图像中的商品并展示商品信息的方法和装置 | |
| US11405664B2 (en) | System and method for recognition of items in media data and delivery of information related thereto | |
| US11482192B2 (en) | Automated object selection and placement for augmented reality | |
| US9930311B2 (en) | System and method for annotating a video with advertising information | |
| US9357242B2 (en) | Method and system for automatic tagging in television using crowd sourcing technique | |
| CN106717010B (zh) | 用户交互分析模块 | |
| US11748870B2 (en) | Video quality measurement for virtual cameras in volumetric immersive media | |
| EP3425483B1 (en) | Intelligent object recognizer | |
| US20170048597A1 (en) | Modular content generation, modification, and delivery system | |
| CN109743584B (zh) | 全景视频合成方法、服务器、终端设备及存储介质 | |
| CN107911737A (zh) | 媒体内容的展示方法、装置、计算设备及存储介质 | |
| CN112330819A (zh) | 基于虚拟物品的交互方法、装置及存储介质 | |
| CN113766296A (zh) | 直播画面的展示方法和装置 | |
| CN111694983A (zh) | 信息显示方法、装置、电子设备以及存储介质 | |
| CN107578306A (zh) | 追踪识别视频图像中的商品并展示商品信息的方法和装置 | |
| JP2020150519A (ja) | 注目度算出装置、注目度算出方法、および注目度算出プログラム | |
| CN111225264A (zh) | 一种基于增强现实的弹幕显示方法和*** | |
| CN110166825B (zh) | 视频数据处理方法及装置、视频播放方法及装置 | |
| KR101399633B1 (ko) | 영상 합성 방법 및 장치 | |
| JP2020150520A (ja) | 注目度利活用装置、注目度利活用方法、および注目度利活用プログラム | |
| CN115484467A (zh) | 直播视频的处理方法、装置、计算机可读介质及电子设备 | |
| CN116151879A (zh) | 信息交互方法、装置、设备以及存储介质 | |
| CN116266193A (zh) | 视频封面的生成方法、装置、设备、存储介质及程序产品 | |
| CN117201846A (zh) | Ar产品的推送方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180126 |
|
| RJ01 | Rejection of invention patent application after publication |