CN111541907A - 物品显示方法、装置、设备及存储介质 - Google Patents

物品显示方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111541907A
CN111541907A CN202010328531.9A CN202010328531A CN111541907A CN 111541907 A CN111541907 A CN 111541907A CN 202010328531 A CN202010328531 A CN 202010328531A CN 111541907 A CN111541907 A CN 111541907A
Authority
CN
China
Prior art keywords
image
dimensional
live broadcast
images
article
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010328531.9A
Other languages
English (en)
Other versions
CN111541907B (zh
Inventor
陈春勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010328531.9A priority Critical patent/CN111541907B/zh
Publication of CN111541907A publication Critical patent/CN111541907A/zh
Priority to PCT/CN2021/080601 priority patent/WO2021213067A1/zh
Priority to US17/717,879 priority patent/US20220237812A1/en
Application granted granted Critical
Publication of CN111541907B publication Critical patent/CN111541907B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0641Shopping interfaces
    • G06Q30/0643Graphical representation of items or shoppers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • G06V20/647Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/254Management at additional data server, e.g. shopping server, rights management server
    • H04N21/2542Management at additional data server, e.g. shopping server, rights management server for selling goods, e.g. TV shopping
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/47815Electronic shopping
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8146Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本申请实施例公开了一种物品显示方法、装置、设备及存储介质,属于计算机技术领域。该方法包括:显示直播界面,根据目标物品的多个二维图像,获取目标物品的多个深度图像,对多个深度图像进行融合处理,生成目标物品的三维图像,通过直播界面,显示三维图像。该方法在直播过程中,为目标物品生成的三维图像包括多个显示角度,且该目标物品的三维图像不受主播所处环境和直播画面进行美化处理的影响,可以真实地反映出目标物品的外形,提高了显示效果,使用户在观看直播的过程中,根据显示的三维图像充分了解物品的外形。

Description

物品显示方法、装置、设备及存储介质
技术领域
本申请实施例涉及计算机技术领域,特别涉及一种物品显示方法、装置、设备及存储介质。
背景技术
随着计算机技术的发展和电商直播的广泛应用,很多主播在进行直播时会推荐物品,则直播画面中会显示主播推荐的物品,用户观看直播画面可以查看物品。
但是由于主播所处环境的影响或者直播画面进行美化处理等原因,导致直播画面中显示的物品与实际物品存在较大的差别,显示效果失真,进而导致用户无法充分了解物品的外形。
发明内容
本申请实施例提供了一种物品显示方法、装置、设备及存储介质,提高目标物品的显示效果。所述技术方案如下:
一方面,提供了一种物品显示方法,所述方法包括:
显示直播界面,所述直播界面包括直播画面,所述直播画面包含目标物品;
根据所述目标物品的多个二维图像,获取所述目标物品的多个深度图像,所述多个二维图像中所述目标物品的显示角度不同,所述深度图像包括像素信息及深度信息;
对所述多个深度图像进行融合处理,生成所述目标物品的三维图像;
通过所述直播界面,显示所述三维图像。
另一方面,提供了一种物品显示方法,所述方法包括:
显示直播界面,所述直播界面包括直播画面和物品展示按钮,所述直播画面包含目标物品;
响应于对所述物品展示按钮的触发操作,通过所述直播界面,显示所述目标物品的三维图像。
在一种可能实现方式中,所述通过所述直播界面,显示所述目标物品的三维图像之后,所述方法还包括:
响应于对所述三维图像的滑动操作,根据所述滑动操作,调整所述三维图像的显示角度。
在另一种可能实现方式中,所述通过所述直播界面,显示所述目标物品的三维图像之后,所述方法还包括:
响应于对所述三维图像的放大操作,显示放大后的所述三维图像。
在另一种可能实现方式中,所述通过所述直播界面,显示所述目标物品的三维图像,包括:
在所述直播画面的上层创建浮层,通过所述浮层显示所述三维图像。
在另一种可能实现方式中,所述通过所述浮层显示所述三维图像之后,所述方法还包括:
响应于对所述直播界面中除所述浮层之外的其他位置的触发操作,关闭所述浮层。
在另一种可能实现方式中,所述通过所述浮层显示所述三维图像之后,所述方法还包括:
响应于对所述物品展示按钮的再次触发操作,关闭所述浮层。
在另一种可能实现方式中,所述通过所述直播界面,显示所述目标物品的三维图像,包括:
通过所述直播界面的物品展示区域,显示所述三维图像,所述物品展示区域与所述直播画面所在的区域不同。
在另一种可能实现方式中,所述通过所述直播界面,显示所述目标物品的三维图像,包括:
通过所述直播界面,显示所述三维图像及至少一个标签,所述至少一个标签位于所述三维图像中,每个标签与所述三维图像中对应位置的二维局部图像关联。
在另一种可能实现方式中,所述通过所述直播界面,显示所述三维图像及至少一个标签,包括:
将所述目标物品的至少一个二维局部图像与所述三维图像进行匹配处理,确定每个二维局部图像在所述三维图像中的位置;
创建所述至少一个二维局部图像关联的标签;
通过所述直播界面显示所述三维图像,并在所述每个二维局部图像在所述三维图像中的位置,显示对应的二维局部图像关联的标签。
在另一种可能实现方式中,所述将所述目标物品的至少一个二维局部图像与所述三维图像进行匹配处理之前,所述方法还包括:
响应于所述目标物品与所述直播界面中预设的任一物品匹配,获取所述任一物品的至少一个二维局部图像,作为所述目标物品的二维局部图像。
在另一种可能实现方式中,所述通过所述直播界面,显示所述三维图像及至少一个标签之后,所述方法还包括:
响应于对任一标签的触发操作,获取触发的标签关联的二维局部图像;
通过所述直播界面,显示所述二维局部图像。
在另一种可能实现方式中,所述通过所述直播界面,显示所述二维局部图像之后,所述方法还包括:
响应于对所述二维局部图像的放大操作,通过所述直播界面,显示放大后的二维局部图像。
在另一种可能实现方式中,所述通过所述直播界面,显示所述二维局部图像之后,所述方法还包括:
响应于对所述二维局部图像的滑动操作,根据滑动操作的滑动方向,显示与所述滑动方向匹配的其他二维局部图像。
在另一种可能实现方式中,所述通过所述直播界面,显示所述目标物品的三维图像之前,所述方法还包括:
获取所述目标物品的多个二维图像,所述多个二维图像中所述目标物品的显示角度不同;
根据所述多个二维图像,获取所述目标物品的多个深度图像,所述深度图像包括像素信息及深度信息;
对所述多个深度图像进行融合处理,生成所述目标物品的三维图像。
在另一种可能实现方式中,所述获取所述目标物品的多个二维图像,包括:
响应于所述目标物品与所述直播界面中预设的任一物品匹配,获取所述目标物品的多个二维图像。
在另一种可能实现方式中,所述响应于所述目标物品与所述直播界面中预设的任一物品匹配,获取所述目标物品的多个二维图像,包括:
根据所述目标物品的物品信息及所述直播界面中预设的任一物品的物品信息,获取所述目标物品与所述任一物品的相似度;
响应于所述相似度大于预设相似度,获取所述目标物品的多个二维图像。
在另一种可能实现方式中,所述响应于对所述物品展示按钮的触发操作,获取所述目标物品的三维图像之前,所述方法还包括:
通过图像识别模型中的区域划分层,将所述直播画面划分为多个图像区域,获取所述多个图像区域的图像特征;
通过所述图像识别模型中的聚合层,对所述多个图像区域的图像信息进行聚合,得到所述目标物品的聚合图像特征;
通过所述图像识别模型中的识别层,对所述聚合图像特征进行识别处理,确定所述聚合图像特征匹配的目标物品。
在另一种可能实现方式中,所述获取所述目标物品的多个二维图像,包括:
获取所述直播界面的多个二维图像,对所述多个二维图像分别进行分割处理,以使分割处理后的多个二维图像中仅包括所述目标物品。
在另一种可能实现方式中,所述根据所述多个二维图像,获取所述目标物品的多个深度图像,包括:
对于每个二维图像,对所述二维图像进行深度分配处理,得到所述二维图像中每个像素点的深度信息;
对所述每个像素点的深度信息与对应的像素信息进行融合处理,得到所述目标物品的深度图像。
在另一种可能实现方式中,所述根据所述多个二维图像,获取所述目标物品的多个深度图像,包括:
获取所述多个二维图像对应的深度图像,将所述多个二维图像对应的深度图像作为所述目标物品的深度图像。
在另一种可能实现方式中,所述根据所述多个二维图像,获取所述目标物品的多个深度图像,还包括:
分别对所述多个二维图像进行镜像处理,得到每个二维图像对应的镜像二维图像;
获取所述多个镜像二维图像对应的深度图像,将所述多个镜像二维图像对应的深度图像作为所述目标物品的深度图像。
另一方面,提供了一种物品显示装置,所述装置包括:
界面显示模块,用于显示直播界面,所述直播界面包括直播画面,所述直播画面包含目标物品;
深度图像获取模块,用于根据所述目标物品的多个二维图像,获取所述目标物品的多个深度图像,所述多个二维图像中所述目标物品的显示角度不同,所述深度图像包括像素信息及深度信息;
三维图像生成模块,用于对所述多个深度图像进行融合处理,生成所述目标物品的三维图像;
三维图像显示模块,用于通过所述直播界面,显示所述三维图像。
在一种可能实现方式中,所述装置还包括:
二维图像获取模块,用于响应于所述目标物品与所述直播界面中预设的任一物品匹配,获取所述目标物品的多个二维图像。
在另一种可能实现方式中,所述二维图像获取模块,还用于:
根据所述目标物品的物品信息及所述直播界面中预设的任一物品的物品信息,获取所述目标物品与所述任一物品的相似度;
响应于所述相似度大于预设相似度,获取所述目标物品的多个二维图像。
在另一种可能实现方式中,所述装置还包括:
物品识别模块,用于通过图像识别模型中的区域划分层,将所述直播画面划分为多个图像区域,获取所述多个图像区域的图像特征;
所述物品识别模块,还用于通过所述图像识别模型中的聚合层,对所述多个图像区域的图像信息进行聚合,得到所述目标物品的聚合图像特征;
所述物品识别模块,还用于通过所述图像识别模型中的识别层,对所述聚合图像特征进行识别处理,确定所述聚合图像特征匹配的目标物品。
在另一种可能实现方式中,所述二维图像获取模块,还用于:
获取所述直播界面的多个二维图像,对所述多个二维图像分别进行分割处理,以使分割处理后的多个二维图像中仅包括所述目标物品。
在另一种可能实现方式中,所述深度图像获取模块,包括:
深度信息获取单元,用于对于每个二维图像,对所述二维图像进行深度分配处理,得到所述二维图像中每个像素点的深度信息;
深度图像获取单元,用于对所述每个像素点的深度信息与对应的像素信息进行融合处理,得到所述目标物品的深度图像。
在另一种可能实现方式中,所述深度图像获取模块,还用于:
获取所述多个二维图像对应的深度图像,将所述多个二维图像对应的深度图像作为所述目标物品的深度图像。
在另一种可能实现方式中,所述深度图像获取模块,还用于:
分别对所述多个二维图像进行镜像处理,得到每个二维图像对应的镜像二维图像;
获取所述多个镜像二维图像对应的深度图像,将所述多个镜像二维图像对应的深度图像作为所述目标物品的深度图像。
在另一种可能实现方式中,所述直播界面包括物品展示按钮,所述三维图像显示模块,还用于:
响应于对所述物品展示按钮的触发操作,通过所述直播界面,显示所述三维图像。
在另一种可能实现方式中,所述直播界面中还包括至少一个标签,所述至少一个标签位于所述三维图像中,每个标签与对应位置的二维局部图像关联;
所述装置还包括:
局部图像获取模块,用于响应于对任一标签的触发操作,获取触发的标签关联的二维局部图像;
局部图像显示模块,用于通过所述直播界面,显示所述二维局部图像。
另一方面,提供了一种物品显示装置,所述装置包括:
界面显示模块,用于显示直播界面,所述直播界面包括直播画面和物品展示按钮,所述直播画面包含目标物品;
三维图像显示模块,用于响应于对所述物品展示按钮的触发操作,通过所述直播界面,显示所述目标物品的三维图像。
在一种可能实现方式中,所述装置还包括:
三维图像调整模块,用于响应于对所述三维图像的滑动操作,根据所述滑动操作,调整所述三维图像的显示角度。
在另一种可能实现方式中,所述装置还包括:
三维图像放大模块,用于响应于对所述三维图像的放大操作,显示放大后的所述三维图像。
在另一种可能实现方式中,所述三维图像显示模块,包括:
第一显示单元,用于在所述直播画面的上层创建浮层,通过所述浮层显示所述三维图像。
在另一种可能实现方式中,所述装置还包括:
第一关闭模块,用于响应于对所述直播界面中除所述浮层之外的其他位置的触发操作,关闭所述浮层。
在另一种可能实现方式中,所述装置还包括:
第二关闭模块,用于响应于对所述物品展示按钮的再次触发操作,关闭所述浮层。
在另一种可能实现方式中,所述三维图像显示模块,包括:
第二显示单元,用于通过所述直播界面的物品展示区域,显示所述三维图像,所述物品展示区域与所述直播画面所在的区域不同。
在另一种可能实现方式中,所述三维图像显示模块,包括:
第三显示单元,用于通过所述直播界面,显示所述三维图像及至少一个标签,所述至少一个标签位于所述三维图像中,每个标签与所述三维图像中对应位置的二维局部图像关联。
在另一种可能实现方式中,所述三维图像显示模块,还用于:
将所述目标物品的至少一个二维局部图像与所述三维图像进行匹配处理,确定每个二维局部图像在所述三维图像中的位置;
创建所述至少一个二维局部图像关联的标签;
通过所述直播界面显示所述三维图像,并在所述每个二维局部图像在所述三维图像中的位置,显示对应的二维局部图像关联的标签。
在另一种可能实现方式中,所述装置还包括:
局部图像获取模块,用于响应于所述目标物品与所述直播界面中预设的任一物品匹配,获取所述任一物品的至少一个二维局部图像,作为所述目标物品的二维局部图像。
在另一种可能实现方式中,所述装置还包括:
局部图像显示模块,用于响应于对任一标签的触发操作,获取触发的标签关联的二维局部图像;
所述局部图像显示模块,还用于通过所述直播界面,显示所述二维局部图像。
在另一种可能实现方式中,所述装置还包括:
局部图像放大模块,用于响应于对所述二维局部图像的放大操作,通过所述直播界面,显示放大后的二维局部图像。
在另一种可能实现方式中,所述局部图像显示模块,还用于:
响应于对所述二维局部图像的滑动操作,根据滑动操作的滑动方向,显示与所述滑动方向匹配的其他二维局部图像。
在另一种可能实现方式中,所述装置还包括:
二维图像获取模块,用于获取所述目标物品的多个二维图像,所述多个二维图像中所述目标物品的显示角度不同;
深度图像获取模块,用于根据所述多个二维图像,获取所述目标物品的多个深度图像,所述深度图像包括像素信息及深度信息;
三维图像生成模块,用于对所述多个深度图像进行融合处理,生成所述目标物品的三维图像。
在另一种可能实现方式中,所述二维图像获取模块,还用于:
响应于所述目标物品与所述直播界面中预设的任一物品匹配,获取所述目标物品的多个二维图像。
在另一种可能实现方式中,所述二维图像获取模块,还用于:
根据所述目标物品的物品信息及所述直播界面中预设的任一物品的物品信息,获取所述目标物品与所述任一物品的相似度;
响应于所述相似度大于预设相似度,获取所述目标物品的多个二维图像。
在另一种可能实现方式中,所述装置还包括:
物品识别模块,用于通过图像识别模型中的区域划分层,将所述直播画面划分为多个图像区域,获取所述多个图像区域的图像特征;
所述物品识别模块,还用于通过所述图像识别模型中的聚合层,对所述多个图像区域的图像信息进行聚合,得到所述目标物品的聚合图像特征;
所述物品识别模块,还用于通过所述图像识别模型中的识别层,对所述聚合图像特征进行识别处理,确定所述聚合图像特征匹配的目标物品。
在另一种可能实现方式中,所述二维图像获取模块,还用于:
获取所述直播界面的多个二维图像,对所述多个二维图像分别进行分割处理,以使分割处理后的多个二维图像中仅包括所述目标物品。
在另一种可能实现方式中,所述深度图像获取模块,包括:
深度信息获取单元,用于对于每个二维图像,对所述二维图像进行深度分配处理,得到所述二维图像中每个像素点的深度信息;
深度图像获取单元,用于对所述每个像素点的深度信息与对应的像素信息进行融合处理,得到所述目标物品的深度图像。
在另一种可能实现方式中,所述深度图像获取模块,还用于:
获取所述多个二维图像对应的深度图像,将所述多个二维图像对应的深度图像作为所述目标物品的深度图像。
在另一种可能实现方式中,所述深度图像获取模块,还用于:
分别对所述多个二维图像进行镜像处理,得到每个二维图像对应的镜像二维图像;
获取所述多个镜像二维图像对应的深度图像,将所述多个镜像二维图像对应的深度图像作为所述目标物品的深度图像。
另一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行,以实现如所述物品显示方法中所执行的操作。
另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行,以实现如所述物品显示方法中所执行的操作。
本申请实施例提供的方法、装置、设备及存储介质,显示直播界面,根据目标物品的多个二维图像,获取目标物品的多个深度图像,对多个深度图像进行融合处理,生成目标物品的三维图像,通过直播界面,显示三维图像。该方法在直播过程中,为目标物品生成的三维图像包括多个显示角度,且该目标物品的三维图像不受主播所处环境和直播画面进行美化处理的影响,可以真实地反映出目标物品的外形,提高了显示效果,使用户在观看直播的过程中,根据显示的三维图像充分了解物品的外形。
并且,在获取目标物品的多个二维图像之前,对目标物品与预设的物品进行匹配,保证生成的三维图像是主播推荐的物品的三维图像,避免为直播画面中的其他非推荐的物品生成三维图像,减少了不必要的操作。
并且,设置有物品展示按钮,用户可以通过对物品展示按钮的触发操作,控制显示或者关闭三维图像,操作更加灵活。
并且,由于三维图像可以旋转,向用户显示不同角度的图像,使用户通过更多的角度了解目标物品,对目标物品的外形的了解更加充分。还可以显示目标物品的二维局部图像,该二维局部图像与三维图像相比较,二维局部图像的精度更高,使用户通过二维局部图像更加充分的了解目标物品的外形。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请实施例的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种实施环境的示意图;
图2是本申请实施例提供的一种物品显示方法的流程图;
图3是本申请实施例提供的另一种物品显示方法的流程图;
图4是本申请实施例提供的一种直播界面的示意图;
图5是本申请实施例提供的另一种物品显示方法的流程图;
图6是本申请实施例提供的一种物品显示装置的结构示意图;
图7是本申请实施例提供的另一种物品显示装置的结构示意图;
图8是本申请实施例提供的另一种物品显示装置的结构示意图;
图9是本申请实施例提供的另一种物品显示装置的结构示意图;
图10是本申请实施例提供的一种终端的结构示意图;
图11是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
可以理解,本申请所使用的术语“每个”、“多个”、“至少一个”、“任一”等,多个包括两个或两个以上,每个是指对应的多个中的每一个,至少一个是指多个中的一个、两个或两个以上,任一是指多个中的任意一个。举例来说,多个二维局部图像包括20个二维局部图像,而每个二维局部图像是指这20个二维局部图像中的每一个二维局部图像。
为了便于理解本申请实施例提供的物品显示方法,对本申请实施例涉及到的关键词进行解释:
深度图像:本申请中的深度图像包括像素信息和深度信息,即深度图像包括RGB(Red Green Blue,红绿蓝)三通道彩色图像及Depth Map(深度图)。在3D(Dimensional,维)计算机图形中,Depth Map类似于灰度图像,Depth Map的每个像素点对应的数值是拍摄图像的图像传感器距离被拍摄的物体的实际距离,即深度值。RGB图像和Depth Map是配准的,像素点之间具有一对一的对应关系。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习、深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition,光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
本申请实施例提供的物品显示方法涉及人工智能的人工智能计算、计算机视觉技术等技术,通过下述实施例对物品显示方法进行说明。
图1是本申请实施例提供的一种实施环境的示意图,参见图1,该实施环境包括:主播终端101、至少一个观众终端102及服务器103。
其中,主播终端101及观众终端102可以为便携式、袖珍式、手持式等多种类型的终端,如智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等。服务器103可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式***,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
主播终端101与服务器103连接,至少一个观众终端102与服务器103连接,主播终端101与服务器103、观众终端102与服务器103可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
主播通过主播终端101进行直播,主播终端101将直播数据发送给服务器103,服务器103将直播数据发送给观众终端102,观众终端102根据直播数据显示直播界面,并且可以通过直播界面显示目标物品的三维图像。
在一种可能实现方式中,主播终端101生成目标物品的三维图像,将三维图像发送给服务器103,服务器103再将三维图像发送给观众终端102,观众终端102显示三维图像;或者,服务器103生成目标物品的三维图像,将三维图像发送给观众终端102,观众终端102显示三维图像;或者,观众终端102生成三维图像,并显示三维图像。
本申请实施例提供的物品显示方法可以应用于多种场景下。
例如,应用于直播推荐物品的场景下。
在直播过程中,主播向用户推荐物品时,直播画面中包括推荐的物品,可以采用本申请实施例提供的物品显示方法,获取推荐的物品的三维图像,通过直播界面显示该三维图像,使用户充分了解物品的外形。
又例如,应用于在线播放视频的场景下。
在直播间中播放视频的过程中,当视频中展示某一物品时,可以采用本申请实施例提供的物品显示方法,获取视频中展示的物品的三维图像,通过直播界面显示该三维图像,使用户充分了解展示的物品。
图2是本申请实施例提供的一种物品显示方法的流程图。本申请实施例的执行主体为终端。参见图2,该方法包括:
201、终端显示直播界面。
本申请实施例中,主播终端生成直播数据,将直播数据发送给服务器,服务器将直播数据发送给观众终端,观众终端根据接收到的直播数据显示直播界面。
在一种可能实现方式中,主播终端和观众终端均安装有直播应用程序,主播终端通过直播应用程序生成直播数据,将直播数据发送给直播应用程序对应的服务器,服务器将直播数据发送给观众终端,观众终端通过直播应用程序显示直播界面。
本申请实施例仅是以终端为观众终端为例进行说明。其中,直播界面包括直播画面,直播画面包含目标物品,目标物品即为直播画面中主播推荐的物品。直播画面中还可以包括除目标物品之外的人或其他物品。
在一种可能实现方式中,直播界面中还包括物品展示按钮,物品展示按钮用于控制显示直播界面中目标物品的三维图像。该物品展示按钮的形状可以与目标物品的形状相匹配,例如,该物品展示按钮包括目标物品的缩略图像,或者物品展示按钮的形状可以为固定形状,本申请实施例对物品展示按钮的形状不做限制。例外,物品展示按钮可以位于直播界面中的任意位置,本申请实施例对物品展示按钮的显示位置不做限制。
可选地,物品展示按钮与当前直播画面中的目标物品的三维图像关联,通过对物品展示按钮进行触发操作,可以显示当前直播画面中目标物品的三维图像。当直播画面中的目标物品发生变化时,物品展示按钮关联的三维图像也发生相应的变化。
在一种可能实现方式中,直播界面中还包括预设的多个物品,预设的多个物品为主播设置的物品,包括本次直播过程中主播已经推荐完成或者还未推荐的物品。直播界面中还可以包括预设物品显示按钮,响应于对预设物品显示按钮的触发操作,在直播界面中显示预设的多个物品。
202、终端根据目标物品的多个二维图像,获取目标物品的多个深度图像。
本申请实施例中,在直播过程中,终端根据直播界面中包括的目标物品,获取目标物品的深度图像,根据目标物品的多个深度图像,为该目标物品生成三维图像。
本申请实施例中,目标物品的二维图像中仅包括目标物品,且每个二维图像中包括目标物品在不同显示角度下的图像,多个二维图像的显示角度越多,最终生成的三维图像的效果越好,本申请实施例对获取的二维图像的数量不做限制,只需根据三维图像的显示效果需求,获取对应数量的二维图像。
在一种可能实现方式中,该直播界面的二维图像中包括目标物品及其他物品,终端通过截取直播画面,得到直播画面的多个二维图像,对多个二维图像分别进行分割处理,以使分割处理后的多个二维图像中仅包括目标物品,而不包括直播画面中的其他物品。
可选地,在截取直播画面时,在预设周期内截取多帧图像,例如,预设周期为1秒,每秒钟截取12帧。在直播过程中,主播向用户展示目标物品的多个角度,直播画面包括连续的多帧图像,对连续的多帧图像进行截取,截取到的多帧图像中包括目标物品的多个显示角度。
可选地,终端对多个二维图像进行分割处理,包括:终端对多个二维图像进行遮罩处理,即将二维图像中除目标物品之外的图像遮盖住,使二维图像中仅包括目标物品。可以采用rotoscoping(一种转描机技术),对二维图像进行遮罩处理,得到遮罩处理之后仅包括目标物品的二维图像。
在另一种可能实现方式中,终端响应于目标物品与直播界面中预设的任一物品匹配,获取目标物品的多个二维图像。即终端需要确定当前直播画面中的目标物品是否是预设的任一物品,如果目标物品是预设的任一物品,则获取目标物品的多个二维图像,后续为目标物品生成三维图像;如果目标物品不是预设的任一物品,则不为该目标物品生成三维图像,从而保证仅为预设的物品生成三维图像。
在一种可能实现方式中,终端根据目标物品的物品信息及直播界面中预设的任一物品的物品信息,获取目标物品与任一物品的相似度;响应于相似度大于预设相似度,获取目标物品的多个二维图像。其中,物品信息包括物品类别、物品名称、物品颜色或者其他信息,相似度表示目标物品与预设的任一物品之间的相似程度,预设相似度可以为预设的任一数值。相似度越大表示目标物品为预设物品的可能性越大,相似度越小表示目标物品为预设物品的可能性越小。
在一种可能实现方式中,终端获取的是直播画面的二维图像,直播画面的二维图像中除包括目标物品之外,还包括其他物品,终端通过图像识别模型,对直播画面的二维图像进行识别处理,识别出直播画面的二维图像中的目标物品。
可选地,主播终端通过传感器,将当前环境中的光信息、声音信息等转换为电信息,获取图像信息,主播终端将获取的图像信息发送给服务器,服务器对获取的图像信息进行预处理,预处理包括去噪、平滑、变换等处理,以增强图像信息,服务器将处理后的图像信息发送给终端,终端将处理之后的图像信息输入至图像识别模型,通过图像识别模型进行识别处理。
可选地,图像识别模型包括区域划分层、聚合层和识别层,通过图像识别模型进行识别处理包括以下步骤:
1、终端通过图像识别模型中的区域划分层,将直播画面划分为多个图像区域,获取多个图像区域的图像特征。
其中,每个像素区域可以为1*1的像素块、3*3的像素块、5*5的像素块或者为其他尺寸的像素块,图像特征采用数组的形式表示,一个数组中包括一个像素块的高度值、宽度值和颜色值。
2、终端通过图像识别模型中的聚合层,对多个图像区域的图像信息进行聚合,得到目标物品的聚合图像特征。
其中,可以通过采样函数对多个图像区域的图像信息进行聚合,采样函数用于将多个图像区域聚合为一个完整的物品的图像。之后再对物品图像进行特征提取,得到聚合图像特征。
3、终端通过图像识别模型中的识别层,对聚合图像特征进行识别处理,确定聚合图像特征匹配的目标物品。
可选地,该识别层可以为一种分类器,通过训练得到的识别规则,对聚合图像特征进行识别处理,得到聚合图像特征匹配的目标物品。并且,还可以采用识别规则对目标物品进行分类处理,得到目标物品的类别。
终端响应于识别出的目标物品与直播界面中预设的任一物品匹配,获取目标物品的多个二维图像之后,根据该多个二维图像,获取目标物品的多个深度图像。其中,深度图像包括像素信息及深度信息。像素信息表示深度图像中各个像素点的颜色值,深度信息表示深度图像中各个像素点的深度值,每个像素点的颜色值及深度值一一对应。
在一种可能实现方式中,对于每个二维图像,终端对二维图像进行深度分配处理,得到二维图像中每个像素点的深度信息;对每个像素点的深度信息与对应的像素信息进行融合处理,得到目标物品的深度图像。其中,深度分配处理时,每个像素点的深度信息是任意分配的,可以为任意数值。
可选地,终端对每个像素点的深度信息与对应的像素信息进行融合处理,得到目标物品的深度图像之后,如果得到的深度图像未满足预设条件,则可以重新调整二维图像中每个像素点的深度信息,再进行融合处理,直至满足预设条件。并且,对二维图像中每个像素点的深度信息的调整次数越多,得到的深度图像的显示效果越好。
在一种可能实现方式中,终端根据多个二维图像,获取目标物品的多个深度图像,包括:终端根据多个二维图像,获取多个二维图像对应的深度图像,将多个二维图像对应的深度图像作为目标物品的深度图像。即目标物品的深度图像仅包括二维图像对应的深度图像。
可选地,终端根据多个二维图像,获取目标物品的多个深度图像,还包括:终端分别对多个二维图像进行镜像处理,得到每个二维图像对应的镜像二维图像;获取多个镜像二维图像对应的深度图像,将多个镜像二维图像对应的深度图像也作为目标物品的深度图像。即目标物品的深度图像包括二维图像对应的深度图像及二维镜像图像对应的深度图像。
上述进行镜像处理得到镜像图像对应的深度图像的过程是对二维图像的信息的补充,避免获取的多个二维图像包括的显示角度不全,导致生成的三维图像无法准确显示目标物品的各个角度。对图像进行镜像处理,增加了其他角度的二维图像,具有更多的图像,保证生成的三维图像更加准确。
在一种可能实现方式中,终端还可以对二维图像补充其他的信息,例如,二维图像的背景信息、透明度信息等。通过对二维图像进行信息补充以及进行多层次处理,提高了对应的深度图像的显示效果。
203、终端对多个深度图像进行融合处理,生成目标物品的三维图像。
在一种可能实现方式中,服务器根据多个深度图像的显示角度,对多个深度图像进行过滤处理,保留每个显示角度的一个深度图像,对过滤处理之后剩余的多个深度图像进行融合处理,生成目标物品的三维图像。
204、终端通过直播界面,显示三维图像。
本申请实施例中,终端生成三维图像之后,通过直播界面显示三维图像,以使用户在直播界面中查看该三维图像。
在一种可能实现方式中,终端通过直播界面的物品展示区域,显示三维图像,物品展示区域与直播画面所在的区域不同。也即是将直播界面划分为至少两个区域,一个区域用于显示直播画面,另一个区域用于展示物品。在物品展示区域与直播画面所在的区域不同的情况下,直播画面和三维图像独立显示,可以在直播界面中显示完整的直播画面和三维图像。
可选地,直播界面中设置有展示区域显示按钮,响应于对展示区域显示按钮的触发操作,显示物品展示区域。
在另一种可能实现方式中,终端在直播画面的上层创建浮层,通过浮层显示三维图像。其中,创建的浮层可以位于直播画面上层的任意位置,浮层的尺寸小于或等于直播界面的尺寸。此种情况下,浮层位于直播画面的上方,可能会遮盖直播画面的部分或全部区域。
可选地,终端响应于对浮层的拖动操作,将浮层从直播画面的上层的第一位置移动至直播画面的上层的第二位置处,第一位置与第二位置为不同的位置。即浮层的显示位置可以进行改变,通过移动浮层的位置,避免浮层遮挡直播画面中用户关注的区域。
终端显示浮层之后,可以采用以下两种实现方式关闭浮层:
在一种可能实现方式中,终端响应于对直播界面中除浮层之外的其他位置的触发操作,关闭浮层。其中,触发操作可以为点击操作、滑动操作或者其他操作。
在另一种可能实现方式中,终端响应于对物品展示按钮的再次触发操作,关闭浮层。
通过对物品展示按钮进行触发操作打开和关闭浮层时,终端确定当前直播画面的上层是否显示有浮层,如果直播画面的上层显示有浮层,对物品展示按钮进行触发操作,关闭浮层,显示出浮层下的直播画面;如果直播画面的上层没有显示浮层,对物品展示按钮进行触发操作,打开浮层,将浮层显示于直播画面的上层。
在一种可能实现方式中,计算机设备获取目标物品的三维图像时,获取目标物品的物品名称,通过直播界面,显示目标物品的三维图像及物品名称,使用户可以了解目标物品的物品名称。
可选地,通过直播界面中的物品展示区域,显示目标物品的三维图像及物品名称,或者通过浮层,显示目标物品的三维图像及物品名称,或者采用其他方式进行显示。
在一种可能实现方式中,直播界面中还包括至少一个标签,至少一个标签位于三维图像中,每个标签与对应位置的二维局部图像关联。终端通过直播界面,显示三维图像之后,终端响应于对任一标签的触发操作,获取触发的标签关联的二维局部图像;通过直播界面,显示二维局部图像。上述显示二维局部图像的实施方式与图3所示的实施例中显示二维局部图像的实施方式类似,参见下述图3所示的实施例。
本申请实施例仅是以执行主体为终端为例进行说明,在另一实施例中,可以由服务器执行上述步骤202-步骤203,服务器获取目标物品的多个二维图像,根据多个二维图像,获取目标物品的多个深度图像,对多个深度图像进行融合处理,生成目标物品的三维图像,服务器将生成的目标物品的三维图像发送给终端,由终端通过直播界面,显示该三维图像。
本申请实施例提供的方法,显示直播界面,根据目标物品的多个二维图像,获取目标物品的多个深度图像,对多个深度图像进行融合处理,生成目标物品的三维图像,通过直播界面,显示三维图像。该方法在直播过程中,为目标物品生成的三维图像包括多个显示角度,且该目标物品的三维图像不受主播所处环境和直播画面进行美化处理的影响,可以真实地反映出目标物品的外形,提高了显示效果,使用户在观看直播的过程中,根据显示的三维图像充分了解物品的外形。
并且,在获取目标物品的多个二维图像之前,对目标物品与预设的物品进行匹配,保证生成的三维图像是主播推荐的物品的三维图像,避免为直播画面中的其他非推荐的物品生成三维图像,减少了不必要的操作。
图3是本申请实施例提供的一种物品显示方法的流程图。本申请实施例的执行主体为终端,参见图3,该方法包括:
301、终端显示直播界面。
步骤301的实施方式与上述图2所示的实施例中步骤201的实施方式类似,在此不再赘述。
302、终端响应于对物品展示按钮的触发操作,通过直播界面,显示目标物品的三维图像及至少一个标签。
本申请实施例中,终端在显示目标物品的三维图像之前,可以采用上述步骤202-步骤203所示的方法生成目标物品的三维图像,根据三维图像的生成时机的不同,可以包括以下两种可能实现方式:
在一种可能实现方式中,终端在显示直播界面之前,服务器接收主播终端发送的直播画面,根据该直播画面生成目标物品的三维图像,再将直播画面发送给终端,由终端显示直播界面,或者,服务器根据直播画面生成目标物品的三维图像的过程与将直播画面发送给终端的过程同步执行,无论是哪一种方式,终端响应于对物品展示按钮的触发操作之前,已经生成了目标物品的三维图像,则终端响应于对物品展示按钮的触发操作,获取已经生成的目标物品的三维图像。
在另一种可能实现方式中,在终端显示直播界面的过程中,终端响应于对物品展示按钮的触发操作之后,识别出当前直播画面中的目标物品,根据直播画面中包括的目标物品,生成该目标物品的三维图像。
可选地,可以由当前显示直播界面的终端识别目标物品,生成目标物品的三维图像,也可以由服务器识别目标物品,生成目标物品的三维图像。
本申请实施例中,显示三维图像的实施方式与上述图2所示的实施例中步骤204的实施方式类似,在此不再赘述。不同的是,步骤302中,终端还通过直播界面显示至少一个标签。
其中,至少一个标签位于三维图像中,每个标签与三维图像中对应位置的二维局部图像关联。二维局部图像为目标物品的某一位置处的局部图像,则每个标签可以指示所在位置处已设置二维局部图像。二维局部图像与三维图像相比较,二维局部图像比三维图像的精度更高。
三维图像中的标签中可以包括文字内容,也可以不包括文字内容。如果标签中不包括文字内容,可以采用任意形状显示标签,当三维图像中包括多个标签时,该多个标签的形状可以相同,也可以不同,例如,一个实心的圆点表示一个标签。如果标签中包括文字内容,则标签中的文字内容用于描述二维局部图像,例如,三维图像是鞋子,标签内容为鞋面,则该标签可以位于三维图像中的鞋面处,关联的二维局部图像为鞋面图像。
在一种可能实现方式中,终端通过直播界面中的物品展示区域,显示目标物品的三维图像及至少一个标签;或者通过浮层,显示目标物品的三维图像及至少一个标签。
在一种可能实现方式中,终端获取目标物品的至少一个二维局部图像,将目标物品的至少一个二维局部图像与三维图像进行匹配处理,确定每个二维局部图像在三维图像中的位置;创建至少一个二维局部图像关联的标签;通过直播界面显示三维图像,并在每个二维局部图像在三维图像中的位置,显示对应的二维局部图像关联的标签。
可选地,在进行匹配处理的过程中,终端根据二维局部图像的图像信息及三维图像的图像信息,确定三维图像的图像信息中,与二维局部图像的图像信息相似的图像信息所在的图像区域,该图像区域即为二维局部图像在三维图像中对应的区域。
可选地,终端确定每个二维局部图像在三维图像中的位置之后,对二维局部图像进行识别处理,获取该二维局部图像的属性信息,根据该属性信息创建与该二维局部图像关联的标签,根据确定的二维局部图像在三维图像中的位置,在该位置显示对应的二维局部图像关联的标签。
在一种可能实现方式中,终端响应于目标物品与直播界面中预设的任一物品匹配,获取任一物品的至少一个二维局部图像,作为目标物品的二维局部图像。本申请实施例对目标物品与预设的物品的匹配方式不做限制,可以采用任意方式进行匹配,如可以将目标物品的图像与任一物品的图像进行匹配。
可选地,服务器存储有预设的多个物品的二维局部图像,终端响应于目标物品与直播界面中预设的任一物品匹配,向服务器发送该任一物品的局部图像获取指令,服务器将该任一物品的二维局部图像发送给终端,终端将获取的任一物品的二维局部图像,作为目标物品的二维局部图像。
303、终端响应于对三维图像的滑动操作,根据滑动操作,调整三维图像的显示角度。
在一种可能实现方式中,滑动操作包括滑动方向和滑动距离,滑动方向决定三维图像的变化方向,滑动距离决定三维图像显示角度的变化幅度。例如,三维图像当前的显示角度为目标物品的正面,向左侧逐渐滑动,从目标物品的正面逐渐变化到目标物品的左侧面,继续向左侧进行滑动,可以逐渐变化到目标物品的背面。
可选地,按照三维图像创建一个坐标系,获取滑动操作对应的起始点的坐标以及终止点的坐标,根据起始点的坐标以及终止点的坐标确定滑动方向和滑动距离。
终端调整三维图像的显示角度的过程,即为对三维图像进行旋转的过程,可以将三维图像旋转任意度数,例如,三维图像可以旋转360度或者其他度数。
304、终端响应于对三维图像的放大操作,显示放大后的三维图像。
对于放大操作,终端可以在显示的直播界面中设置图像放大按钮,响应于对图像放大按钮的触发操作,放大三维图像,还可以设置对图像放大按钮进行一次触发操作,可以将三维图像放大预设比例。还可以设置最大放大比例,三维图像的放大比例达到最大放大比例的情况下,对图像放大按钮进行再次触发操作,则不再对三维图像进行放大。或者,终端响应于对三维图像的任一位置处的点击操作,放大三维图像,该点击操作可以为单击操作或者双击操作。或者,终端响应于从三维图像的任一位置处开始向两个相反方向的滑动操作,放大三维图像。
可选地,终端响应于对放大后的三维图像的滑动操作,根据滑动操作,调整放大后的三维图像的显示角度。
305、终端响应于对任一标签的触发操作,获取触发的标签关联的二维局部图像。
其中,触发操作可以为点击操作或者其他操作。
在一种可能实现方式中,终端响应于对任一标签的触发操作,向服务器发送局部图像获取指令,该局部图像获取指令携带触发的标签,服务器获取触发的标签关联的二维局部图像,将触发的标签关联的二维局部图像发送给终端。
在另一种可能实现方式中,终端响应于对任一标签的触发操作,向服务器发送局部图像获取指令,该局部图像获取指令携带触发的标签,服务器获取目标物品的至少一个二维局部图像,将至少一个二维局部图像发送给终端。
306、终端通过直播界面,显示二维局部图像。
本申请实施例中,终端通过直播界面,显示二维局部图像之后,还可以对该二维局部图像进行操作,来查看二维局部图像。
在一种可能实现方式中,终端响应于对二维局部图像的放大操作,通过直播界面,显示放大后的二维局部图像。其中,二维局部图像的放大操作与上述三维图像的放大操作类似,在此不再赘述。
在一种可能实现方式中,终端响应于对二维局部图像的滑动操作,根据滑动操作的滑动方向,显示与滑动方向匹配的其他二维局部图像。其中,滑动方向可以为向左滑动、向右滑动或者向其他方向滑动。
可选地,目标物品的至少一个二维局部图像按照预设顺序进行排列,对当前显示的二维局部图像进行滑动操作,显示当前的二维局部图像的下一个二维局部图像或者上一个二维局部图像。如果当前显示的二维局部图像为至少一个二维局部图像中的第一个二维局部图像时,那么,只能够向右滑动显示下一个二维局部图像;如果当前显示的二维局部图像为至少一个二维局部图像中的最后一个二维局部图像时,那么,只能够向左滑动显示上一个二维局部图像。
可选地,终端响应于对二维局部图像的滑动操作,根据滑动操作的滑动方向,获取与滑动方向匹配的其他二维局部图像,再显示该其他二维图像。如终端向服务器发送对其他二维局部图像的获取指令,从而从服务器获取其他二维局部图像。
或者,基于上述步骤305中的可选方式,终端检测到对任一标签的触发操作后,服务器已经将目标物品的至少一个二维局部图像发送给终端,则终端响应于对二维局部图像的滑动操作,根据滑动操作的滑动方向,直接显示与滑动方向匹配的其他二维局部图像。
图4为物品显示过程中的直播界面的示意图,参见图4,直播界面401为还未显示三维图像时的直播界面,该直播界面401中包括直播画面和物品展示按钮,直播画面中包括的目标物品为鞋子,物品展示按钮的形状为鞋子的缩略图像,直播界面中的滚动区域显示观看直播的用户的评论,对物品选项进行触发操作可以显示预设的多个物品。
终端对物品展示按钮进行触发操作之后,获取鞋子的三维图像,通过浮层,显示鞋子的三维图像,直播界面402是通过浮层显示三维图像时的直播界面,在三维图像的上方显示有目标物品的物品名称,三维图像中还显示有与局部二维图像关联的标签;直播界面403和直播界面404对直播界面402中的三维图像进行滑动操作之后,显示的目标物品在不同角度下的三维图像,直播界面403和直播界面404中的滑动操作的滑动方向不同;直播界面405是显示二维局部图像时的直播界面,直播界面405中的局部图像为鞋跟部分的局部图像,直播界面406是显示放大之后的二维局部图像时的直播界面。
通过上述图4所示的物品显示过程中的直播界面的示意图,可以看出用户可以在当前的直播界面中直接查看目标物品的三维图像及二维局部图像,用户通过三维图像及二维局部图像在当前的直播界面中即可充分了解目标物品的外形。
需要说明的是,本申请实施例仅是以先执行步骤303,再执行步骤304,再执行步骤305-306为例进行说明。步骤303、步骤304和步骤305-306是三个并列方案,在另一实施例中,可以先执行步骤304,再执行步骤303和步骤305-306,或者先执行步骤305-306,再执行步骤303和步骤304。本申请实施例对步骤执行的先后顺序不做限制。
另外,相关技术中,用户如果需要充分了解物品的外形,需要对直播界面中的物品链接进行触发操作,从当前的直播界面跳转至物品的物品详情界面,在物品详情界面查看物品的图像,以了解物品的外形。但是,这种方式需要对直播界面进行跳转,并且了解物品外形之后如果继续观看直播,还需要从物品详情界面跳转至直播界面,操作较为繁琐,不够便捷。而本申请实施例提供的方式可以直接在直播界面中了解物品的外形,不需要进行界面的跳转,更加便捷。
需要说明的是,本申请实施例仅是以目标物品为例进行说明,该目标物品可以为直播画面中的任一物品。当直播画面中包括多个物品时,还可以将每个物品均作为目标物品,处理过程与本申请实施例类似,在此不再赘述。
本申请实施例提供的方法,显示直播界面,响应于对物品展示按钮的触发操作,通过直播界面,显示目标物品的三维图像。在直播界面中即可直接显示目标物品的三维图像,该目标物品的三维图像不受主播所处环境和直播画面美化处理的影响,可以真实地反映出目标物品的外形,提高了显示效果,使用户在观看直播的过程中,根据显示的三维图像充分了解物品的外形。
并且,显示三维图像之后,可以对三维图像进行滑动操作,向用户显示不同角度的图像,使用户通过更多的角度了解物品,对物品的外形的了解更加充分。还可以显示目标物品的二维局部图像,该二维局部图像与三维图像相比较,二维局部图像的精度更高,进一步提高了图像的显示效果,使用户通过二维局部图像更加充分的了解物品的外形。
并且,本申请实施例中,设置有物品展示按钮,用户可以通过对物品展示按钮的触发操作,控制显示或者关闭三维图像,操作更加灵活。
图5是本申请实施例提供的另一种物品显示方法的流程图。本申请实施例的交互主体为终端和服务器,参见图5,该方法包括:
1、终端显示直播界面,直播界面中显示主播向用户推荐目标物品的影像。
2、服务器识别直播画面中的目标物品。
3、服务器获取直播界面中预设的多个物品,对识别出的目标物品和预设的多个物品进行匹配。
4、服务器响应于目标物品与预设的任一物品匹配,获取目标物品的多个深度图像。
5、服务器根据目标物品的多个深度图像,生成目标物品的三维图像。
上述步骤2-5仅是以终端显示直播界面之后,服务器对直播画面中的目标物品进行识别,生成目标物品的三维图像为例进行说明。在另一实施例中,可以先执行步骤2-5,再执行步骤1,即服务器接收到主播终端发送的直播画面时,对接收到的直播画面中的目标物品进行识别,生成目标物品的三维图像,然后再向终端发送直播画面,终端显示直播界面。在另一实施例中,同步执行步骤1和步骤2,在生成目标物品的三维图像的过程中,终端显示直播界面。
6、终端向服务器发送目标物品的三维图像获取指令,服务器将生成的目标物品的三维图像及至少一个标签发送给终端。
7、终端显示目标物品的三维图像及至少一个标签。
8、终端响应于对三维图像的滑动操作,调整三维图像的显示角度。
9、终端响应于对任一标签的触发操作,向服务器发送触发的标签的局部图像获取请求。
10、服务器将目标物品的二维局部图像发送给终端。
11、终端显示触发的标签对应的二维局部图像。
本申请实施例仅是以开始直播之后,生成目标物品的三维图像,对三维图像进行显示为例进行说明,在另一实施例中,可以在直播开始之前,生成目标物品的三维图像,直播开始之后,获取生成的三维图像,对三维图像进行显示。
本申请实施例中的实施方式与上述图2和图3所示的实施例的实施方式类似,在此不再赘述。
图6是本申请实施例提供的一种物品显示装置的结构示意图。参见图6,该装置包括:
界面显示模块601,用于显示直播界面,直播界面包括直播画面,直播画面包含目标物品;
深度图像获取模块602,用于根据目标物品的多个二维图像,获取目标物品的多个深度图像,多个二维图像中目标物品的显示角度不同,深度图像包括像素信息及深度信息;
三维图像生成模块603,用于对多个深度图像进行融合处理,生成目标物品的三维图像;
三维图像显示模块604,用于通过直播界面,显示三维图像。
本申请实施例提供的装置,显示直播界面,根据目标物品的多个二维图像,获取目标物品的多个深度图像,对多个深度图像进行融合处理,生成目标物品的三维图像,通过直播界面,显示三维图像。该装置在直播过程中,为目标物品生成的三维图像包括多个显示角度,且该目标物品的三维图像不受主播所处环境和直播画面进行美化处理的影响,可以真实地反映出目标物品的外形,提高了显示效果,使用户在观看直播的过程中,根据显示的三维图像充分了解物品的外形。
在一种可能实现方式中,参见图7,该装置还包括:
二维图像获取模块605,用于响应于目标物品与直播界面中预设的任一物品匹配,获取目标物品的多个二维图像。
在另一种可能实现方式中,参见图7,二维图像获取模块605,还用于:
根据目标物品的物品信息及直播界面中预设的任一物品的物品信息,获取目标物品与任一物品的相似度;
响应于相似度大于预设相似度,获取目标物品的多个二维图像。
在另一种可能实现方式中,参见图7,该装置还包括:
物品识别模块606,用于通过图像识别模型中的区域划分层,将直播画面划分为多个图像区域,获取多个图像区域的图像特征;
物品识别模块606,还用于通过图像识别模型中的聚合层,对多个图像区域的图像信息进行聚合,得到目标物品的聚合图像特征;
物品识别模块606,还用于通过图像识别模型中的识别层,对聚合图像特征进行识别处理,确定聚合图像特征匹配的目标物品。
在另一种可能实现方式中,参见图7,二维图像获取模块605,还用于:
获取直播界面的多个二维图像,对多个二维图像分别进行分割处理,以使分割处理后的多个二维图像中仅包括目标物品。
在另一种可能实现方式中,参见图7,深度图像获取模块602,包括:
深度信息获取单元6021,用于对于每个二维图像,对二维图像进行深度分配处理,得到二维图像中每个像素点的深度信息;
深度图像获取单元6022,用于对每个像素点的深度信息与对应的像素信息进行融合处理,得到目标物品的深度图像。
在另一种可能实现方式中,深度图像获取模块602,还用于:
获取多个二维图像对应的深度图像,将多个二维图像对应的深度图像作为目标物品的深度图像。
在另一种可能实现方式中,深度图像获取模块602,还用于:
分别对多个二维图像进行镜像处理,得到每个二维图像对应的镜像二维图像;
获取多个镜像二维图像对应的深度图像,将多个镜像二维图像对应的深度图像作为目标物品的深度图像。
在另一种可能实现方式中,直播界面包括物品展示按钮,三维图像显示模块604,还用于:
响应于对物品展示按钮的触发操作,通过直播界面,显示三维图像。
在另一种可能实现方式中,直播界面中还包括至少一个标签,至少一个标签位于三维图像中,每个标签与对应位置的二维局部图像关联;参见图7,该装置还包括:
局部图像获取模块607,用于响应于对任一标签的触发操作,获取触发的标签关联的二维局部图像;
局部图像显示模块608,用于通过直播界面,显示二维局部图像。
图8是本申请实施例提供的一种物品显示装置的结构示意图。参见图8,该装置包括:
界面显示模块801,用于显示直播界面,直播界面包括直播画面和物品展示按钮,直播画面包含目标物品;
三维图像显示模块802,用于响应于对物品展示按钮的触发操作,通过直播界面,显示目标物品的三维图像。
本申请实施例提供的装置,显示直播界面,响应于对物品展示按钮的触发操作,通过直播界面,显示目标物品的三维图像。在直播界面中即可直接显示目标物品的三维图像,该目标物品的三维图像不受主播所处环境和直播画面进行美化处理的影响,可以真实地反映出目标物品的外形,提高了显示效果,使用户在观看直播的过程中,根据显示的三维图像充分了解物品的外形。
在一种可能实现方式中,参见图9,该装置还包括:
三维图像调整模块803,用于响应于对三维图像的滑动操作,根据滑动操作,调整三维图像的显示角度。
在另一种可能实现方式中,参见图9,该装置还包括:
三维图像放大模块804,用于响应于对三维图像的放大操作,显示放大后的三维图像。
在另一种可能实现方式中,三维图像显示模块802,包括:
第一显示单元8021,用于在直播画面的上层创建浮层,通过浮层显示三维图像。
在另一种可能实现方式中,参见图9,该装置还包括:
第一关闭模块805,用于响应于对直播界面中除浮层之外的其他位置的触发操作,关闭浮层。
在另一种可能实现方式中,参见图9,该装置还包括:
第二关闭模块806,用于响应于对物品展示按钮的再次触发操作,关闭浮层。
在另一种可能实现方式中,参加图9,三维图像显示模块802,包括:
第二显示单元8022,用于通过直播界面的物品展示区域,显示三维图像,物品展示区域与直播画面所在的区域不同。
在另一种可能实现方式中,参加图9,三维图像显示模块802,包括:
第三显示单元8023,用于通过直播界面,显示三维图像及至少一个标签,至少一个标签位于三维图像中,每个标签与三维图像中对应位置的二维局部图像关联。
在另一种可能实现方式中,参加图9,三维图像显示模块802,还用于:
将目标物品的至少一个二维局部图像与三维图像进行匹配处理,确定每个二维局部图像在三维图像中的位置;
创建至少一个二维局部图像关联的标签;
通过直播界面显示三维图像,并在每个二维局部图像在三维图像中的位置,显示对应的二维局部图像关联的标签。
在另一种可能实现方式中,参加图9,该装置还包括:
局部图像获取模块807,用于响应于目标物品与直播界面中预设的任一物品匹配,获取任一物品的至少一个二维局部图像,作为目标物品的二维局部图像。
在另一种可能实现方式中,参加图9,该装置还包括:
局部图像显示模块808,用于响应于对任一标签的触发操作,获取触发的标签关联的二维局部图像;
局部图像显示模块808,还用于通过直播界面,显示二维局部图像。
在另一种可能实现方式中,参加图9,该装置还包括:
局部图像放大模块809,用于响应于对二维局部图像的放大操作,通过直播界面,显示放大后的二维局部图像。
在另一种可能实现方式中,参加图9,局部图像显示模块808,还用于响应于对二维局部图像的滑动操作,根据滑动操作的滑动方向,显示与滑动方向匹配的其他二维局部图像。
在另一种可能实现方式中,参加图9,该装置还包括:
二维图像获取模块810,用于获取目标物品的多个二维图像,多个二维图像中目标物品的显示角度不同;
深度图像获取模块811,用于根据多个二维图像,获取目标物品的多个深度图像,深度图像包括像素信息及深度信息;
三维图像生成模块812,用于对多个深度图像进行融合处理,生成目标物品的三维图像。
在另一种可能实现方式中,参加图9,二维图像获取模块810,还用于:
响应于目标物品与直播界面中预设的任一物品匹配,获取目标物品的多个二维图像。
在另一种可能实现方式中,参加图9,二维图像获取模块810,还用于:
根据目标物品的物品信息及直播界面中预设的任一物品的物品信息,获取目标物品与任一物品的相似度;
响应于相似度大于预设相似度,获取目标物品的多个二维图像。
在另一种可能实现方式中,参加图9,该装置还包括:
物品识别模块813,用于通过图像识别模型中的区域划分层,将直播画面划分为多个图像区域,获取多个图像区域的图像特征;
物品识别模块813,还用于通过图像识别模型中的聚合层,对多个图像区域的图像信息进行聚合,得到目标物品的聚合图像特征;
物品识别模块813,还用于通过图像识别模型中的识别层,对聚合图像特征进行识别处理,确定聚合图像特征匹配的目标物品。
在另一种可能实现方式中,参加图9,二维图像获取模块810,还用于:
获取直播界面的多个二维图像,对多个二维图像分别进行分割处理,以使分割处理后的多个二维图像中仅包括目标物品。
在另一种可能实现方式中,参加图9,深度图像获取模块811,包括:
深度信息获取单元8111,用于对于每个二维图像,对二维图像进行深度分配处理,得到二维图像中每个像素点的深度信息;
深度图像获取单元8112,用于对每个像素点的深度信息与对应的像素信息进行融合处理,得到目标物品的深度图像。
在另一种可能实现方式中,参加图9,深度图像获取模块811,还用于:
根据多个二维图像,获取多个二维图像对应的深度图像,将多个二维图像对应的深度图像作为目标物品的深度图像。
在另一种可能实现方式中,参加图9,深度图像获取模块811,还用于:
分别对多个二维图像进行镜像处理,得到每个二维图像对应的镜像二维图像;
获取多个镜像二维图像对应的深度图像,将多个镜像二维图像对应的深度图像作为目标物品的深度图像。
图10示出了本申请一个示例性实施例提供的终端1000的结构示意图。该终端1000用于执行上述实施例中终端执行的步骤。
通常,终端1000包括有:处理器1001和存储器1002。
处理器1001可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1001可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1001也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1001可以在集成有GPU(Graphics Processing Unit,图像处理的交互器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1001还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1002可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1002还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1002中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器1001所具有以实现本申请中方法实施例提供的物品显示方法。
在一些实施例中,终端1000还可选包括有:***设备接口1003和至少一个***设备。处理器1001、存储器1002和***设备接口1003之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口1003相连。具体地,***设备包括:射频电路1004、触摸显示屏1005、摄像头1006、音频电路1007、定位组件1008和电源1009中的至少一种。
***设备接口1003可被用于将I/O(Input/Output,输入/输出)相关的至少一个***设备连接到处理器1001和存储器1002。在一些实施例中,处理器1001、存储器1002和***设备接口1003被集成在同一芯片或电路板上;在一些其他实施例中,处理器1001、存储器1002和***设备接口1003中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路1004用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路1004通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1004将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路1004包括:天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1004可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路1004还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏1005用于显示UI(UserInterface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1005是触摸显示屏时,显示屏1005还具有采集在显示屏1005的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1001进行处理。此时,显示屏1005还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏1005可以为一个,设置终端1000的前面板;在另一些实施例中,显示屏1005可以为至少两个,分别设置在终端1000的不同表面或呈折叠设计;在再一些实施例中,显示屏1005可以是柔性显示屏,设置在终端1000的弯曲表面上或折叠面上。甚至,显示屏1005还可以设置成非矩形的不规则图形,也即异形屏。显示屏1005可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件1006用于采集图像或视频。可选地,摄像头组件1006包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端1000的前面板,后置摄像头设置在终端1000的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件1006还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路1007可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器1001进行处理,或者输入至射频电路1004以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端1000的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1001或射频电路1004的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路1007还可以包括耳机插孔。
定位组件1008用于定位终端1000的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件1008可以是基于美国的GPS(GlobalPositioning System,全球定位***)、中国的北斗***、俄罗斯的格雷纳斯***或欧盟的伽利略***的定位组件。
电源1009用于为终端1000中的各个组件进行供电。电源1009可以是交流电、直流电、一次性电池或可充电电池。当电源1009包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端1000还包括有一个或多个传感器1010。该一个或多个传感器1010包括但不限于:加速度传感器1011、陀螺仪传感器1012、压力传感器1013、指纹传感器1014、光学传感器1015以及接近传感器1016。
加速度传感器1011可以检测以终端1000建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器1011可以用于检测重力加速度在三个坐标轴上的分量。处理器1001可以根据加速度传感器1011采集的重力加速度信号,控制触摸显示屏1005以横向视图或纵向视图进行用户界面的显示。加速度传感器1011还可以用于应用或者用户的运动数据的采集。
陀螺仪传感器1012可以检测终端1000的机体方向及转动角度,陀螺仪传感器1012可以与加速度传感器1011协同采集用户对终端1000的3D动作。处理器1001根据陀螺仪传感器1012采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、应用控制以及惯性导航。
压力传感器1013可以设置在终端1000的侧边框和/或触摸显示屏1005的下层。当压力传感器1013设置在终端1000的侧边框时,可以检测用户对终端1000的握持信号,由处理器1001根据压力传感器1013采集的握持信号进行左右手识别或快捷操作。当压力传感器1013设置在触摸显示屏1005的下层时,由处理器1001根据用户对触摸显示屏1005的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1014用于采集用户的指纹,由处理器1001根据指纹传感器1414采集到的指纹识别用户的身份,或者,由指纹传感器1014根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器1001授权该用户具有相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1014可以被设置终端1000的正面、背面或侧面。当终端1000上设置有物理按键或厂商Logo时,指纹传感器1014可以与物理按键或厂商标志集成在一起。
光学传感器1015用于采集环境光强度。在一个实施例中,处理器1001可以根据光学传感器1015采集的环境光强度,控制触摸显示屏1005的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏1005的显示亮度;当环境光强度较低时,调低触摸显示屏1005的显示亮度。在另一个实施例中,处理器1001还可以根据光学传感器1015采集的环境光强度,动态调整摄像头组件1006的拍摄参数。
接近传感器1016,也称距离传感器,通常设置在终端1000的前面板。接近传感器1016用于采集用户与终端1000的正面之间的距离。在一个实施例中,当接近传感器1016检测到用户与终端1000的正面之间的距离逐渐变小时,由处理器1001控制触摸显示屏1005从亮屏状态切换为息屏状态;当接近传感器1016检测到用户与终端1000的正面之间的距离逐渐变大时,由处理器1001控制触摸显示屏1005从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图10中示出的结构并不构成对终端1000的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
图11是本申请实施例提供的一种服务器的结构示意图,该服务器1100可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(Central ProcessingUnits,CPU)1101和一个或一个以上的存储器1102,其中,存储器1102中存储有至少一条指令,该至少一条指令由处理器1101加载并执行以实现上述各个方法实施例提供的方法。当然,该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该服务器还可以包括其他用于实现设备功能的部件,在此不做赘述。
服务器1100可以用于执行上述实施例中服务器所执行的步骤。
本申请实施例还提供了一种计算机设备,该计算机设备包括处理器和存储器,存储器中存储有至少一条指令,该至少一条指令由处理器加载并执行,以实现上述实施例的物品显示方法中所执行的操作。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有至少一条指令,该至少一条指令由处理器加载并执行,以实现上述实施例的物品显示方法中所执行的操作。
本申请实施例还提供了一种计算机程序,该计算机程序中存储有至少一条指令,该至少一条指令由处理器加载并执行,以实现上述实施例的物品显示方法中所执行的操作。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,该程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上仅为本申请实施例的可选实施例,并不用以限制本申请实施例,凡在本申请实施例的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (15)

1.一种物品显示方法,其特征在于,所述方法包括:
显示直播界面,所述直播界面包括直播画面,所述直播画面包含目标物品;
根据所述目标物品的多个二维图像,获取所述目标物品的多个深度图像,所述多个二维图像中所述目标物品的显示角度不同,所述深度图像包括像素信息及深度信息;
对所述多个深度图像进行融合处理,生成所述目标物品的三维图像;
通过所述直播界面,显示所述三维图像。
2.根据权利要求1所述的方法,其特征在于,所述根据所述目标物品的多个二维图像,获取所述目标物品的多个深度图像之前,所述方法还包括:
响应于所述目标物品与所述直播界面中预设的任一物品匹配,获取所述目标物品的多个二维图像。
3.根据权利要求2所述的方法,其特征在于,所述响应于所述目标物品与所述直播界面中预设的任一物品匹配,获取所述目标物品的多个二维图像,包括:
根据所述目标物品的物品信息及所述直播界面中预设的任一物品的物品信息,获取所述目标物品与所述任一物品的相似度;
响应于所述相似度大于预设相似度,获取所述目标物品的多个二维图像。
4.根据权利要求1所述的方法,其特征在于,所述根据所述目标物品的多个二维图像,获取所述目标物品的多个深度图像之前,所述方法还包括:
通过图像识别模型中的区域划分层,将所述直播画面划分为多个图像区域,获取所述多个图像区域的图像特征;
通过所述图像识别模型中的聚合层,对所述多个图像区域的图像信息进行聚合,得到所述目标物品的聚合图像特征;
通过所述图像识别模型中的识别层,对所述聚合图像特征进行识别处理,确定所述聚合图像特征匹配的目标物品。
5.根据权利要求1所述的方法,其特征在于,所述根据所述目标物品的多个二维图像,获取所述目标物品的多个深度图像之前,所述方法还包括:
获取所述直播界面的多个二维图像,对所述多个二维图像分别进行分割处理,以使分割处理后的多个二维图像中仅包括所述目标物品。
6.根据权利要求1所述的方法,其特征在于,所述根据所述目标物品的多个二维图像,获取所述目标物品的多个深度图像,包括:
对于每个二维图像,对所述二维图像进行深度分配处理,得到所述二维图像中每个像素点的深度信息;
对所述每个像素点的深度信息与对应的像素信息进行融合处理,得到所述目标物品的深度图像。
7.根据权利要求1所述的方法,其特征在于,所述根据所述目标物品的多个二维图像,获取所述目标物品的多个深度图像,包括:
获取所述多个二维图像对应的深度图像,将所述多个二维图像对应的深度图像作为所述目标物品的深度图像。
8.根据权利要求7所述的方法,其特征在于,所述根据所述目标物品的多个二维图像,获取所述目标物品的多个深度图像,还包括:
分别对所述多个二维图像进行镜像处理,得到每个二维图像对应的镜像二维图像;
获取所述多个镜像二维图像对应的深度图像,将所述多个镜像二维图像对应的深度图像作为所述目标物品的深度图像。
9.根据权利要求1所述的方法,其特征在于,所述直播界面还包括物品展示按钮,所述通过所述直播界面,显示所述三维图像,包括:
响应于对所述物品展示按钮的触发操作,通过所述直播界面,显示所述三维图像。
10.根据权利要求1所述的方法,其特征在于,所述直播界面中还包括至少一个标签,所述至少一个标签位于所述三维图像中,每个标签与对应位置的二维局部图像关联;
所述通过所述直播界面,显示所述三维图像之后,所述方法还包括:
响应于对任一标签的触发操作,获取触发的标签关联的二维局部图像;
通过所述直播界面,显示所述二维局部图像。
11.一种物品显示方法,其特征在于,所述方法包括:
显示直播界面,所述直播界面包括直播画面和物品展示按钮,所述直播画面包含目标物品;
响应于对所述物品展示按钮的触发操作,通过所述直播界面,显示所述目标物品的三维图像。
12.一种物品显示装置,其特征在于,所述装置包括:
界面显示模块,用于显示直播界面,所述直播界面包括直播画面,所述直播画面包含目标物品;
深度图像获取模块,用于根据所述目标物品的多个二维图像,获取所述目标物品的多个深度图像,所述多个二维图像中所述目标物品的显示角度不同,所述深度图像包括像素信息及深度信息;
三维图像生成模块,用于对所述多个深度图像进行融合处理,生成所述目标物品的三维图像;
三维图像显示模块,用于通过所述直播界面,显示所述三维图像。
13.一种物品显示装置,其特征在于,所述装置包括:
界面显示模块,用于显示直播界面,所述直播界面包括直播画面和物品展示按钮,所述直播画面包含目标物品;
三维图像显示模块,用于响应于对所述物品展示按钮的触发操作,通过所述直播界面,显示所述目标物品的三维图像。
14.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行,以实现如权利要求1至10任一权利要求所述的物品显示方法中所执行的操作,或者以实现如权利要求11所述的物品显示方法中所执行的操作。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行,以实现如权利要求1至10任一权利要求所述的物品显示方法中所执行的操作,或者以实现如权利要求11所述的物品显示方法中所执行的操作。
CN202010328531.9A 2020-04-23 2020-04-23 物品显示方法、装置、设备及存储介质 Active CN111541907B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010328531.9A CN111541907B (zh) 2020-04-23 2020-04-23 物品显示方法、装置、设备及存储介质
PCT/CN2021/080601 WO2021213067A1 (zh) 2020-04-23 2021-03-12 物品显示方法、装置、设备及存储介质
US17/717,879 US20220237812A1 (en) 2020-04-23 2022-04-11 Item display method, apparatus, and device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010328531.9A CN111541907B (zh) 2020-04-23 2020-04-23 物品显示方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111541907A true CN111541907A (zh) 2020-08-14
CN111541907B CN111541907B (zh) 2023-09-22

Family

ID=71970084

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010328531.9A Active CN111541907B (zh) 2020-04-23 2020-04-23 物品显示方法、装置、设备及存储介质

Country Status (3)

Country Link
US (1) US20220237812A1 (zh)
CN (1) CN111541907B (zh)
WO (1) WO2021213067A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112584184A (zh) * 2020-11-24 2021-03-30 北京达佳互联信息技术有限公司 图像显示方法、装置、电子设备及存储介质
CN113269785A (zh) * 2021-05-13 2021-08-17 北京字节跳动网络技术有限公司 图像处理方法、设备、存储介质及程序产品
WO2021213067A1 (zh) * 2020-04-23 2021-10-28 腾讯科技(深圳)有限公司 物品显示方法、装置、设备及存储介质
CN113781136A (zh) * 2020-09-03 2021-12-10 北京沃东天骏信息技术有限公司 界面的显示方法和装置
CN113891105A (zh) * 2021-09-28 2022-01-04 广州繁星互娱信息科技有限公司 画面显示方法和装置、存储介质及电子设备
CN113891100A (zh) * 2020-09-16 2022-01-04 深圳市博浩光电科技有限公司 实时三维影像显示的直播***
CN113891101A (zh) * 2020-09-16 2022-01-04 深圳市博浩光电科技有限公司 实时三维影像显示的直播方法
WO2022083230A1 (zh) * 2020-10-20 2022-04-28 北京字节跳动网络技术有限公司 画面展示方法、装置、电子设备及计算机可读介质
WO2023035958A1 (zh) * 2021-09-07 2023-03-16 北京字跳网络技术有限公司 界面显示方法、装置、电子设备和存储介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150011659A (ko) * 2013-07-23 2015-02-02 조성은 실시간으로 상품이미지를 데이터화 하는 서버와 이를 이용한 캡쳐 이미지 상품 구매 시스템 및 그 방법
US20170295357A1 (en) * 2014-08-15 2017-10-12 The University Of Akron Device and method for three-dimensional video communication
WO2018095142A1 (zh) * 2016-11-28 2018-05-31 广州华多网络科技有限公司 一种直播互动的方法及装置
CN108198044A (zh) * 2018-01-30 2018-06-22 北京京东金融科技控股有限公司 商品信息的展示方法、装置、介质及电子设备
KR20180082950A (ko) * 2017-01-11 2018-07-19 삼성전자주식회사 디스플레이 장치 및 그의 서비스 제공 방법
CN108364353A (zh) * 2017-12-27 2018-08-03 广东鸿威国际会展集团有限公司 引导观看者观看场景的三维直播流的***和方法
CN108419090A (zh) * 2017-12-27 2018-08-17 广东鸿威国际会展集团有限公司 三维直播流展示***和方法
KR101895001B1 (ko) * 2017-07-13 2018-09-05 (주)블루오션소프트 스마트폰기반 쌍방향 라이브방송 커머스 서비스 플랫폼
CN108650523A (zh) * 2018-05-22 2018-10-12 广州虎牙信息科技有限公司 直播间的显示及虚拟物品选取方法、服务器、终端和介质
CN109587572A (zh) * 2018-12-12 2019-04-05 金瓜子科技发展(北京)有限公司 一种展示产品的方法、装置、存储介质及电子设备
CN109889855A (zh) * 2019-01-31 2019-06-14 南京理工大学 基于移动app的智能全景视频直播网络购物***及方法
JP2019117437A (ja) * 2017-12-26 2019-07-18 大日本印刷株式会社 物品特定装置、物品特定方法、及びプログラム
CN110139121A (zh) * 2019-06-18 2019-08-16 北京达佳互联信息技术有限公司 基于直播的物品发布方法、装置、电子设备及存储介质
WO2020038167A1 (zh) * 2018-08-22 2020-02-27 Oppo广东移动通信有限公司 视频识图方法、装置、终端及存储介质
US20200082553A1 (en) * 2018-09-07 2020-03-12 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for generating three-dimensional data, device, and storage medium

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1093089A2 (en) * 1999-10-11 2001-04-18 Inmax T&C Co., Ltd. System and method for quasi three-dimensional multimedia image processing from two-dimensional image data
CN102722862B (zh) * 2012-05-22 2014-08-20 山东大学 采用优化技术的单张图片半自动二维转三维方法和装置
JP2015012429A (ja) * 2013-06-28 2015-01-19 株式会社Jvcケンウッド 画像処理装置、画像処理方法および画像処理プログラム
CN105550701B (zh) * 2015-12-09 2018-11-06 福州华鹰重工机械有限公司 实时图像提取识别方法及装置
CN108462889A (zh) * 2017-02-17 2018-08-28 阿里巴巴集团控股有限公司 直播过程中的信息推荐方法及装置
CN110784728B (zh) * 2019-10-21 2022-08-12 腾讯科技(深圳)有限公司 一种图像数据处理方法、装置、以及计算机可读存储介质
CN111541907B (zh) * 2020-04-23 2023-09-22 腾讯科技(深圳)有限公司 物品显示方法、装置、设备及存储介质

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150011659A (ko) * 2013-07-23 2015-02-02 조성은 실시간으로 상품이미지를 데이터화 하는 서버와 이를 이용한 캡쳐 이미지 상품 구매 시스템 및 그 방법
US20170295357A1 (en) * 2014-08-15 2017-10-12 The University Of Akron Device and method for three-dimensional video communication
WO2018095142A1 (zh) * 2016-11-28 2018-05-31 广州华多网络科技有限公司 一种直播互动的方法及装置
KR20180082950A (ko) * 2017-01-11 2018-07-19 삼성전자주식회사 디스플레이 장치 및 그의 서비스 제공 방법
KR101895001B1 (ko) * 2017-07-13 2018-09-05 (주)블루오션소프트 스마트폰기반 쌍방향 라이브방송 커머스 서비스 플랫폼
JP2019117437A (ja) * 2017-12-26 2019-07-18 大日本印刷株式会社 物品特定装置、物品特定方法、及びプログラム
CN108364353A (zh) * 2017-12-27 2018-08-03 广东鸿威国际会展集团有限公司 引导观看者观看场景的三维直播流的***和方法
CN108419090A (zh) * 2017-12-27 2018-08-17 广东鸿威国际会展集团有限公司 三维直播流展示***和方法
CN108198044A (zh) * 2018-01-30 2018-06-22 北京京东金融科技控股有限公司 商品信息的展示方法、装置、介质及电子设备
CN108650523A (zh) * 2018-05-22 2018-10-12 广州虎牙信息科技有限公司 直播间的显示及虚拟物品选取方法、服务器、终端和介质
WO2020038167A1 (zh) * 2018-08-22 2020-02-27 Oppo广东移动通信有限公司 视频识图方法、装置、终端及存储介质
US20200082553A1 (en) * 2018-09-07 2020-03-12 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for generating three-dimensional data, device, and storage medium
CN109587572A (zh) * 2018-12-12 2019-04-05 金瓜子科技发展(北京)有限公司 一种展示产品的方法、装置、存储介质及电子设备
CN109889855A (zh) * 2019-01-31 2019-06-14 南京理工大学 基于移动app的智能全景视频直播网络购物***及方法
CN110139121A (zh) * 2019-06-18 2019-08-16 北京达佳互联信息技术有限公司 基于直播的物品发布方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
方伟;: "3D成像技术在智能手机交互设计中的应用研究", 佳木斯大学学报(自然科学版), no. 05 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021213067A1 (zh) * 2020-04-23 2021-10-28 腾讯科技(深圳)有限公司 物品显示方法、装置、设备及存储介质
CN113781136A (zh) * 2020-09-03 2021-12-10 北京沃东天骏信息技术有限公司 界面的显示方法和装置
CN113891100A (zh) * 2020-09-16 2022-01-04 深圳市博浩光电科技有限公司 实时三维影像显示的直播***
CN113891101A (zh) * 2020-09-16 2022-01-04 深圳市博浩光电科技有限公司 实时三维影像显示的直播方法
WO2022083230A1 (zh) * 2020-10-20 2022-04-28 北京字节跳动网络技术有限公司 画面展示方法、装置、电子设备及计算机可读介质
CN112584184A (zh) * 2020-11-24 2021-03-30 北京达佳互联信息技术有限公司 图像显示方法、装置、电子设备及存储介质
CN112584184B (zh) * 2020-11-24 2022-08-30 北京达佳互联信息技术有限公司 图像显示方法、装置、电子设备及存储介质
CN113269785A (zh) * 2021-05-13 2021-08-17 北京字节跳动网络技术有限公司 图像处理方法、设备、存储介质及程序产品
WO2023035958A1 (zh) * 2021-09-07 2023-03-16 北京字跳网络技术有限公司 界面显示方法、装置、电子设备和存储介质
CN113891105A (zh) * 2021-09-28 2022-01-04 广州繁星互娱信息科技有限公司 画面显示方法和装置、存储介质及电子设备

Also Published As

Publication number Publication date
US20220237812A1 (en) 2022-07-28
WO2021213067A1 (zh) 2021-10-28
CN111541907B (zh) 2023-09-22

Similar Documents

Publication Publication Date Title
CN110189340B (zh) 图像分割方法、装置、电子设备及存储介质
CN111541907B (zh) 物品显示方法、装置、设备及存储介质
CN110502954B (zh) 视频分析的方法和装置
CN110059685B (zh) 文字区域检测方法、装置及存储介质
CN109191549B (zh) 显示动画的方法及装置
CN110650379B (zh) 视频摘要生成方法、装置、电子设备及存储介质
CN110544272A (zh) 脸部跟踪方法、装置、计算机设备及存储介质
CN109360222B (zh) 图像分割方法、装置及存储介质
CN112749613B (zh) 视频数据处理方法、装置、计算机设备及存储介质
CN110290426B (zh) 展示资源的方法、装置、设备及存储介质
CN112578971B (zh) 页面内容展示方法、装置、计算机设备及存储介质
CN111242090A (zh) 基于人工智能的人脸识别方法、装置、设备及介质
CN112257552B (zh) 图像处理方法、装置、设备及存储介质
CN111432245B (zh) 多媒体信息的播放控制方法、装置、设备及存储介质
CN110827195B (zh) 虚拟物品添加方法、装置、电子设备及存储介质
CN112581358B (zh) 图像处理模型的训练方法、图像处理方法及装置
CN110570460A (zh) 目标跟踪方法、装置、计算机设备及计算机可读存储介质
CN113627413B (zh) 数据标注方法、图像比对方法及装置
CN112287852A (zh) 人脸图像的处理方法、显示方法、装置及设备
CN112565806B (zh) 虚拟礼物赠送方法、装置、计算机设备及介质
CN113570614A (zh) 图像处理方法、装置、设备及存储介质
CN110675473B (zh) 生成gif动态图的方法、装置、电子设备及介质
CN110807769B (zh) 图像显示控制方法及装置
CN111586279B (zh) 确定拍摄状态的方法、装置、设备及存储介质
CN111327819A (zh) 选择图像的方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40027926

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant