WO2023035725A1 - 虚拟道具展示方法及装置 - Google Patents

虚拟道具展示方法及装置 Download PDF

Info

Publication number
WO2023035725A1
WO2023035725A1 PCT/CN2022/100038 CN2022100038W WO2023035725A1 WO 2023035725 A1 WO2023035725 A1 WO 2023035725A1 CN 2022100038 W CN2022100038 W CN 2022100038W WO 2023035725 A1 WO2023035725 A1 WO 2023035725A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
virtual prop
target
virtual
video frame
Prior art date
Application number
PCT/CN2022/100038
Other languages
English (en)
French (fr)
Inventor
张怡
Original Assignee
上海幻电信息科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 上海幻电信息科技有限公司 filed Critical 上海幻电信息科技有限公司
Publication of WO2023035725A1 publication Critical patent/WO2023035725A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering

Definitions

  • the present application relates to the technical field of artificial intelligence, in particular to a method for displaying virtual props.
  • the present application also relates to a virtual prop display device, a computing device, a computer readable storage medium and a computer program.
  • the virtual fitting function realizes the effect of users trying on clothes without actually changing clothes, providing users with A convenient way to try on clothes.
  • the embodiment of the present application provides a method for displaying virtual props.
  • the present application also relates to a virtual prop display device, a computing device, a computer readable storage medium and a computer program, so as to solve the problems in the prior art that the display of virtual props is not real and the user experience is poor.
  • a method for displaying virtual props including:
  • the target skeleton point information conforms to the preset posture information, acquire the virtual prop information of the virtual prop corresponding to the preset posture information;
  • a virtual prop display device including:
  • An identification module configured to receive a video stream to be processed, and identify a target video frame in the video stream to be processed
  • the parsing module is configured to parse the target video frame to obtain target skeletal point information
  • the acquiring module is configured to acquire virtual prop information corresponding to the virtual prop corresponding to the preset pose information when the target skeleton point information conforms to the preset pose information;
  • a display module configured to display the virtual prop in the target video frame based on the target skeletal point information and the virtual prop information.
  • a computing device including a memory, a processor, and computer instructions stored in the memory and operable on the processor.
  • the processor executes the computer instructions, the computer instructions are implemented. The steps of the method for displaying virtual props are described.
  • a computer-readable storage medium which stores computer instructions, and when the computer instructions are executed by a processor, the steps of the method for displaying virtual props are implemented.
  • a computer program is provided, wherein, when the computer program is executed in a computer, the computer is made to execute the steps of the above method for displaying virtual props.
  • the method for displaying virtual props receives a video stream to be processed, and identifies a target video frame in the video stream to be processed; parses the target video frame to obtain target skeleton point information; In the case of preset posture information, obtain the virtual prop information corresponding to the virtual prop according to the preset posture information; display the virtual prop in the target video frame based on the target skeleton point information and the virtual prop information.
  • An embodiment of the present application realizes determining whether the posture in the video frame is consistent with the preset posture based on the preset posture information, and displays the virtual props in combination with the skeleton information in the video frame if they are consistent, which improves the relationship between virtual props and postures.
  • the accuracy in display brings better visual effects to users.
  • FIG. 1 is a flow chart of a method for displaying virtual props provided by an embodiment of the present application
  • Fig. 2 is a processing flowchart of a method for displaying virtual props applied to virtual animation role-playing provided by an embodiment of the present application
  • Fig. 3 is a schematic diagram of a preset posture provided by an embodiment of the present application.
  • Fig. 4 is a schematic structural diagram of a preset posture provided by an embodiment of the present application.
  • Fig. 5 is a schematic structural diagram of a virtual prop display device provided by an embodiment of the present application.
  • Fig. 6 is a structural block diagram of a computing device provided by an embodiment of the present application.
  • first, second, etc. may be used to describe various information in one or more embodiments of the present application, the information should not be limited to these terms. These terms are only used to distinguish information of the same type from one another. For example, first may also be referred to as second, and similarly, second may also be referred to as first, without departing from the scope of one or more embodiments of the present application. Depending on the context, the word “if” as used herein may be interpreted as “at” or “when” or “in response to a determination.”
  • Human gesture recognition project is an open source library based on convolutional neural network and supervised learning and developed with caffe as the framework. It can realize pose estimation such as human body movements, facial expressions, and finger movements. Applicable to single and multiple people, it is the world's first real-time multi-person 2D pose estimation application based on deep learning, and examples based on it have sprung up like mushrooms after rain. Human body pose estimation technology has broad application prospects in the fields of physical fitness, motion collection, 3D fitting, and public opinion monitoring.
  • COSPLAY refers to using clothing, trinkets, props and makeup to play the characters in their favorite novels, animations and games.
  • COS is shorthand for English Costume, the verb is COS, while the players who play COS are generally known as COSER. But because this translation means the same as Role Playing Game (RPG) in the game, so in order to avoid the same, it is more accurate to say that COS is clothing.
  • RPG Role Playing Game
  • COSPLAY is anime role-playing, but due to the dependence on costumes, props and make-up, not everyone has such an opportunity.
  • One of the application scenarios of the technical means provided by this application is to let the player simulate the posture of the character in the game in front of the camera to experience the feeling of cosplay.
  • a method for displaying virtual props is provided.
  • the present application also relates to a virtual prop display device, a computing device, a computer-readable storage medium and a computer program. In the following embodiments, one by one Describe in detail.
  • Figure 1 shows a flowchart of a method for displaying virtual props according to an embodiment of the present application, which specifically includes the following steps:
  • Step 102 Receive a video stream to be processed, and identify a target video frame in the video stream to be processed.
  • the server receives the video stream to be processed, and identifies a target video frame that meets the requirements in the received video stream to be processed, and is used to subsequently display the virtual prop in the target video frame.
  • the video stream to be processed refers to the video stream collected by the image acquisition device;
  • the target video frame refers to the video frame containing a specific image in the video stream to be processed.
  • the image acquisition device can be a camera device in a shopping mall, and the camera device The images in the shopping mall are collected to generate a video stream, and the target video frame is a video frame including a person image identified in the video stream.
  • the preset recognition rule refers to a rule for identifying a target video frame containing an entity in the video stream to be processed, for example, identifying a video frame containing a person image in the video stream to be processed as a target video frame, or identifying a video frame in the video stream to be processed
  • the video frame containing the object image is used as the target video frame.
  • the video stream to be processed is determined, and the video frames in the video stream to be processed are obtained and input to the entity recognition model, and the video frame containing the entity determined based on the entity recognition model is used as the target video frame, wherein the recognition model can be a person image Recognition model, animal image recognition model, etc.; or other image recognition technologies can be used to determine the target video frame in the video stream to be processed; in this application, the specific method for identifying the target video frame is not limited, and can meet the requirements for video frame recognition methods are available.
  • the video stream to be processed is received, and the video frames in the video stream to be processed are input into the person image recognition model, so as to determine A video frame containing a person image among the video frames is used as a target video frame.
  • the recognition efficiency is improved, and it is also convenient to only process the determined target video frame, which improves the efficiency of virtual prop display.
  • Step 104 Analyzing the target video frame to obtain target skeletal point information.
  • the target video frame is analyzed to determine all the skeleton point information of the entity in the target video frame, and to determine part of the skeleton point information that meets the requirements in all the skeleton point information, which is used for subsequent analysis based on the skeleton point information It is judged whether the entity posture conforms to the preset posture.
  • the method for analyzing the target video frame and obtaining the target skeletal point information includes:
  • the skeleton point information set refers to the set of position information corresponding to the skeleton points parsed from the target video frame.
  • the skeleton points obtained by parsing the character image video frame include nose, neck, right shoulder, right elbow, Right wrist, left shoulder, left elbow, left wrist, center of hip, right hip, right knee, right ankle, left hip, left knee, left ankle, right eye, left eye, right ear, left ear, inner left foot, left foot Outside, left heel, right foot inside, right foot outside, right heel, and the two-dimensional coordinates of each bone point in the target video frame
  • the bone point information set is composed of the above bone points and corresponding coordinates; parse to obtain the target video frame
  • the method of the bone point includes but not limited to technologies such as OpenPose; After determining the bone point in the target video frame, a Cartesian coordinate system can be established in the target video frame, thereby determining the coordinate position of each bone point in the target video frame.
  • the analyzed bone points can be used as bound bone points to bind the corresponding virtual props;
  • the preset pose information refers to the proportion information between the vectors composed of the skeleton points corresponding to the preset pose and the angle between the vectors composed of the skeleton points Information
  • the skeleton point information to be processed refers to the skeleton point information corresponding to the preset pose information in the skeleton point information set;
  • the target skeleton point information refers to the skeleton point information obtained by converting the skeleton point to be processed.
  • the proportion information contained in the preset posture information is: the length ratio of the bone from the left wrist to the left elbow to the bone from the left elbow to the left shoulder is 1:1, and the angle information is the bone from the left wrist to the left elbow and the bone from the left elbow to the left shoulder
  • the included angle of the bones is 15 degrees, where the bone point information to be processed refers to the two-dimensional bone point coordinates of the left wrist, left elbow, and left shoulder, and the target bone point information is the two-dimensional left wrist, left elbow, and left shoulder. Coordinates are converted to three-dimensional coordinates.
  • the preset conversion method may be to add 0 to the z-axis to convert the two-dimensional matrix into a three-dimensional matrix.
  • the target video frame as an example of a character image video frame
  • analyze the character image video frame to obtain the skeleton point information set ⁇ left wrist: (2, 2), left elbow: (5, 3), ... ⁇
  • left wrist: (2, 2) means that the coordinates of the character's left wrist bone point in the character image video frame are (2, 2);
  • the preset posture information is: the left wrist bone point to the left elbow bone
  • the ratio of the distance between the point and the distance from the left elbow bone point to the left shoulder bone point is 1:1.
  • the angle between the bone from the left wrist to the left elbow and the bone from the left elbow to the left shoulder is 15 degrees.
  • the bone point information to be processed in the point information set is the left wrist bone point, left elbow bone point, and left shoulder bone point.
  • the bone point information to be processed is converted into the target bone point information, that is, added to the two-dimensional bone point information to be processed 0 is used as the z-axis coordinate to obtain the 3D target bone point information.
  • Step 106 If the target skeleton point information matches the preset pose information, acquire the virtual prop information of the virtual prop corresponding to the preset pose information.
  • virtual props refer to props displayed in video frames, such as virtual shields, virtual clothing, etc.
  • virtual props information refers to the information required to display virtual props, including but not limited to virtual props model information, virtual props display location information.
  • the solution of the present application is to display the virtual props corresponding to the posture in the video frame when the physical posture in the video frame is recognized to be consistent with the preset posture. Therefore, after analyzing the target video frame and obtaining the target skeleton point information, it is necessary to Judging whether the entity posture in the video frame is consistent with the preset posture, the specific judgment process includes:
  • the posture ratio information refers to the bone length ratio determined by the skeleton points;
  • the posture angle information refers to the angle value of the angle between the bones determined by the skeleton points.
  • the posture ratio information includes a posture ratio range, and the posture angle information includes a posture angle range; calculate the target bone point information
  • the posture ratio information and/or posture angle information of the calculated target skeleton point information is determined whether the posture ratio information in the calculated target bone point information is within the posture ratio range, and whether the posture angle information in the calculated target skeleton point information is within the posture angle range , if there is any situation beyond the range, it is determined that the entity pose in the video frame does not match the preset pose.
  • the posture ratio information in this embodiment is: the bone length from the left shoulder to the left elbow and the bone length from the left elbow to the left hand The length is 1:1, and the preset ratio difference is 0.2; the posture angle information is: the angle between the bone from the left shoulder to the left elbow and the bone from the left axis to the left wrist is 15 degrees, and the preset angle difference is 3 degrees; based on The target attribute information calculates that the ratio of the bone length from the left shoulder to the left elbow to the bone length from the left elbow to the left hand in the target video frame is 0.7:1, which exceeds the preset range; calculate the vector value of the bone from the left shoulder to the left elbow, and the left axis To the vector value of the bone of the left wrist, and calculate the included angle between the vector values to be 14 degrees, within the preset range; since the target bone information does not conform to the pose ratio information in the preset pose information, the target bone point information is
  • the posture ratio information in this embodiment is: the bone length from the left shoulder to the left elbow and the bone length from the left elbow to the left hand are 1 :1, and the preset ratio difference is 0.2; determine the target bone point information, that is, determine the coordinates of the left shoulder, left hand and left elbow, and calculate the bone length from the left shoulder to the left elbow and the bone length from the left elbow to the left hand in the target video frame based on the coordinates The ratio is 0.9:1. Within the range of the preset ratio difference, it is determined that the target bone point information conforms to the preset pose information.
  • the posture angle information in this embodiment is: the clip between the bones from the left shoulder to the left elbow and the bones from the left axis to the left wrist The corner angle is 15 degrees, and the preset angle difference is 3 degrees; determine the target bone point information, that is, determine the coordinates of the left shoulder, left elbow and left wrist, and calculate the vector value of the bone from the left shoulder to the left elbow based on the coordinates, and from the left axis to the left wrist The vector values of the bones, the calculated angle between the vector values is 14 degrees, and within the preset angle difference range, it is determined that the target bone point information conforms to the preset pose information.
  • the virtual props are then displayed in the case of conforming to the preset posture information, thereby ensuring the accuracy of the virtual props display, and confirming that the user poses the preset posture
  • the virtual props can only be seen after the event, increasing user engagement.
  • the bone length is calculated based on the bone points in the target bone point information, and judging whether the target bone point information conforms to the posture ratio information and/or the posture angle information includes:
  • the target bone vector refers to the length of the bone between the bone points calculated according to the target bone point information, for example, the coordinate value of the left wrist bone point A is known to be (x1, y1), and the coordinate value of the left elbow bone point B is (x2, y2), then the vector v from bone point A to bone point B can be expressed by the following formula 1:
  • the bone proportion information refers to the proportion information of bones in the target video frame calculated according to the target bone point information
  • the bone angle information refers to the angle information of the angle between bones in the target video frame calculated according to the target bone point information.
  • the preset posture information includes posture ratio information, or posture skeleton information, or posture ratio information and posture skeleton information; Compare, compare the bone angle information with the pose angle, so as to judge whether the target bone point information conforms to the preset pose information.
  • the specific ways of obtaining the virtual prop information corresponding to the virtual props of the preset posture information include:
  • the virtual item is determined in the virtual item information table, and virtual item information corresponding to the virtual item is acquired.
  • the virtual prop information table refers to a data table containing virtual props and virtual prop information corresponding to the virtual props, or the virtual prop information table is a data table containing virtual props, virtual prop information, and preset posture information corresponding to the virtual props
  • the virtual prop table includes virtual prop chicken leg and chicken leg information, or the virtual prop table includes preset posture information, virtual prop chicken leg corresponding to the preset posture information, and chicken leg information corresponding to the virtual prop chicken leg.
  • the virtual prop information table is obtained.
  • the virtual prop corresponding to the preset posture information is a shield
  • the shield prop is determined in the virtual prop information table, and obtained Shield item information corresponding to the shield item.
  • the specific operation method of the next step of the scheme includes:
  • the step of identifying the target video frame in the video stream to be processed may be continued, and a pose error prompt is sent.
  • a posture error prompt and posture guidance information can be sent to the client, so that the user can find the correct preset posture more quickly.
  • a posture failure reminder and posture guidance information are sent to the client, Allows the user to find the correct pose based on pose guide information.
  • Step 108 Display the virtual prop in the target video frame based on the target skeleton point information and the virtual prop information.
  • the virtual prop information After determining the target skeleton information conforming to the preset posture information, the virtual prop information is obtained, and the virtual prop corresponding to the virtual prop information is displayed in the target video frame according to the target skeleton point information and the virtual prop information.
  • the method for displaying the virtual prop in the target video frame based on the target skeletal point information and the virtual prop information includes:
  • the virtual prop anchor point refers to the center point of the virtual prop in the preset posture
  • the virtual prop anchor point information refers to the bone point position information and offset information when the virtual prop anchor point is displayed in the target video frame
  • the bone point The position information is the position of the virtual prop anchor point corresponding to the preset pose.
  • the position information of the bone point is that the virtual prop anchor point is bound to the right-hand bone point in the bone.
  • the offset information is the information of the offset bone. Move to 30% above the point of the right hand bone.
  • the anchor point information of the virtual prop hat is determined as: 30% points on the bones of the left wrist and left elbow; according to the hat prop information, the anchor point of the hat information and the target bone point information to display the hat prop in the target video frame.
  • the virtual prop anchor point of the virtual prop can be calculated based on the virtual prop anchor point information of the virtual prop and the target skeleton point information
  • Specific methods of information include:
  • a virtual prop matrix when the virtual prop is displayed in the target video frame is calculated according to the virtual prop anchor point information in the virtual prop information and the target skeleton point information.
  • the virtual prop matrix refers to the anchor point coordinates of the virtual prop when the virtual prop is displayed in the target video frame.
  • the anchor point information of the shield prop is a point on the bones of the left wrist and left elbow that is 5% close to the left wrist, and is based on the coordinates of the bone point and the coordinates of the shield prop.
  • the anchor point information calculates the anchor point coordinate value of the shield when it conforms to the preset posture display, that is, the shield prop matrix.
  • the specific methods for generating the preset posture information include:
  • the preset posture information determines the posture ratio information and/or posture angle information corresponding to the preset posture, for example, if the preset posture is to raise a shield, then determine the ratio information and angle information of the skeleton when the shield posture is raised; when determining the posture ratio information and/or posture angle information, the preset posture information is composed of posture angle information and/or posture ratio information.
  • the preset ratio information is determined as: the length of the corresponding bone from the right wrist to the right elbow and the length of the corresponding bone from the right elbow to the right shoulder The ratio is 1:1, and the floating range does not exceed 0.2;
  • the preset angle information is determined as follows: the angle between the corresponding bone from the right wrist to the right elbow and the corresponding bone from the right elbow to the right shoulder is 90 degrees, and the floating range does not exceed 3 degrees;
  • the preset posture information is composed of preset ratio information and preset angle information.
  • the preset posture ratio information and posture angle information it is convenient to determine the target video frame conforming to the preset posture in the video frame, and the way of judging the posture through the preset ratio information can more accurately determine the posture of the person in the video frame, This facilitates the real display of subsequent virtual props.
  • a specific method for generating virtual item information of the virtual item includes:
  • Virtual item information corresponding to the virtual item is generated from the virtual item model information and the virtual item anchor point information.
  • the virtual prop model information refers to attribute information of the virtual prop model itself, for example, model material information, model color information, and the like.
  • the anchor point is the center point of the model image and is used to display the offset of the model image.
  • the virtual prop model can be created using 3dmax, maya, etc. This application does not Make specific restrictions; after confirming the created virtual prop, bind the virtual prop to the preset pose, that is, determine the specific position information of the preset virtual prop anchor point on the skeleton of the preset pose, that is, the virtual prop anchor point information;
  • the virtual prop information of the virtual prop corresponding to the preset posture information is composed according to the virtual prop model information and the virtual prop anchor point information.
  • the virtual prop display method of the present application receives a video stream to be processed, and identifies a target video frame in the video stream to be processed; parses the target video frame to obtain target skeleton point information; In the case of setting posture information, obtain the virtual prop information of the virtual prop corresponding to the preset posture information; display the virtual prop in the target video frame based on the target skeleton point information and the virtual prop information.
  • An embodiment of the present application realizes determining whether the posture in the video frame is consistent with the preset posture based on the preset posture information, and displays the virtual props in combination with the skeleton information in the video frame if they are consistent, which improves the relationship between virtual props and postures. The accuracy and authenticity of the display bring better visual effects to users.
  • FIG. 2 shows a processing flowchart of a virtual prop display method applied to virtual animation role-playing provided by an embodiment of the present application, which specifically includes the following steps:
  • Step 202 Determine preset posture information and virtual prop information.
  • the effect to be achieved in this embodiment is that after a character appears in front of the camera and performs a classic action of an animation character, virtual props corresponding to the action can be displayed on the screen, thereby realizing a virtual animation role-playing.
  • FIG. 3 is a schematic diagram of a preset posture provided by an embodiment of the application; create a preset based on the posture of an animation soldier Posture information, wherein, as shown in Figure 4, Figure 4 is a schematic diagram of the preset posture structure provided by an embodiment of the present application, the preset animation soldier posture information includes preset ratio information and preset angle information, wherein the preset ratio information The length ratio of bone a to bone b is 1:1, and the preset range is 0.2; the preset angle information is: the angle between bone a and bone b is 70 degrees, and the preset range is 5 degrees, where bone a is a bone determined based on the right shoulder bone point and right elbow bone point, and bone b is a bone determined based on the right elbow bone point and right wrist bone point.
  • the sword is a pre-created 3D prop model; obtain the 3D model information and determine the anchor point of the 3D prop model of the sword; determine the skeleton according to the preset animation soldier posture information Point information, and bind the anchor point of the 3D prop model to the right elbow bone point and the right wrist bone point to form the bone close to the wrist 5%, and 30% above the bone, which is the anchor point information of the preset sword; by the sword
  • the anchor point information and the 3D model information of the sword constitute the virtual prop information.
  • Step 204 Receive a video stream to be processed, and identify a target video frame in the video stream to be processed.
  • the above example is used to receive the video stream to be processed collected by the camera.
  • the target video frame is determined in the video stream to be processed based on the person recognition rule, specifically the video frame in the video to be processed
  • the frame is input into the pre-trained person image recognition model, so as to determine the video frame containing the person image among the video frames as the target video frame.
  • Step 206 Parse the target video frame to obtain a set of skeleton point information.
  • the above example is used to analyze the target video frame to obtain multiple skeletal points ⁇ left shoulder, left elbow, left wrist, ... ⁇ in the target video frame, and establish rectangular coordinates in the target video frame System, and determine the coordinate information of multiple bone points in the target video frame obtained by analysis according to the established Cartesian coordinate system, such as the left shoulder coordinate is (2, 3), which is composed of the coordinate information of each bone point in the target video frame A collection of skeleton point information.
  • Step 208 Determine the skeleton point information to be processed in the skeleton point information set based on the preset pose information, and convert the skeleton point information to be processed to obtain target skeleton point information.
  • Step 210 Determine whether the target skeleton point information is within the preset pose information range.
  • the target bone vector is obtained based on the target bone point, and the bone vector from the right shoulder to the right elbow is: the right shoulder bone point coordinate minus the right elbow bone point coordinate , that is (-3, 4, 0), similarly the bone vector from the right elbow to the right wrist is (-3, -4, 0), the bone length from the right shoulder to the right elbow calculated based on the target bone vector is 5, the right hand
  • the length of the bone from the elbow to the right wrist is 5, that is, the ratio information of bone a to bone b is determined to be 1:1, and the ratio information in the target bone information is determined to be within the preset range; the distance between bone a and bone b is calculated based on the target vector.
  • the included angle is 74, which exceeds the preset angle by 4 degrees and is within the preset angle range, so that it can be judged that the target bone point information conforms to the preset pose information.
  • Step 212 If the target skeleton point information matches the preset pose information, acquire the virtual prop information of the virtual prop corresponding to the preset pose information.
  • the virtual item information corresponding to the sword is determined in the virtual item information table, and the virtual item information includes virtual item model information and virtual item anchor point information.
  • Step 214 Calculate a virtual prop matrix when the virtual prop is displayed in the target video frame based on the virtual prop anchor point information and the target skeleton point information.
  • the three-dimensional coordinates of the right wrist and right elbow in the target bone point information as B(21,8,0) and C(18,4,0); based on the The above-mentioned three-dimensional coordinates B and C and the offset information A in the anchor point information of the sword calculate the right elbow bone point and the right wrist bone point to form a matrix that is close to 5% of the wrist on the bone as (B-C)*5%+C+ A, and use it as the matrix of anchor points when the sword is shown in the target video frame.
  • Step 216 Display the virtual prop based on the virtual prop matrix and the virtual prop model information in the virtual prop information.
  • the sword is displayed in the target video frame based on the anchor point matrix of the sword calculated in step 214 and the virtual prop model information of the sword.
  • the method for displaying virtual props receives a video stream to be processed, and identifies a target video frame in the video stream to be processed; parses the target video frame to obtain target skeleton point information; In the case of preset posture information, obtain the virtual prop information corresponding to the virtual prop according to the preset posture information; display the virtual prop in the target video frame based on the target skeleton point information and the virtual prop information.
  • This application realizes the determination of whether the posture in the video frame is consistent with the preset posture based on the preset posture information, and combines the skeleton information in the video frame to display the virtual props in the case of consistency, which improves the display of virtual props and postures.
  • the accuracy and realism bring users better visual effects.
  • FIG. 5 shows a schematic structural diagram of a virtual prop display device provided by an embodiment of the present application. As shown in Figure 5, the device includes:
  • the identification module 502 is configured to receive a video stream to be processed, and identify a target video frame in the video stream to be processed;
  • the parsing module 504 is configured to parse the target video frame to obtain target skeletal point information
  • the obtaining module 506 is configured to obtain the virtual prop information of the virtual prop corresponding to the preset pose information when the target skeleton point information conforms to the preset pose information;
  • the display module 508 is configured to display the virtual prop in the target video frame based on the target skeleton point information and the virtual prop information.
  • the device further includes a judging module configured to:
  • the device further includes a judging submodule configured to:
  • the obtaining module 506 is further configured to:
  • the virtual item is determined in the virtual item information table, and virtual item information corresponding to the virtual item is acquired.
  • the presentation module 508 is further configured to:
  • the presentation module 508 is further configured to:
  • a virtual prop matrix when the virtual prop is displayed in the target video frame is calculated according to the virtual prop anchor point information in the virtual prop information and the target skeleton point information.
  • the device also includes a preset posture module configured to:
  • the device also includes a preset virtual props module configured to:
  • Virtual item information corresponding to the virtual item is generated from the virtual item model information and the virtual item anchor point information.
  • the identification module 502 is further configured to:
  • the parsing module 504 is further configured as:
  • the device further includes an execution module configured to:
  • the target skeleton point information does not conform to the preset pose information, continue to perform the step of identifying the target video frame in the video stream to be processed.
  • the identification module receives the video stream to be processed, and identifies the target video frame in the video stream to be processed; the analysis module analyzes the target video frame, and obtains the target skeleton point information; the acquisition module, In the case that the target skeleton point information conforms to the preset posture information, obtain the virtual prop information of the virtual prop corresponding to the preset posture information; display module, based on the target skeleton point information and the virtual prop information in the The virtual prop is displayed in the target video frame.
  • FIG. 6 shows a structural block diagram of a computing device 600 provided according to an embodiment of the present application.
  • Components of the computing device 600 include, but are not limited to, memory 610 and processor 620 .
  • the processor 620 is connected to the memory 610 through the bus 630, and the database 650 is used for storing data.
  • Computing device 600 also includes an access device 640 that enables computing device 600 to communicate via one or more networks 660 .
  • networks include the Public Switched Telephone Network (PSTN), Local Area Network (LAN), Wide Area Network (WAN), Personal Area Network (PAN), or a combination of communication networks such as the Internet.
  • Access device 640 may include one or more of any type of network interface (e.g., a network interface card (NIC)), wired or wireless, such as an IEEE 802.11 wireless local area network (WLAN) wireless interface, Worldwide Interoperability for Microwave Access ( Wi-MAX) interface, Ethernet interface, Universal Serial Bus (USB) interface, cellular network interface, Bluetooth interface, Near Field Communication (NFC) interface, etc.
  • NIC network interface card
  • the above-mentioned components of the computing device 600 and other components not shown in FIG. 6 may also be connected to each other, for example, through a bus. It should be understood that the structural block diagram of the computing device shown in FIG. 6 is only for the purpose of illustration, rather than limiting the scope of the application. Those skilled in the art can add or replace other components as needed.
  • Computing device 600 may be any type of stationary or mobile computing device, including mobile computers or mobile computing devices (e.g., tablet computers, personal digital assistants, laptop computers, notebook computers, netbooks, etc.), mobile telephones (e.g., smartphones), ), wearable computing devices (eg, smart watches, smart glasses, etc.), or other types of mobile devices, or stationary computing devices such as desktop computers or PCs.
  • mobile computers or mobile computing devices e.g., tablet computers, personal digital assistants, laptop computers, notebook computers, netbooks, etc.
  • mobile telephones e.g., smartphones
  • wearable computing devices eg, smart watches, smart glasses, etc.
  • desktop computers or PCs e.g., desktop computers or PCs.
  • Computing device 600 may also be a mobile or stationary server.
  • the processor 620 implements the steps of the method for displaying virtual props when executing the computer instructions.
  • An embodiment of the present application also provides a computer-readable storage medium, which stores computer instructions, and when the computer instructions are executed by a processor, the steps of the aforementioned method for displaying virtual props are realized.
  • An embodiment of the present application further provides a computer program, wherein, when the computer program is executed in a computer, the computer is made to execute the steps of the above method for displaying virtual props.
  • the computer instructions include computer program code, which may be in source code form, object code form, executable file or some intermediate form, and the like.
  • the computer-readable medium may include: any entity or device capable of carrying the computer program code, a recording medium, a USB flash drive, a removable hard disk, a magnetic disk, an optical disk, a computer memory, and a read-only memory (ROM, Read-Only Memory) , Random Access Memory (RAM, Random Access Memory), electrical carrier signal, telecommunication signal and software distribution medium, etc.
  • ROM Read-Only Memory
  • RAM Random Access Memory
  • electrical carrier signal telecommunication signal and software distribution medium, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

虚拟道具展示方法及装置，其中所述虚拟道具展示方法包括：接收待处理视频流，并识别所述待处理视频流中的目标视频帧（102）；解析所述目标视频帧，获得目标骨骼点信息（104）；在所述目标骨骼点信息符合预设姿势信息的情况下，获取所述预设姿势信息对应虚拟道具的虚拟道具信息（106）；基于所述目标骨骼点信息和所述虚拟道具信息在所述目标视频帧中展示所述虚拟道具（108）。上述虚拟道具展示方法，基于预设的姿势信息确定视频帧中的姿势是否与预设姿势一致，在一致的情况下结合视频帧中的骨骼信息对虚拟道具进行展示，提高了虚拟道具与姿势在展示时的准确性，为用户带来了更好的视觉效果。

Description

虚拟道具展示方法及装置
本申请要求于2021年09月10日提交中国专利局、申请号为202111062754.6、发明名称为“虚拟道具展示方法及装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及人工智能技术领域，特别涉及一种虚拟道具展示方法。本申请同时涉及一种虚拟道具展示装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序。
背景技术
随着计算机技术的不断发展，结合实体动作或表情展示虚拟道具的应用越来越多，例如，虚拟试衣功能实现了无需用户真实换装就可以看到用户试穿衣服的效果，为用户提供了便捷的试衣方式。
然而，由于普通设备无法做到对实体的深度解析，即普通设备只能采集到二维画面，故在将三维道具展示时会存在道具的显示不真实的问题，影响用户的使用体验。因此，如何提高虚拟道具展示的准确性成为相关技术人员亟待解决的技术问题。
发明内容
有鉴于此，本申请实施例提供了一种虚拟道具展示方法。本申请同时涉及一种虚拟道具展示装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的虚拟道具显示不真实，用户体验差的问题。
根据本申请实施例的第一方面，提供了一种虚拟道具展示方法，包括：
接收待处理视频流，并识别所述待处理视频流中的目标视频帧；
解析所述目标视频帧，获得目标骨骼点信息；
在所述目标骨骼点信息符合预设姿势信息的情况下，获取所述预设姿势信息对应虚拟道具的虚拟道具信息；
基于所述目标骨骼点信息和所述虚拟道具信息在所述目标视频帧中展示所述虚拟道具。
根据本申请实施例的第二方面，提供了一种虚拟道具展示装置，包括：
识别模块，被配置为接收待处理视频流，并识别所述待处理视频流中的目标视频帧；
解析模块，被配置为解析所述目标视频帧，获得目标骨骼点信息；
获取模块，被配置为在所述目标骨骼点信息符合预设姿势信息的情况下，获取所述预设姿势信息对应虚拟道具的虚拟道具信息；
展示模块，被配置为基于所述目标骨骼点信息和所述虚拟道具信息在所述目标视频帧中展示所述虚拟道具。
根据本申请实施例的第三方面，提供了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述计算机指令时实现所述虚拟道具展示方法的步骤。
根据本申请实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机指令，该计算机指令被处理器执行时实现所述虚拟道具展示方法的步骤。
根据本申请实施例的第五方面，提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述虚拟道具展示方法的步骤。
本申请提供的虚拟道具展示方法，接收待处理视频流，并识别所述待处理视频流中的目标视频帧；解析所述目标视频帧，获得目标骨骼点信息；在所述目标骨骼点信息符合预设姿势信息的情况下，获取所述预设姿势信息对应虚拟道具的虚拟道具信息；基于所述目标骨骼点信息和所述虚拟道具信息在所述目标视频帧中展示所述虚拟道具。
本申请一实施例实现了基于预设的姿势信息确定视频帧中的姿势是否与预设姿势一致，在一致的情况下结合视频帧中的骨骼信息对虚拟道具进行展示，提高了虚拟道具与姿势在展示时的准确度，为用户带来了更好的视觉效果。
附图说明
图1是本申请一实施例提供的一种虚拟道具展示方法的流程图；
图2是本申请一实施例提供的一种应用于虚拟动画角色扮演的虚拟道具展示方法的处理流程图；
图3是本申请一实施例提供的预设姿势示意图；
图4是本申请一实施例提供的预设姿势结构示意图；
图5是本申请一实施例提供的一种虚拟道具展示装置的结构示意图；
图6是本申请一实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
在本申请一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请一个或多个实施例。在本申请一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本申请一个或多个实施例中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先，对本申请一个或多个实施例涉及的名词术语进行解释。
OpenPose：人体姿态识别项目是基于卷积神经网络和监督学习并以caffe为框架开发的开源库。可以实现人体动作、面部表情、手指运动等姿态估计。适用于单人和多人，是世界上首个基于深度学习的实时多人二维姿态估计应用，基于它的实例如雨后春笋般涌现。人体姿态估计技术在体育健身、动作采集、3D试衣、舆情监测等领域具有广阔的应用前景。
随着目前二次元越来越普及，市面上越来越多的人想参与到COSPLAY中，COSPLAY就是指利用服装、小饰品、道具以及化装来扮演自己喜欢的小说、动漫、游戏中的角色。COS是英文Costume的简略写法，其动词为COS，而玩COS的人则一般被称为COSER。但因为这种译法与游戏中的Role Playing Game(RPG)同为角色扮演之意，所以为免雷同，更确切的说COS就是服饰装扮。COSPLAY是动漫角色扮演，但是由于场地服装道具化妆的依赖，并不所有人都有这样的机会。本申请提供的技术手段的应用场景之一就是让玩家在镜头前模拟游戏中角色的姿势，体验一次COSPLAY的感觉。
在本申请中，提供了一种虚拟道具展示方法，本申请同时涉及一种虚拟道具展示装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，在下面的实施例中逐一进行详细说明。
图1示出了根据本申请一实施例提供的一种虚拟道具展示方法的流程图，具体包括以下步骤：
步骤102：接收待处理视频流，并识别所述待处理视频流中的目标视频帧。
服务器接收待处理视频流，并在接收的待处理视频流中识别符合要求的目标视频帧，用于后续在目标视频帧中展示虚拟道具。
其中，待处理视频流是指使用图像采集设备采集到的视频流；目标视频帧是指待处理视频流中包含特定图像的视频帧，例如，图像采集设备可以是商场中的摄像头设备，摄像头设备采集商场中的画面生成视频流，目标视频帧为在视频流中识别到的包含人物图像的视频帧。
在实际应用中，识别所述待处理视频流中的目标视频帧的具体方法包括：
确定预设识别规则；
基于所述预设识别规则识别所述待处理视频流中符合所述预设识别规则的视频帧作为目标视频帧。
其中，预设识别规则是指在待处理视频流中识别包含实体的目标视频帧的规则，例如，识别待处理视频流中包含人物图像的视频帧作为目标视频帧，或识别待处理视频流中包含物体图像的视频帧作为目标视频帧。
具体的，确定待处理视频流，并获取待处理视频流中的视频帧输入至实体识别模型，将基于实体识别模型确定的包含实体的视频帧作为目标视频帧，其中，识别模型可以是人物图像识别模型、动物图像识别模型等；或可采用其他图像识别技术在待处理视频流中确定目标视频帧；在本申请中对识别目标视频帧的具体方法不做限定，可以满足对视频帧识别需求的方式均可。
在本申请一具体实施方式中，以预设识别规则为人物图像识别规则为例，接收待处理视频流，并将所述待处理视频流中的视频帧输入至人物图像识别模型中，从而确定视频帧中包含人物图像的视频帧作为目标视频帧。
通过在待处理视频流中基于预设识别规则确定目标视频帧，提高了识别效率，也便于后续仅对确定的目标视频帧进行处理即可，提高了虚拟道具展示的效率。
步骤104：解析所述目标视频帧，获得目标骨骼点信息。
在确定目标视频帧后，对目标视频帧进行解析，从而确定目标视频帧中实体的所有骨骼点信息，在所有骨骼点信息中确定符合需求的部分骨骼点信息，用于后续基于骨骼点信息对实体姿势是否符合预设姿势进行判断。
在实际应用中，解析所述目标视频帧，获得目标骨骼点信息的方法包括：
解析所述目标视频帧获得骨骼点信息集合；
基于预设姿势信息在所述骨骼点信息集合中确定待处理骨骼点信息；
转换所述待处理骨骼点信息获得目标骨骼点信息。
其中，骨骼点信息集合是指从目标视频帧中解析出的骨骼点对应的位置信息组成的集合，如，对人物图像视频帧进行解析获得的骨骼点包括鼻子，脖子，右肩，右肘，右手腕，左肩，左肘，左手腕，胯中心，右臀，右膝，右踝，左胯，左膝，左踝，右眼，左眼，右耳，左耳，左脚内，左脚外，左脚跟，右脚内，右脚外，右脚跟，以及每个骨骼点在目标视频帧中的二维坐标，由上述骨骼点以及对应的坐标组成骨骼点信息集合；解析获得目标视频帧中的骨骼点的方法包括但不限于OpenPose等技术；确定目标视频帧中的骨骼点后，可在目 标视频帧中建立直角坐标系，从而确定每个骨骼点在目标视频帧中的坐标位置。
此外，解析得到的骨骼点可作为绑定骨骼点与对应的虚拟道具进行绑定；预设姿势信息是指预设姿势对应的骨骼点组成的向量间的比例信息以及骨骼点组成向量间的角度信息，待处理骨骼点信息是指在骨骼点信息集合中与预设姿势信息对应的骨骼点信息；目标骨骼点信息是指对待处理骨骼点进行转换获得的骨骼点信息。例如，预设姿势信息中包含的比例信息为：左手腕到左手肘的骨骼与左手肘到左肩的骨骼的长度比值为1:1，角度信息为左手腕到左手肘的骨骼与左手肘到左肩的骨骼的夹角度数为15度，其中，待处理骨骼点信息是指左手腕、左手肘以及左肩的二维骨骼点坐标，目标骨骼点信息为将二维的左手腕、左手肘以及左肩的坐标转换为三维的坐标。
具体的，解析所述目标视频帧获取所述目标视频帧中的全部骨骼点并确定每个骨骼点的坐标，组成骨骼点信息集合；确定预设姿势信息，并基于预设姿势信息确定骨骼点信息集合中确定用于后续姿势判断的骨骼点信息作为待处理骨骼点信息；将二维的待处理骨骼点信息通过预设转换方式转换为三维的骨骼点信息，获得目标骨骼点信息，例如，预设转换方式可以是在z轴添加0，使二维矩阵转换为三维矩阵的方式。
在本申请一具体实施方式中，以目标视频帧为人物图像视频帧为例，解析人物图像视频帧获得骨骼点信息集合{左手腕：(2，2)，左手肘：(5，3)，...}，其中，左手腕：(2，2)表示人物左手腕骨骼点在人物图像视频帧中的坐标为(2，2)；预设姿势信息为：左手腕骨骼点到左手肘骨骼点的距离与左手肘骨骼点到左肩骨骼点的距离的比值为1:1，左手腕到左手肘的骨骼与左手肘到左肩的骨骼的夹角度数为15度，根据预设姿势信息确定骨骼点信息集合中的待处理骨骼点信息为左手腕骨骼点、左手肘骨骼点以及左肩骨骼点，将待处理骨骼点信息转换为目标骨骼点信息，即在二维的待处理骨骼点信息中添加0作为z轴坐标，获的三维目标骨骼点信息。
通过解析视频帧，并基于预设姿势信息在视频帧中确定待处理骨骼信息，后续仅对待处理骨骼信息进行下一步的计算，提高了处理效率；将待处理视频帧转换为三维的目标视频帧，便于后续与3d的虚拟道具模型的坐标进行结合，从而实现三维虚拟道具在视频帧中的真实展示。
步骤106：在所述目标骨骼点信息符合预设姿势信息的情况下，获取所述预设姿势信息对应虚拟道具的虚拟道具信息。
其中，虚拟道具是指在视频帧中展示的道具，例如，虚拟盾牌、虚拟服装等；虚拟道具信息是指显示虚拟道具所需的信息，其中，包括但不限于虚拟道具模型信息、虚拟道具显示位置信息。
本申请的方案为在识别到视频帧中的实体姿势与预设姿势一致的情况下，在视频帧中显示对应姿势的虚拟道具，故在解析所述目标视频帧，获得目标骨骼点信息之后需判断视频帧中的实体姿势是否与预设姿势一致，具体的判断流程包括：
确定预设姿势信息中的姿势比例信息和/或姿势角度信息，并判断所述目标骨骼点信息是否符合所述姿势比例信息和/或所述姿势角度信息；
若是，则确定所述目标骨骼点信息符合预设姿势信息；
若否，则确定所述目标骨骼点信息不符合预设姿势信息。
其中，姿势比例信息是指由骨骼点确定的骨骼长度比值；姿势角度信息是指由骨骼点确定的骨骼间夹角的角度值。
具体的，确定预设姿势信息中的姿势比例信息和/或姿势角度信息，所述姿势比例信息中包含姿势比例范围，所述姿势角度信息中包含姿势角度范围；计算所述目标骨骼点信息中的姿势比例信息和/或姿势角度信息，判断计算得到的目标骨骼点信息中的姿势比例信息 是否在姿势比例范围内，判断计算得到的目标骨骼点信息中的姿势角度信息是否在姿势角度范围内，若存在任意超出范围的情况，则判定视频帧中的实体姿势与预设姿势不符。
在本申请一具体实施方式中，以预设姿势信息中包含姿势角度信息和姿势比例信息为例，本实施例中的姿势比例信息为：左肩到左肘的骨骼长度与左肘到左手的骨骼长度为1:1，预设比例差为0.2；姿势角度信息为：左肩到左肘的骨骼与左轴到左腕的骨骼之间的夹角角度为15度，预设角度差为3度；基于目标属性信息计算得到目标视频帧中左肩到左肘的骨骼长度与左肘到左手的骨骼长度之比为0.7:1，超过预设范围；计算左肩到左肘的骨骼的向量值，以及左轴到左腕的骨骼的向量值，并计算向量值之间的夹角度数为14度，在预设范围内；由于目标骨骼信息不符合预设姿势信息中的姿势比例信息，故确定目标骨骼点信息不符合预设姿势信息。
在本申请另一具体实施方式中，以预设姿势信息中包含姿势比例信息为例，本实施例中的姿势比例信息为：左肩到左肘的骨骼长度与左肘到左手的骨骼长度为1:1，且预设比例差为0.2；确定目标骨骼点信息，即确定左肩、左手以及左肘的坐标，基于坐标计算目标视频帧中左肩到左肘的骨骼长度与左肘到左手的骨骼长度之比为0.9:1在预设比例差的范围内，确定目标骨骼点信息符合预设姿势信息。
在本申请又一具体实施方式中，以预设姿势信息中包含姿势角度信息为例，本实施例中的姿势角度信息为：左肩到左肘的骨骼与左轴到左腕的骨骼之间的夹角角度为15度，且预设角度差为3度；确定目标骨骼点信息，即确定左肩、左肘以及左腕的坐标，基于坐标计算左肩到左肘的骨骼的向量值，以及左轴到左腕的骨骼的向量值，计算向量值之间的夹角度数为14度，在预设角度差范围内，则确定目标骨骼点信息符合预设姿势信息。
通过判断视频帧中的骨骼信息是否符合预设姿势信息，从而在符合预设姿势信息的情况下再对虚拟道具进行显示，从而保证了虚拟道具显示的准确性，确定用户再摆出预设姿势后才可看到虚拟道具，提高了用户的参与度。
在实际应用中，所述骨骼长度是基于目标骨骼点信息中骨骼点计算获得的，判断所述目标骨骼点信息是否符合所述姿势比例信息和/或所述姿势角度信息，包括：
基于所述目标骨骼点信息确定目标骨骼向量；
计算所述目标骨骼向量间的骨骼比例信息和/或骨骼角度信息；
判断所述骨骼比例信息是否符合所述姿势比例信息和/或判断所述骨骼角度信息是否符合所述姿势角度信息。
其中，目标骨骼向量是指根据目标骨骼点信息计算获得的骨骼点之间骨骼的长度，例如，已知左手腕骨骼点A的坐标值为(x1，y1)，左手肘骨骼点B的坐标值为(x2，y2)，则由骨骼点A点到骨骼点B点的向量v可以通过下述公式1表示：
Figure PCTCN2022100038-appb-000001
骨骼比例信息是指根据目标骨骼点信息计算得到的目标视频帧中骨骼的比例信息；骨骼角度信息是指根据目标骨骼点信息计算得到的目标视频帧中骨骼间夹角的角度信息。
具体的，在预设姿势信息中包含姿势比例信息、或姿势骨骼信息、或姿势比例信息和姿势骨骼信息；在计算获得骨骼比例信息和/或骨骼角度信息后，将骨骼比例信息与姿势比例信息进行比较，将骨骼角度信息与姿势角度进行比较，从而判断目标骨骼点信息是否符合预设姿势信息。
在实际应用中，在确定目标骨骼信息符合预设姿势信息的情况下，获取所述预设姿势 信息对应虚拟道具的虚拟道具信息的具体方式包括：
确定预设姿势信息对应的虚拟道具；
获取虚拟道具信息表；
在所述虚拟道具信息表中确定所述虚拟道具，并获取所述虚拟道具对应的虚拟道具信息。
其中，虚拟道具信息表是指包含虚拟道具以及与虚拟道具对应的虚拟道具信息的数据表，或者，虚拟道具信息表是包含虚拟道具、虚拟道具信息以及虚拟道具对应的预设姿势信息的数据表，例如，虚拟道具表中包含虚拟道具鸡腿以及鸡腿信息，或，虚拟道具表中包含预设姿势信息、预设姿势信息对应的虚拟道具鸡腿以及虚拟道具鸡腿对应的鸡腿信息。
在本申请一具体实施方式中，以虚拟道具为盾牌为例，获取虚拟道具信息表，本实施例中预设姿势信息对应的虚拟道具为盾牌，在虚拟道具信息表中确定盾牌道具，并获取盾牌道具对应的盾牌道具信息。
在实际应用中，会存在目标骨骼点信息不符合预设姿势信息的情况，在此情况下，方案下一步的具体操作方式包括：
在所述目标骨骼点信息不符合预设姿势信息的情况下，可以继续执行识别所述待处理视频流中的目标视频帧的步骤，并发送姿势错误提示。
具体的，在所述目标骨骼点信息不符合预设姿势信息的情况下，在确定待处理视频流中继续确定新的目标视频帧，对新的目标视频帧中实体的姿势继续进行判断，并且，在所述目标骨骼点信息不符合预设姿势信息的情况下，可向客户端发送姿势错误提示，以及姿势引导信息，使用户可以更快的找到正确的预设姿势。
在本申请一具体实施方式中，以目标骨骼点信息不符合预设姿势信息为例，基于目标骨骼点信息不符合预设姿势信息的判断结果，向客户端发送姿势失败提醒以及姿势引导信息，使用户可基于姿势引导信息找到摆出正确的姿势。
通过在目标视频帧中的姿势不符合预设姿势的情况下，继续识别待处理视频流中的其他目标视频帧，便于及时获取到视频流中的不同姿势，以便在姿势符合时对虚拟道具及时进行展示，向用户发送姿势引导信息，以便用户可以更快找到正确姿势，提升用户使用体验。
步骤108：基于所述目标骨骼点信息和所述虚拟道具信息在所述目标视频帧中展示所述虚拟道具。
在确定符合预设姿势信息的目标骨骼信息后，获取虚拟道具信息，并根据目标骨骼点信息以及虚拟道具信息在目标视频帧中展示虚拟道具信息对应的虚拟道具。
在实际应用中，基于所述目标骨骼点信息和所述虚拟道具信息在所述目标视频帧中展示所述虚拟道具的方法包括：
基于所述虚拟道具的虚拟道具锚点以及所述目标骨骼点信息确定所述虚拟道具的虚拟道具锚点信息；
根据所述虚拟道具信息、所述虚拟道具锚点信息以及所述目标骨骼点信息在所述目标视频帧中展示所述虚拟道具。
其中，虚拟道具锚点是指在预设姿势中虚拟道具的中心点；虚拟道具锚点信息是指虚拟道具锚点在目标视频帧中展示时的骨骼点位置信息以及偏移量信息，骨骼点位置信息即虚拟道具锚点在预设姿势对应的骨骼的位置，如骨骼点位置信息为虚拟道具锚点绑定在骨骼中右手骨骼点上，偏移量信息即偏移骨骼的信息，如偏移至右手骨骼点以上30％的位置。
在本申请一具体实施方式中，以虚拟道具为帽子为例，确定虚拟道具帽子的锚点信息为：在左手腕与左手肘的骨骼上30％的点；根据帽子道具信息、帽子的锚点信息以及目标 骨骼点信息在目标视频帧中展示帽子道具。
在实际应用中，为了使显示在目标视频帧中的虚拟道具效果更为真实，可基于所述虚拟道具的虚拟道具锚点信息以及所述目标骨骼点信息计算所述虚拟道具的虚拟道具锚点信息的具体方法包括：
根据虚拟道具信息中的虚拟道具锚点信息以及所述目标骨骼点信息计算所述虚拟道具在所述目标视频帧中显示时的虚拟道具矩阵。
其中，虚拟道具矩阵是指将虚拟道具在目标视频帧中展示时的虚拟道具的锚点坐标。
在本申请一具体实施方式中，以虚拟道具为盾牌为例，盾牌道具的锚点信息为在左手腕与左手肘的骨骼上靠近左手腕5％的点，并基于骨骼点坐标和盾牌道具的锚点信息计算盾牌在符合预设姿势显示时的锚点坐标值，即盾牌道具矩阵。
通过基于虚拟道具信息中预设的虚拟道具锚点信息结合当前目标骨骼信息计算虚拟道具锚点在目标视频帧中展示时的锚点矩阵，从而确定虚拟道具在目标视频帧中的展示位置，提高了虚拟道具与目标视频帧中姿势的结合度，从而在视频帧中更为真实的显示虚拟道具。
在实际应用中，在接收待处理视频流获取视频帧之前，需要预先设定预设姿势信息以及预设姿势信息对应虚拟道具的虚拟道具信息，具体生成预设姿势信息的方法包括：
确定姿势角度信息和/或姿势比例信息；
根据所述姿势角度信息和/或所述姿势比例信息生成预设姿势信息。
具体的，确定预设姿势对应的姿势比例信息和/或姿势角度信息，例如，预设姿势为举起盾牌，则确定骨骼在举起盾牌姿势时的比例信息和角度信息；在确定姿势比例信息和/或姿势角度信息后，由姿势角度信息和/或姿势比例信息组成预设姿势信息。
在本申请一具体实施方式中，以预设姿势为举起右手手臂为例，确定预设比例信息为：右手腕到右手肘对应骨骼的长度与右手肘到右肩对应骨骼的长度之间的比例为1:1，浮动范围不超过0.2；确定预设角度信息为：右手腕到右手肘对应骨骼与右手肘到右肩对应骨骼之间的夹角为90度，浮动范围不超过3度；由预设比例信息以及预设角度信息组成预设姿势信息。
通过预设姿势比例信息以及姿势角度信息，便于在视频帧中确定符合预设姿势的目标视频帧，并且通过预设比例信息对姿势进行判断的方式可以更准确的确定视频帧中的人物姿势，从而便于后续虚拟道具的真实展示。
具体生成虚拟道具的虚拟道具信息的方法包括：
获取虚拟道具的虚拟道具模型信息以及所述虚拟道具的虚拟道具锚点；
基于所述虚拟道具对应的预设姿势信息定义所述虚拟道具锚点在骨骼点之间的虚拟道具锚点信息；
由所述虚拟道具模型信息和所述虚拟道具锚点信息生成与所述虚拟道具对应的虚拟道具信息。
其中，虚拟道具模型信息是指虚拟道具模型本身的属性信息，例如，模型材质信息模型颜色信息等等。
具体的，获取预先创建的虚拟道具模型并确定虚拟道具的锚点，锚点即模型图像的中心点，用来显示模型图像的偏移，虚拟道具模型可采用3dmax、maya等创建，本申请不做具体限定；确定创建好的虚拟道具后，将虚拟道具与预设姿势进行绑定，即确定预设虚拟道具锚点在预设姿势的骨骼上的具***置信息，即虚拟道具锚点信息；根据虚拟道具模型信息以及虚拟道具锚点信息组成与预设姿势信息对应的虚拟道具的虚拟道具信息。
通过预先设置虚拟道具信息，包括对虚拟道具的锚点与骨骼点进行绑定，并将获取到的图像中二维骨骼点信息转换为三维骨骼点信息，便于使三维的虚拟道具与画面中的骨骼 点更高的结合，从而提高后续在对虚拟道具进行展示时的准确度。
本申请的虚拟道具展示方法，接收待处理视频流，并识别所述待处理视频流中的目标视频帧；解析所述目标视频帧，获得目标骨骼点信息；在所述目标骨骼点信息符合预设姿势信息的情况下，获取所述预设姿势信息对应虚拟道具的虚拟道具信息；基于所述目标骨骼点信息和所述虚拟道具信息在所述目标视频帧中展示所述虚拟道具。本申请一实施例实现了基于预设的姿势信息确定视频帧中的姿势是否与预设姿势一致，在一致的情况下结合视频帧中的骨骼信息对虚拟道具进行展示，提高了虚拟道具与姿势在展示时的准确以及真实程度，为用户带来了更好的视觉效果。
下述结合附图2，以本申请提供的虚拟道具展示方法在虚拟动画角色扮演中的应用为例，对所述虚拟道具展示方法进行进一步说明。其中，图2示出了本申请一实施例提供的一种应用于虚拟动画角色扮演的虚拟道具展示方法的处理流程图，具体包括以下步骤：
步骤202：确定预设姿势信息和虚拟道具信息。
本实施例要实现的效果为在当人物出现在镜头前并摆出动漫角色的经典动作后，在画面中可显示与动作对应的虚拟道具，从而实现虚拟的动漫角色扮演。
在本申请一具体实施方式中，以预设姿势为动漫士兵的姿势为例，如图3所示，图3是本申请一实施例提供的预设姿势示意图；基于动漫士兵的姿势创建预设姿势信息，其中，如图4所示，图4是本申请一实施例提供的预设姿势结构示意图，预设动漫士兵姿势信息包括预设比例信息以及预设角度信息，其中，预设比例信息为骨骼a与骨骼b的长度比例为1:1，且预设范围为0.2；预设角度信息为：骨骼a与骨骼b的夹角为70度，预设范围为5度，其中，骨骼a是基于右肩骨骼点和右手肘骨骼点确定的骨骼，骨骼b是基于右手肘骨骼点和右手腕骨骼点确定的骨骼。
确定预设动漫士兵姿势信息对应的虚拟道具为剑，其中，剑为预先创建的3d道具模型；获取3d模型信息并确定剑的3d道具模型的锚点；根据预设动漫士兵姿势信息，确定骨骼点信息，并将3d道具模型的锚点绑定在右手肘骨骼点与右手腕骨骼点构成骨骼靠近手腕5％，以及在骨骼上方30％的位置，即预设剑的锚点信息；由剑的锚点信息以及剑的3d模型信息组成虚拟道具信息。
步骤204：接收待处理视频流，并识别所述待处理视频流中的目标视频帧。
在本申请一具体实施方式中，沿用上例，接收摄像头采集的待处理视频流，本实施例中基于人物识别规则在待处理视频流中确定目标视频帧，具体为将待处理视频中的视频帧输入至预先训练好的人物图像识别模型中，从而确定视频帧中包含人物图像的视频帧作为目标视频帧。
步骤206：解析所述目标视频帧，获得骨骼点信息集合。
在本申请一具体实施方式中，沿用上例，解析目标视频帧，获得目标视频帧中的多个骨骼点{左肩、左手肘、左手腕、...}，在目标视频帧中建立直角坐标系，并根据建立的直角坐标系确定解析得到的多个骨骼点在目标视频帧中的坐标信息，如左肩坐标为(2，3)，由每个骨骼点在目标视频帧中的坐标信息组成骨骼点信息集合。
步骤208：基于预设姿势信息在所述骨骼点信息集合中确定待处理骨骼点信息，并转换所述待处理骨骼点信息获得目标骨骼点信息。
在本申请一具体实施方式中，沿用上例，基于预设动漫士兵姿势信息在骨骼点信息集合中确定右手肘、右手腕和右肩为待处理骨骼点，确定待处理骨骼点的二维坐标信息，包括{右肩(15，8)，右手肘(18，4)，右手腕(21，8)}；将二维的待处理骨骼点信息，通过添加0的方式，增加其z轴的坐标，获得三维的目标骨骼点信息，包括{右肩(15，8，0)，右手肘(18，4，0)，右手腕(21，8，0)}。
步骤210：判断目标骨骼点信息是否在预设姿势信息范围内。
在本申请一具体实施方式中，沿用上例，确定目标骨骼点后，基于目标骨骼点获得目标骨骼向量，右肩到右手肘的骨骼向量为：右肩骨骼点坐标减去右手肘骨骼点坐标，即(-3，4，0)，同理右手肘到右手腕骨骼向量为(-3，-4，0)，基于目标骨骼向量计算得到的右肩到右手肘的骨骼长度为5，右手肘到右手腕骨骼长度5，即确定骨骼a与骨骼b的比例信息为1:1，则确定目标骨骼信息中的比例信息在预设范围内；基于目标向量计算得到骨骼a与骨骼b之间的夹角度数为74，超过预设角度4度，在预设角度范围内，从而判断目标骨骼点信息符合预设姿势信息。
步骤212：在所述目标骨骼点信息符合预设姿势信息的情况下，获取所述预设姿势信息对应虚拟道具的虚拟道具信息。
在本申请一具体实施方式中，沿用上例，确定目标视频帧中获取到的目标骨骼点信息符合预设动漫士兵姿势信息后，获取预设动漫士兵姿势信息对应的虚拟道具剑；在预设虚拟道具信息表中确定剑对应的虚拟道具信息，虚拟道具信息中包含虚拟道具模型信息以及虚拟道具锚点信息。
步骤214：基于所述虚拟道具锚点信息以及所述目标骨骼点信息计算所述虚拟道具在所述目标视频帧中显示时的虚拟道具矩阵。
在本申请一具体实施方式中，沿用上例，在目标骨骼点信息中确定右手腕、右手肘的三维坐标分别为B(21，8，0)和C(18，4，0)；基于所述三维坐标B和C以及剑的锚点信息中的偏移量信息A计算右手肘骨骼点与右手腕骨骼点构成骨骼上靠近手腕5％的位置的矩阵为(B-C)*5％+C+A，并将其作为剑在目标视频帧中展示时锚点的矩阵。
步骤216：基于所述虚拟道具矩阵以及虚拟道具信息中的虚拟道具模型信息对所述虚拟道具进行展示。
在本申请一具体实施方式中，沿用上例，基于步骤214中计算得到剑的锚点矩阵以及剑的虚拟道具模型信息在目标视频帧中对剑进行展示。
本申请提供的虚拟道具展示方法，接收待处理视频流，并识别所述待处理视频流中的目标视频帧；解析所述目标视频帧，获得目标骨骼点信息；在所述目标骨骼点信息符合预设姿势信息的情况下，获取所述预设姿势信息对应虚拟道具的虚拟道具信息；基于所述目标骨骼点信息和所述虚拟道具信息在所述目标视频帧中展示所述虚拟道具。本申请实现了基于预设的姿势信息确定视频帧中的姿势是否与预设姿势一致，在一致的情况下结合视频帧中的骨骼信息对虚拟道具进行展示，提高了虚拟道具与姿势在展示时的准确以及真实程度，为用户带来了更好的视觉效果。
与上述方法实施例相对应，本申请还提供了虚拟道具展示装置实施例，图5示出了本申请一实施例提供的一种虚拟道具展示装置的结构示意图。如图5所示，该装置包括：
识别模块502，被配置为接收待处理视频流，并识别所述待处理视频流中的目标视频帧；
解析模块504，被配置为解析所述目标视频帧，获得目标骨骼点信息；
获取模块506，被配置为在所述目标骨骼点信息符合预设姿势信息的情况下，获取所述预设姿势信息对应虚拟道具的虚拟道具信息；
展示模块508，被配置为基于所述目标骨骼点信息和所述虚拟道具信息在所述目标视频帧中展示所述虚拟道具。
在本申请一具体实施方式中，所述装置还包括判断模块，被配置为：
确定预设姿势信息中的姿势比例信息和/或姿势角度信息，并判断所述目标骨骼点信息是否符合所述姿势比例信息和/或所述姿势角度信息；
若是，则确定所述目标骨骼点信息符合预设姿势信息；
若否，则确定所述目标骨骼点信息不符合预设姿势信息。
可选地，所述装置还包括判断子模块，被配置为：
基于所述目标骨骼点信息确定目标骨骼向量；
计算所述目标骨骼向量间的骨骼比例信息和/或骨骼角度信息；
判断所述骨骼比例信息是否符合所述姿势比例信息和/或判断所述骨骼角度信息是否符合所述姿势角度信息。
可选地，所述获取模块506，进一步被配置为：
确定预设姿势信息对应的虚拟道具；
获取虚拟道具信息表；
在所述虚拟道具信息表中确定所述虚拟道具，并获取所述虚拟道具对应的虚拟道具信息。
可选地，所述展示模块508，进一步被配置为：
基于所述虚拟道具的虚拟道具锚点以及所述目标骨骼点信息计算所述虚拟道具的虚拟道具锚点信息；
根据所述虚拟道具信息和所述虚拟道具锚点信息在所述目标视频帧中展示所述虚拟道具。
可选地，所述展示模块508，进一步被配置为：
根据虚拟道具信息中的虚拟道具锚点信息以及所述目标骨骼点信息计算所述虚拟道具在所述目标视频帧中显示时的虚拟道具矩阵。
可选地，所述装置还包括预设姿势模块，被配置为：
确定姿势角度信息和/或姿势比例信息；
根据所述姿势角度信息和/或所述姿势比例信息生成预设姿势信息。
可选地，所述装置还包括预设虚拟道具模块，被配置为：
获取虚拟道具的虚拟道具模型信息以及所述虚拟道具的虚拟道具锚点；
基于所述虚拟道具对应的预设姿势信息定义所述虚拟道具锚点在骨骼点之间的虚拟道具锚点信息；
由所述虚拟道具模型信息和所述虚拟道具锚点信息生成与所述虚拟道具对应的虚拟道具信息。
可选地，所述识别模块502，进一步被配置为：
确定预设识别规则；
基于所述预设识别规则识别所述待处理视频流中符合所述预设识别规则的视频帧作为目标视频帧。
可选地，所述解析模504，进一步被配置为：
解析所述目标视频帧获得骨骼点信息集合；
基于预设姿势信息在所述骨骼点信息集合中确定待处理骨骼点信息；
转换所述待处理骨骼点信息获得目标骨骼点信息。
可选地，所述装置还包括执行模块，被配置为：
在所述目标骨骼点信息不符合预设姿势信息的情况下，继续执行识别所述待处理视频流中的目标视频帧的步骤。
本申请的虚拟道具展示装置，识别模块，接收待处理视频流，并识别所述待处理视频流中的目标视频帧；解析模块，解析所述目标视频帧，获得目标骨骼点信息；获取模块，在所述目标骨骼点信息符合预设姿势信息的情况下，获取所述预设姿势信息对应虚拟道具的 虚拟道具信息；展示模块，基于所述目标骨骼点信息和所述虚拟道具信息在所述目标视频帧中展示所述虚拟道具。通过基于预设的姿势信息确定视频帧中的姿势是否与预设姿势一致，在一致的情况下结合视频帧中的骨骼信息对虚拟道具进行展示，提高了虚拟道具与姿势在展示时的准确以及真实程度，为用户带来了更好的视觉效果。
上述为本实施例的一种虚拟道具展示装置的示意性方案。需要说明的是，该虚拟道具展示装置的技术方案与上述的虚拟道具展示方法的技术方案属于同一构思，虚拟道具展示装置的技术方案未详细描述的细节内容，均可以参见上述虚拟道具展示方法的技术方案的描述。
图6示出了根据本申请一实施例提供的一种计算设备600的结构框图。该计算设备600的部件包括但不限于存储器610和处理器620。处理器620与存储器610通过总线630相连接，数据库650用于保存数据。
计算设备600还包括接入设备640，接入设备640使得计算设备600能够经由一个或多个网络660通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备640可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC))中的一个或多个，诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口，等等。
在本申请的一个实施例中，计算设备600的上述部件以及图6中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图6所示的计算设备结构框图仅仅是出于示例的目的，而不是对本申请范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
计算设备600可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。计算设备600还可以是移动式或静止式的服务器。
其中，处理器620执行所述计算机指令时实现所述的虚拟道具展示方法的步骤。
上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的虚拟道具展示方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述虚拟道具展示方法的技术方案的描述。
本申请一实施例还提供一种计算机可读存储介质，其存储有计算机指令，该计算机指令被处理器执行时实现如前所述虚拟道具展示方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的虚拟道具展示方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述虚拟道具展示方法的技术方案的描述。
本申请一实施例还提供一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述虚拟道具展示方法的步骤。
上述为本实施例的一种计算机程序的示意性方案。需要说明的是，该计算机程序的技术方案与上述的虚拟道具展示方法的技术方案属于同一构思，计算机程序的技术方案未详细描述的细节内容，均可以参见上述虚拟道具展示方法的技术方案的描述。
上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且 仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上公开的本申请优选实施例只是用于帮助阐述本申请。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本申请的内容，可作很多的修改和变化。本申请选取并具体描述这些实施例，是为了更好地解释本申请的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本申请。本申请仅受权利要求书及其全部范围和等效物的限制。

Claims (15)

  1. 一种虚拟道具展示方法，包括：
    接收待处理视频流，并识别所述待处理视频流中的目标视频帧；
    解析所述目标视频帧，获得目标骨骼点信息；
    在所述目标骨骼点信息符合预设姿势信息的情况下，获取所述预设姿势信息对应虚拟道具的虚拟道具信息；
    基于所述目标骨骼点信息和所述虚拟道具信息在所述目标视频帧中展示所述虚拟道具。
  2. 如权利要求1所述的虚拟道具展示方法，解析所述目标视频帧，获得目标骨骼点信息之后，还包括：
    确定预设姿势信息中的姿势比例信息和/或姿势角度信息，并判断所述目标骨骼点信息是否符合所述姿势比例信息和/或所述姿势角度信息；
    若是，则确定所述目标骨骼点信息符合预设姿势信息；
    若否，则确定所述目标骨骼点信息不符合预设姿势信息。
  3. 如权利要求2所述的虚拟道具展示方法，判断所述目标骨骼点信息是否符合所述姿势比例信息和/或所述姿势角度信息，包括：
    基于所述目标骨骼点信息确定目标骨骼向量；
    计算所述目标骨骼向量间的骨骼比例信息和/或骨骼角度信息；
    判断所述骨骼比例信息是否符合所述姿势比例信息和/或判断所述骨骼角度信息是否符合所述姿势角度信息。
  4. 如权利要求1所述的虚拟道具展示方法，获取所述预设姿势信息对应虚拟道具的虚拟道具信息，包括：
    确定预设姿势信息对应的虚拟道具；
    获取虚拟道具信息表；
    在所述虚拟道具信息表中确定所述虚拟道具，并获取所述虚拟道具对应的虚拟道具信息。
  5. 如权利要求1所述的虚拟道具展示方法，基于所述目标骨骼点信息和所述虚拟道具信息在所述目标视频帧中展示所述虚拟道具，包括：
    基于所述虚拟道具的虚拟道具锚点以及所述目标骨骼点信息确定所述虚拟道具的虚拟道具锚点信息；
    根据所述虚拟道具信息和所述虚拟道具锚点信息在所述目标视频帧中展示所述虚拟道具。
  6. 如权利要求5所述的虚拟道具展示方法，基于所述虚拟道具的虚拟道具锚点以及所述目标骨骼点信息计算所述虚拟道具的虚拟道具锚点信息，包括：
    根据虚拟道具信息中的虚拟道具锚点信息以及所述目标骨骼点信息计算所述虚拟道具在所述目标视频帧中显示时的虚拟道具矩阵。
  7. 如权利要求1-6任意一项所述的虚拟道具展示方法，接收待处理视频流之前，还包括：
    确定姿势角度信息和/或姿势比例信息；
    根据所述姿势角度信息和/或所述姿势比例信息生成预设姿势信息。
  8. 如权利要求1-6任意一项所述的虚拟道具展示方法，接收待处理视频流之前，还包括：
    获取虚拟道具的虚拟道具模型信息以及所述虚拟道具的虚拟道具锚点；
    基于所述虚拟道具对应的预设姿势信息定义所述虚拟道具锚点在骨骼点之间的虚拟道具锚点信息；
    由所述虚拟道具模型信息和所述虚拟道具锚点信息生成与所述虚拟道具对应的虚拟道具信息。
  9. 如权利要求1-6任意一项所述的虚拟道具展示方法，识别所述待处理视频流中的目标视频帧，包括：
    确定预设识别规则；
    基于所述预设识别规则识别所述待处理视频流中符合所述预设识别规则的视频帧作为目标视频帧。
  10. 如权利要求1-6任意一项所述的虚拟道具展示方法，解析所述目标视频帧，获得目标骨骼点信息，包括：
    解析所述目标视频帧获得骨骼点信息集合；
    基于预设姿势信息在所述骨骼点信息集合中确定待处理骨骼点信息；
    转换所述待处理骨骼点信息获得目标骨骼点信息。
  11. 如权利要求1-6任意一项所述的虚拟道具展示方法，所述方法还包括：
    在所述目标骨骼点信息不符合预设姿势信息的情况下，继续执行识别所述待处理视频流中的目标视频帧的步骤。
  12. 一种虚拟道具展示装置，包括：
    识别模块，被配置为接收待处理视频流，并识别所述待处理视频流中的目标视频帧；
    解析模块，被配置为解析所述目标视频帧，获得目标骨骼点信息；
    获取模块，被配置为在所述目标骨骼点信息符合预设姿势信息的情况下，获取所述预设姿势信息对应虚拟道具的虚拟道具信息；
    展示模块，被配置为基于所述目标骨骼点信息和所述虚拟道具信息在所述目标视频帧中展示所述虚拟道具。
  13. 一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述计算机指令时实现权利要求1-11任意一项所述方法的步骤。
  14. 一种计算机可读存储介质，其存储有计算机指令，该计算机指令被处理器执行时实现权利要求1-11任意一项所述方法的步骤。
  15. 一种计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-11任意一项所述方法的步骤。
PCT/CN2022/100038 2021-09-10 2022-06-21 虚拟道具展示方法及装置 WO2023035725A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111062754.6A CN113793409A (zh) 2021-09-10 2021-09-10 虚拟道具展示方法及装置
CN202111062754.6 2021-09-10

Publications (1)

Publication Number Publication Date
WO2023035725A1 true WO2023035725A1 (zh) 2023-03-16

Family

ID=78880110

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/100038 WO2023035725A1 (zh) 2021-09-10 2022-06-21 虚拟道具展示方法及装置

Country Status (2)

Country Link
CN (1) CN113793409A (zh)
WO (1) WO2023035725A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113793409A (zh) * 2021-09-10 2021-12-14 上海幻电信息科技有限公司 虚拟道具展示方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105843386A (zh) * 2016-03-22 2016-08-10 宁波元鼎电子科技有限公司 一种商场虚拟试衣***
CN106056053A (zh) * 2016-05-23 2016-10-26 西安电子科技大学 基于骨骼特征点提取的人体姿势识别方法
US20190251341A1 (en) * 2017-12-08 2019-08-15 Huawei Technologies Co., Ltd. Skeleton Posture Determining Method and Apparatus, and Computer Readable Storage Medium
CN112076473A (zh) * 2020-09-11 2020-12-15 腾讯科技（深圳）有限公司 虚拟道具的控制方法、装置、电子设备及存储介质
CN113034219A (zh) * 2021-02-19 2021-06-25 深圳创维－Rgb电子有限公司 虚拟着装方法、装置、设备及计算机可读存储介质
CN113129450A (zh) * 2021-04-21 2021-07-16 北京百度网讯科技有限公司 虚拟试衣方法、装置、电子设备和介质
CN113793409A (zh) * 2021-09-10 2021-12-14 上海幻电信息科技有限公司 虚拟道具展示方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105843386A (zh) * 2016-03-22 2016-08-10 宁波元鼎电子科技有限公司 一种商场虚拟试衣***
CN106056053A (zh) * 2016-05-23 2016-10-26 西安电子科技大学 基于骨骼特征点提取的人体姿势识别方法
US20190251341A1 (en) * 2017-12-08 2019-08-15 Huawei Technologies Co., Ltd. Skeleton Posture Determining Method and Apparatus, and Computer Readable Storage Medium
CN112076473A (zh) * 2020-09-11 2020-12-15 腾讯科技（深圳）有限公司 虚拟道具的控制方法、装置、电子设备及存储介质
CN113034219A (zh) * 2021-02-19 2021-06-25 深圳创维－Rgb电子有限公司 虚拟着装方法、装置、设备及计算机可读存储介质
CN113129450A (zh) * 2021-04-21 2021-07-16 北京百度网讯科技有限公司 虚拟试衣方法、装置、电子设备和介质
CN113793409A (zh) * 2021-09-10 2021-12-14 上海幻电信息科技有限公司 虚拟道具展示方法及装置

Also Published As

Publication number Publication date
CN113793409A (zh) 2021-12-14

Similar Documents

Publication Publication Date Title
US11790589B1 (en) System and method for creating avatars or animated sequences using human body features extracted from a still image
EP4058989A1 (en) 3d body model generation
US11836862B2 (en) External mesh with vertex attributes
WO2023109753A1 (zh) 虚拟角色的动画生成方法及装置、存储介质、终端
WO2023039462A1 (en) Body fitted accessory with physics simulation
CN113362263A (zh) 变换虚拟偶像的形象的方法、设备、介质及程序产品
WO2023035725A1 (zh) 虚拟道具展示方法及装置
Kang et al. Interactive animation generation of virtual characters using single RGB-D camera
CN112190921A (zh) 一种游戏交互方法及装置
KR20180011664A (ko) 얼굴 표현 및 심리 상태 파악과 보상을 위한 얼굴 정보 분석 방법 및 얼굴 정보 분석 장치
WO2023121898A1 (en) Real-time upper-body garment exchange
US20220301272A1 (en) True size eyewear in real time
US20230154084A1 (en) Messaging system with augmented reality makeup
WO2023121896A1 (en) Real-time motion and appearance transfer
WO2023121897A1 (en) Real-time garment exchange
US20230068731A1 (en) Image processing device and moving image data generation method
WO2024069944A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2024052519A (ja) 情報処理装置、情報処理方法、及びプログラム
Xiong et al. Real-Time Clothing Virtual Display Based on Human Pose Estimation
CN116363756A (zh) 动作朝向识别方法及装置
WO2024107634A1 (en) Real-time try-on using body landmarks
WO2024010800A1 (en) Applying animated 3d avatar in ar experiences
CN113908553A (zh) 游戏角色表情生成方法、装置、电子设备及存储介质
CN113283953A (zh) 一种虚拟试衣方法、装置、设备及存储介质
CN116630488A (zh) 视频图像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22866200

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE