JP2021190079A - Method for generating video tag, device, electronic apparatus, and storage medium - Google Patents
Method for generating video tag, device, electronic apparatus, and storage medium Download PDFInfo
- Publication number
- JP2021190079A JP2021190079A JP2020213352A JP2020213352A JP2021190079A JP 2021190079 A JP2021190079 A JP 2021190079A JP 2020213352 A JP2020213352 A JP 2020213352A JP 2020213352 A JP2020213352 A JP 2020213352A JP 2021190079 A JP2021190079 A JP 2021190079A
- Authority
- JP
- Japan
- Prior art keywords
- video
- information
- tag
- candidate
- tags
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/74—Browsing; Visualisation therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
- G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/26—Techniques for post-processing, e.g. correcting the recognition result
- G06V30/262—Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
- G06V30/274—Syntactic or semantic context, e.g. balancing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
- H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
- H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Library & Information Science (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本出願は、コンピュータ技術分野に関し、具体的に自然言語処理、深層学習技術分野に関し、特にビデオタグの生成方法、装置、電子機器及び記憶媒体を提供する。 The present application provides a method for generating a video tag, an apparatus, an electronic device, and a storage medium in the field of computer technology, specifically in the fields of natural language processing and deep learning technology.
ユーザの興味のあるポイントに基づくパーソナライズされた情報推奨は、ビデオリソースの推奨など、情報消費の新しい潮流であり、ビデオリソースのパーソナライズされた推奨を実現するには、通常、ビデオリソースにタグを付け、ビデオタグに基づいて推奨を行う必要がある。 Personalized information recommendations based on user interests are a new trend in information consumption, such as video resource recommendations, and to achieve personalized video resource recommendations, video resources are typically tagged. , Need to make recommendations based on video tags.
精度の高いビデオタグをどのように取得するかは、ビデオ推奨に重要な役割を果たしていることがわかる。 It turns out that how to get accurate video tags plays an important role in video recommendations.
本出願は、正確で完全なビデオタグを生成するためのビデオタグの生成方法、装置、電子機器及び記憶媒体を提供する。 The present application provides video tag generation methods, devices, electronic devices and storage media for generating accurate and complete video tags.
第1の側面によれば、ビデオタグの生成方法を提供し、
ビデオの複数の候補タグを取得するステップと、
前記ビデオのビデオ情報を取得するステップと、
前記ビデオ情報と前記複数の候補タグの間の第1の相関性情報をそれぞれ計算するステップと、
前記第1の相関性情報に基づいて、前記複数の候補タグをソートするステップと、
ソート結果に基づいて前記ビデオのタグを生成するステップと、を含む。
According to the first aspect, it provides a method of generating video tags,
Steps to get multiple candidate tags for a video,
The step of acquiring the video information of the video and
A step of calculating the first correlation information between the video information and the plurality of candidate tags, respectively.
A step of sorting the plurality of candidate tags based on the first correlation information, and
Includes a step of generating a tag for the video based on the sorting result.
本出願の実施例のビデオタグの生成方法は、ビデオの複数の候補タグ及びビデオ情報を取得し、ビデオ情報と複数の候補タグの間の第1の相関性情報をそれぞれ計算し、そして第1の相関性情報に基づいて、複数の候補タグをソートし、ソート結果に基づいてビデオのタグを生成する。これにより、ビデオ情報と各候補タグの間の第1の相関性情報に基づいて、複数の候補タグをソートし、ソート結果に基づいてビデオのタグを生成することにより、複数の候補タグの統合と利用を実現し、ビデオに正確で完全なタグを付け、ビデオタグの正確性と完全性を向上させ、ビデオ推奨の効果を向上させる。 The method of generating a video tag of an embodiment of the present application acquires a plurality of candidate tags and video information of a video, calculates a first correlation information between the video information and the plurality of candidate tags, respectively, and first. Sort multiple candidate tags based on the correlation information in, and generate video tags based on the sorted results. This allows the integration of multiple candidate tags by sorting the multiple candidate tags based on the first correlation information between the video information and each candidate tag and generating the video tag based on the sort result. And enable the use, tag the video accurately and completely, improve the accuracy and completeness of the video tag, and improve the effectiveness of the video recommendation.
第2の側面によれば、ビデオタグの生成装置を提供し、
ビデオの複数の候補タグを取得するための第1の取得モジュールと、
前記ビデオのビデオ情報を取得するための第2の取得モジュールと、
前記ビデオ情報と前記複数の候補タグの間の第1の相関性情報をそれぞれ計算するための第1の計算モジュールと、
前記第1の相関性情報に基づいて、前記複数の候補タグをソートするためのソートモジュールと、
ソート結果に基づいて前記ビデオのタグを生成するための第1の生成モジュールと、を含む。
According to the second aspect, it provides a video tag generator,
The first acquisition module for acquiring multiple candidate tags for a video,
A second acquisition module for acquiring the video information of the video, and
A first calculation module for calculating the first correlation information between the video information and the plurality of candidate tags, respectively.
A sort module for sorting the plurality of candidate tags based on the first correlation information, and
Includes a first generation module for generating tags for the video based on the sort result.
本出願の実施例のビデオタグの生成装置は、ビデオの複数の候補タグ及びビデオ情報を取得し、ビデオ情報と複数の候補タグの間の第1の相関性情報をそれぞれ計算し、そして第1の相関性情報に基づいて、複数の候補タグをソートし、ソート結果に基づいてビデオのタグを生成する。これにより、ビデオ情報と各候補タグの間の第1の相関性情報に基づいて、複数の候補タグをソートし、ソート結果に基づいてビデオのタグを生成することにより、複数の候補タグの統合と利用を実現し、ビデオに正確で完全なタグを付け、ビデオタグの正確性と完全性を向上させ、ビデオ推奨の効果を向上させる。 The video tag generator of the embodiments of the present application acquires a plurality of candidate tags and video information of a video, calculates a first correlation information between the video information and the plurality of candidate tags, respectively, and first. Sort multiple candidate tags based on the correlation information in, and generate video tags based on the sorted results. This allows the integration of multiple candidate tags by sorting the multiple candidate tags based on the first correlation information between the video information and each candidate tag and generating the video tag based on the sort result. And enable the use, tag the video accurately and completely, improve the accuracy and completeness of the video tag, and improve the effectiveness of the video recommendation.
第3の側面によれば、電子機器を提供し、
少なくとも一つのプロセッサと、
前記少なくとも一つのプロセッサと通信可能に接続されるメモリと、を含み、
前記メモリには、前記少なくとも一つのプロセッサによって実行可能な命令が記憶されており、前記命令が前記少なくとも一つのプロセッサによって実行される場合、前記少なくとも一つのプロセッサが上記第1の側面の実施例に記載のビデオタグの生成方法を実行する。
According to the third aspect, providing electronic equipment,
With at least one processor,
A memory that is communicably connected to the at least one processor, including
The memory stores an instruction that can be executed by the at least one processor, and when the instruction is executed by the at least one processor, the at least one processor is the embodiment of the first aspect. Perform the described video tag generation method.
第4の側面によれば、コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータ命令は、前記コンピュータに上記第1の側面の実施例に記載のビデオタグの生成方法を実行させる。
第5の態様によれば、コンピュータプログラムを提供し、前記コンピュータプログラムにおける命令が実行された場合に、上記第1の側面の実施例に記載のビデオタグの生成方法が実行される。
According to a fourth aspect, a non-temporary computer-readable storage medium in which computer instructions are stored is provided, the computer instructions to the computer the video tag according to the embodiment of the first aspect. To execute the generation method of.
According to the fifth aspect, when a computer program is provided and an instruction in the computer program is executed, the method for generating a video tag according to the embodiment of the first aspect is executed.
本出願の実施例によれば、ビデオ情報と各候補タグの間の第1の相関性情報に基づいて、複数の候補タグをソートし、ソート結果に基づいてビデオのタグを生成することにより、複数の候補タグの統合と利用を実現し、ビデオに正確で完全なタグを付け、ビデオタグの正確性と完全性を向上させ、ビデオ推奨の効果を向上させる。 According to an embodiment of the present application, a plurality of candidate tags are sorted based on the first correlation information between the video information and each candidate tag, and the video tag is generated based on the sort result. Achieve integration and utilization of multiple candidate tags, tag videos accurately and completely, improve the accuracy and completeness of video tags, and improve the effectiveness of video recommendations.
上記の選択可能な方式が有する他の効果については、以下、具体的な実施例を組み合わせて説明する。 Other effects of the above selectable method will be described below in combination with specific examples.
図面は、本技術案をよりよく理解するために使用されており、本出願の限定を構造するものではない。
以下、図面を組み合わせて本出願の例示的な実施例を説明し、理解を容易にするためにその中には本出願の実施例の様々な詳細事項を含んでおり、それらは単なる例示的なものと見なされるべきである。したがって、当業者は、本出願の範囲及び精神から逸脱することなく、ここで説明される実施例に対して様々な変更と修正を行うことができることを認識されたい。同様に、明確及び簡潔するために、以下の説明では、周知の機能及び構造の説明を省略する。 Hereinafter, exemplary embodiments of the present application are described in combination with the drawings, which include various details of the embodiments of the present application for ease of understanding, which are merely exemplary. Should be considered as a thing. It should be appreciated that one of ordinary skill in the art can therefore make various changes and amendments to the embodiments described herein without departing from the scope and spirit of the present application. Similarly, for clarity and brevity, the following description omits the description of well-known functions and structures.
以下、図面を参照して本出願の実施例のビデオタグの生成方法、装置、電子機器及び記憶媒体について説明する。 Hereinafter, a method for generating a video tag, an apparatus, an electronic device, and a storage medium according to an embodiment of the present application will be described with reference to the drawings.
本出願の実施例のビデオタグの生成方法は、ビデオ情報と各候補タグの間の第1の相関性情報に基づいて、複数の候補タグをソートし、ソート結果に基づいてビデオのタグを生成することにより、複数の候補タグの統合と利用を実現し、ビデオに正確で完全なタグを付け、ビデオタグの正確性と完全性を向上させ、ビデオ推奨の効果を向上させる。 The video tag generation method of the embodiment of the present application sorts a plurality of candidate tags based on the video information and the first correlation information between each candidate tag, and generates a video tag based on the sorting result. By doing so, you can integrate and utilize multiple candidate tags, tag your videos accurately and completely, improve the accuracy and completeness of your video tags, and improve the effectiveness of your video recommendations.
図1は本出願の実施例により提供されるビデオタグの生成方法の概略フローチャートである。 FIG. 1 is a schematic flowchart of a video tag generation method provided by an embodiment of the present application.
本出願の実施例のビデオタグの生成方法は、本出願の実施例により提供されるビデオタグの生成装置によって実行されることができ、当該装置は、ビデオ情報と複数の候補タグの間の相関性に基づいて、正確で完全なビデオタグを生成するように、電子機器に配置されることができる。 The video tag generation method of the embodiments of the present application can be performed by the video tag generator provided by the embodiments of the present application, which is a correlation between the video information and the plurality of candidate tags. Based on gender, it can be placed in an electronic device to produce accurate and complete video tags.
図1に示すように、当該ビデオタグの生成方法は、ステップ101〜ステップ105を含む。
ステップ101:ビデオの複数の候補タグを取得する。
As shown in FIG. 1, the method for generating the video tag includes
Step 101: Acquire a plurality of candidate tags for the video.
本出願において、ビデオタイトル、ユーザタグなどビデオの相関情報に基づいて、ビデオの複数の候補タグを取得することができる。ここで、ユーザタグとは、ユーザがビデオをアップロードするときに編集するタグのことである。 In this application, a plurality of candidate tags for a video can be obtained based on the correlation information of the video such as a video title and a user tag. Here, the user tag is a tag that the user edits when uploading the video.
例えば、あるビデオの発表者がこのビデオをアップロードする際に、タグ「グルメ」、「スイーツ」を編集すれば、「グルメ」、「スイーツ」をそのビデオの候補タグとすることができる。 For example, if the presenter of a video edits the tags "gourmand" and "sweets" when uploading this video, "gourmand" and "sweets" can be used as candidate tags for the video.
ステップ102:ビデオのビデオ情報を取得する。 Step 102: Acquire the video information of the video.
本出願において、ビデオ情報はビデオのコンテンツ情報を指す。実際のアプリケーションでは、ビデオのタグがビデオのコンテンツに近いほど、そのビデオタグがより正確であることを示す。したがって、ビデオ中の人物情報、建物名称などビデオのビデオ情報を取得することができる。 In this application, video information refers to video content information. In a real application, the closer a video tag is to the content of the video, the more accurate the video tag will be. Therefore, it is possible to acquire video information of the video such as person information and building name in the video.
ステップ103:ビデオ情報と複数の候補タグの間の第1の相関性情報をそれぞれ計算する。 Step 103: Calculate the first correlation information between the video information and the plurality of candidate tags, respectively.
本出願において、ビデオ情報と各候補タグの相関情報を計算することができ、区別を容易にするために、ここでは第1の相関性情報と呼ぶ。 In the present application, the correlation information between the video information and each candidate tag can be calculated, and in order to facilitate the distinction, it is referred to here as the first correlation information.
具体的に、ビデオ情報に対応するベクトル表現及び各候補タグに対応するベクトル表現を取得し、そしてビデオ情報に対応するベクトル表現及び各候補タグに対応するベクトル表現に基づいて、ビデオ情報と各候補タグの間のマッチング度合いを計算し、マッチング度合いに基づいて第1の相関性情報を決定する。ここで、マッチング度合いが高いほど、相関性が大きくなる。これにより、各候補タグとビデオ情報の間の第1の相関性情報を取得することができる。 Specifically, the vector representation corresponding to the video information and the vector representation corresponding to each candidate tag are acquired, and the video information and each candidate are obtained based on the vector representation corresponding to the video information and the vector representation corresponding to each candidate tag. The degree of matching between the tags is calculated, and the first correlation information is determined based on the degree of matching. Here, the higher the degree of matching, the greater the correlation. Thereby, the first correlation information between each candidate tag and the video information can be acquired.
ステップ104:第1の相関性情報に基づいて、複数の候補タグをソートする。 Step 104: Sort a plurality of candidate tags based on the first correlation information.
各候補タグとビデオ情報の間の第1の相関性情報を取得した後、各候補タグに対応する第1の相関情報に基づいて、複数の候補タグをソートする。例えば、相関性の大きい順に各候補タグに対応する第1の相関性情報をソートしてもよいし、相関性の小さい順に複数の候補タグをソートしてもよい。 After acquiring the first correlation information between each candidate tag and the video information, the plurality of candidate tags are sorted based on the first correlation information corresponding to each candidate tag. For example, the first correlation information corresponding to each candidate tag may be sorted in descending order of correlation, or a plurality of candidate tags may be sorted in ascending order of correlation.
ステップ105:ソート結果に基づいてビデオのタグを生成する。 Step 105: Generate video tags based on the sorting results.
取得されたいくつかの候補は、ビデオコンテンツとの関連性が低い可能性があるので、本出願において、複数の候補タグからビデオ情報との相関性が最大の予め設定された数量の候補タグを取得して、これらの候補タグをビデオのタグとすることができる。これにより、ビデオ情報との相関性が低い候補タグをふるい落とすことができ、ビデオタグの正確性を向上させる。 Since some of the obtained candidates may have low relevance to the video content, in this application, a preset number of candidate tags having the maximum correlation with the video information from a plurality of candidate tags are selected. It can be obtained and these candidate tags can be used as video tags. This makes it possible to screen out candidate tags that have a low correlation with the video information, and improve the accuracy of the video tags.
実際のアプリケーションでは、単一のタグはビデオコンテンツを表現することが困難であり、タグがビデオコンテンツに関係がないなど、タグにノイズを帯びている場合があり、本出願において、複数の候補タグを統合と利用してビデオタグを取得し、ビデオタグの完全性を向上させる。 In a real application, it is difficult for a single tag to represent video content, and the tag may be noisy, such as the tag has nothing to do with the video content. Get video tags by integrating and utilizing to improve the integrity of video tags.
本出願の実施例において、ビデオの複数の候補タグ及びビデオ情報を取得し、ビデオ情報と複数の候補タグの間の第1の相関性情報をそれぞれ計算し、そして第1の相関性情報に基づいて、複数の候補タグをソートし、ソート結果に基づいてビデオのタグを生成する。これにより、ビデオ情報と各候補タグの間の第1の相関性情報に基づいて、複数の候補タグをソートし、ソート結果に基づいてビデオのタグを生成することにより、複数の候補タグの統合と利用を実現し、ビデオに正確で完全なタグを付け、ビデオタグの正確性と完全性を向上させ、ビデオ推奨の効果を向上させる。 In an embodiment of the present application, a plurality of candidate tags and video information of a video are acquired, a first correlation information between the video information and the plurality of candidate tags is calculated, respectively, and based on the first correlation information. Then, multiple candidate tags are sorted and a video tag is generated based on the sorted result. This allows the integration of multiple candidate tags by sorting the multiple candidate tags based on the first correlation information between the video information and each candidate tag and generating the video tag based on the sort result. And enable the use, tag the video accurately and completely, improve the accuracy and completeness of the video tag, and improve the effectiveness of the video recommendation.
生成されたビデオタグの正確性と完全性をさらに向上させるために、本出願の一つの実施例において、知識グラフまたは知識点グラフによって、複数の候補タグ間の相関性を取得し、第1の相関性を結合してビデオのタグを生成することもできる。以下、図2を組み合わせて説明し、図2は本出願の実施例により提供されるもう一つのビデオタグの生成方法の概略フローチャートである。 In order to further improve the accuracy and completeness of the generated video tag, in one embodiment of the present application, a knowledge graph or a knowledge point graph is used to obtain the correlation between a plurality of candidate tags. You can also combine correlations to generate video tags. Hereinafter, FIG. 2 will be described in combination, and FIG. 2 is a schematic flowchart of another method for generating a video tag provided by an embodiment of the present application.
ステップ201:ビデオの複数の候補タグを取得する。 Step 201: Get multiple candidate tags for the video.
ステップ202:ビデオのビデオ情報を取得する。 Step 202: Get the video information of the video.
ステップ203:ビデオ情報と複数の候補タグの間の第1の相関性情報をそれぞれ計算する。 Step 203: Calculate the first correlation information between the video information and the plurality of candidate tags, respectively.
本出願において、ステップ201〜ステップ203はステップ101〜ステップ103と類似するため、ここでは説明を省略する。
In the present application, steps 201 to 203 are similar to
ステップ204:ビデオに対応する知識グラフまたは知識点グラフを取得する。 Step 204: Get the knowledge graph or knowledge score graph corresponding to the video.
本出願において、知識グラフは予め作成されており、ビデオの名称や人物に基づいて知識グラフを取得することができる。例えば、ビデオがドラマの断片であれば、そのドラマの監督、役割、劇中の人物関係、各役割の俳優など、そのドラマの相関情報をインターネットから照会することができ、そのドラマの相関情報を知識グラフと見なすことができる。 In this application, the knowledge graph is created in advance, and the knowledge graph can be obtained based on the name of the video or the person. For example, if the video is a fragment of a drama, the correlation information of the drama such as the director, role, personal relationship in the drama, actors of each role, etc. can be inquired from the Internet, and the correlation information of the drama can be inquired. It can be regarded as a knowledge graph.
知識点グラフは、エンティティ及びエンティティとエンティティの間の相関性を含む。ここで、エンティティとエンティティの間の相関性は共起状況に基づいて計算して取得されることができる。 Knowledge point graphs include entities and correlations between entities. Here, the correlation between entities can be calculated and obtained based on the co-occurrence situation.
ステップ205:知識グラフまたは知識点グラフに基づいて複数の候補タグ間の第2の相関性情報を計算する。 Step 205: Calculate the second correlation information between the plurality of candidate tags based on the knowledge graph or knowledge point graph.
本出願において、知識グラフにおけるエンティティとエンティティの間の関係に基づいて、複数の候補タグ間の相関性情報を決定することができ、ここでは第2の相関性情報と呼ぶ。 In the present application, the correlation information between a plurality of candidate tags can be determined based on the relationship between the entities in the knowledge graph, and is referred to here as the second correlation information.
例えば、あるビデオの候補タグはキャラクタA、ドラマ名Bであり、そのビデオに対応する知識グラフでキャラクタAの俳優がCであれば、そのキャラクタAと俳優Cの間の相関性、および俳優CとドラマBの間の相関性を決定することができる。 For example, if the candidate tag for a video is character A, drama name B, and the actor of character A is C in the knowledge graph corresponding to that video, then the correlation between character A and actor C, and actor C. And drama B can be determined.
知識点グラフはエンティティとエンティティの間の相関性を含むので、知識点グラフに基づいて複数の候補タグ間の相関性情報を取得することができる。例えば、知識点グラフからある俳優と出演するあるドラマの間の相関性を取得することができる。 Since the knowledge point graph includes the correlation between entities, it is possible to acquire the correlation information between a plurality of candidate tags based on the knowledge point graph. For example, it is possible to obtain the correlation between an actor and a drama in which an actor appears from a knowledge score graph.
本出願において、知識グラフまたは知識点グラフによれば、候補タグ間の相関性情報を取得できるだけでなく、候補タグを拡張して、候補タグをより豊かにすることもできる。 In the present application, according to the knowledge graph or the knowledge score graph, not only the correlation information between the candidate tags can be obtained, but also the candidate tags can be expanded to enrich the candidate tags.
ステップ206:第1の相関性情報及び第2の相関性情報に基づいて複数の候補タグをソートする。 Step 206: Sort a plurality of candidate tags based on the first correlation information and the second correlation information.
第1の相関性情報及び第2の相関性情報に基づいて複数の候補タグをソートする場合、まず各候補タグに対応する第1の相関性情報に基づいて、複数の候補タグをソートし、初期ソート結果を取得し、そして第2の相関性情報に基づいて、初期ソート結果における候補タグの位置を、相関性が比較的高い候補タグが隣接するように調整し、最終のソート結果を取得することができる。 When sorting a plurality of candidate tags based on the first correlation information and the second correlation information, first, the plurality of candidate tags are sorted based on the first correlation information corresponding to each candidate tag. Get the initial sort result, and based on the second correlation information, adjust the position of the candidate tag in the initial sort result so that the candidate tags with relatively high correlation are adjacent, and get the final sort result. can do.
または、ビデオ情報との最も相関性の高い候補タグを決定し、そして他の候補タグとこの候補タグとの相関性、及び他の候補タグとビデオ情報との相関性の平均値に基づいて、残りの候補タグをソートする。 Alternatively, determine the candidate tag that is most correlated with the video information, and based on the average value of the correlation between the other candidate tags and this candidate tag, and the correlation between the other candidate tags and the video information. Sort the remaining candidate tags.
上記2つの方式は例示にすぎず、他の第1の相関性情報及び第2の相関性情報に基づいて複数の候補タグをソートする方法は、いずれも本出願の保護範囲に属する。 The above two methods are merely examples, and any method of sorting a plurality of candidate tags based on the other first correlation information and the second correlation information belongs to the scope of protection of the present application.
ステップ207:ソート結果に基づいてビデオのタグを生成する。 Step 207: Generate video tags based on the sorting results.
本実施例において、ステップ207はステップ105と類似するため、ここでは説明を省略する。
In this embodiment,
なお、本出願において、ステップ204はステップ203の前に実行してもよく、ステップ201、202、204の実行順序は限定されず、ステップ205とステップ203の実行順序は限定されない。
In this application,
本出願の実施例において、ビデオに対応する知識グラフまたは知識点グラフを取得し、知識グラフまたは知識点グラフに基づいて複数の候補タグ間の第2の相関性情報を計算し、ここで、第1の相関性情報及び第2の相関性情報に基づいて複数の候補タグをソートすることもできる。これにより、複数の候補タグとビデオ情報の間の相関性情報及び複数の候補タグ間の相関性情報を使用して、複数の候補タグをソートし、ソートの精度を向上させ、ソート結果に基づいてビデオのタグを生成し、ビデオタグの正確性と完全性をさらに向上させる。 In an embodiment of the present application, a knowledge graph or knowledge score graph corresponding to a video is acquired, and a second correlation information between a plurality of candidate tags is calculated based on the knowledge graph or the knowledge point graph, where the second correlation information is calculated. It is also possible to sort a plurality of candidate tags based on the correlation information of 1 and the correlation information of 2nd. This sorts multiple candidate tags using the correlation information between multiple candidate tags and video information and the correlation information between multiple candidate tags, improving the accuracy of sorting and based on the sorting result. Generates video tags, further improving the accuracy and completeness of video tags.
実際のアプリケーションでは、通常、ビデオにはタイトルがあり、本出願の一つの実施例において、上記ビデオの複数の候補タグを取得するときに、まずビデオのビデオタイトルを取得し、そしてビデオタグに基づいて候補タグを生成することができる。 In a real application, the video usually has a title, and in one embodiment of this application, when getting multiple candidate tags for the video, first get the video title of the video, and then based on the video tag. Can generate candidate tags.
具体的に、ビデオタイトルに対してカットワード処理を行い、ビデオタイトルの各ワードを取得し、そしてその中からキーワードを抽出し、抽出されたキーワードを候補タグとする。 Specifically, cut word processing is performed on the video title, each word of the video title is acquired, a keyword is extracted from the keyword, and the extracted keyword is used as a candidate tag.
本出願の実施例において、ビデオの複数の候補タグを取得するときに、ビデオのビデオタイトルを取得し、ビデオタイトルに基づいて候補タグを生成する。これにより、ビデオタイトルに基づいて候補タグを生成することにより、ビデオの候補タグを豊かにする。 In the embodiment of the present application, when a plurality of candidate tags for a video are acquired, the video title of the video is acquired and the candidate tags are generated based on the video title. This enriches the video candidate tags by generating candidate tags based on the video title.
本出願の一つの実施例において、上記ビデオの複数の候補タグを取得するときに、ビデオの作者タグを取得し、作者タグに基づいて候補タグを生成することができる。具体的に、作者タグを取得した後、取得された作者タグをビデオの候補タグとする。 In one embodiment of the present application, when a plurality of candidate tags for the video are acquired, the author tag of the video can be acquired and the candidate tag can be generated based on the author tag. Specifically, after acquiring the author tag, the acquired author tag is used as a video candidate tag.
ここで、作者タグは、作者がビデオを発表するときに編集するタグを指す。 Here, the author tag refers to a tag that the author edits when publishing a video.
本出願の実施例において、ビデオの複数の候補タグを取得するときに、ビデオの作者タグを取得し、作者タグに基づいて候補タグを生成することができる。これにより、ビデオの作者タグに基づいて候補タグを生成することにより、ビデオの候補タグを豊かにする。 In the embodiment of the present application, when a plurality of candidate tags for a video are acquired, the author tag of the video can be acquired and the candidate tag can be generated based on the author tag. This enriches the video candidate tags by generating candidate tags based on the video author tags.
本出願の一つの実施例において、上記ビデオの複数の候補タグを取得するときに、ビデオの分類情報を取得し、分類情報に基づいて候補タグを生成することができる。 In one embodiment of the present application, when a plurality of candidate tags for the video are acquired, the classification information of the video can be acquired and the candidate tags can be generated based on the classification information.
本出願において、ビデオの分類情報は、エンターテインメント、お笑い、テクノロジーなど、ビデオのカテゴリを指し、作者がビデオを発表する際に入力した分類であってもよいし、知識グラフから取得したものであってもよいし、既存のビデオ分類方法に基づいて取得したビデオの分類情報であってもよい。 In this application, the video classification information refers to video categories such as entertainment, laughter, technology, etc., which may be the classification entered by the author when publishing the video, or may be obtained from a knowledge graph. It may be the classification information of the video acquired based on the existing video classification method.
分類情報を取得した後、ビデオが属するカテゴリをビデオの候補タグとすることができる。例えば、あるビデオがドラマの断片であり、そのドラマのカテゴリが時代劇ドラマであれば、「時代劇」をそのビデオの候補タグとすることができる。 After acquiring the classification information, the category to which the video belongs can be used as a video candidate tag. For example, if a video is a fragment of a drama and the drama category is a historical drama, then "historical drama" can be a candidate tag for the video.
本出願の実施例において、ビデオの複数の候補タグを取得するときに、ビデオの分類情報を取得し、分類情報に基づいて候補タグを生成することができる。これにより、ビデオの分類情報に基づいて候補タグを生成することにより、ビデオの候補タグを豊かにする。 In the embodiment of the present application, when a plurality of candidate tags for a video are acquired, the classification information of the video can be acquired and the candidate tags can be generated based on the classification information. This enriches the video candidate tags by generating candidate tags based on the video classification information.
正確性が比較的高いビデオタグを生成するために、本出願の一つの実施例において、ビデオの複数の候補タグを取得するときに、ビデオ中のテキスト情報を認識し、テキスト情報に基づいて候補タグを生成することができる。 In order to generate relatively accurate video tags, in one embodiment of the present application, when acquiring multiple candidate tags for a video, the text information in the video is recognized and the candidates are based on the text information. You can generate tags.
テキスト情報を取得する際に、ビデオに字幕があれば、ビデオから字幕であるテキスト情報を取得する。または、ビデオ中のオーディオ情報を収集し、オーディオを認識して、対応するテキスト情報を取得してもよい。 When acquiring text information, if the video has subtitles, the text information that is the subtitles is acquired from the video. Alternatively, it may collect audio information in the video, recognize the audio, and obtain the corresponding text information.
テキスト情報を取得した後、テキスト情報からキーワードを抽出し、抽出されたキーワードをビデオの候補タグとすることができる。例えば、ビデオから出現回数の多い予め設定された数のワードを抽出し、ビデオの候補タグとする。 After acquiring the text information, keywords can be extracted from the text information and the extracted keywords can be used as video candidate tags. For example, a preset number of words that appear frequently are extracted from the video and used as a candidate tag for the video.
本出願の実施例において、ビデオの複数の候補タグを取得するときに、ビデオ中のテキスト情報を認識し、テキスト情報に基づいて候補タグを生成する。ビデオ中のテキスト情報に基づいて候補タグを生成することにより、ビデオの候補タグを豊かにするだけでなく、候補タグとビデオの相関性も高い。 In the embodiment of the present application, when a plurality of candidate tags of a video are acquired, the text information in the video is recognized and the candidate tags are generated based on the text information. By generating candidate tags based on the text information in the video, not only the candidate tags of the video are enriched, but also the correlation between the candidate tags and the video is high.
ビデオの候補タグを豊かにするために、本出願の一つの実施例において、ビデオ中の主要人物に基づいてビデオの候補タグを取得することもできる。以下、図3を組み合わせて説明し、図3は本出願の実施例により提供されるもう一つのビデオタグの生成方法の概略フローチャートである。 In order to enrich the candidate tags for the video, in one embodiment of the present application, the candidate tags for the video can also be obtained based on the main characters in the video. Hereinafter, FIG. 3 will be described in combination, and FIG. 3 is a schematic flowchart of another method for generating a video tag provided by an embodiment of the present application.
図3に示すように、上記ビデオの複数の候補タグを取得するステップは、ステップ301〜ステップ303を含む。
ステップ301:ビデオ中の人物に対して顔認識を行って、人物の人物情報と出現時間を取得する。
As shown in FIG. 3, the step of acquiring a plurality of candidate tags for the video includes steps 301 to 303.
Step 301: Face recognition is performed on the person in the video, and the person information and the appearance time of the person are acquired.
本実施例において、ビデオ中のフレーム画像ごとに顔認識を行い、すべての画像中の同じ人物を集計し、人物ごとの人物情報と人物出現時間を取得することができる。 In this embodiment, face recognition can be performed for each frame image in the video, the same person in all the images can be aggregated, and the person information and the person appearance time for each person can be acquired.
ここで、人物情報はビデオでの人物の名称であってもよく、人物出現時間はビデオに出現する時間帯であってもよい。 Here, the person information may be the name of the person in the video, and the person appearance time may be the time zone in which the person appears in the video.
ステップ302:出現時間に基づいて、人物がビデオ中の主要人物であるか否かを判断する。 Step 302: Determine if the person is the main character in the video based on the appearance time.
実際のアプリケーションでは、1段のビデオでは通常、主要人物の出現時間長が長い。これに基づいて、本実施例において、出現時間に基づいて人物の出現時間長を集計し、人物ごとの出現時間長に基づいて、人物がビデオ中の主要人物であるか否かを判断することができる。 In a real application, a single-stage video usually has a long appearance time of the main character. Based on this, in this embodiment, the appearance time length of the person is totaled based on the appearance time, and it is determined whether or not the person is the main person in the video based on the appearance time length of each person. Can be done.
具体的に、人物の出現時間長のビデオ時間長における比率が、予め設定された比率より大きいか否かを判断し、大きい場合、その人物をビデオ中の主要人物とみなすことができる。 Specifically, it is determined whether or not the ratio of the appearance time length of the person to the video time length is larger than the preset ratio, and if it is large, the person can be regarded as the main person in the video.
ステップ303:人物が主要人物である場合、人物の人物情報に基づいて候補タグを生成する。 Step 303: If the person is the main person, a candidate tag is generated based on the person information of the person.
本実施例において、人物が主要人物である場合、人物の名称など人物の人物情報に基づいて候補タグを生成する。 In this embodiment, when the person is the main person, the candidate tag is generated based on the person information of the person such as the name of the person.
または、ビデオで出現時間長が最も長い予め設定された人物を、ビデオ中の主要人物とし、そして主要人物の人物情報に基づいて候補タグを生成する。 Alternatively, the preset person with the longest appearance time in the video is set as the main person in the video, and the candidate tag is generated based on the person information of the main person.
本出願の実施例において、ビデオ中の人物に対して顔認識を行って、人物の人物情報と出現時間を取得し、出現時間に基づいて、人物がビデオ中の主要人物であるか否かを判断し、人物が主要人物である場合、人物の人物情報に基づいて候補タグを生成する。これにより、ビデオにおける人物の出現時間に基づいて、人物が主要人物であるか否かを判断し、人物が主要人物である場合、主要人物の人物情報に基づいて候補タグを生成し、主要人物はビデオから認識されたものであるので、生成された候補タグはビデオとの相関性が大きいだけでなく、ビデオの候補タグを豊かにする。 In the embodiment of the present application, face recognition is performed on the person in the video, the person information and the appearance time of the person are acquired, and based on the appearance time, whether or not the person is the main person in the video is determined. If it is determined and the person is the main person, a candidate tag is generated based on the person's person information. As a result, it is determined whether or not the person is the main person based on the appearance time of the person in the video, and if the person is the main person, a candidate tag is generated based on the person information of the main person, and the main person is generated. Is recognized from the video, so the generated candidate tags not only correlate well with the video, but also enrich the video candidate tags.
上記では、いくつかの異なるソースのビデオの候補タグを取得する方法について説明し、これにより、ビデオのタグを生成するときに、複数の異なるソースの候補タグを取得することができ、複数の候補タグとビデオ情報の相関性に基づいて、ビデオのタグを生成して、異なるソースの候補タグを統合と利用してビデオのタグを生成ことにより、ビデオタグの正確性と完全性を向上させる。 The above describes how to get candidate tags for videos from several different sources, which allows you to get candidate tags for multiple different sources when generating video tags. Improve the accuracy and completeness of video tags by generating video tags based on the correlation between tags and video information, and integrating and utilizing candidate tags from different sources to generate video tags.
取得されたビデオ情報と候補タグとの相関性の精度を向上させるために、本出願の一つの実施例において、第1の相関性情報を取得するこきに、意味マッチングモデルによって第1の相関性情報を取得することができる。以下、図4を組み合わせて説明し、図4は本出願の実施例により提供されるもう一つのビデオタグの生成方法の概略フローチャートである。 In order to improve the accuracy of the correlation between the acquired video information and the candidate tag, in one embodiment of the present application, the first correlation information is acquired by the semantic matching model. Information can be obtained. Hereinafter, FIG. 4 will be described in combination, and FIG. 4 is a schematic flowchart of another method for generating a video tag provided by an embodiment of the present application.
図4に示すように、当該ビデオタグの生成方法は、ステップ401〜ステップ405を含む。
ステップ401:ビデオの複数の候補タグを取得する。
As shown in FIG. 4, the method for generating the video tag includes
Step 401: Get multiple candidate tags for the video.
ステップ402:ビデオのビデオ情報を取得する。 Step 402: Get the video information of the video.
本出願において、ステップ401〜ステップ402はステップ101〜ステップ102と類似するため、ここでは説明を省略する。
In the present application, steps 401 to 402 are similar to
ステップ403:ビデオ情報及び複数の候補タグを意味マッチングモデルに入力して、ビデオ情報と複数の候補タグの間の第1の相関性情報を生成する。 Step 403: The video information and the plurality of candidate tags are input to the semantic matching model to generate the first correlation information between the video information and the plurality of candidate tags.
本実施例において、トレーニングにより意味マッチングモデルを予め取得し、ビデオの各候補タグに対して、候補タグ及びビデオ情報を意味マッチングモデルに入力し、意味マッチングモデルによって候補タグとビデオ情報の間の第1の相関性情報を取得することができる。 In this embodiment, the semantic matching model is acquired in advance by training, the candidate tag and the video information are input to the semantic matching model for each candidate tag of the video, and the first between the candidate tag and the video information by the semantic matching model. Correlation information of 1 can be acquired.
ここで、第1の相関性情報は、候補タグとビデオ情報の間のマッチング度合いを示すためのマッチングスコアであってもよく、マッチングスコアが高いほど、相関性が大きくなる。 Here, the first correlation information may be a matching score for indicating the degree of matching between the candidate tag and the video information, and the higher the matching score, the greater the correlation.
ステップ404:第1の相関性情報に基づいて、複数の候補タグをソートする。 Step 404: Sort a plurality of candidate tags based on the first correlation information.
ステップ405:ソート結果に基づいてビデオのタグを生成する。 Step 405: Generate video tags based on the sorting results.
本実施例において、ステップ404〜ステップ405は、上記のステップ103〜104と類似するため、ここでは説明を省略する。
In this embodiment, steps 404 to 405 are similar to
本出願の実施例において、ビデオ情報と複数の候補タグの間の第1の相関性情報をそれぞれ計算する場合、ビデオ情報及び複数の候補タグを意味マッチングモデルに入力して、ビデオ情報と複数の候補タグの間の第1の相関性情報を生成する。これにより、意味マッチングモデルによって各候補タグとビデオ情報との第1の相関性情報を取得することにより、第1の相関性情報の精度を向上させ、第1の相関性情報に基づいてビデオのタグを生成して、ビデオタグの精度を向上させる。 In the embodiment of the present application, when calculating the first correlation information between the video information and the plurality of candidate tags, respectively, the video information and the plurality of candidate tags are input to the semantic matching model, and the video information and the plurality of candidate tags are input. Generates first correlation information between candidate tags. As a result, the accuracy of the first correlation information is improved by acquiring the first correlation information between each candidate tag and the video information by the semantic matching model, and the video is based on the first correlation information. Generate tags to improve the accuracy of video tags.
本出願の一つの実施例において、5の方法によって、トレーニングにより意味マッチングモデルを取得することができる。図5は本出願の実施例により提供されるもう一つのビデオタグの生成方法の概略フローチャートである。 In one embodiment of the present application, a semantic matching model can be obtained by training by the method of 5. FIG. 5 is a schematic flowchart of another video tag generation method provided by the embodiments of the present application.
図5に示すように、上記意味マッチングモデルは、以下のステップによってトレーニングして取得する。
ステップ501:サンプルビデオ情報、サンプルタグ、及びサンプルビデオ情報とサンプルタグの間のマーク相関性情報を取得する。
As shown in FIG. 5, the semantic matching model is trained and acquired by the following steps.
Step 501: Obtain sample video information, sample tags, and mark correlation information between sample video information and sample tags.
本実施例において、大量のサンプルビデオを取得することができ、各サンプルビデオのサンプルビデオ情報及びサンプルタグを取得する。ここで、サンプルタグはサンプルビデオのタグを指し、これらのタグは手動でマークしてもよく、サンプルタグは、サンプルビデオ情報と関連していても関連していなくてもよく、1つのサンプルビデオ情報は、複数のサンプルタグを有していてもよい。 In this embodiment, a large number of sample videos can be acquired, and sample video information and sample tags of each sample video are acquired. Here, the sample tags refer to the tags of the sample video, these tags may be marked manually, and the sample tags may or may not be related to the sample video information. The information may have multiple sample tags.
また、サンプルビデオ情報とサンプルタグの間のマーク相関性情報も取得する。ここで、サンプルビデオ情報はサンプルタグと関連している場合、1とマークし、関連していない場合、0とマークすることができる。 It also acquires the mark correlation information between the sample video information and the sample tag. Here, the sample video information can be marked as 1 if it is related to the sample tag and 0 if it is not related.
ステップ502:サンプルビデオ及びサンプルタグを初期意味マッチングモデルに入力して、予測相関性情報を生成する。 Step 502: Sample videos and sample tags are input into the initial semantic matching model to generate predictive correlation information.
本実施例において、各サンプルビデオ情報に対して、サンプルビデオ情報と各サンプルタグとのセットを作成し、それぞれ初期意味マッチングモデルに入力し、初期意味マッチングモデルが対応する予測相関性情報を生成することができる。 In this embodiment, for each sample video information, a set of sample video information and each sample tag is created, input to the initial semantic matching model, and the predicted correlation information corresponding to the initial semantic matching model is generated. be able to.
ステップ503:予測相関性情報及びマーク相関性情報に基づいて、初期意味マッチングモデルをトレーニングする。 Step 503: The initial semantic matching model is trained based on the predictive correlation information and the mark correlation information.
本実施例において、モデルトレーニングを行う場合、深層学習の方式を採用してトレーニングすることができる。 In this embodiment, when the model training is performed, the deep learning method can be adopted for the training.
予測相関情報を取得した後、予測相関性情報及びマーク相関性情報に基づいて、損失値を計算することができ、損失値が予め設定された損失閾値より大きいか否かを判断し、大きい場合、初期意味マッチングモデルのパラメータを調整する。そして、サンプルビデオ及びサンプルタグを、パラメータが調整された初期意味マッチングモデルに入力して、予測相関性情報を生成し、予測相関性情報及び対応するマーク相関性情報に基づいて、損失値を計算し、損失値が予め設定された損失閾値より大きいか否かを判断し、大きい場合、トレーニングを続け、損失値が予め設定された損失閾値より小さいまで、トレーニングを終了する。 After acquiring the predicted correlation information, the loss value can be calculated based on the predicted correlation information and the mark correlation information, and it is determined whether or not the loss value is larger than the preset loss threshold, and if it is large. , Initial meaning Adjust the parameters of the matching model. Then, the sample video and sample tag are input to the parameter-adjusted initial semantic matching model to generate predictive correlation information, and the loss value is calculated based on the predictive correlation information and the corresponding mark correlation information. Then, it is determined whether or not the loss value is larger than the preset loss threshold, and if it is larger, the training is continued, and the training is terminated until the loss value is smaller than the preset loss threshold.
本出願の実施例において、サンプルビデオ情報、サンプルタグ、及びサンプルビデオ情報とサンプルタグの間のマーク相関性情報を取得し、サンプルビデオ及びサンプルタグを初期意味マッチングモデルに入力して、予測相関性情報を生成し、予測相関性情報及びマーク相関性情報に基づいて、初期意味マッチングモデルをトレーニングする。これにより、サンプルビデオ情報、サンプルタグ及びマーク相関性情報によって、意味マッチングモデルをトレーニングして取得することができ、意味マッチングモデルによってビデオ情報と候補タグの間の精度が比較的高い第1の相関性情報を取得することができる。 In the examples of the present application, the sample video information, the sample tag, and the mark correlation information between the sample video information and the sample tag are acquired, and the sample video and the sample tag are input to the initial semantic matching model to predict the correlation. Generate information and train an initial semantic matching model based on predictive and mark correlation information. Thereby, the semantic matching model can be trained and acquired by the sample video information, the sample tag and the mark correlation information, and the first correlation with relatively high accuracy between the video information and the candidate tag by the semantic matching model. Sex information can be obtained.
本出願の一つの実施例において、ビデオのビデオ情報を取得するときに、ビデオのタイトル、ビデオ中の人物の人物情報、及びビデオの分類情報などを取得し、ビデオのタイトル、ビデオ中の人物の人物情報、及びビデオの分類情報に基づいてビデオのビデオ情報を生成することができる。 In one embodiment of the present application, when the video information of the video is acquired, the title of the video, the person information of the person in the video, the classification information of the video, etc. are acquired, and the title of the video, the person in the video, etc. Video information of a video can be generated based on person information and video classification information.
ここで、ビデオのタイトルは直接取得されることができ、ビデオ中の人物情報は、人物の顔の回数に基づいて生成する、複数の人物名をつなぎ合わせたテキストであってもよく、ある人物の出現回数が多いほど、このテキスト情報で対応する人名が多く出現し、ビデオの分類情報の取得は上記実施例を参照することができ、ここでは説明を省略する。 Here, the title of the video can be obtained directly, and the person information in the video may be text that is a concatenation of multiple person names, generated based on the number of faces of the person, or a person. As the number of appearances of the above increases, the corresponding person's name appears more in this text information, and the above embodiment can be referred to for the acquisition of the video classification information, and the description thereof is omitted here.
本実施例において、ビデオ情報は、ビデオのタイトル、ビデオ中の人物の人物情報及びビデオの分類情報の3つの部分から構成される。このビデオ情報を取得した後、このビデオ情報と各候補タグの間の第1の相関性情報を計算し、第1の相関性情報に基づいて複数の候補タグをソートし、ソート結果に基づいてビデオのタグを生成することができる。 In this embodiment, the video information is composed of three parts: the title of the video, the person information of the person in the video, and the classification information of the video. After acquiring this video information, the first correlation information between this video information and each candidate tag is calculated, a plurality of candidate tags are sorted based on the first correlation information, and based on the sorting result. You can generate video tags.
本出願の実施例において、ビデオのビデオ情報を取得することにより、ビデオのタイトルを取得し、ビデオ中の人物の人物情報を取得し、ビデオの分類情報を取得し、ビデオのタイトル、人物情報及び分類情報に基づいてビデオ情報を生成する。これにより、ビデオのタイトル、人物情報及び分類情報をビデオ情報に生成することにより、ビデオコンテンツを特徴づけることができるビデオ情報を取得でき、第1の相関性情報の精度をさらに向上させる。 In the embodiment of the present application, by acquiring the video information of the video, the title of the video is acquired, the person information of the person in the video is acquired, the classification information of the video is acquired, the title of the video, the person information and the person information are acquired. Generate video information based on classification information. Thereby, by generating the video title, the person information and the classification information in the video information, the video information that can characterize the video content can be acquired, and the accuracy of the first correlation information is further improved.
以下、図6を組み合わせて、意味マッチングモデルによって、ビデオ情報と候補タグの間のマッチングスコアを取得することについて説明する。図6は本出願の実施例により提供される意味マッチングモデルによってマッチングスコアを取得する概略図である。 Hereinafter, it will be described that the matching score between the video information and the candidate tag is acquired by the semantic matching model in combination with FIG. FIG. 6 is a schematic diagram for acquiring a matching score by the semantic matching model provided by the examples of the present application.
図6において、ビデオのタイトル、人物情報及び分類情報の3つの情報を含むテキスト、及び候補タグを意味マッチングモデル610に入力し、意味マッチングモデル610がビデオ情報と候補タグの間のマッチングスコアを出力する。
In FIG. 6, a text including three pieces of information, a video title, person information, and classification information, and a candidate tag are input to the
各候補タグとビデオ情報のマッチングスコアを取得した後、マッチングスコアに基づいて複数の候補タグをソートし、マッチングスコアが比較的高い予め設定された数量の候補タグをビデオのタグとすることができる。 After acquiring the matching score of each candidate tag and the video information, a plurality of candidate tags can be sorted based on the matching score, and a preset quantity of candidate tags having a relatively high matching score can be used as the video tag. ..
ビデオタグの正確性をさらに向上させるために、本出願の一つの実施例において、ビデオの複数の候補タグの粒度情報を取得し、候補タグとビデオ情報との第1の相関性情報に基づいて、候補タグの粒度情報を結合して、複数の候補タグをソートすることができる。 In order to further improve the accuracy of the video tag, in one embodiment of the present application, the particle size information of a plurality of candidate tags of the video is acquired, and based on the first correlation information between the candidate tag and the video information. , Multiple candidate tags can be sorted by combining the particle size information of the candidate tags.
ここで、粒度情報は候補タグの範囲を指示することに用いられ、粒度が細かいほど候補タグの範囲が小さくなることを示す。例えば、「時代仙侠劇」は「時代劇」よりも粒度が明らかに細かくなる。 Here, the particle size information is used to indicate the range of candidate tags, and it is shown that the finer the particle size, the smaller the range of candidate tags. For example, "Jidaigeki" is clearly finer than "Jidaigeki".
具体的に、候補タグに含まれるフィールドの数に基づいて、候補タグの長さ情報を取得し、各候補タグの長さ情報に基づいて、各候補タグの粒度情報を生成し、ここで、候補タグの長さが長いほど、粒度が細かくなる。 Specifically, the length information of the candidate tags is acquired based on the number of fields included in the candidate tags, and the particle size information of each candidate tag is generated based on the length information of each candidate tag. The longer the candidate tag, the finer the particle size.
各候補タグとビデオ情報との第1の相関性情報、及び各候補タグの粒度情報を取得した後、第1の相関性情報と粒度情報、及び第1の相関性情報の重みと粒度情報の重みに基づいて、第1の相関性情報と粒度情報の加重和を計算して、各候補タグのスコアを取得することができる。そして、各候補タグのスコアに基づいて、複数の候補タグをソートし、ソート結果に基づいてビデオのタグを生成する。 After acquiring the first correlation information between each candidate tag and the video information and the particle size information of each candidate tag, the weight and particle size information of the first correlation information and the particle size information, and the first correlation information. Based on the weight, the weighted sum of the first correlation information and the particle size information can be calculated to obtain the score of each candidate tag. Then, a plurality of candidate tags are sorted based on the score of each candidate tag, and a video tag is generated based on the sort result.
または、第1の相関性情報と粒度情報それぞれに基づいて、複数の候補タグをソートし、その中から相関性が高い予め設定された数量のタグ、及び粒度が細かい候補タグの予め設定された数量のタグを選択し、選択されたタグに基づいてビデオのタグを生成する。 Alternatively, a plurality of candidate tags are sorted based on the first correlation information and the particle size information, and a preset quantity tag having a high correlation and a candidate tag having a fine particle size are preset. Select a quantity tag and generate a video tag based on the selected tag.
本出願の実施例において、複数の候補タグの長さ情報を取得し、複数の候補タグの長さ情報に基づいて、複数の候補タグのタグ粒度情報をそれぞれ生成し、複数の候補タグをソートする際に、第1の相関性情報及びタグ粒度情報に基づいて複数の候補タグをソートすることがさらにできる。これにより、ビデオ情報と候補タグとの相関性情報及び候補タグの粒度情報に基づいて、複数の候補タグをソートし、ソートの精度を向上させ、生成されたビデオタグの正確性を向上させる。 In the embodiment of the present application, the length information of a plurality of candidate tags is acquired, the tag particle size information of the plurality of candidate tags is generated based on the length information of the plurality of candidate tags, and the plurality of candidate tags are sorted. In doing so, it is possible to further sort a plurality of candidate tags based on the first correlation information and the tag particle size information. As a result, a plurality of candidate tags are sorted based on the correlation information between the video information and the candidate tags and the particle size information of the candidate tags, the accuracy of sorting is improved, and the accuracy of the generated video tags is improved.
本出願の一つの実施例において、複数の候補タグの人気情報を取得し、人気情報及び第1の相関性情報に基づいて、複数の候補タグをソートすることがさらにできる。 In one embodiment of the present application, it is possible to further obtain popularity information of a plurality of candidate tags and sort the plurality of candidate tags based on the popularity information and the first correlation information.
具体的に、文章やビデオなどにおける各候補タグの出現回数を集計し、出現回数に基づいて人気情報を取得することができ、出現回数が多いほど、人気が高くなる。候補タグの人気が高いほど、ビデオタグである可能性が高く、ビデオの推奨効果が高い可能性がある。 Specifically, the number of appearances of each candidate tag in sentences and videos can be totaled, and popularity information can be acquired based on the number of appearances. The larger the number of appearances, the higher the popularity. The more popular the candidate tag, the more likely it is to be a video tag, and the more likely the video is recommended.
複数の候補タグの人気情報及び複数の候補タグとビデオ情報との第1の相関性情報を取得した後、各候補タグに対応する第1の相関性情報と人気情報、及び第1の相関性情報の重みと人気情報の重みに基づいて、第1の相関性情報と人気情報の加重和を計算して、各候補タグのスコアを取得することができる。そして、各候補タグのスコアに基づいて、複数の候補タグをソートし、ソート結果に基づいてビデオのタグを生成する。 After acquiring the popularity information of the plurality of candidate tags and the first correlation information of the plurality of candidate tags and the video information, the first correlation information and the popularity information corresponding to each candidate tag, and the first correlation Based on the weight of the information and the weight of the popularity information, the weighted sum of the first correlation information and the popularity information can be calculated, and the score of each candidate tag can be obtained. Then, a plurality of candidate tags are sorted based on the score of each candidate tag, and a video tag is generated based on the sort result.
または、第1の相関性情報と人気情報それぞれに基づいて、複数の候補タグをソートし、その中から予め設定された数量の相関性が高いタグ、及び予め設定された数量の人気が高い候補タグのタグを選択し、選択されたタグに基づいてビデオのタグを生成する。 Alternatively, a plurality of candidate tags are sorted based on the first correlation information and the popularity information, and the tags having a high correlation with the preset quantity and the popular candidates with the preset quantity are sorted. Select a tag for the tag and generate a video tag based on the selected tag.
本出願の実施例において、複数の候補タグの人気情報を取得し、ソートする際に、前記第1の相関性情報及び前記人気情報に基づいて前記複数の候補タグをソートすることがさらにできる。これにより、ビデオ情報と候補タグとの相関性及び候補タグの人気情報を考慮することにより、候補タグをソートして、ソート結果の精度を向上させ、ビデオタグの正確性をさらに向上させる。 In the embodiment of the present application, when the popularity information of the plurality of candidate tags is acquired and sorted, the plurality of candidate tags can be further sorted based on the first correlation information and the popularity information. Thereby, by considering the correlation between the video information and the candidate tag and the popularity information of the candidate tag, the candidate tag is sorted, the accuracy of the sorting result is improved, and the accuracy of the video tag is further improved.
なお、複数の候補タグの粒度情報及び人気情報を同時に取得し、第1の相関性情報、各候補タグの粒度情報及び人気情報に基づいて、三者の加重和を計算し、計算結果に基づいて複数の候補タグをソートして、ソート結果の精度を向上させ、ビデオタグの正確性をさらに向上させる。 In addition, the granularity information and popularity information of a plurality of candidate tags are acquired at the same time, and the weighted sum of the three parties is calculated based on the first correlation information, the granularity information and popularity information of each candidate tag, and based on the calculation result. Multiple candidate tags are sorted to improve the accuracy of the sorting result and further improve the accuracy of the video tag.
上記実施例を実現するために、本出願の実施例は、ビデオタグの生成装置をさらに提供する。図7は本出願の実施例により提供されるビデオタグの生成装置の概略構造図である。 In order to realize the above embodiment, the embodiments of the present application further provide a video tag generator. FIG. 7 is a schematic structural diagram of the video tag generator provided by the embodiments of the present application.
図7に示すように、当該ビデオタグの生成装置700は、第1の取得モジュール710と、第2の取得モジュール720と、第1の計算モジュール730と、ソートモジュール740と、第1の生成モジュール750と、を含む。
As shown in FIG. 7, the video
第1の取得モジュール710は、ビデオの複数の候補タグを取得することに用いられ、
第2の取得モジュール720は、ビデオのビデオ情報を取得することに用いられ、
第1の計算モジュール730は、ビデオ情報と複数の候補タグの間の第1の相関性情報をそれぞれ計算することに用いられ、
ソートモジュール740は、第1の相関性情報に基づいて、複数の候補タグをソートすることに用いられ、
第1の生成モジュール750は、ソート結果に基づいて前記ビデオのタグを生成することに用いられる。
The
The
The
The
The
本出願の実施例の一つの可能的な実現方式において、当該装置は、
ビデオに対応する知識グラフまたは知識点グラフを取得するための第3の取得モジュールと、
知識グラフまたは知識点グラフに基づいて複数の候補タグ間の第2の相関性情報を計算するための第2の計算モジュールと、をさらに含み、ここで、ソートモジュールは、第1の相関性情報及び第2の相関性情報に基づいて複数の候補タグをソートすることに用いられる。
In one possible implementation of the embodiments of the present application, the device is
A third acquisition module for acquiring the knowledge graph or knowledge graph corresponding to the video,
A second calculation module for calculating a second correlation information between a plurality of candidate tags based on a knowledge graph or a knowledge point graph is further included, wherein the sort module is a first correlation information. And used to sort a plurality of candidate tags based on the second correlation information.
本出願の実施例の一つの可能的な実現方式において、第1の取得モジュール710は、
ビデオのビデオタイトルを取得し、及び
ビデオタイトルに基づいて候補タグを生成することに用いられる。
In one possible implementation of the embodiments of the present application, the
Used to get the video title of a video and generate candidate tags based on the video title.
本出願の実施例の一つの可能的な実現方式において、第1の取得モジュール710は、
ビデオの作者タグを取得し、及び
作者タグに基づいて候補タグを生成することに用いられる。
In one possible implementation of the embodiments of the present application, the
Used to get the author tag of a video and generate candidate tags based on the author tag.
本出願の実施例の一つの可能的な実現方式において、第1の取得モジュール710は、
ビデオの分類情報を取得し、及び
分類情報に基づいて候補タグを生成することに用いられる。
In one possible implementation of the embodiments of the present application, the
It is used to acquire video classification information and generate candidate tags based on the classification information.
本出願の実施例の一つの可能的な実現方式において、第1の取得モジュール710は、
ビデオ中のテキスト情報を認識し、及び
テキスト情報に基づいて候補タグを生成することに用いられる。
In one possible implementation of the embodiments of the present application, the
It is used to recognize the text information in the video and generate candidate tags based on the text information.
本出願の実施例の一つの可能的な実現方式において、第1の取得モジュール710は、
ビデオ中の人物に対して顔認識を行って、人物の人物情報と出現時間を取得し、
出現時間に基づいて、人物がビデオ中の主要人物であるか否かを判断し、及び
人物が主要人物である場合、人物の人物情報に基づいて候補タグを生成することに用いられる。
In one possible implementation of the embodiments of the present application, the
Face recognition is performed on the person in the video to acquire the person information and appearance time of the person.
It is used to determine if a person is the main character in the video based on the time of appearance, and if the person is the main person, generate candidate tags based on the person's personal information.
本出願の実施例の一つの可能的な実現方式において、第1の計算モジュール730は、
ビデオ情報及び複数の候補タグを意味マッチングモデルに入力して、ビデオ情報と複数の候補タグの間の第1の相関性情報を生成することに用いられる。
In one possible implementation of the embodiments of the present application, the
It is used to input video information and a plurality of candidate tags into a semantic matching model to generate a first correlation information between the video information and the plurality of candidate tags.
本出願の実施例の一つの可能的な実現方式において、意味マッチングモデルは、第4の取得モジュール、第2の生成モジュール及びトレーニングモジュールによって取得され、
第4の取得モジュールは、サンプルビデオ情報、サンプルタグ、及びサンプルビデオ情報とサンプルタグの間のマーク相関性情報を取得することに用いられ、
第2の生成モジュールは、サンプルビデオ及びサンプルタグを初期意味マッチングモデルに入力して、予測相関性情報を生成することに用いられ、
トレーニングモジュールは、予測相関性情報及びマーク相関性情報に基づいて、初期意味マッチングモデルをトレーニングすることに用いられる。
In one possible implementation of the embodiments of the present application, the semantic matching model is acquired by a fourth acquisition module, a second generation module and a training module.
The fourth acquisition module is used to acquire sample video information, sample tags, and mark correlation information between sample video information and sample tags.
The second generation module is used to input sample videos and sample tags into the initial semantic matching model to generate predictive correlation information.
The training module is used to train the initial semantic matching model based on the predictive correlation information and the mark correlation information.
本出願の実施例の一つの可能的な実現方式において、第2の取得モジュール720は、
ビデオのタイトルを取得し、
ビデオ中の人物の人物情報を取得し、
ビデオの分類情報を取得し、及び
ビデオのタイトル、人物情報及び分類情報に基づいてビデオ情報を生成することに用いられる。
In one possible implementation of the embodiments of the present application, the
Get the title of the video and
Get the person information of the person in the video and
It is used to obtain video classification information and generate video information based on the video title, person information and classification information.
本出願の実施例の一つの可能的な実現方式において、当該装置は、
複数の候補タグの長さ情報を取得するための第5の取得モジュールと、
複数の候補タグの長さ情報に基づいて、複数の候補タグのタグ粒度情報をそれぞれ生成するための第3の生成モジュールと、をさらに含み、ここで、ソートモジュールは、第1の相関性情報及びタグ粒度情報に基づいて、複数の候補タグをソートすることに用いられる。
In one possible implementation of the embodiments of the present application, the device is
A fifth acquisition module for acquiring the length information of multiple candidate tags, and
Further includes a third generation module for generating tag particle size information of each of the plurality of candidate tags based on the length information of the plurality of candidate tags, where the sort module is the first correlation information. And used to sort multiple candidate tags based on tag particle size information.
本出願の実施例の一つの可能的な実現方式において、当該装置は、
複数の候補タグの人気情報を取得するための第6の取得モジュールをさらに含み、ここで、ソートモジュールは、第1の相関性情報及び人気情報に基づいて、複数の候補タグをソートすることに用いられる。
In one possible implementation of the embodiments of the present application, the device is
It further includes a sixth acquisition module for acquiring the popularity information of the plurality of candidate tags, wherein the sort module sorts the plurality of candidate tags based on the first correlation information and the popularity information. Used.
なお、上記のビデオタグの生成方法の実施例の説明は、当該実施例のビデオタグの生成装置にも適用され、ここでは説明を省略する。 The description of the embodiment of the video tag generation method described above is also applied to the video tag generation device of the embodiment, and the description thereof will be omitted here.
本出願の実施例のビデオタグの生成装置は、ビデオの複数の候補タグ及びビデオ情報を取得し、ビデオ情報と複数の候補タグの間の第1の相関性情報をそれぞれ計算し、そして第1の相関性情報に基づいて、複数の候補タグをソートし、ソート結果に基づいてビデオのタグを生成する。これにより、ビデオ情報と各候補タグの間の第1の相関性情報に基づいて、複数の候補タグをソートし、ソート結果に基づいてビデオのタグを生成することにより、複数の候補タグの統合と利用を実現し、ビデオに正確で完全なタグを付け、ビデオタグの正確性と完全性を向上させ、ビデオ推奨の効果を向上させる。 The video tag generator of the embodiments of the present application acquires a plurality of candidate tags and video information of a video, calculates a first correlation information between the video information and the plurality of candidate tags, respectively, and first. Sort multiple candidate tags based on the correlation information in, and generate video tags based on the sorted results. This allows the integration of multiple candidate tags by sorting the multiple candidate tags based on the first correlation information between the video information and each candidate tag and generating the video tag based on the sort result. And enable the use, tag the video accurately and completely, improve the accuracy and completeness of the video tag, and improve the effectiveness of the video recommendation.
本出願の実施例によれば、本出願は、電子機器及び読み取り可能な記憶媒体をさらに提供する。本出願の実施例によれば、コンピュータプログラムが提供される。当該コンピュータプログラムにおける命令が実行された場合に、上記ビデオタグの生成方法が実行される。 According to the embodiments of the present application, the present application further provides electronic devices and readable storage media. According to the embodiments of the present application, a computer program is provided. When the instruction in the computer program is executed, the above method for generating a video tag is executed.
図8に示すように、それは本出願の実施例に係るビデオタグの生成方法の電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ、及び他の適切なコンピュータなどの様々な形式のデジタルコンピュータを表すことを目的とする。電子機器は、パーソナルデジタル処理、携帯電話、スマートフォン、ウェアラブルデバイス、他の同様のコンピューティングデバイスなどの様々な形式のモバイルデバイスを表すこともできる。本明細書で示されるコンポーネント、それらの接続と関係、及びそれらの機能は単なる例であり、本明細書の説明及び/又は要求される本出願の実現を制限することを意図したものではない。 As shown in FIG. 8, it is a block diagram of an electronic device of a video tag generation method according to an embodiment of the present application. Electronic devices are intended to represent various types of digital computers such as laptop computers, desktop computers, workstations, personal digital assistants, servers, blade servers, large computers, and other suitable computers. Electronic devices can also represent various forms of mobile devices such as personal digital processing, mobile phones, smartphones, wearable devices, and other similar computing devices. The components shown herein, their connections and relationships, and their functions are merely examples and are not intended to limit the description and / or the required realization of this application.
図8に示すように、当該電子機器は、一つ又は複数のプロセッサ801と、メモリ802と、高速インターフェースと低速インターフェースを含む各コンポーネントを接続するためのインターフェースと、を含む。各コンポーネントは、異なるバスで相互に接続され、共通のマザーボードに取り付けられるか、又は必要に基づいて他の方式で取り付けることができる。プロセッサは、外部入力/出力装置(インターフェースに結合されたディスプレイデバイスなど)にGUIの図形情報をディスプレイするためにメモリに記憶されている命令を含む、電子機器内に実行される命令を処理することができる。他の実施方式では、必要であれば、複数のプロセッサ及び/又は複数のバスを、複数のメモリと複数のメモリとともに使用することができる。同様に、複数の電子機器を接続することができ、各電子機器は、部分的な必要な操作(例えば、サーバアレイ、ブレードサーバ、又はマルチプロセッサシステムとする)を提供することができる。図8では、一つのプロセッサ801を例とする。
As shown in FIG. 8, the electronic device includes one or
メモリ802は、本出願により提供される非一時的なコンピュータ読み取り可能な記憶媒体である。その中、前記メモリには、少なくとも一つのプロセッサによって実行される命令を記憶して、前記少なくとも一つのプロセッサが本出願により提供されるビデオタグの生成方法を実行することができるようにする。本出願の非一時的なコンピュータ読み取り可能な記憶媒体は、コンピュータが本出願により提供されるビデオタグの生成方法を実行するためのコンピュータ命令を記憶する。
メモリ802は、非一時的なコンピュータ読み取り可能な記憶媒体として、本出願の実施例におけるビデオタグの生成方法に対応するプログラム命令/モジュール(例えば、図7に示す第1の取得モジュール710、第2の取得モジュール720、第1の計算モジュール730、ソートモジュール740、及び第1の生成モジュール750)ように、非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラム及びモジュールを記憶するために用いられる。プロセッサ801は、メモリ802に記憶されている非一時的なソフトウェアプログラム、命令及びモジュールを実行することによって、サーバの様々な機能アプリケーション及びデータ処理を実行し、すなわち上記の方法の実施例におけるビデオタグの生成方法を実現する。
As a non-temporary computer-readable storage medium, the
メモリ802は、ストレージプログラム領域とストレージデータ領域とを含むことができ、その中、ストレージプログラム領域は、オペレーティングシステム、少なくとも一つの機能に必要なアプリケーションプログラムを記憶することができ、ストレージデータ領域は、ビデオタグの生成方法に基づく電子機器の使用によって作成されたデータなどを記憶することができる。また、メモリ802は、高速ランダム存取メモリを含むことができ、非一時的なメモリをさらに含むことができ、例えば、少なくとも一つのディスクストレージデバイス、フラッシュメモリデバイス、又は他の非一時的なソリッドステートストレージデバイスである。いくつかの実施例では、メモリ802は、プロセッサ801に対して遠隔に設置されたメモリを含むことができ、これらの遠隔メモリは、ネットワークを介してビデオタグの生成方法の電子機器に接続されることができる。上記のネットワークの例は、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びその組み合わせを含むが、これらに限定しない。
The
ビデオタグの生成方法の電子機器は、入力装置803と出力装置804とをさらに含むことができる。プロセッサ801、メモリ802、入力装置803、及び出力装置804は、バス又は他の方式を介して接続することができ、図8では、バスを介して接続することを例とする。
The electronic device of the method of generating a video tag can further include an
入力装置803は、入力された数字又は文字情報を受信することができ、及びビデオタグの生成方法の電子機器のユーザ設置及び機能制御に関するキー信号入力を生成することができ、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、指示杆、一つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置である。出力装置804は、ディスプレイデバイス、補助照明デバイス(例えば、LED)、及び触覚フィードバックデバイス(例えば、振動モータ)などを含むことができる。当該ディスプレイデバイスは、液晶ディスプレイ(LCD)、発光ダイオード(LED)ディスプレイ、及びプラズマディスプレイを含むことができるが、これらに限定しない。いくつかの実施方式では、ディスプレイデバイスは、タッチスクリーンであってもよい。
The
本明細書で説明されるシステムと技術の様々な実施方式は、デジタル電子回路システム、集積回路システム、特定用途向けASIC(特定用途向け集積回路)、コンピュータハードウェア、ファームウェア、ソフトウェア、及び/又はそれらの組み合わせで実現することができる。これらの様々な実施方式は、一つ又は複数のコンピュータプログラムで実施されることを含むことができ、当該一つ又は複数のコンピュータプログラムは、少なくとも一つのプログラマブルプロセッサを含むプログラム可能なシステムで実行及び/又は解釈されることができ、当該プログラマブルプロセッサは、特定用途向け又は汎用プログラマブルプロセッサであってもよく、ストレージシステム、少なくとも一つの入力装置、及び少なくとも一つの出力装置からデータ及び命令を受信し、データ及び命令を当該ストレージシステム、当該少なくとも一つの入力装置、及び当該少なくとも一つの出力装置に伝送することができる。 Various embodiments of the systems and techniques described herein include digital electronic circuit systems, integrated circuit systems, application specific integrated circuits (ASICs), computer hardware, firmware, software, and / or them. It can be realized by the combination of. These various embodiments may include being implemented in one or more computer programs, wherein the one or more computer programs are executed and executed in a programmable system including at least one programmable processor. / Or can be interpreted, the programmable processor may be a specific purpose or general purpose programmable processor, receiving data and instructions from a storage system, at least one input device, and at least one output device. Data and instructions can be transmitted to the storage system, the at least one input device, and the at least one output device.
これらのコンピューティングプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも呼ばれる)は、プログラマブルプロセッサの機械命令、高レベルのプロセス及び/又はオブジェクト指向プログラミング言語、及び/又はアセンブリ/機械言語でこれらのコンピューティングプログラムを実施することを含む。本明細書に使用されるように、用語「機械読み取り可能な媒体」及び「コンピュータ読み取り可能な媒体」は、機械命令及び/又はデータをプログラマブルプロセッサに提供するために使用される任意のコンピュータプログラム製品、機器、及び/又は装置(例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス(PLD))を指し、機械読み取り可能な信号である機械命令を受信する機械読み取り可能な媒体を含む。用語「機械読み取り可能な信号」は、機械命令及び/又はデータをプログラマブルプロセッサに提供するための任意の信号を指す。 These computing programs (also called programs, software, software applications, or code) are these computing in programmable processor machine instructions, high-level process and / or object-oriented programming languages, and / or assembly / machine languages. Includes implementing the program. As used herein, the terms "machine readable medium" and "computer readable medium" are any computer program products used to provide machine instructions and / or data to programmable processors. , And / or equipment (eg, magnetic disks, optical disks, memories, programmable logic devices (PLDs)), including machine-readable media that receive machine instructions, which are machine-readable signals. The term "machine readable signal" refers to any signal for providing machine instructions and / or data to a programmable processor.
ユーザとのインタラクションを提供するために、コンピュータ上でここで説明されているシステム及び技術を実施することができ、当該コンピュータは、ユーザに情報を表示するためのディスプレイ装置(例えば、CRT(陰極線管)又はLCD(液晶ディスプレイ)モニタ)と、キーボード及びポインティングデバイス(例えば、マウス又はトラックボール)とを有し、ユーザは、当該キーボード及び当該ポインティングデバイスによって入力をコンピュータに提供することができる。他の種類の装置は、ユーザとのインタラクションを提供するために用いられることもでき、例えば、ユーザに提供されるフィードバックは、任意の形式のセンシングフィードバック(例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック)であってもよく、任意の形式(音響入力と、音声入力と、触覚入力とを含む)でユーザからの入力を受信することができる。 To provide interaction with the user, the systems and techniques described herein can be implemented on a computer, which computer is a display device for displaying information to the user (eg, a CRT (cathode line tube)). ) Or LCD (LCD) monitor) and a keyboard and pointing device (eg, mouse or trackball), the user can provide input to the computer by the keyboard and the pointing device. Other types of devices can also be used to provide interaction with the user, for example, the feedback provided to the user may be any form of sensing feedback (eg, visual feedback, auditory feedback, or tactile feedback). ), And can receive input from the user in any format (including acoustic input, voice input, and tactile input).
ここで説明されるシステム及び技術は、バックエンドコンポーネントを含むコンピューティングシステム(例えば、データサーバとする)、又はミドルウェアコンポーネントを含むコンピューティングシステム(例えば、アプリケーションサーバー)、又はフロントエンドコンポーネントを含むコンピューティングシステム(例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ、ユーザは、当該グラフィカルユーザインタフェース又は当該ウェブブラウザによってここで説明されるシステム及び技術の実施方式とインタラクションする)、又はこのようなバックエンドコンポーネントと、ミドルウェアコンポーネントと、フロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムで実施することができる。任意の形式又は媒体のデジタルデータ通信(例えば、通信ネットワーク)によってシステムのコンポーネントを相互に接続されることができる。通信ネットワークの例は、ローカルエリアネットワーク(LAN)と、ワイドエリアネットワーク(WAN)と、インターネットとを含む。 The systems and techniques described herein are computing systems that include back-end components (eg, data servers), or computing systems that include middleware components (eg, application servers), or computing that includes front-end components. A system (eg, a user computer having a graphical user interface or web browser, the user interacts with the graphical user interface or the implementation of the systems and techniques described herein by the web browser), or such back-end components. And can be implemented in computing systems that include any combination of middleware components and front-end components. The components of the system can be interconnected by digital data communication of any form or medium (eg, a communication network). Examples of communication networks include local area networks (LANs), wide area networks (WANs), and the Internet.
コンピュータシステムは、クライアントとサーバとを含むことができる。クライアントとサーバは、一般に、互いに離れており、通常に通信ネットワークを介してインタラクションする。対応するコンピュータ上で実行され、互いにクライアント-サーバ関係を有するコンピュータプログラムによってクライアントとサーバとの関係が生成される。 A computer system can include a client and a server. Clients and servers are generally separated from each other and typically interact over a communication network. A client-server relationship is created by a computer program that runs on the corresponding computer and has a client-server relationship with each other.
本出願の実施例の技術案によれば、ビデオ情報と各候補タグの間の第1の相関性情報に基づいて、複数の候補タグをソートし、ソート結果に基づいてビデオのタグを生成することにより、複数の候補タグの統合と利用を実現し、ビデオに正確で完全なタグを付け、ビデオタグの正確性と完全性を向上させ、ビデオ推奨の効果を向上させる。 According to the technical proposal of the embodiment of the present application, a plurality of candidate tags are sorted based on the video information and the first correlation information between each candidate tag, and the video tag is generated based on the sorting result. This enables the integration and utilization of multiple candidate tags, tagging videos accurately and completely, improving the accuracy and completeness of video tags, and improving the effectiveness of video recommendations.
本出願の説明において、「第1の」、「第2の」の用語は目的を説明するためだけに用いられるものであり、比較的な重要性を指示又は暗示するか、或いは示された技術的特徴の数を黙示的に指示すると理解してはいけない。そこで、「第1の」、「第2の」が限定されている特徴は一つ又はより多くの前記特徴を含むことを明示又は暗示するものである。本出願の説明において、明確且つ具体的な限定がない限り、「複数」とは、二つ又は二つ以上のことを意味する。 In the description of this application, the terms "first" and "second" are used only to explain the purpose and indicate or imply comparative importance or the techniques shown. It should not be understood that the number of target features is implied. Therefore, the feature in which the "first" and the "second" are limited expresses or implies that the feature includes one or more of the above features. In the description of this application, "plural" means two or more, unless otherwise specified and specified.
本出願の実施例を示して説明したが、上記実施例は例示するものであって、本出願を制限すると理解してはいけない。当業者は、本出願の原理及び主旨から逸脱することなく、これらの実施例に対して各種の変化、修正、切り替え及び変形を行うことができる。 Although examples of this application have been shown and described, the above examples are illustrative and should not be understood to limit this application. One of ordinary skill in the art can make various changes, modifications, switchings and modifications to these examples without departing from the principles and gist of the present application.
Claims (27)
ビデオの複数の候補タグを取得するステップと、
前記ビデオのビデオ情報を取得するステップと、
前記ビデオ情報と前記複数の候補タグの間の第1の相関性情報をそれぞれ計算するステップと、
前記第1の相関性情報に基づいて、前記複数の候補タグをソートするステップと、
ソート結果に基づいて前記ビデオのタグを生成するステップと、
を含む、
ことを特徴とするビデオタグの生成方法。 How to generate video tags
Steps to get multiple candidate tags for a video,
The step of acquiring the video information of the video and
A step of calculating the first correlation information between the video information and the plurality of candidate tags, respectively.
A step of sorting the plurality of candidate tags based on the first correlation information, and
Steps to generate tags for the video based on the sorting results,
including,
A method of generating video tags, which is characterized by that.
前記ビデオに対応する知識グラフまたは知識点グラフを取得するステップと、
前記知識グラフまたは知識点グラフに基づいて前記複数の候補タグ間の第2の相関性情報を計算し、前記第1の相関性情報及び前記第2の相関性情報に基づいて前記複数の候補タグをソートするステップと、
をさらに含む、
ことを特徴とする請求項1に記載のビデオタグの生成方法。 The method is
The step of acquiring the knowledge graph or knowledge score graph corresponding to the video,
The second correlation information between the plurality of candidate tags is calculated based on the knowledge graph or the knowledge point graph, and the plurality of candidate tags are calculated based on the first correlation information and the second correlation information. And the steps to sort
Including,
The method for generating a video tag according to claim 1.
前記ビデオのビデオタイトルを取得するステップと、
前記ビデオタイトルに基づいて前記候補タグを生成するステップと、
を含む、
ことを特徴とする請求項1に記載のビデオタグの生成方法。 The step of getting multiple candidate tags for the video is
Steps to get the video title of the video and
The step of generating the candidate tag based on the video title, and
including,
The method for generating a video tag according to claim 1.
前記ビデオの作者タグを取得するステップと、
前記作者タグに基づいて前記候補タグを生成するステップと、
を含む、
ことを特徴とする請求項1に記載のビデオタグの生成方法。 The step of getting multiple candidate tags for the video is
Steps to get the author tag of the video and
A step to generate the candidate tag based on the author tag, and
including,
The method for generating a video tag according to claim 1.
前記ビデオの分類情報を取得するステップと、
前記分類情報に基づいて前記候補タグを生成するステップと、
を含む、
ことを特徴とする請求項1に記載のビデオタグの生成方法。 The step of getting multiple candidate tags for the video is
The step of acquiring the classification information of the video and
The step of generating the candidate tag based on the classification information, and
including,
The method for generating a video tag according to claim 1.
前記ビデオのテキスト情報を認識するステップと、
前記テキスト情報に基づいて前記候補タグを生成するステップと、
を含む、
ことを特徴とする請求項1に記載のビデオタグの生成方法。 The step of getting multiple candidate tags for the video is
The step of recognizing the text information of the video and
The step of generating the candidate tag based on the text information, and
including,
The method for generating a video tag according to claim 1.
前記ビデオ中の人物に対して顔認識を行って、前記人物の人物情報と出現時間を取得するステップと、
前記出現時間に基づいて、前記人物が前記ビデオ中の主要人物であるか否かを判断するステップと、
前記人物が前記主要人物である場合、前記人物の人物情報に基づいて前記候補タグを生成するステップと、
を含む、
ことを特徴とする請求項1に記載のビデオタグの生成方法。 The step of getting multiple candidate tags for the video is
A step of performing face recognition on a person in the video to acquire the person information and appearance time of the person, and
A step of determining whether or not the person is the main person in the video based on the appearance time, and
When the person is the main person, the step of generating the candidate tag based on the person information of the person, and
including,
The method for generating a video tag according to claim 1.
前記ビデオ情報及び前記複数の候補タグを意味マッチングモデルに入力して、前記ビデオ情報と前記複数の候補タグの間の第1の相関性情報を生成するステップを含む、
ことを特徴とする請求項1に記載のビデオタグの生成方法。 The step of calculating the first correlation information between the video information and the plurality of candidate tags is
A step of inputting the video information and the plurality of candidate tags into a semantic matching model to generate a first correlation information between the video information and the plurality of candidate tags.
The method for generating a video tag according to claim 1.
サンプルビデオ情報、サンプルタグ及び前記サンプルビデオ情報と前記サンプルタグの間のマーク相関性情報を取得するステップと、
前記サンプルビデオ及び前記サンプルタグを前記初期意味マッチングモデルに入力して、予測相関性情報を生成するステップと、
前記予測相関性情報及び前記マーク相関性情報に基づいて、前記初期意味マッチングモデルをトレーニングするステップと、
によって取得される、
ことを特徴とする請求項8に記載のビデオタグの生成方法。 The semantic matching model is
A step of acquiring sample video information, a sample tag, and mark correlation information between the sample video information and the sample tag, and
A step of inputting the sample video and the sample tag into the initial semantic matching model to generate predictive correlation information.
A step of training the initial semantic matching model based on the predictive correlation information and the mark correlation information, and
Obtained by
The method for generating a video tag according to claim 8, wherein the video tag is generated.
前記ビデオのタイトルを取得するステップと、
前記ビデオ中の人物の人物情報を取得するステップと、
前記ビデオの分類情報を取得するステップと、
前記ビデオのタイトル、前記人物情報及び前記分類情報に基づいて前記ビデオ情報を生成するステップと、
を含む、
ことを特徴とする請求項1に記載のビデオタグの生成方法。 The step of acquiring the video information of the video is
Steps to get the title of the video and
The step of acquiring the person information of the person in the video and
The step of acquiring the classification information of the video and
A step of generating the video information based on the title of the video, the person information and the classification information, and
including,
The method for generating a video tag according to claim 1.
前記複数の候補タグの長さ情報に基づいて、前記複数の候補タグのタグ粒度情報をそれぞれ生成し、前記第1の相関性情報及び前記タグ粒度情報に基づいて、前記複数の候補タグをソートするステップと、
をさらに含む、
ことを特徴とする請求項1に記載のビデオタグの生成方法。 The step of acquiring the length information of the plurality of candidate tags and
The tag particle size information of the plurality of candidate tags is generated based on the length information of the plurality of candidate tags, and the plurality of candidate tags are sorted based on the first correlation information and the tag particle size information. Steps to do and
Including,
The method for generating a video tag according to claim 1.
ことを特徴とする請求項1に記載のビデオタグの生成方法。 A step of acquiring popularity information of the plurality of candidate tags and sorting the plurality of candidate tags based on the first correlation information and the popularity information is further included.
The method for generating a video tag according to claim 1.
ビデオの複数の候補タグを取得するための第1の取得モジュールと、
前記ビデオのビデオ情報を取得するための第2の取得モジュールと、
前記ビデオ情報と前記複数の候補タグの間の第1の相関性情報をそれぞれ計算するための第1の計算モジュールと、
前記第1の相関性情報に基づいて、前記複数の候補タグをソートするためのソートモジュールと、
ソート結果に基づいて前記ビデオのタグを生成するための第1の生成モジュールと、
を含む、
ことを特徴とするビデオタグの生成装置。 A video tag generator
The first acquisition module for acquiring multiple candidate tags for a video,
A second acquisition module for acquiring the video information of the video, and
A first calculation module for calculating the first correlation information between the video information and the plurality of candidate tags, respectively.
A sort module for sorting the plurality of candidate tags based on the first correlation information, and
A first generation module for generating tags for the video based on the sort result,
including,
A video tag generator characterized by that.
前記知識グラフまたは知識点グラフに基づいて前記複数の候補タグ間の第2の相関性情報を計算するための第2の計算モジュールと、をさらに含み、ここで、前記ソートモジュールは、前記第1の相関性情報及び前記第2の相関性情報に基づいて前記複数の候補タグをソートすることに用いられる、
ことを特徴とする請求項13に記載のビデオタグの生成装置。 A third acquisition module for acquiring the knowledge graph or knowledge score graph corresponding to the video, and
Further includes a second calculation module for calculating the second correlation information between the plurality of candidate tags based on the knowledge graph or the knowledge point graph, wherein the sort module is the first. Used to sort the plurality of candidate tags based on the correlation information of the above and the second correlation information.
13. The video tag generation device according to claim 13.
前記ビデオのビデオタイトルを取得し、及び
前記ビデオタイトルに基づいて前記候補タグを生成することに用いられる、
ことを特徴とする請求項13に記載のビデオタグの生成装置。 The first acquisition module is
Used to acquire the video title of the video and generate the candidate tag based on the video title.
13. The video tag generation device according to claim 13.
前記ビデオの作者タグを取得し、及び
前記作者タグに基づいて前記候補タグを生成することに用いられる、
ことを特徴とする請求項13に記載のビデオタグの生成装置。 The first acquisition module is
Used to acquire the author tag of the video and generate the candidate tag based on the author tag.
13. The video tag generation device according to claim 13.
前記ビデオの分類情報を取得し、及び
前記分類情報に基づいて前記候補タグを生成することに用いられる、
ことを特徴とする請求項13に記載のビデオタグの生成装置。 The first acquisition module is
Used to acquire the classification information of the video and generate the candidate tag based on the classification information.
13. The video tag generation device according to claim 13.
前記ビデオ中のテキスト情報を認識し、及び
前記テキスト情報に基づいて前記候補タグを生成することに用いられる、
ことを特徴とする請求項13に記載のビデオタグの生成装置。 The first acquisition module is
Used to recognize the text information in the video and generate the candidate tag based on the text information.
13. The video tag generation device according to claim 13.
前記ビデオ中の人物に対して顔認識を行って、前記人物の人物情報と出現時間を取得し、
前記出現時間に基づいて、前記人物が前記ビデオ中の主要人物であるか否かを判断し、及び
前記人物が前記主要人物である場合、前記人物の人物情報に基づいて前記候補タグを生成することに用いられる、
ことを特徴とする請求項13に記載のビデオタグの生成装置。 The first acquisition module is
Face recognition is performed on the person in the video, and the person information and the appearance time of the person are acquired.
Based on the appearance time, it is determined whether or not the person is the main person in the video, and if the person is the main person, the candidate tag is generated based on the person information of the person. Used for
13. The video tag generation device according to claim 13.
前記ビデオ情報及び前記複数の候補タグを意味マッチングモデルに入力して、前記ビデオ情報と前記複数の候補タグの間の第1の相関性情報を生成することに用いられる、
ことを特徴とする請求項13に記載のビデオタグの生成装置。 The first calculation module is
It is used to input the video information and the plurality of candidate tags into a semantic matching model to generate a first correlation information between the video information and the plurality of candidate tags.
13. The video tag generation device according to claim 13.
前記第4の取得モジュールは、サンプルビデオ情報、サンプルタグ及び前記サンプルビデオ情報と前記サンプルタグの間のマーク相関性情報を取得することに用いられ、
前記第2の生成モジュールは、前記サンプルビデオ及び前記サンプルタグを前記初期意味マッチングモデルに入力して、予測相関性情報を生成することに用いられ、
前記トレーニングモジュールは、前記予測相関性情報及び前記マーク相関性情報に基づいて、前記初期意味マッチングモデルをトレーニングすることに用いられる、
ことを特徴とする請求項20に記載のビデオタグの生成装置。 The semantic matching model is acquired by the fourth acquisition module, the second generation module and the training module.
The fourth acquisition module is used to acquire sample video information, sample tags, and mark correlation information between the sample video information and the sample tag.
The second generation module is used to input the sample video and the sample tag into the initial semantic matching model to generate predictive correlation information.
The training module is used to train the initial semantic matching model based on the predictive correlation information and the mark correlation information.
The video tag generation device according to claim 20, wherein the video tag is generated.
前記ビデオのタイトルを取得し、
前記ビデオ中の人物の人物情報を取得し、
前記ビデオの分類情報を取得し、及び
前記ビデオのタイトル、前記人物情報及び前記分類情報に基づいて前記ビデオ情報を生成することに用いられる、
ことを特徴とする請求項13に記載のビデオタグの生成装置。 The second acquisition module is
Get the title of the video
Acquire the person information of the person in the video,
Used to acquire the classification information of the video and generate the video information based on the title of the video, the person information and the classification information.
13. The video tag generation device according to claim 13.
前記複数の候補タグの長さ情報に基づいて、前記複数の候補タグのタグ粒度情報をそれぞれ生成するための第3の生成モジュールと、をさらに含み、ここで、前記ソートモジュールは、前記第1の相関性情報及び前記タグ粒度情報に基づいて、前記複数の候補タグをソートすることに用いられる、
ことを特徴とする請求項13に記載のビデオタグの生成装置。 A fifth acquisition module for acquiring the length information of the plurality of candidate tags, and
Further includes a third generation module for generating tag particle size information of the plurality of candidate tags based on the length information of the plurality of candidate tags, wherein the sort module is the first. It is used to sort the plurality of candidate tags based on the correlation information of the above and the tag particle size information.
13. The video tag generation device according to claim 13.
ことを特徴とする請求項13に記載のビデオタグの生成装置。 A sixth acquisition module for acquiring the popularity information of the plurality of candidate tags is further included, wherein the sort module includes the plurality of candidate tags based on the first correlation information and the popularity information. Used to sort
13. The video tag generation device according to claim 13.
少なくとも一つのプロセッサと、
前記少なくとも一つのプロセッサと通信可能に接続されるメモリと、を含み、
前記メモリには、前記少なくとも一つのプロセッサによって実行可能な命令が記憶されており、前記命令が前記少なくとも一つのプロセッサによって実行される場合、前記少なくとも一つのプロセッサが請求項1〜12のいずれかに記載のビデオタグの生成方法を実行する、
ことを特徴とする電子機器。 It ’s an electronic device,
With at least one processor,
A memory that is communicably connected to the at least one processor, including
The memory stores an instruction that can be executed by the at least one processor, and when the instruction is executed by the at least one processor, the at least one processor according to any one of claims 1 to 12. Perform the described video tag generation method,
An electronic device characterized by that.
前記コンピュータ命令は、前記コンピュータに請求項1〜12のいずれかに記載のビデオタグの生成方法を実行させる、
ことを特徴とするコンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体。 A non-temporary computer-readable storage medium that stores computer instructions.
The computer instruction causes the computer to execute the method for generating a video tag according to any one of claims 1 to 12.
A non-temporary computer-readable storage medium in which computer instructions are stored.
前記コンピュータプログラムにおける命令が実行された場合に、請求項1〜12のいずれかに記載のビデオタグの生成方法が実行される、
ことを特徴とするコンピュータプログラム。 It ’s a computer program,
The method for generating a video tag according to any one of claims 1 to 12 is executed when an instruction in the computer program is executed.
A computer program that features that.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010493783.7 | 2020-06-03 | ||
CN202010493783.7A CN111831854A (en) | 2020-06-03 | 2020-06-03 | Video tag generation method and device, electronic equipment and storage medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021190079A true JP2021190079A (en) | 2021-12-13 |
JP7080300B2 JP7080300B2 (en) | 2022-06-03 |
Family
ID=72897609
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020213352A Active JP7080300B2 (en) | 2020-06-03 | 2020-12-23 | Video tag generation methods, devices, electronic devices and storage media |
Country Status (5)
Country | Link |
---|---|
US (1) | US11508153B2 (en) |
EP (1) | EP3920088A1 (en) |
JP (1) | JP7080300B2 (en) |
KR (1) | KR102510317B1 (en) |
CN (1) | CN111831854A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102022130894A1 (en) | 2021-11-24 | 2023-05-25 | Kabushiki Kaisha Toyota Jidoshokki | Internal combustion engine system control unit |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112084268B (en) * | 2020-09-04 | 2022-05-20 | 北京字节跳动网络技术有限公司 | Method and device for displaying search results and computer storage medium |
CN112784111B (en) * | 2021-03-12 | 2024-07-02 | 有半岛(北京)信息科技有限公司 | Video classification method, device, equipment and medium |
CN113382279B (en) * | 2021-06-15 | 2022-11-04 | 北京百度网讯科技有限公司 | Live broadcast recommendation method, device, equipment, storage medium and computer program product |
CN113792115B (en) * | 2021-08-17 | 2024-03-22 | 北京百度网讯科技有限公司 | Entity correlation determination method, device, electronic equipment and storage medium |
CN113722542A (en) * | 2021-08-31 | 2021-11-30 | 青岛聚看云科技有限公司 | Video recommendation method and display device |
CN114338586B (en) * | 2021-12-21 | 2024-05-28 | 中国农业银行股份有限公司 | Message pushing method and device, electronic equipment and storage medium |
CN114157882B (en) * | 2021-12-27 | 2024-04-30 | 未来电视有限公司 | Video cataloging method, device, electronic equipment and computer readable storage medium |
CN115878849B (en) * | 2023-02-27 | 2023-05-26 | 北京奇树有鱼文化传媒有限公司 | Video tag association method and device and electronic equipment |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008268985A (en) * | 2007-04-16 | 2008-11-06 | Yahoo Japan Corp | Method for attaching tag |
JP2018169697A (en) * | 2017-03-29 | 2018-11-01 | 西日本電信電話株式会社 | Video data processing apparatus, video data processing method, and computer program |
CN108829893A (en) * | 2018-06-29 | 2018-11-16 | 北京百度网讯科技有限公司 | Determine method, apparatus, storage medium and the terminal device of video tab |
CN110287375A (en) * | 2019-05-30 | 2019-09-27 | 北京百度网讯科技有限公司 | The determination method, apparatus and server of video tab |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8098976B1 (en) * | 2011-09-26 | 2012-01-17 | Limelight Networks, Inc. | Methods and systems for performing top concepts extraction |
KR101031357B1 (en) * | 2009-07-15 | 2011-04-29 | 인하대학교 산학협력단 | Method and apparatus for extraction major character |
KR101658413B1 (en) * | 2009-09-22 | 2016-09-22 | 삼성전자주식회사 | Apparatus and method for extracting character information in a motion picture |
US9020244B2 (en) * | 2011-12-06 | 2015-04-28 | Yahoo! Inc. | Ranking and selecting representative video images |
KR102073352B1 (en) * | 2014-06-27 | 2020-02-04 | 구글 엘엘씨 | Automated click type selection for content performance optimization |
CN104090955A (en) * | 2014-07-07 | 2014-10-08 | 科大讯飞股份有限公司 | Automatic audio/video label labeling method and system |
CN108509465B (en) * | 2017-02-28 | 2022-03-15 | 阿里巴巴集团控股有限公司 | Video data recommendation method and device and server |
US10997413B2 (en) * | 2018-03-23 | 2021-05-04 | NthGen Software Inc. | Method and system for obtaining vehicle target views from a video stream |
CN110555136B (en) * | 2018-03-29 | 2022-07-08 | 阿里巴巴(中国)有限公司 | Video tag generation method and device and computer storage medium |
CN110691202A (en) * | 2019-08-28 | 2020-01-14 | 咪咕文化科技有限公司 | Video editing method, device and computer storage medium |
CN110968736B (en) * | 2019-12-04 | 2021-02-02 | 深圳追一科技有限公司 | Video generation method and device, electronic equipment and storage medium |
CN111125435B (en) * | 2019-12-17 | 2023-08-11 | 北京百度网讯科技有限公司 | Video tag determination method and device and computer equipment |
CN113132752B (en) * | 2019-12-30 | 2023-02-24 | 阿里巴巴集团控股有限公司 | Video processing method and device |
US20230254521A1 (en) * | 2020-09-29 | 2023-08-10 | Dwango Co., Ltd. | Video distribution device, video distribution method, and recording media |
-
2020
- 2020-06-03 CN CN202010493783.7A patent/CN111831854A/en active Pending
- 2020-12-08 US US17/115,263 patent/US11508153B2/en active Active
- 2020-12-23 JP JP2020213352A patent/JP7080300B2/en active Active
-
2021
- 2021-01-05 EP EP21150149.9A patent/EP3920088A1/en not_active Withdrawn
- 2021-03-24 KR KR1020210038311A patent/KR102510317B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008268985A (en) * | 2007-04-16 | 2008-11-06 | Yahoo Japan Corp | Method for attaching tag |
JP2018169697A (en) * | 2017-03-29 | 2018-11-01 | 西日本電信電話株式会社 | Video data processing apparatus, video data processing method, and computer program |
CN108829893A (en) * | 2018-06-29 | 2018-11-16 | 北京百度网讯科技有限公司 | Determine method, apparatus, storage medium and the terminal device of video tab |
CN110287375A (en) * | 2019-05-30 | 2019-09-27 | 北京百度网讯科技有限公司 | The determination method, apparatus and server of video tab |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102022130894A1 (en) | 2021-11-24 | 2023-05-25 | Kabushiki Kaisha Toyota Jidoshokki | Internal combustion engine system control unit |
Also Published As
Publication number | Publication date |
---|---|
KR20210040329A (en) | 2021-04-13 |
US11508153B2 (en) | 2022-11-22 |
KR102510317B1 (en) | 2023-03-17 |
JP7080300B2 (en) | 2022-06-03 |
US20210383121A1 (en) | 2021-12-09 |
CN111831854A (en) | 2020-10-27 |
EP3920088A1 (en) | 2021-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7080300B2 (en) | Video tag generation methods, devices, electronic devices and storage media | |
CN112507715B (en) | Method, device, equipment and storage medium for determining association relation between entities | |
KR102532152B1 (en) | Multimodal content processing method, apparatus, device and storage medium | |
JP7317791B2 (en) | Entity linking method, device, apparatus and storage medium | |
KR102565659B1 (en) | Method and apparatus for generating information | |
JP2022013602A (en) | Method of extracting event in text, device, electronic equipment and storage medium | |
EP3933657A1 (en) | Conference minutes generation method and apparatus, electronic device, and computer-readable storage medium | |
JP7304370B2 (en) | Video retrieval method, apparatus, device and medium | |
JP7264866B2 (en) | EVENT RELATION GENERATION METHOD, APPARATUS, ELECTRONIC DEVICE, AND STORAGE MEDIUM | |
CN111125435B (en) | Video tag determination method and device and computer equipment | |
JP7149993B2 (en) | Pre-training method, device and electronic device for sentiment analysis model | |
CN112115299A (en) | Video searching method and device, recommendation method, electronic device and storage medium | |
JP2021174516A (en) | Knowledge graph construction method, device, electronic equipment, storage medium, and computer program | |
JP2021101361A (en) | Method, device, apparatus and storage medium for generating event topics | |
CN111078878B (en) | Text processing method, device, equipment and computer readable storage medium | |
JP2022050379A (en) | Semantic retrieval method, apparatus, electronic device, storage medium, and computer program product | |
JP7228615B2 (en) | Movie/TV drama content search method and device | |
JP2021108098A (en) | Review information processing method, device, computer apparatus, and medium | |
JP2021111334A (en) | Method of human-computer interactive interaction based on retrieval data, device, and electronic apparatus | |
JP7163440B2 (en) | Text query method, apparatus, electronics, storage medium and computer program product | |
CN111144108A (en) | Emotion tendency analysis model modeling method and device and electronic equipment | |
KR20210090576A (en) | A method, an apparatus, an electronic device, a storage medium and a program for controlling quality | |
JP7140913B2 (en) | Video distribution statute of limitations determination method and device | |
CN110674260A (en) | Training method and device of semantic similarity model, electronic equipment and storage medium | |
JP2021082306A (en) | Method, apparatus, device, and computer-readable storage medium for determining target content |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201223 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220419 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220510 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220524 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7080300 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |