JP2022516701A - Information processing methods and devices, electronic devices and recording media - Google Patents
Information processing methods and devices, electronic devices and recording media Download PDFInfo
- Publication number
- JP2022516701A JP2022516701A JP2021534223A JP2021534223A JP2022516701A JP 2022516701 A JP2022516701 A JP 2022516701A JP 2021534223 A JP2021534223 A JP 2021534223A JP 2021534223 A JP2021534223 A JP 2021534223A JP 2022516701 A JP2022516701 A JP 2022516701A
- Authority
- JP
- Japan
- Prior art keywords
- information
- target material
- video stream
- video
- reference image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 63
- 238000003672 processing method Methods 0.000 title claims abstract description 43
- 239000013077 target material Substances 0.000 claims abstract description 169
- 239000000463 material Substances 0.000 claims abstract description 121
- 238000000034 method Methods 0.000 claims abstract description 69
- 238000001514 detection method Methods 0.000 claims abstract description 33
- 230000004044 response Effects 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims description 28
- 238000005070 sampling Methods 0.000 claims description 27
- 230000000903 blocking effect Effects 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 20
- 230000005540 biological transmission Effects 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 abstract description 34
- 238000003780 insertion Methods 0.000 abstract description 4
- 230000037431 insertion Effects 0.000 abstract description 4
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 16
- 238000004891 communication Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 230000001960 triggered effect Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 230000005236 sound signal Effects 0.000 description 4
- 238000003491 array Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/458—Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
- H04N21/4586—Content update operation triggered locally, e.g. by comparing the version of software modules in a DVB carousel to the version stored locally
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/812—Monomedia components thereof involving advertisement data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Marketing (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Transfer Between Computers (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本発明は、情報処理方法及び装置、電子デバイス並びに記録媒体に関し、ここで、当該方法は、再生しているビデオストリーム中の第1ビデオ画像に対して顔検出を実行して、前記第1ビデオ画像の顔情報を得ることと、サーバに前記顔情報を送信することと、前記サーバによって送信された、前記顔情報に基づいて得られた目標素材を、受信することと、前記ビデオストリームが前記目標素材に対応する開始再生時間まで再生されたことが検出されたことに応答して、前記目標素材の表示をトリガすることと、を含む。本発明を採用すると、サードパーティの広告素材の自動挿入を実現するために有益である。【選択図】図1The present invention relates to an information processing method and device, an electronic device, and a recording medium, wherein the method performs face detection on a first video image in a video stream being played, and the first video. Obtaining the face information of the image, transmitting the face information to the server, receiving the target material transmitted by the server based on the face information, and the video stream said. It includes triggering the display of the target material in response to the detection that the target material has been reproduced until the start reproduction time corresponding to the target material. Adopting the present invention is beneficial for realizing automatic insertion of third-party advertising material. [Selection diagram] Fig. 1
Description
本発明は、情報処理技術分野に関し、特に情報処理方法及び装置、電子デバイス並びに記録媒体に関する。 The present invention relates to the field of information processing technology, and more particularly to information processing methods and devices, electronic devices and recording media.
たとえば、ストリーミングメディア情報(たとえばビデオストリーム)を再生するシーンなどの、情報処理のいくつかのアプリケーションシナリオでは、広告素材などの、ビデオストリーム以外の他のストリーミングメディア情報も表示することができる。ただし、サードパーティのサービスプロバイダーが提供する(over-the-top、OTT)広告素材の場合、テレビやセットトップボックスがサードパーティの広告素材の関連内容を取得できないため、広告素材の自動挿入を実現することができない。 For example, in some information processing application scenarios, such as a scene playing streaming media information (eg, a video stream), other streaming media information other than the video stream, such as advertising material, can also be displayed. However, in the case of over-the-top (OTT) advertising materials provided by third-party service providers, automatic insertion of advertising materials is realized because TVs and set-top boxes cannot acquire the relevant content of third-party advertising materials. Can not do it.
本発明は、情報処理の技術的解決策を提供する。 The present invention provides a technical solution for information processing.
本発明の1態様によると、情報処理方法を提供し、前記方法は、再生しているビデオストリーム中の第1ビデオ画像に対して顔検出を実行して、前記第1ビデオ画像の顔情報を得ることと、サーバに前記顔情報を送信することと、前記サーバによって送信された、前記顔情報に基づいて得られた目標素材を、受信することと、前記ビデオストリームが前記目標素材に対応する開始再生時間まで再生されたことが検出されたことに応答して、前記目標素材の表示をトリガすることと、を含む。 According to one aspect of the present invention, an information processing method is provided, in which face detection is performed on a first video image in a video stream being played, and the face information of the first video image is obtained. Obtaining, transmitting the face information to the server, receiving the target material transmitted by the server based on the face information, and the video stream corresponding to the target material. In response to the detection that reproduction has been performed up to the start reproduction time, the display of the target material is triggered.
可能な実現形態において、前記目標素材は、広告素材を含む。 In a possible implementation, the target material includes advertising material.
可能な実現形態において、前記目標素材の表示をトリガすることは、端末デバイスに前記目標素材を送信することによって、前記端末デバイスが前記目標素材を表示するようにすることを含み、または、前記目標素材の表示をトリガした後に、前記方法は、前記目標素材を表示することをさらに含む。 In a possible embodiment, triggering the display of the target material comprises causing the terminal device to display the target material by transmitting the target material to the terminal device, or the target. After triggering the display of the material, the method further comprises displaying the target material.
可能な実現形態において、前記目標素材の表示方式は、前記目標素材をコーナーマークの形で前記ビデオストリーム再生インターフェースのコーナーに表示すること、または、前記目標素材を前記再生インターフェースの再生内容と関連させてバンドエイドの形で前記ビデオストリーム再生インターフェースに表示すること、または、前記目標素材をバナーの形で前記ビデオストリーム再生インターフェースに亘って前記ビデオストリーム再生インターフェースに表示することを含む。 In a possible embodiment, the display method of the target material is to display the target material in the corner of the video stream playback interface in the form of a corner mark, or to associate the target material with the playback content of the playback interface. The term includes displaying the target material in the form of a band aid on the video stream playback interface, or displaying the target material in the form of a banner across the video stream playback interface.
可能な実現形態において、前記方法は、前記サーバによって送信された前記目標素材の、前記目標素材の所定の再生時間帯に対応する参考画像情報を含む再生時間情報を、受信することと、前記再生時間情報に基づいて、前記ビデオストリームが前記目標素材に対応する開始再生時間まで再生されたか否かを検出することと、をさらに含む。 In a possible embodiment, the method receives and replays the replay time information of the target material transmitted by the server, including reference image information corresponding to a predetermined replay time zone of the target material. Further including detecting whether or not the video stream has been played up to the start playback time corresponding to the target material based on the time information.
可能な実現形態において、前記参考画像情報は、前記目標素材の所定の再生時間帯に対応する複数フレームの参考画像の特徴情報を含む。 In a possible embodiment, the reference image information includes feature information of a plurality of frames of the reference image corresponding to a predetermined reproduction time zone of the target material.
可能な実現形態において、前記複数フレームの参考画像は、前記所定の再生時間帯に隣接する少なくとも1つの時間帯に対してサンプリングを複数回実行して得られたものである。 In a possible embodiment, the plurality of frames of the reference image are obtained by performing sampling a plurality of times for at least one time zone adjacent to the predetermined reproduction time zone.
可能な実現形態において、前記再生時間情報に基づいて、前記ビデオストリームが前記目標素材に対応する開始再生時間まで再生されたか否かを検出することは、前記ビデオストリームの再生待ちの第2ビデオ画像と前記再生時間情報に含まれた参考画像情報とを比較して、比較結果を得ることと、前記比較結果に基づいて、前記ビデオストリームが前記目標素材に対応する開始再生時間まで再生されたか否かを確定することと、を含む。前記第1ビデオ画像が再生された後に、前記第2ビデオ画像が再生される。 In a possible embodiment, detecting whether or not the video stream has been played up to the start playback time corresponding to the target material based on the playback time information is a second video image awaiting playback of the video stream. And the reference image information included in the reproduction time information are compared to obtain a comparison result, and based on the comparison result, whether or not the video stream is reproduced up to the start reproduction time corresponding to the target material. Includes determining or. After the first video image is reproduced, the second video image is reproduced.
可能な実現形態において、前記比較結果に基づいて、前記ビデオストリームが前記目標素材に対応する開始再生時間まで再生されたか否かを確定することは、前記比較結果が、前記複数フレームの参考画像の中の第1参考画像との比較に成功したことである場合、前記ビデオストリームが前記目標素材に対応する開始再生時間まで再生されたと確定することを含み、ここで、前記複数フレームの参考画像の中の前のM個の参考画像は、前記第1参考画像を含む。 In a possible embodiment, determining whether or not the video stream has been played up to the start playback time corresponding to the target material based on the comparison result is such that the comparison result is a reference image of the plurality of frames. If the comparison with the first reference image in the medium is successful, it includes determining that the video stream has been played up to the start playback time corresponding to the target material, and here, the reference image of the plurality of frames. The previous M reference images inside include the first reference image.
いくつかの実施例において、前記ビデオストリームが前記目標素材に対応する開始再生時間まで再生されたことが検出されたことに応答して、前記目標素材の表示をトリガすることは、前記ビデオストリームの第2ビデオ画像と前記複数フレームの参考画像の中の第1目標参考画像との比較に成功したことに応答して、前記目標素材の表示をトリガすることを含む。 In some embodiments, triggering the display of the target material in response to the detection that the video stream has been played up to the start playback time corresponding to the target material is the video stream. It includes triggering the display of the target material in response to the successful comparison between the second video image and the first target reference image in the plurality of frames of the reference image.
いくつかの実施例において、前記ビデオストリームの第2ビデオ画像と前記複数フレームの参考画像の中の第1目標参考画像との比較に成功したことに応答して、前記目標素材の表示をトリガすることは、前記第2ビデオ画像と前記第1目標参考画像との比較に成功したこと、および、前記ビデオストリームの第3ビデオ画像と前記複数フレームの参考画像の中の第2目標参考画像との比較に成功したことが検出されたことに応答して、前記目標素材の表示をトリガすることを含み、前記第2ビデオ画像が再生された後に、前記第3ビデオ画像が再生される。 In some embodiments, the display of the target material is triggered in response to a successful comparison between the second video image of the video stream and the first target reference image in the plurality of frames of the reference image. That is, the comparison between the second video image and the first target reference image was successful, and the third video image of the video stream and the second target reference image in the reference image of the plurality of frames were used. The third video image is played after the second video image has been played, including triggering the display of the target material in response to the detection that the comparison was successful.
可能な実現形態において、前記方法は、前記比較結果が、前記複数フレームの参考画像の中の第2参考画像との比較に成功したことである場合、前記目標素材の再生を終了すると確定することをさらに含み、前記複数フレームの参考画像の中の最後のN個の参考画像は、前記第2参考画像を含む。いくつかの実施例において、前記複数フレームの参考画像の中の目標参考画像の後のN個の参考画像は、前記第2参考画像を含む。 In a possible embodiment, the method determines that the reproduction of the target material is terminated if the comparison result is successful in comparison with the second reference image in the plurality of frames of the reference image. The last N reference images in the plurality of frames of the reference image further include the second reference image. In some embodiments, the N reference images after the target reference image in the plurality of frames of the reference image include the second reference image.
いくつかの実施例において、ビデオストリームの第4ビデオ画像と第2参考画像との比較に成功した場合、前記目標素材の再生の終了をトリガする。 In some embodiments, if the fourth video image of the video stream is successfully compared to the second reference image, it triggers the end of reproduction of the target material.
可能な実現形態において、前記方法は、所定のブロッキング条件を満たす広告素材が検出されたことに応答して前記目標素材を表示することをさらに含む。 In a possible embodiment, the method further comprises displaying the target material in response to the detection of an advertising material satisfying a predetermined blocking condition.
可能な実現形態において、前記所定のブロッキング条件は、 In a possible embodiment, the predetermined blocking condition is
ブラックリストにリストされている所定のマーチャントであることと、 Being a blacklisted merchant and
ブラックリストにリストされている所定の広告タイプであることと、 Being a blacklisted ad type and
前記目標素材と異なるソースまたは異なるマーチャントの広告素材を持つことと、の中の少なくとも1つを含む。 Includes at least one of having different sources or different merchant advertising material than the target material.
本発明の1態様によると、情報処理方法を提供し、前記方法は、端末デバイスによって送信された少なくとも1つの第1ビデオ画像の顔情報を受信することと、前記顔情報と、複数の所定の顔テンプレートを含む顔テンプレートライブラリと、に基づいて、前記少なくとも1つの第1ビデオ画像が属されているビデオストリーム情報を確定することと、前記ビデオストリーム情報に基づいて目標素材を取得することと、前記端末デバイスに前記目標素材を送信することと、を含む。 According to one aspect of the invention, an information processing method is provided that receives face information of at least one first video image transmitted by a terminal device, said face information, and a plurality of predetermined. Based on the face template library including the face template, determining the video stream information to which the at least one first video image belongs, and acquiring the target material based on the video stream information. Includes transmitting the target material to the terminal device.
可能な実現形態において、前記顔情報および顔テンプレートライブラリに基づいて、前記少なくとも1つの第1ビデオ画像が属されているビデオストリーム情報を確定することは、前記顔テンプレートライブラリに含まれた複数の所定の顔テンプレートに基づいて、前記顔情報に対応する人物身分情報を得ることと、前記人物身分情報に基づいてビデオライブラリを検索して、前記少なくとも1つの第1ビデオ画像が属されているビデオストリーム情報を得ることと、を含む。 In a possible embodiment, determining the video stream information to which the at least one first video image belongs, based on the face information and face template library, is a plurality of predetermined embodiments contained in the face template library. Based on the face template of, the person identification information corresponding to the face information is obtained, and the video library is searched based on the person identification information, and the video stream to which the at least one first video image belongs. Including getting information.
可能な実現形態において、前記顔テンプレートライブラリに含まれた複数の所定の顔テンプレートに基づいて、前記顔情報に対応する人物身分情報を得ることは、前記顔情報と前記複数の所定の顔テンプレートとの第1比較結果を確定することと、前記第1比較結果に基づいて、前記顔情報に対応する人物身分情報を得ることと、を含む。 In a possible embodiment, obtaining the person identification information corresponding to the face information based on the plurality of predetermined face templates included in the face template library can be performed by the face information and the plurality of predetermined face templates. The first comparison result is determined, and the person identification information corresponding to the face information is obtained based on the first comparison result.
可能な実現形態において、前記目標素材は、広告素材を含む。 In a possible implementation, the target material includes advertising material.
可能な実現形態において、前記方法は、前記端末デバイスに前記目標素材に対応する再生時間情報を送信することをさらに含み、ここで、前記再生時間情報は、前記目標素材の所定の再生時間帯に対応する参考画像情報を含む。 In a possible embodiment, the method further comprises transmitting playback time information corresponding to the target material to the terminal device, wherein the playback time information is in a predetermined playback time zone of the target material. Includes corresponding reference image information.
可能な実現形態において、前記参考画像情報は、前記目標素材の所定の再生時間帯に対応する複数フレームの参考画像の特徴情報を含む。 In a possible embodiment, the reference image information includes feature information of a plurality of frames of the reference image corresponding to a predetermined reproduction time zone of the target material.
可能な実現形態において、前記方法は、前記所定の再生時間帯の少なくとも1つの隣接時間帯で前記ビデオストリーム情報に対してサンプリングを実行して、複数フレームの参考画像を得ることと、前記複数フレームの参考画像に対して特徴抽出処理を実行して、前記複数フレームの参考画像の特徴情報を得ることと、をさらに含む。 In a possible embodiment, the method comprises performing sampling on the video stream information in at least one adjacent time zone of the predetermined playback time zone to obtain a plurality of frames of reference images and said the plurality of frames. Further includes performing a feature extraction process on the reference image of the above to obtain feature information of the reference image of the plurality of frames.
可能な実現形態において、前記方法は、前記端末デバイスに広告ブロッキング指示を送信することをさらに含み、前記広告ブロッキング指示は、前記端末デバイスによって再生しているビデオストリーム中に特定の広告素材が出現したことが検出された場合、前記端末デバイスが前記目標素材を表示するように指示する。 In a possible embodiment, the method further comprises transmitting an ad blocking instruction to the terminal device, wherein the particular ad material appears in the video stream being played by the terminal device. If it is detected, the terminal device is instructed to display the target material.
本発明の1態様によると、情報処理装置を提供し、前記装置は、再生しているビデオストリーム中の第1ビデオ画像に対して顔検出を実行して、前記第1ビデオ画像の顔情報を得るための第1検出ユニットと、サーバに前記顔情報を送信するための第1送信ユニットと、前記サーバによって送信された、前記顔情報に基づいて得られた目標素材を、受信するための第1受信ユニットと、前記ビデオストリームが前記目標素材に対応する開始再生時間まで再生されたことが検出されたことに応答して、前記目標素材の表示をトリガするための第1応答ユニットと、を備える。 According to one aspect of the present invention, an information processing apparatus is provided, in which the apparatus performs face detection on a first video image in a video stream being played and obtains face information of the first video image. A first detection unit for obtaining, a first transmission unit for transmitting the face information to the server, and a first for receiving the target material transmitted by the server and obtained based on the face information. A receiving unit and a first response unit for triggering the display of the target material in response to the detection that the video stream has been played up to the start playback time corresponding to the target material. Be prepared.
本発明のもう1態様によると、情報処理装置を提供し、前記装置は、端末デバイスによって送信された少なくとも1つの第1ビデオ画像の顔情報を受信するための第3受信ユニットと、前記顔情報と、複数の所定の顔テンプレートを含む顔テンプレートライブラリと、に基づいて、前記少なくとも1つの第1ビデオ画像が属されているビデオストリーム情報を確定するための情報確定ユニットと、前記ビデオストリーム情報に基づいて目標素材を取得するための素材取得ユニットと、前記端末デバイスに前記目標素材を送信するための第2送信ユニットと、を備える。 According to another aspect of the present invention, an information processing apparatus is provided, wherein the apparatus is a third receiving unit for receiving face information of at least one first video image transmitted by a terminal device, and the face information. And, based on a face template library including a plurality of predetermined face templates, an information determination unit for determining the video stream information to which the at least one first video image belongs, and the video stream information. A material acquisition unit for acquiring the target material based on the above, and a second transmission unit for transmitting the target material to the terminal device are provided.
本発明の1態様によると、電子デバイスを提供し、当該電子デバイスは、プロセッサと、プロセッサによって実行可能な命令を記憶するためのメモリと、を備え、前記プロセッサは、上記の情報処理方法を実行するように構成される。 According to one aspect of the invention, an electronic device is provided that comprises a processor and a memory for storing instructions that can be executed by the processor, the processor performing the information processing method described above. It is configured to do.
本発明の1態様によると、コンピュータプログラム命令が記憶されているコンピュータ可読記録媒体を提供し、前記コンピュータプログラム命令がプロセッサによって実行されると、上記の情報処理方法が実現される。 According to one aspect of the present invention, a computer-readable recording medium in which computer program instructions are stored is provided, and when the computer program instructions are executed by a processor, the above information processing method is realized.
本発明の実施例によると、再生しているビデオストリーム中の第1ビデオ画像に対して顔検出を実行して、前記第1ビデオ画像の顔情報を得、サーバに前記顔情報を送信し、前記サーバによって送信された、前記顔情報に基づいて得られた目標素材を、受信し、前記ビデオストリームが前記目標素材に対応する開始再生時間まで再生されたことが検出されたことに応答して、前記目標素材の表示をトリガすることによって、OTT広告素材の自動挿入を実現するために有益である。 According to an embodiment of the present invention, face detection is performed on a first video image in a video stream being played, face information of the first video image is obtained, and the face information is transmitted to a server. In response to receiving the target material transmitted by the server and obtained based on the face information, and detecting that the video stream has been played up to the start playback time corresponding to the target material. , It is useful to realize the automatic insertion of the OTT advertising material by triggering the display of the target material.
上記の一般的な叙述と以下の細部の叙述は、例示的および解釈的なもの過ぎず、本発明に対する限定ではないことを理解すべきである。 It should be understood that the general description above and the detailed description below are merely exemplary and interpretive and are not limitations to the present invention.
以下の参考図面に基づいて例示的な実施例を詳細に説明することによって、本発明の他の特徴および態様が明確になる。 The other features and embodiments of the present invention will be clarified by explaining the exemplary embodiments in detail with reference to the following reference drawings.
ここでの図面は、明細書に組み込まれて、本明細書の一部を構成する。これら図面は、本発明に合致する実施例を示し、明細書とともに本発明の実施例を説明するために用いられる。
以下、図面を参照して本発明の各種の例示的な実施例、特徴及び態様を詳細に説明する。図面における同じ符号は、機能が同じ又は類似する素子を示す。図面に実施例の各種の態様が示されたが、専ら示さない限り、縮尺通りに図面を描く必要がない。 Hereinafter, various exemplary examples, features, and embodiments of the present invention will be described in detail with reference to the drawings. The same reference numerals in the drawings indicate elements having the same or similar functions. Although the drawings show various aspects of the embodiments, it is not necessary to draw the drawings to scale unless exclusively shown.
ここでの用語「例示的な」は、「例示、実施例としてのもの、又は説明的なもの」を意味する。ここで「例示的な」で説明される如何なる実施例も、他の実施例よりも優れるや良くなるとして解釈されるとは限らない。 The term "exemplary" here means "exemplary, exemplary, or descriptive." No embodiment described herein as "exemplary" is to be construed as superior or better than any other embodiment.
本文における用語「及び/又は」は、単に関連対象の関連関係を記述するものであり、3種の関係が存在可能であることを示す。例えば、A及び/又はBは、Aが単独に存在することと、A及びBが同時に存在することと、Bが単独に存在することという3種の場合を表せる。また、本文における用語「少なくとも1種」は、複数種のうちの何れか1種又は複数種のうちの少なくとも2種の任意の組み合わせを示す。例えば、A、B、Cのうちの少なくとも1種を含むことは、A、B及びCによって構成された集合から、何れか1つ又は複数の要素を選択することを示してもよい。 The term "and / or" in the text merely describes the relationship of the related object and indicates that three types of relationships can exist. For example, A and / or B can represent three cases: A exists alone, A and B exist at the same time, and B exists alone. Further, the term "at least one kind" in the text indicates any one of a plurality of kinds or any combination of at least two kinds of a plurality of kinds. For example, including at least one of A, B, and C may indicate selecting any one or more elements from the set composed of A, B, and C.
また、本発明がより良く説明されるように、下文の具体的な実施形態において大量の具体的な細部が与えられている。当業者であれば理解できるように、幾つかの具体的な細部がなくても、本発明は同様に実施可能である。幾つかの実施例では、本発明の要旨がより目立つように、当業者でよく知られる方法、手段、素子及び回路について詳細に記述されていない。 Also, in order to better explain the invention, a large amount of specific details are given in the specific embodiments below. As will be appreciated by those skilled in the art, the invention can be implemented as well without some specific details. In some embodiments, methods, means, elements and circuits well known to those of skill in the art are not described in detail so that the gist of the invention is more prominent.
図1は、本発明の実施例に係る情報処理方法を示すフローチャートであり、当該方法は情報処理装置に適用される。たとえば、当該情報処理装置は、端末デバイスに配置され、ビデオストリームを再生し、ビデオ同期チェックおよび素材表示などを実行する。ここで、端末デバイスは、ユーザデバイス(UE、User Equipment)、モバイルデバイス、携帯電話、無線電話、パーソナルデジタルアシスタント(PDA、Personal Digital Assistant)、ハンドヘルド機器、計算機器、車載機器、ウェアラブル機器等であってもよい。いくつかの可能な実現形態において、当該情報処理方法は、プロセッサによってメモリに記憶されているコンピュータ可読命令を呼び出す方式によって実現され得る。図1に示した情報処理方法のフローは、ステップS101~S104を含む。 FIG. 1 is a flowchart showing an information processing method according to an embodiment of the present invention, and the method is applied to an information processing apparatus. For example, the information processing device is arranged in a terminal device, plays a video stream, performs a video synchronization check, material display, and the like. Here, the terminal device is a user device (UE, User Equipment), a mobile device, a mobile phone, a wireless telephone, a personal digital assistant (PDA, Personal Digital Assistant), a handheld device, a computing device, an in-vehicle device, a wearable device, or the like. You may. In some possible implementations, the information processing method may be implemented by a method of calling computer-readable instructions stored in memory by a processor. The flow of the information processing method shown in FIG. 1 includes steps S101 to S104.
ステップS101において、端末デバイスにより、再生しているビデオストリーム中の第1ビデオ画像に対して顔検出を実行して、前記第1ビデオ画像の顔情報を得る。 In step S101, the terminal device executes face detection on the first video image in the video stream being played, and obtains the face information of the first video image.
1例において、当該ビデオストリームは、テレビドラマまたは映画などのポジフィルム、短映像、バラエティーショーなどを含み得、前記ビデオストリームは、複数フレームのビデオ画像によって構成され得る。ビデオストリームの1フレームまたは複数フレームのビデオ画像は、1つまたは複数の顔情報を含み得、たとえば、特徴抽出ネットワークを利用して第1ビデオ画像に対して特徴抽出を実行して、複数の特徴情報を得てから、当該複数の特徴情報に対してクラスタリングを実行し、クラスタリング結果に基づいて当該顔情報を得ることができる。 In one example, the video stream may include a positive film such as a television drama or movie, a short video, a variety show, etc., and the video stream may be composed of a plurality of frames of video images. A one-frame or multiple-frame video image of a video stream may contain one or more facial information, for example, a feature extraction network may be used to perform feature extraction on a first video image to perform feature extraction. After obtaining the information, clustering can be performed on the plurality of feature information, and the face information can be obtained based on the clustering result.
ステップS102において、端末デバイスにより、サーバに前記顔情報を送信する。 In step S102, the terminal device transmits the face information to the server.
1例において、ビデオストリームに含まれている当該第1ビデオ画像の例を挙げると、当該第1ビデオ画像に複数の顔情報が含まれていると、各独立した顔情報をそれぞれ抽出してからサーバに送信し、サーバにより、顔情報とサーバの顔テンプレートライブラリ中の所定の顔テンプレートとを比較し、比較結果に基づいて顔情報にマッチングされるビデオストリーム情報を得る。たとえば、当該比較結果に基づいてクラウドのビデオストリーム情報を検索して、端末デバイスで再生されているビデオストリームにマッチングされるクラウドドラマを得、これに基づいて当該目標素材(広告素材など)を取得することができる。 In one example, to give an example of the first video image included in the video stream, if the first video image contains a plurality of face information, each independent face information is extracted first. It is sent to the server, and the server compares the face information with a predetermined face template in the face template library of the server, and obtains video stream information matched with the face information based on the comparison result. For example, search the video stream information in the cloud based on the comparison result to obtain a cloud drama that matches the video stream being played on the terminal device, and obtain the target material (advertising material, etc.) based on this. can do.
ステップS103において、端末デバイスにより、前記サーバによって送信された、前記顔情報に基づいて得られた目標素材を、受信する。 In step S103, the terminal device receives the target material transmitted by the server and obtained based on the face information.
1例において、前記目標素材は、広告素材を含み、サーバによって実行される顔情報比較を通じて、当該広告素材を得ることができる。 In one example, the target material includes an advertising material, and the advertising material can be obtained through a face information comparison executed by a server.
ステップS104において、端末デバイスにより、前記ビデオストリームが前記目標素材に対応する開始再生時間まで再生されたことが検出されたことに応答して、前記目標素材の表示をトリガする。 In step S104, the terminal device triggers the display of the target material in response to the detection that the video stream has been played up to the start playback time corresponding to the target material.
1例において、当該開始再生時間は、目標素材(広告素材など)を表示する広告点であり得る。当該広告点に基づいて広告素材を再生する開始時間を識別することができる。当該広告点で広告素材の表示をトリガする。図2aは、本発明の実施例に係るビデオストリーム中の1フレームのビデオ画像を示す模式図である。図2bは、本発明の実施例に係る目標素材の1フレームのビデオ画像が表示されている模式図であり、ここで、再生しているビデオストリームは、ポジフィルム11に示したようであり、トリガされて表示された目標素材は、広告素材12に示したようである。
In one example, the start playback time may be an advertising point displaying a target material (advertising material, etc.). The start time for playing the advertising material can be identified based on the advertising point. Trigger the display of advertising material at the advertising point. FIG. 2a is a schematic diagram showing a one-frame video image in a video stream according to an embodiment of the present invention. FIG. 2b is a schematic diagram showing a one-frame video image of the target material according to the embodiment of the present invention, wherein the video stream being reproduced seems to be shown on the
1例において、サーバは、顔情報比較を通じて目標素材を得た後に、ビデオストリームを再生する端末デバイスに目標素材を送信することによって、当該端末デバイスが前記目標素材を表示するようにすることができる。目標素材の表示をトリガした後に、前記情報処理方法は、目標素材を表示することをさらに含む。 In one example, the server can make the terminal device display the target material by transmitting the target material to the terminal device that plays the video stream after obtaining the target material through the face information comparison. .. After triggering the display of the target material, the information processing method further comprises displaying the target material.
ビデオストリーム再生シナリオにおいて、上記の目標素材は、OTT広告素材であり得る。OTT広告素材は、インターネット(オペレーターなど)を介してサードパーティのサービスプロバイダーによって提供されるものである。本発明の上記の技術的解決策を採用して、「端末デバイスにより、ビデオストリームの第1ビデオ画像から顔情報を抽出して、サーバに送信して分析を実行し、サーバにより、クラウドビデオストリーム情報から対応する目標素材(広告素材など)を検索して得、目標素材を端末デバイスに送信し、端末デバイスにより、目標素材の展示を実行する」という処理ロジックを実現した。当該処理ロジックによって、通常の非スマートテレビをHDスマートテレビに変えることができる。すなわち、当該処理ロジックによって、通常の非スマートテレビは、インターネット(オペレーターによって提供されるネットワークなど)を介して主要なビデオフィルムコンテンツのリソースを得ることができるだけでなく、サーバの多数のサードパーティのマテリアルコンテンツプロバイダからより多様化された効果的な情報(目標素材など)を得ることができる。当該処理ロジックによって、再生しているビデオストリーム中の第1ビデオ画像に対して顔検出を実行して、顔情報を得た後に、当該顔情報をサーバに送信して比較することによって、当該顔情報に基づく対応される目標素材を得て、OTT広告の自動精密挿入を実現することができる。 In the video stream playback scenario, the above target material can be OTT advertising material. OTT advertising material is provided by a third-party service provider via the Internet (operator, etc.). Adopting the above technical solution of the present invention, "the terminal device extracts face information from the first video image of the video stream, sends it to the server for analysis, and the server performs the cloud video stream. The processing logic of "searching for the corresponding target material (advertising material, etc.) from the information, transmitting the target material to the terminal device, and executing the exhibition of the target material by the terminal device" has been realized. With this processing logic, a normal non-smart TV can be transformed into an HD smart TV. That is, the processing logic not only allows ordinary non-smart TVs to obtain resources for major video film content over the Internet (such as networks provided by operators), but also a number of third-party materials on the server. More diversified and effective information (target material, etc.) can be obtained from content providers. The processing logic executes face detection on the first video image in the video stream being played, obtains face information, and then sends the face information to a server for comparison. It is possible to obtain the corresponding target material based on the information and realize the automatic precision insertion of the OTT advertisement.
いくつかの可能な実現形態において、目標素材が広告素材の例を挙げると、当該広告素材の表示方式は、コーナーマーク、バンドエイド、バナーなどの方式を含み得、図3~図5は、本発明の実施例に係る目標素材表示方式を示す模式図であり、以下のとおりである。 In some possible realizations, to give an example of an advertising material as a target material, the display method of the advertising material may include a method such as a corner mark, a band-aid, a banner, and FIGS. 3 to 5 are books. It is a schematic diagram which shows the target material display method which concerns on embodiment of an invention, and is as follows.
表示方式1は、前記広告素材13をコーナーマークの形で前記ビデオストリーム再生インターフェースのコーナーに表示することであり得、図3に示したようである。
The display method 1 may display the
表示方式2は、前記広告素材14を再生インターフェースの再生内容と関連させてバンドエイドの形で前記ビデオストリーム再生インターフェースに表示することであり得、図4に示したようである。たとえば、再生内容に含まれた「民族解放」などのキー情報が検出されると、当該キー情報に基づいて対応する当該キー情報、または、当該キー情報に関連付けられた広告素材を検索し、検索された広告素材を再生インターフェースに表示して、当該再生内容で呼応するようにする。たとえば、広告素材に「一生忠誠」という広告単語が含まれていると、これは「民族解放」というキー情報と関連付けられているため、当該広告素材を再生インターフェースに表示して、当該再生内容で呼応するようにする。
The
表示方式3は、前記広告素材15をバナーの形で前記ビデオストリーム再生インターフェースに亘って前記ビデオストリーム再生インターフェースに表示することであり得、図5に示したようである。
The display method 3 may display the
いくつかの可能な実現形態において、前記情報処理方法は、前記サーバによって送信された前記目標素材の、前記目標素材の所定の再生時間帯に対応する参考画像情報を含む再生時間情報を、受信することと、前記再生時間情報に基づいて、前記ビデオストリームが前記目標素材に対応する開始再生時間まで再生されたか否かを検出することと、をさらに含む。ここで、前記参考画像情報は、前記目標素材の所定の再生時間帯に対応する複数フレームの参考画像の特徴情報を含む。当該複数フレームの参考画像は、前記所定の再生時間帯に隣接する少なくとも1つの時間帯に対してサンプリングを複数回実行して得られたものである。 In some possible implementations, the information processing method receives playback time information of the target material transmitted by the server, including reference image information corresponding to a predetermined playback time zone of the target material. It further includes detecting whether or not the video stream has been played up to the start playback time corresponding to the target material based on the playback time information. Here, the reference image information includes feature information of a plurality of frames of reference images corresponding to a predetermined reproduction time zone of the target material. The reference image of the plurality of frames is obtained by performing sampling a plurality of times for at least one time zone adjacent to the predetermined reproduction time zone.
いくつかの可能な実現形態において、前記再生時間情報に基づいて、前記ビデオストリームが前記目標素材に対応する開始再生時間まで再生されたか否かを検出することは、前記ビデオストリームの再生待ちの第2ビデオ画像と前記再生時間情報に含まれた参考画像情報とを比較して、比較結果を得ることと、前記比較結果に基づいて、前記ビデオストリームが前記目標素材に対応する開始再生時間まで再生されたか否かを確定することと、を含む。第2ビデオ画像は、第1ビデオ画像の後で再生される。 In some possible implementations, detecting whether or not the video stream has been played up to the start play time corresponding to the target material based on the play time information is the first awaiting play of the video stream. 2 The video image is compared with the reference image information included in the playback time information to obtain a comparison result, and based on the comparison result, the video stream is played back until the start playback time corresponding to the target material. Includes determining whether or not it has been done. The second video image is played after the first video image.
1例において、前記ビデオストリームの再生待ちの第2ビデオ画像と前記参考画像情報とを比較して、比較結果を得ることは、前記第2ビデオ画像に対して特徴抽出処理を実行して、前記第2ビデオ画像の特徴情報を得ることと、前記第2ビデオ画像の特徴情報と前記参考画像情報の中の少なくとも1つのフレーム参考画像の特徴情報との間の類似度に基づいて、比較結果を得ることと、を含む。第2ビデオ画像の特徴情報と参考画像の特徴情報とを比較することによって、特徴情報間の類似度を得て、比較結果を得ることができる。端末デバイスは、当該比較結果に基づいて、ビデオストリームが目標素材に対応する開始再生時間まで再生されたか否かを確定することによって、当該開始再生時間で目標素材の表示をトリガし、目標素材の表示をトリガした後に、当該目標素材を表示する。 In one example, comparing the second video image waiting to be played back in the video stream with the reference image information to obtain a comparison result is performed by executing a feature extraction process on the second video image. Based on the degree of similarity between obtaining the feature information of the second video image and the feature information of the second video image and the feature information of at least one frame reference image in the reference image information, the comparison result is obtained. To get and include. By comparing the feature information of the second video image with the feature information of the reference image, the similarity between the feature information can be obtained and the comparison result can be obtained. Based on the comparison result, the terminal device triggers the display of the target material at the start playback time by determining whether or not the video stream has been played until the start playback time corresponding to the target material, and the target material is displayed. After triggering the display, the target material is displayed.
いくつかの実施例において、ビデオ画像の特徴情報と参考画像の特徴情報との間の類似度が所定の閾値以上であると、当該ビデオ画像と当該参考画像との比較に成功したと確定することができる。所定の閾値は、実際に使用する類似度を確定する方法に従って決定され得る。 In some embodiments, if the similarity between the feature information of the video image and the feature information of the reference image is greater than or equal to a predetermined threshold, it is determined that the comparison between the video image and the reference image is successful. Can be done. The predetermined threshold can be determined according to the method of determining the similarity actually used.
いくつかの可能な実現形態において、第2ビデオ画像と前記複数フレームの参考画像の中の第1参考画像との比較に成功した場合、前記ビデオストリームが前記目標素材に対応する開始再生時間まで再生されたと確定し、ここで、前記複数フレームの参考画像の中の前のM個の参考画像は、前記第1参考画像を含む。 In some possible implementations, if the second video image is successfully compared to the first reference image in the multi-frame reference image, the video stream plays until the start playback time corresponding to the target material. Here, the previous M reference images in the reference images of the plurality of frames include the first reference image.
いくつかの実施例において、ビデオストリームのビデオ画像と複数フレームの参考画像とを比較して、目標素材の表示をトリガするか否かを確定することができる。たとえば、第2ビデオ画像と第1参考画像との比較に成功した場合、目標素材の表示をトリガすることができる。または、第2ビデオ画像と第1参考画像との比較に成功し、また第3ビデオ画像と第3参考画像との比較に成功した場合に、目標素材の表示をトリガすることができる。ここで、第3ビデオ画像は、第2ビデオ画像の後で再生される。当該第1参考画像および第3参考画像は、複数フレームの参考画像の中の前のM個の参考画像の中に含まれた任意の参考画像であるか、または、予め設定された参考画像であり得る。具体的なトリガメカニズムは、実際の要求に応じて決定され、本発明の実施例はこれに対して限定しない。 In some embodiments, the video image of the video stream and the multi-frame reference image can be compared to determine whether or not to trigger the display of the target material. For example, if the comparison between the second video image and the first reference image is successful, the display of the target material can be triggered. Alternatively, when the comparison between the second video image and the first reference image is successful, and the comparison between the third video image and the third reference image is successful, the display of the target material can be triggered. Here, the third video image is played after the second video image. The first reference image and the third reference image are arbitrary reference images included in the previous M reference images in the reference images of a plurality of frames, or are preset reference images. possible. The specific trigger mechanism is determined according to the actual requirements, and the embodiments of the present invention are not limited thereto.
いくつかの実施例において、ビデオストリームの第2ビデオ画像および前記複数フレームの参考画像の中の第2参考画像との比較に成功した場合、前記目標素材の再生を終了すると確定すること、および/または、前記目標素材の再生の終了をトリガすることをさらに含み、ここで、前記複数フレームの参考画像の中の最後のN個の参考画像は、前記第2参考画像を含む。 In some embodiments, if the comparison between the second video image of the video stream and the second reference image in the multi-frame reference image is successful, it is determined that the reproduction of the target material is finished, and / Alternatively, it further includes triggering the end of reproduction of the target material, where the last N reference images in the plurality of frames of the reference image include the second reference image.
いくつかの実施例において、参考画像情報は、目標素材の開始再生時間に関連する複数フレームの参考画像の特徴情報を含む。1つのオプションの例において、複数フレームの参考画像は、所定の再生時間帯に隣接する少なくとも1つの時間帯に対してサンプリングを複数回実行して得られたものである。当該所定の再生時間帯は、1つまたは複数の所定の時点を含み得、たとえば、1つの時点(すなわち開始再生時間=終了再生時間である)、開始再生時間および終了再生時間、または、開始再生時間、終了再生時間、および、両者の間に位置する少なくとも1つの時点を含む。1つのオプションの例において、複数フレームの参考画像は、開始再生時間と隣接する第1時間帯および第2時間帯に対してサンプリングを複数回実行して得られたものであり得る。ここで、前記第1時間帯の終点は、前記開始再生時間であり、前記第2時間帯の開始点は、前記開始再生時間である。第2時間帯の時間は、当該広告点位の広告時間または前記広告点位よりもわずかに大きい広告時間であり得、または、第2時間帯の開始点は、前記開始再生時間と隣接する次の1つの時点であり得る。この場合、選択的に、上記の例において、第1参考画像は、第1時間帯内でサンプリングされたものである。第2参考画像は、第2時間帯内でサンプリングされたものであるが、本発明の実施例はこれに対して限定しない。 In some embodiments, the reference image information includes feature information of the multi-frame reference image related to the start playback time of the target material. In one optional example, the multi-frame reference image is obtained by performing multiple samplings for at least one time zone adjacent to a predetermined reproduction time zone. The predetermined playback time zone may include one or more predetermined time points, for example, one time point (that is, start playback time = end playback time), start playback time and end playback time, or start playback. Includes time, end replay time, and at least one time point between the two. In one optional example, the multi-frame reference image may be obtained by performing multiple samplings for the first and second time zones adjacent to the start playback time. Here, the end point of the first time zone is the start reproduction time, and the start point of the second time zone is the start reproduction time. The time in the second time zone can be the advertising time of the advertising point or the advertising time slightly larger than the advertising point, or the starting point of the second time zone is the next adjacent to the starting playback time. It can be at one point in time. In this case, selectively, in the above example, the first reference image is sampled within the first time zone. The second reference image is sampled within the second time zone, but the embodiment of the present invention is not limited thereto.
いくつかの実施例において、第2ビデオ画像と第1参考画像との比較に成功されたことが検出されたことに応答して、ビデオ同期チェックを実行し始める。ビデオストリーム中の第3ビデオ画像と前記複数フレームの参考画像の中の予め設定された目標参考画像との比較が成功されたことが検出されると、目標素材の表示をトリガする。 In some embodiments, the video synchronization check begins to be performed in response to the detection of successful comparison between the second video image and the first reference image. When it is detected that the comparison between the third video image in the video stream and the preset target reference image in the reference images of the plurality of frames is successful, the display of the target material is triggered.
いくつかの可能な実現形態において、前記情報処理方法は、所定のブロッキング条件を満たす広告素材が検出されたことに応答して前記目標素材を表示することをさらに含む。ここで、前記所定のブロッキング条件は、ブラックリストにリストされている所定のマーチャントであることと、ブラックリストにリストされている所定の広告タイプであることと、または前記目標素材と異なるソースまたは異なるマーチャントの広告素材を持つことと、の中の少なくとも1つを含む。 In some possible implementations, the information processing method further comprises displaying the target material in response to the detection of an advertising material satisfying a predetermined blocking condition. Here, the predetermined blocking condition is a predetermined merchant listed in the blacklist, a predetermined advertisement type listed in the blacklist, or a source or different from the target material. Includes having at least one of the merchant's advertising material.
1例において、サーバは、端末デバイスに広告ブロッキング指示を送信し、当該広告ブロッキング指示は、端末デバイスがビデオストリームを再生しているときに所定のブロッキング条件を満たす広告が現れたときに、端末デバイスが目標素材を表示するように指示する。たとえば、前記ビデオストリームで再生されている広告素材がナイキボールシューであると、端末デバイスは、広告ブロッキング指示に基づいて当該ナイキボールシューがブラックリストにリストされているマーチャントであると確定し、コーナーマーク、バンドエイド、または、バナーなどの形で目標素材を表示し、たとえばアディダスボールシューズの広告を表示する。もう1例において、前記ビデオストリームで再生されている広告素材がメルセデスベンツ広告であると、「BMW広告」の目標素材と競争であるため、一旦発見されると、端末デバイスは、コーナーマーク、バンドエイド、または、バナーなどの形でBMW広告を表示することによって、自身の広告素材の再生の精度を向上させる。本発明を採用すると、所定のブロッキング条件の広告素材が現れる場合、自身にマッチングされる広告素材をポップアップすることで、所定のブロッキング条件を満たす広告素材に対して正確なブロッキング処理を実行することができる。 In one example, the server sends an ad blocking instruction to the terminal device, which is the terminal device when an ad that meets a predetermined blocking condition appears while the terminal device is playing a video stream. Instructs you to display the target material. For example, if the ad material being played in the video stream is a Nike ball shoe, the terminal device determines that the Nike ball shoe is a blacklisted merchant based on the ad blocking instructions and corners. Display target material in the form of marks, band-aids, or banners, such as ads for adidas ball shoes. In another example, if the advertising material played in the video stream is a Mercedes-Benz advertisement, it competes with the target material of the "BMW advertisement". Therefore, once discovered, the terminal device has a corner mark and a band. By displaying the BMW advertisement in the form of an aid or a banner, the accuracy of reproduction of the own advertisement material is improved. When the present invention is adopted, when an advertisement material having a predetermined blocking condition appears, an advertisement material matching with itself can be popped up to execute an accurate blocking process for the advertisement material satisfying the predetermined blocking condition. can.
図6は、本発明の実施例に係る情報処理方法を示すフローチャートであり、当該方法は、情報処理装置に適用され、当該情報処理装置は、サーバに配置され、ビデオストリーム情報検索およびビデオストリーム再生と表示された素材との間の同期を実行することができる。図6に示したように、当該フローは、ステップS201~S204を含む。 FIG. 6 is a flowchart showing an information processing method according to an embodiment of the present invention, the method is applied to an information processing apparatus, the information processing apparatus is arranged in a server, video stream information retrieval and video stream reproduction. You can perform synchronization with the displayed material. As shown in FIG. 6, the flow includes steps S201 to S204.
ステップS201において、サーバにより、端末デバイスによって送信された少なくとも1つの第1ビデオ画像の顔情報を受信する。 In step S201, the server receives the face information of at least one first video image transmitted by the terminal device.
1例において、端末デバイスによって再生されているビデオストリーム中には少なくとも1つの第1ビデオ画像が含まれており、その中の任意の1つのビデオ画像の場合、特徴抽出ネットワークを利用して当該第1ビデオ画像に対して特徴抽出を実行して、対応する当該ビデオ画像の複数の特徴情報を得ることができ、当該複数の特徴情報に対してクラスタリングを実行して、クラスタリング結果に基づいて顔情報を得ることができる。少なくとも1つの第1ビデオ画像のすべての第1ビデオ画像に対して顔検出処理を実行した後に、少なくとも1つの第1ビデオ画像の顔情報をサーバに送信し、サーバにより当該少なくとも1つの第1ビデオ画像の顔情報を受信して、顔情報の比較を実行し、比較結果に基づいて対応されるビデオストリーム情報(クラウドドラマなど)の目標素材を得ることができる。1例において、クラウドドラマは、テレビドラマまたは映画などのポジフィルム、短映像、バラエティーショーなどであり得る。 In one example, the video stream being played by the terminal device contains at least one first video image, and in the case of any one video image in the video stream, the feature extraction network is used to make the first video image. Feature extraction can be performed on one video image to obtain multiple feature information of the corresponding video image, clustering can be performed on the plurality of feature information, and face information can be obtained based on the clustering result. Can be obtained. After performing face detection processing on all the first video images of at least one first video image, the face information of at least one first video image is transmitted to the server, and the server sends the face information of the at least one first video image to the server. The face information of the image can be received, the face information can be compared, and the target material of the corresponding video stream information (cloud drama, etc.) can be obtained based on the comparison result. In one example, the cloud drama can be a positive film such as a television drama or movie, a short video, a variety show, and the like.
ステップS202において、サーバにより、前記顔情報と、複数の所定の顔テンプレートを含む顔テンプレートライブラリと、に基づいて、前記少なくとも1つの第1ビデオ画像が属されているビデオストリーム情報を確定する。 In step S202, the server determines the video stream information to which the at least one first video image belongs, based on the face information and a face template library including a plurality of predetermined face templates.
1例において、当該顔テンプレートライブラリに含まれた複数の所定の顔テンプレートに基づいて、顔情報に対応する人物身分情報を得ることができる。当該人物身分情報ビデオライブラリを検索して、少なくとも1つの第1ビデオ画像が属されているビデオストリーム情報を得ることができる。端末デバイスが再生しているビデオストリームがテレビドラマである例を挙げると、当該人物身分情報(たとえば霍建華)に基づいて、クラウドドラマから再生しているテレビドラにマッチングされる「甄環伝」などのドラマを検索することができる。 In one example, the person identification information corresponding to the face information can be obtained based on a plurality of predetermined face templates included in the face template library. The person identification video library can be searched to obtain video stream information to which at least one first video image belongs. For example, the video stream being played by the terminal device is a TV drama, such as "Empresses in the Palace", which is matched to the TV drama playing from the cloud drama based on the person's identity information (for example, Wallace Huo). You can search for dramas.
ここで、当該顔テンプレートライブラリに含まれた複数の所定の顔テンプレートに基づいて、顔情報に対応する人物身分情報を得ることは、当該顔情報と複数の所定の顔テンプレートとの第1比較結果を確定することと、当該第1比較結果に基づいて、当該顔情報に対応する人物身分情報(霍建華など)を得ることと、を含み得る。 Here, obtaining the person identification information corresponding to the face information based on the plurality of predetermined face templates included in the face template library is the first comparison result between the face information and the plurality of predetermined face templates. It may include the determination of the above and the acquisition of the person identification information (such as Kasumi Jianhua) corresponding to the face information based on the first comparison result.
ステップS203において、サーバにより、前記ビデオストリーム情報に基づいて目標素材を取得する。 In step S203, the server acquires the target material based on the video stream information.
1例において、当該人物身分情報に基づいてビデオを検索して、少なくとも1つの第1ビデオ画像が属されているビデオストリーム情報を得た後に、さらに、当該ビデオストリーム情報に基づいて目標素材を取得することができ、ここで、前記目標素材は、広告素材などを含む。たとえば、当該人物身分情報に基づいてクラウド(サーバ)のビデオストリーム情報を検索して、端末デバイスが再生しているビデオストリームにマッチングされるクラウドドラマ(甄環伝エピソード3)を得、これに基づいて対応する広告素材などを取得することができ、すなわち、「甄環伝エピソード3」に対応して投入する広告素材を取得することができる。投入待ち広告のクラウドドラマ一が、合計70エピソードあり、各エピソードに8個の広告スポットを投入し、広告素材の投入は運用スタッフによって実行される。ドラマのキャストリスト、ドラマ名、ドラマビデオ、ドラマ番号、キャストリストなども、運用スタッフによって事前にサーバにアップロードされる。ビデオストリームの再生と表示された素材との間の同期は、事前に実行されることができる。 In one example, the video is searched based on the person identification information to obtain the video stream information to which at least one first video image belongs, and then the target material is further acquired based on the video stream information. Here, the target material includes advertising material and the like. For example, by searching the video stream information of the cloud (server) based on the person's identity information, a cloud drama (Tsukikanden episode 3) matched with the video stream being played by the terminal device is obtained, and based on this. It is possible to acquire the corresponding advertising material and the like, that is, it is possible to acquire the advertising material to be input corresponding to the "cloud computing episode 3". There are a total of 70 episodes in the cloud drama of the waiting advertisement, and 8 advertisement spots are put into each episode, and the advertisement material is put in by the operation staff. The drama cast list, drama name, drama video, drama number, cast list, etc. are also uploaded to the server in advance by the operation staff. Synchronization between the playback of the video stream and the displayed material can be performed in advance.
ステップS204において、サーバにより、前記端末デバイスに前記目標素材を送信する。 In step S204, the server transmits the target material to the terminal device.
1例において、上記の顔情報比較を通じて目標素材(広告素材など)を得た後に、サーバにより、当該目標素材を端末デバイスに送信すると、端末デバイスにより、当該目標素材を受信した後に、ビデオストリームが目標素材に対応する開始再生時間まで再生されたことが検出されたことに応答して、目標素材の表示をトリガする。 In one example, when the target material (advertising material, etc.) is obtained through the above face information comparison and then the target material is transmitted to the terminal device by the server, the video stream is generated after the target material is received by the terminal device. Triggers the display of the target material in response to the detection that it has been played up to the start playback time corresponding to the target material.
本発明の技術的解決策を採用すると、サーバにより、端末デバイスによって送信された少なくとも1つの第1ビデオ画像の顔情報を受信し、当該顔情報と顔テンプレートライブラリ中の複数の所定の顔テンプレートとを比較することによって、比較結果に基づいて対応するビデオストリーム情報を得、また当該ビデオストリーム情報に基づいて目標素材を取得する。ここで、目標素材が広告素材である場合、広告素材を端末デバイスにフィードバックすることによって、端末デバイス上で広告素材の表示を実行する。目標素材(広告素材など)のロードおよび表示方式が、再生しているビデオストリーム中の顔情報を比較して得られたものであるため、当該目標素材が当該ビデオストリームに正確にマッチングされ、ユーザがビデオストリームに関連されるより多い効果的な情報(正確に投入した広告素材など)リアルタイムで得ることができる。 When the technical solution of the present invention is adopted, the server receives the face information of at least one first video image transmitted by the terminal device, and the face information and a plurality of predetermined face templates in the face template library are combined with the face information. By comparing, the corresponding video stream information is obtained based on the comparison result, and the target material is acquired based on the video stream information. Here, when the target material is an advertisement material, the advertisement material is displayed on the terminal device by feeding back the advertisement material to the terminal device. Since the loading and display method of the target material (advertising material, etc.) is obtained by comparing the face information in the video stream being played, the target material is accurately matched to the video stream and the user. Can get more effective information related to the video stream (such as exactly the ad material you put in) in real time.
いくつかの可能な実現形態において、前記情報処理方法は、前記端末デバイスに前記目標素材に対応する再生時間情報を送信することをさらに含み、ここで、前記再生時間情報は、前記目標素材の所定の再生時間帯に対応する参考画像情報を含む。前記参考画像情報は、前記目標素材の所定の再生時間帯に対応する複数フレームの参考画像の特徴情報を含む。 In some possible implementations, the information processing method further comprises transmitting to the terminal device the reproduction time information corresponding to the target material, wherein the reproduction time information is a predetermined of the target material. Includes reference image information corresponding to the playback time zone of. The reference image information includes feature information of a plurality of frames of the reference image corresponding to a predetermined reproduction time zone of the target material.
いくつかの可能な実現形態において、前記情報処理方法は、前記所定の再生時間帯の少なくとも1つの隣接時間帯で前記ビデオストリーム情報に対してサンプリングを実行して、複数フレームの参考画像を得ることと、前記複数フレームの参考画像に対して特徴抽出処理を実行して、上記の複数フレームの参考画像の特徴情報を得ることと、をさらに含む。 In some possible implementations, the information processing method performs sampling on the video stream information in at least one adjacent time zone of the predetermined playback time zone to obtain a multi-frame reference image. Further, the feature extraction process is executed on the reference image of the plurality of frames to obtain the feature information of the reference image of the plurality of frames.
いくつかの可能な実現形態において、前記情報処理方法は、前記端末デバイスに広告ブロッキング指示を送信することをさらに含み、前記広告ブロッキング指示は、前記端末デバイスによって再生しているビデオストリーム中に特定の広告素材が出現したことが検出された場合、前記端末デバイスが前記目標素材を表示するように指示する。たとえば、ビデオストリームで再生されている広告素材がナイキボールシューであると、端末デバイスは、当該広告ブロッキング指示に基づいて、当該ナイキボールシューがブラックリストにリストされているマーチャントであることが検索されると、コーナーマーク、バンドエイド、または、バナーなどの形で目標素材を表示し、たとえばアディダスボールシューズの広告を表示する。また、たとえば、ビデオストリームで再生されている広告素材がメルセデスベンツ広告であると、「BMW広告」の目標素材と競争であるため、一旦発見されると、端末デバイスは、コーナーマーク、バンドエイド、または、バナーなどの形でBMW広告を表示することによって、自身の広告素材の再生の精度を向上させる。本発明を採用すると、所定のブロッキング条件の広告素材が現れる場合、自身にマッチングされる広告素材をポップアップすることで、所定のブロッキング条件を満たす広告素材に対して正確なブロッキング処理を実行することができる。 In some possible embodiments, the information processing method further comprises transmitting an ad blocking instruction to the terminal device, wherein the ad blocking instruction is specific in the video stream being played by the terminal device. When it is detected that the advertising material has appeared, the terminal device is instructed to display the target material. For example, if the ad material being played in the video stream is a Nike ball shoe, the terminal device will be searched for the Nike ball shoe as a blacklisted merchant based on the ad blocking instructions. Then, the target material is displayed in the form of a corner mark, band-aid, banner, etc., and an advertisement for adidas ball shoes is displayed, for example. Also, for example, if the advertising material being played in the video stream is a Mercedes-Benz advertisement, it will compete with the target material of the "BMW advertisement", so once discovered, the terminal device will have a corner mark, band-aid, etc. Alternatively, by displaying the BMW advertisement in the form of a banner or the like, the accuracy of reproduction of the own advertisement material is improved. When the present invention is adopted, when an advertisement material having a predetermined blocking condition appears, an advertisement material matching with itself can be popped up to execute an accurate blocking process for the advertisement material satisfying the predetermined blocking condition. can.
本発明の1例において、端末デバイスによって再生されているビデオストリームには少なくとも1つの第1ビデオ画像が含まれており、当該第1ビデオ画像には1つまたは複数の顔情報が含まれており、顔情報を検出する必要がある。目標素材は広告素材であり得、サーバは、端末デバイスによって検出して得られた顔情報に基づいて、クラウドビデオストリーム情報(クラウドドラマなど)の検索を実行する。現在再生のクラウドドラマおよび現在再生時点を確定した後に、サーバは、広告素材および参考画像情報を端末デバイスに送信することができる。端末デバイスは、参考画像特徴情報比較を実行し、比較結果に基づいて開始再生時間を確定することによって、当該開始再生時間(または広告点と呼ぶ)で当該広告素材の表示をトリガし、さらに、当該広告素材を表示する。以下、本発明の実施例によって提供されるビデオストリーム情報検索、ビデオストリーム情報同期、および、広告素材表示トリガの過程を説明する。 In one example of the invention, the video stream being played by the terminal device contains at least one first video image, which contains one or more facial information. , It is necessary to detect face information. The target material can be an advertising material, and the server performs a search for cloud video stream information (such as a cloud drama) based on the face information detected and obtained by the terminal device. After determining the cloud drama of the current playback and the current playback time point, the server can send the advertising material and the reference image information to the terminal device. The terminal device performs a reference image feature information comparison and determines the start playback time based on the comparison result, thereby triggering the display of the advertisement material at the start playback time (or called an advertisement point), and further. Display the advertising material. Hereinafter, the process of video stream information retrieval, video stream information synchronization, and advertising material display trigger provided by the embodiment of the present invention will be described.
1.ビデオストリーム情報検索:ドラマ検索およびドラマ中の単一エピソード検索を含む。 1. 1. Video Stream Information Retrieval: Includes drama search and single episode search within the drama.
ドラマ検索の場合、端末デバイスによって再生されているビデオストリームがどのクラウドドラマに属するかを検索する必要があり、ここで、クラウドドラマのキャストリスト、ドラマ名、ドラマビデオ、ドラマ番号、キャストリストなどは、運用スタッフによって事前にクラウドのサーバにアップロードすることができる。端末デバイスは、ビデオストリームを再生し始めた後、端末デバイスのSDK(Software Development Kit)、または、APP(Application)を利用して、3分以内のビデオを検出して再生し、ビデオストリームの1フレームまたは複数フレームのビデオ画像内の独立した顔情報を比較待ちの顔情報として検出し得て、サービス側にアップロードする。サービス側は、当該比較待ちの顔情報と記憶しているクラウドドラマ中の俳優と比較し、比較結果に基づいて人物身分情報を認識する。たとえば、複数の俳優名またはドラマのキャストリストを認識する。したがって、複数の俳優名またはドラマのキャストリストに基づいて最も可能性の高いクラウドドラマ(甄環伝など)をマッチングすることができる。 In the case of drama search, it is necessary to search which cloud drama the video stream being played by the terminal device belongs to, where the cast list, drama name, drama video, drama number, cast list, etc. of the cloud drama are listed. , Can be uploaded to the cloud server in advance by the operation staff. After the terminal device starts playing the video stream, the terminal device detects and plays the video within 3 minutes by using the SDK (Software Development Kit) or APP (Upload) of the terminal device, and the video stream 1 Independent face information in a frame or a multi-frame video image can be detected as face information awaiting comparison and uploaded to the service side. The service side compares the face information waiting for comparison with the actor in the stored cloud drama, and recognizes the person identification information based on the comparison result. For example, recognize multiple actor names or drama cast lists. Therefore, it is possible to match the most probable cloud dramas (such as Empresses in the Palace) based on multiple actor names or cast lists of dramas.
単一エピソード検索の場合、端末デバイスによって再生されているビデオストリームが既知のクラウドドラマに属するとして確認する必要があり、この後に、クラウドドラマ中のどのエピソードであるかを検索する。端末デバイスによって再生されているビデオストリームに対応するクラウドドラマを検出した後に、端末デバイスのSDKまたはAPPを利用して、1分に1回の頻度などの特定の頻度で、ビデオストリーム中の1フレームのビデオ画像をサーバにアップロードすることによって、単一エピソード検索の処理を実行する。図7は、本発明の実施例に係るビデオ検索でのサンプリング方式を示す模式図であり、図7に示したように、サーバは、クラウドドラマ(たとえば70エピソード)のすべての広告点に対してサンプリングを実行することができる。サンプリング方式は、各広告点の前の1分内で、1秒あたりに1フレームをサンプリングし、すなわち、70エピソードのドラマであり、各エピソードに8個の広告位があると、合計70*8*60=33600フレームをサンプリングして、33600フレームのサンプリングフレームを得、ここで、これら33600サンプリングフレームがそれぞれ複数の所定の再生時間帯に対応される。サーバは、端末デバイスによりアップロードした1フレームのビデオ画像とクラウドドラマのすべてのサンプリングフレーム(33600フレーム)とを比較し、サンプリングフレームからこれらフレームビデオ画像と最も類似した1フレームのサンプリングビデオ画像を検索することによって、再生されている当該ビデオストリームに対応する当該フレームのサンプリングビデオ画像の単一エピソード番号(たとえば甄環伝のエピソード3)および再生時間(秒単位)を確定する。 In the case of a single episode search, it is necessary to confirm that the video stream being played by the terminal device belongs to a known cloud drama, and then search for which episode in the cloud drama. After detecting the cloud drama corresponding to the video stream being played by the device, one frame in the video stream at a specific frequency, such as once a minute, using the device's SDK or APP. Performs a single episode search process by uploading the video image of. FIG. 7 is a schematic diagram showing a sampling method in the video search according to the embodiment of the present invention, and as shown in FIG. 7, the server is used for all the advertising points of the cloud drama (for example, 70 episodes). Sampling can be performed. The sampling method samples one frame per second within one minute before each advertisement point, that is, it is a drama of 70 episodes, and if there are eight advertisement positions in each episode, a total of 70 * 8 * 60 = 33600 frames are sampled to obtain 33600 sampling frames, where each of these 33600 sampling frames corresponds to a plurality of predetermined playback time zones. The server compares the one frame video image uploaded by the terminal device with all the sampling frames (33600 frames) of the cloud drama, and searches the sampling frames for the one frame sampled video image most similar to these frame video images. Thereby, the single episode number (for example, episode 3 of the song ring transmission) and the reproduction time (in seconds) of the sampled video image of the frame corresponding to the video stream being reproduced are determined.
2.ビデオストリーム情報同期 2. 2. Video stream information synchronization
ビデオストリーム情報同期の場合、サーバを利用してビデオストリーム情報を事前に同期して、端末デバイスが同期された広告スポットで広告素材の表示をトリガすることを確保する。図8は、本発明の実施例に係るビデオストリーム情報の同期でのサンプリング方式の模式図であり、図8に示したように、ビデオストリーム情報同期過程において、サーバは、各広告点の前後の合計8秒内で、1秒あたりに2フレームをサンプリングして16フレームの参考画像を得、続いて、これら16フレームの参考画像の中の各フレームに対してそれぞれ特徴情報を抽出する。たとえば、各フレーム参考画像内のキーピクセルの情報を抽出することによって、処理しようとするデータ量を圧縮して、同期の処理効率を向上させる。端末デバイスによって再生されているビデオストリーム情報に対応する単一エピソード番号(甄環伝エピソード3など)および再生時間(秒単位)を検出した後に、サーバは、当該ビデオストリーム情報再生点の後のすべての後続の広告スポットの参考画像特徴情報(たとえば、1エピソードのビデオは合計16*8=144個の特徴情報を含む)、各フレームの参考画像時点、および、広告素材を、端末デバイスのSDKまたはAPPに配信する。端末デバイスのSDKまたはAPP上でビデオストリーム情報を引き続き再生し、現在再生されているビデオストリーム情報をローカルにダウンロードして参考画像特徴情報と比較して、特徴情報との間の類似度を得て、比較結果を得る。端末デバイスは、当該比較結果に基づいてビデオストリームが広告素材に対応する開始再生時間まで再生されたか否かを確認することによって、当該開始再生時間で広告素材の表示をトリガし、広告素材の表示がトリガされた後に、当該広告素材が表示される。 In the case of video stream information synchronization, the server is used to pre-synchronize the video stream information to ensure that the terminal device triggers the display of the ad material at the synchronized ad spot. FIG. 8 is a schematic diagram of a sampling method for synchronizing video stream information according to an embodiment of the present invention. As shown in FIG. 8, in the video stream information synchronization process, the server is used before and after each advertising point. Within a total of 8 seconds, 2 frames are sampled per second to obtain 16 frames of reference images, and then feature information is extracted for each frame in these 16 frames of reference images. For example, by extracting the information of the key pixel in each frame reference image, the amount of data to be processed is compressed, and the processing efficiency of synchronization is improved. After discovering a single episode number (such as Rinkanden Episode 3) and playback time (in seconds) corresponding to the video stream information being played by the terminal device, the server will do everything after that video stream information playback point. Reference image feature information of subsequent advertising spots (for example, one episode video contains a total of 16 * 8 = 144 feature information), the time of the reference image of each frame, and the advertising material, the SDK of the terminal device or Deliver to APP. Continue to play the video stream information on the SDK or APP of the terminal device, download the currently playing video stream information locally and compare it with the reference image feature information to get the similarity with the feature information. , Get the comparison result. The terminal device triggers the display of the advertisement material at the start playback time by confirming whether or not the video stream is played up to the start playback time corresponding to the advertisement material based on the comparison result, and displays the advertisement material. Is triggered and then the advertising material is displayed.
端末デバイスによって再生されているビデオストリーム情報が目標ドラマ中の1エピソードであり、また1エピソード内に1つの広告スポットしか含まれることではないため、すなわち複数の広告スポットがあるため、サンプリングを複数回実行する必要があることを説明する必要がある。ビデオストリーム情報の同期でのサンプリングは、当該エピソード中のすべての広告スポットをすべて見つけて、これら広告スポットをすべて端末デバイスのSDKまたはAPPに同期させ、端末デバイスのSDKまたはAPP上で当該ビデオストリーム情報を引き続き再生し、当該ビデオストリーム情報に対して参考画像特徴情報比較を実行して、現在ビデオストリーム情報の現在再生点と最も接近する広告スポットを得、当該広告スポットで対応する広告素材を展示するためである。当該のサンプリングは、上記のビデオ検索中のサンプリングとは異なり、ここでのサンプリングは、クラウドドラマ中の特定の1エピソードの参考画像特徴情報と端末デバイスによって再生されているビデオストリーム情報とに対して特徴比較を実行することによって、現在再生されているビデオストリーム情報が当該エピソード中のどの広告スポットの広告素材の表示に対応されるかを検索して得るためである。 Since the video stream information being played by the terminal device is one episode in the target drama and only one advertising spot is included in one episode, that is, there are multiple advertising spots, sampling is performed multiple times. You need to explain what you need to do. Synchronous sampling of video stream information finds all the ad spots in the episode, synchronizes all of these ad spots to the SDK or APP of the terminal device, and the video stream information on the SDK or APP of the terminal device. Continue to play, perform a reference image feature information comparison against the video stream information, get the ad spot closest to the current play point of the current video stream information, and display the corresponding ad material at the ad spot. Because. The sampling is different from the sampling during the video search described above, and the sampling here is for the reference image feature information of a specific episode in the cloud drama and the video stream information being played by the terminal device. This is because the feature comparison is performed to search for and obtain which video stream information currently being played corresponds to the display of the advertising material of which advertising spot in the episode.
3.広告素材トリガ表示 3. 3. Advertising material trigger display
図9は、本発明の実施例に係る情報処理方法で広告表示をトリガする時間ノード間の関係の模式図であり、図9に示したように、端末デバイスのSDKまたはAPPによって再生されているビデオストリーム情報がt1終了時点まで再生され、またビデオ同期チェック合格すると、SDKの場合は、端末デバイスのAPPが広告内容を表示するように、当該端末デバイスのAPPに通知することができ、APPの場合も、直接端末デバイスのAPPを介して広告内容を表示することができる。広告再生過程で、SDKは、t2終了時点まで、ずっとビデオ同期チェックを維持する。図8を参照すると、最も近い広告スポットに対応する参考画像情報は、16フレームの参考画像の特徴情報を含み、これら16フレーム参考画像は、1番目のフレームの参考画像、2番目のフレームの参考画像、…、6番目のフレームの参考画像、…、16番目のフレームの参考画像を含む。ビデオストリーム情報同期過程で、現在再生点に対応する第2ビデオ画像とt1時間帯(たとえば、広告点の前の3s)内の第1参考画像との比較に成功し、第3フレーム参考画像との比較に成功したと仮定すると(1番目の比較成功とも呼ばれる)、端末デバイスは、現在ビデオストリーム中の第3ビデオ画像と第6フレームの参考画像との比較に成功されたことが検出されたときに、広告素材の表示をトリガすると確定し、また1番目の比較に成功した後にビデオ同期チェックを実行し続ける。ビデオ同期チェックの過程で、現在ビデオストリーム中の第3ビデオ画像と第6フレームの参考画像(上記で目標参考画像とも呼ばれる)との比較に成功されたことが検出されたときに、広告素材の表示をトリガする。広告素材を表示する過程で、端末デバイスは、ビデオ同期チェックを実行し続け、現在ビデオストリーム中の第4ビデオ画像と第16フレームの参考画像との比較に成功されたことが検出されたときに、当該広告素材の表示を終了する。広告表示過程で、端末デバイスのSDKまたはAPPによって再生されているビデオストリーム情報と第7フレームの参考画像から第16フレームの参考画像の中の少なくとも1つのフレームとの比較に成功できない場合、すなわち、端末デバイスによってすでに再生内容が切り替えられたと見なされるときに、広告素材の展示を停止する。同時に、ビデオストリーム検索およびビデオストリーム情報同期を再開する。当該実施例において、当該広告スポットに対してビデオ同期チェックを実行する時間帯は、第2ビデオ画像の再生点からt2終了時点までである。ビデオ同期チェックの時間帯内のビデオ同期チェックにすべて成功した場合、広告素材をt2終了時点まで再生することができる。 FIG. 9 is a schematic diagram of the relationship between time nodes that triggers advertisement display in the information processing method according to the embodiment of the present invention, and is reproduced by the SDK or APP of the terminal device as shown in FIG. When the video stream information is played up to the end of t1 and the video synchronization check is passed, in the case of SDK, the APP of the terminal device can be notified to display the advertisement content, and the APP of the terminal device can be notified. In this case as well, the advertisement content can be displayed directly via the APP of the terminal device. During the ad playback process, the SDK maintains a video sync check until the end of t2. Referring to FIG. 8, the reference image information corresponding to the nearest advertising spot includes the feature information of the 16-frame reference image, and these 16-frame reference images are the reference image of the first frame and the reference of the second frame. The image, ..., The reference image of the 6th frame, ..., The reference image of the 16th frame is included. In the process of synchronizing video stream information, we succeeded in comparing the second video image corresponding to the current playback point with the first reference image in the t1 time zone (for example, 3s before the advertisement point), and with the third frame reference image. Assuming a successful comparison (also known as the first successful comparison), the terminal device was detected to have successfully compared the third video image currently in the video stream with the reference image in frame 6. Occasionally, it confirms that it triggers the display of the ad material, and continues to run the video sync check after the first comparison is successful. In the process of the video synchronization check, when it is detected that the comparison between the 3rd video image currently in the video stream and the reference image of the 6th frame (also referred to as the target reference image above) is successful, the advertising material Trigger the display. In the process of displaying the advertising material, the terminal device continues to perform the video synchronization check and when it is detected that the 4th video image currently in the video stream is successfully compared with the reference image of the 16th frame. , Ends the display of the advertising material. In the process of displaying an advertisement, if the video stream information played by the SDK or APP of the terminal device cannot be successfully compared with at least one frame from the reference image of the 7th frame to the reference image of the 16th frame, that is, Stop displaying advertising material when it is considered that the playback content has already been switched by the terminal device. At the same time, resume video stream search and video stream information synchronization. In the embodiment, the time zone for executing the video synchronization check for the advertising spot is from the reproduction point of the second video image to the end point of t2. If all the video synchronization checks within the video synchronization check time zone are successful, the advertisement material can be played until the end of t2.
当該広告スポットが当該エピソードのビデオ中の1番目の広告スポットであると仮定し、いくつかの実施例において、当該エピソードのビデオは、合計40分を有し、8個の広告スポットを含み、1番目の広告スポットは、第5分第0秒から第5分第5秒であり、2番目の広告スポットは、第10分第0秒から第10分第5秒であり、このように類推し、1番目の広告スポットで広告素材を表示した後に、端末デバイスは第9分第57秒で2番目の広告スポットのビデオ同期チェックを開始することになる。ビデオ同期チェック過程で、ビデオ画像および参考画像の比較の頻度は1秒あたりに2回であり得、参考画像のサンプリング頻度と一致している。図10~図12は、本発明の実施例に係る情報処理方法の複数のユーザインターフェースの例を示す模式図であり、ここで、図10に示したように、端末デバイスによってビデオストリーム情報を再生されている過程で、当該ビデオストリーム情報を取得した再生点が「00:16」であり、サーバにビデオリソースを検索するように要求する。たとえば、現在再生されているのがどのクラウドドラマであるか、また具体的にどのエピソードであるかを検索するように要求することができ、さらに、サーバに広告スポットを検索するように要求することによって、当該広告スポットで対応される広告素材の表示をトリガすることができる。図11に示したように、サーバビデオの検索が完了され、端末デバイスによりサーバによって送信された広告素材が受信された後に、端末デバイス上でビデオ名称および広告スポット「00:30-00:35」を表示し、このとき、再生点は「00:16」である。ビデオストリームが00:30まで再生され、またビデオ同期チェックに合格した場合、当該広告素材を表示し始める。図12に示したように、広告素材を表示する過程で、すなわち広告スポット「00:30-00:35」の区間で、現在再生点を表示する。 Assuming that the ad spot is the first ad spot in the video of the episode, in some embodiments, the video of the episode has a total of 40 minutes and contains 8 ad spots, 1 The second advertising spot is from the 5th minute 0th second to the 5th minute 5th second, and the second advertising spot is from the 10th minute 0th second to the 10th minute 5th second. After displaying the ad material in the first ad spot, the terminal device will start the video synchronization check of the second ad spot at 9 minutes 57 seconds. In the video synchronization check process, the frequency of comparison between the video image and the reference image can be twice per second, which is consistent with the sampling frequency of the reference image. 10 to 12 are schematic views showing an example of a plurality of user interfaces of the information processing method according to the embodiment of the present invention, and here, as shown in FIG. 10, the video stream information is reproduced by the terminal device. In the process of being processed, the playback point from which the video stream information was acquired is "00:16", and the server is requested to search for the video resource. For example, you can request to find out which cloud drama is currently playing, and specifically which episode, and even ask the server to search for ad spots. Can trigger the display of the corresponding advertising material at the advertising spot. As shown in FIG. 11, after the search for the server video is completed and the advertising material transmitted by the server is received by the terminal device, the video name and the advertising spot "00: 30-00: 35" on the terminal device. Is displayed, and at this time, the reproduction point is "00:16". If the video stream plays until 00:30 and passes the video sync check, it will start displaying the ad material. As shown in FIG. 12, the current reproduction point is displayed in the process of displaying the advertisement material, that is, in the section of the advertisement spot "00: 30-00: 35".
当業者は、具体的な実施形態の上記の方法において、各ステップの説明順序は、厳密な実行順序を意味して実施過程に対する制限を構成するのではなく、各ステップの具体的な実行順序は、その機能および可能の内部ロジックによって決定されるべきであることを理解できる。 Those skilled in the art will appreciate that in the above method of the specific embodiment, the description order of each step does not mean a strict execution order and constitutes a restriction on the implementation process, but the specific execution order of each step. , Understand that it should be determined by its function and possible internal logic.
本発明に言及された上記の各方法の実施例は、原理および論理に違反することなく、すべて互いに組み合わせて、組み合わされた実施例を形成することができ、スペースの制限のため、本発明では繰り返して説明しない。 The embodiments of each of the above methods referred to in the present invention can be combined together to form combined embodiments without violating principles and logic, and due to space limitations, the present invention I will not explain it repeatedly.
なお、本発明は、情報処理装置、電子デバイス、コンピュータ可読記録媒体、および、プログラムをさらに提供し、これらは、いずれも、本発明によって提供される任意の情報処理方法を実現することができ、該当する技術的解決策は、方法の部分の該当する記載を参照することができ、ここで繰り返して説明しない。 The present invention further provides an information processing device, an electronic device, a computer-readable recording medium, and a program, all of which can realize any information processing method provided by the present invention. Applicable technical solutions can be referred to in the corresponding description in the method section and are not described repeatedly herein.
図13は、本発明の実施例に係る情報処理装置を示すブロック図であり、図13に示したように、当該処理装置は、再生しているビデオストリーム中の第1ビデオ画像に対して顔検出を実行して、前記第1ビデオ画像の顔情報を得るための第1検出ユニット51と、サーバに前記顔情報を送信するための第1送信ユニット52と、前記サーバによって送信された、前記顔情報に基づいて得られた目標素材を、受信するための第1受信ユニット53と、前記ビデオストリームが前記目標素材に対応する開始再生時間まで再生されたことが検出されたことに応答して、前記目標素材の表示をトリガするための第1応答ユニット54と、を備える。端末デバイスは、再生しているビデオストリーム中の第1ビデオ画像に対して顔検出を実行して後に、第1ビデオ画像の顔情報を得ることができる。前記目標素材が広告素材を含む場合、サーバ側の顔情報比較を通じて、顔情報比較によって得られた当該広告素材を端末に送信し、端末デバイス側によりビデオストリームが当該広告素材に対応する開始再生時間まで再生されたことが検出されたことに応答して、当該広告素材の表示をトリガして、当該広告素材を表示する。
FIG. 13 is a block diagram showing an information processing apparatus according to an embodiment of the present invention, and as shown in FIG. 13, the processing apparatus has a face with respect to a first video image in a video stream being reproduced. The
広告素材などの素材のロードおよび表示方式は、再生ビデオストリーム中の第1ビデオ画像内の顔情報の比較によって得られるため、端末デバイスにより当該広告素材を受信した後に、当該広告素材の表示が再生しているビデオストリームに正確にマッチングされるので、ユーザはビデオストリームに関連されるより多い効果的な情報(たとえば正確に投入した広告素材など)をリアルタイムで得ることができる。 Since the loading and display method of the material such as the advertisement material is obtained by comparing the face information in the first video image in the playback video stream, the display of the advertisement material is reproduced after the advertisement material is received by the terminal device. By accurately matching to the video stream you are playing, you can get more effective information related to the video stream (for example, exactly the ad material you put in) in real time.
いくつかの可能な実現形態において、前記第1応答ユニットは、端末デバイスに前記目標素材を送信することによって、前記端末デバイスが前記目標素材を表示するようにし、または、前記目標素材の表示をトリガした後に、前記目標素材を表示する。 In some possible embodiments, the first response unit causes the terminal device to display the target material or triggers the display of the target material by transmitting the target material to the terminal device. After that, the target material is displayed.
いくつかの可能な実現形態において、前記目標素材の表示方式は、 In some possible implementations, the display method of the target material is
1)目標素材をコーナーマークの形で前記ビデオストリーム再生インターフェースのコーナーに表示することと、 1) Displaying the target material in the form of a corner mark in the corner of the video stream playback interface.
2)前記目標素材を前記再生インターフェースの再生内容と関連させてバンドエイドの形で前記ビデオストリーム再生インターフェースに表示することと、 2) Displaying the target material in the form of a band-aid on the video stream playback interface in relation to the playback content of the playback interface.
3)前記目標素材をバナーの形で前記ビデオストリーム再生インターフェースに亘って前記ビデオストリーム再生インターフェースに表示することと、の中の少なくとも1つを含む。 3) Displaying the target material in the form of a banner over the video stream playback interface on the video stream playback interface, including at least one of the following.
いくつかの可能な実現形態において、前記装置は、前記サーバによって送信された前記目標素材の、前記目標素材の所定の再生時間帯に対応する参考画像情報を含む再生時間情報を、受信するための第2受信ユニットと、前記再生時間情報に基づいて、前記ビデオストリームが前記目標素材に対応する開始再生時間まで再生されたか否かを検出するための第2検出ユニットと、をさらに備える。 In some possible embodiments, the device is for receiving reproduction time information of the target material transmitted by the server, including reference image information corresponding to a predetermined reproduction time zone of the target material. A second receiving unit and a second detection unit for detecting whether or not the video stream has been reproduced up to the start reproduction time corresponding to the target material based on the reproduction time information are further provided.
いくつかの可能な実現形態において、前記参考画像情報は、前記目標素材の所定の再生時間帯に対応する複数フレームの参考画像の特徴情報を含む。 In some possible implementations, the reference image information includes feature information of a plurality of frames of the reference image corresponding to a predetermined reproduction time zone of the target material.
いくつかの可能な実現形態において、前記複数フレームの参考画像は、前記所定の再生時間帯に隣接する少なくとも1つの時間帯に対してサンプリングを複数回実行して得られたものである。 In some possible implementations, the multi-frame reference image is obtained by performing sampling multiple times for at least one time zone adjacent to the predetermined reproduction time zone.
いくつかの可能な実現形態において、前記第2検出ユニットは、前記ビデオストリームの再生待ちの第2ビデオ画像と前記再生時間情報に含まれた参考画像情報とを比較して、比較結果を得、前記比較結果に基づいて、前記ビデオストリームが前記目標素材に対応する開始再生時間まで再生されたか否かを確定する。 In some possible implementations, the second detection unit compares the second video image awaiting playback of the video stream with the reference image information contained in the playback time information to obtain a comparison result. Based on the comparison result, it is determined whether or not the video stream has been played up to the start playback time corresponding to the target material.
いくつかの可能な実現形態において、前記第2検出ユニットは、前記第2ビデオ画像に対して特徴抽出処理を実行して、前記第2ビデオ画像の特徴情報を得、前記第2ビデオ画像の特徴情報と、前記参考画像情報に含まれた少なくとも1つのフレーム参考画像の特徴情報と、の間の類似度に基づいて、比較結果を得る。 In some possible implementations, the second detection unit performs feature extraction processing on the second video image to obtain feature information of the second video image and features of the second video image. A comparison result is obtained based on the degree of similarity between the information and the feature information of at least one frame reference image included in the reference image information.
いくつかの可能な実現形態において、前記第2検出ユニットは、前記比較結果が、前記複数フレームの参考画像の中の第1参考画像との比較に成功したことである場合、前記ビデオストリームが前記目標素材に対応する開始再生時間まで再生されたと確定する。 In some possible implementations, if the comparison result is that the comparison result is successful in comparison with the first reference image in the plurality of frames of the reference image, the video stream is said to be said. It is confirmed that the image has been played until the start playback time corresponding to the target material.
いくつかの可能な実現形態において、前記比較結果が、前記複数フレームの参考画像の中の第2参考画像との比較に成功したことである場合、前記目標素材の再生を終了すると確定する。 In some possible implementations, if the comparison result is successful in comparison with the second reference image in the plurality of frames of the reference image, it is determined that the reproduction of the target material is terminated.
前記複数フレームの参考画像の中の前のM個の参考画像は、前記第1参考画像を含み、前記複数フレームの参考画像の中の最後のN個の参考画像は、前記第2参考画像を含む。 The previous M reference images in the plurality of frame reference images include the first reference image, and the last N reference images in the plurality of frame reference images include the second reference image. include.
いくつかの可能な実現形態において、前記装置は、素材表示ユニットをさらに備え、当該素材表示ユニットは、所定のブロッキング条件を満たす広告素材が検出されたことに応答して前記目標素材を表示する。 In some possible implementations, the device further comprises a material display unit, which displays the target material in response to the detection of advertising material satisfying a predetermined blocking condition.
いくつかの可能な実現形態において、前記所定のブロッキング条件は、 In some possible implementations, the predetermined blocking condition is
ブラックリストにリストされている所定のマーチャントであることと、 Being a blacklisted merchant and
ブラックリストにリストされている所定の広告タイプであることと、 Being a blacklisted ad type and
前記目標素材と異なるソースまたは異なるマーチャントの広告素材を持つことと、の中の少なくとも1つを含む。 Includes at least one of having different sources or different merchant advertising material than the target material.
本発明は、情報処理装置を提供し、前記装置は、端末デバイスによって送信された少なくとも1つの第1ビデオ画像の顔情報を受信するための第3受信ユニットと、前記顔情報と、複数の所定の顔テンプレートを含む顔テンプレートライブラリと、に基づいて、前記少なくとも1つの第1ビデオ画像が属されているビデオストリーム情報を確定するための情報確定ユニットと、前記ビデオストリーム情報に基づいて目標素材を取得するための素材取得ユニットと、前記端末デバイスに前記目標素材を送信するための第2送信ユニットと、を備える。ここで、前記目標素材は広告素材を含むことによって、サーバ側が、顔情報の比較に基づいて、たとえば顔情報と顔テンプレートライブラリとに基づいて、少なくとも1つの第1ビデオ画像が属されているビデオストリーム情報を確定するようにするため、当該ビデオストリーム情報に基づいて当該広告素材を取得することができる。サーバは、当該顔情報を比較して得られた当該広告素材を端末デバイスに送信し、端末側によりビデオストリームが当該広告素材に対応する開始再生時間まで再生されたことが検出されたことに応答して、当該広告素材の表示をトリガして、当該広告素材を表示する。 The present invention provides an information processing device, wherein the device includes a third receiving unit for receiving face information of at least one first video image transmitted by a terminal device, the face information, and a plurality of predetermined pieces. Based on a face template library containing the face template, an information determination unit for determining the video stream information to which the at least one first video image belongs, and a target material based on the video stream information. It includes a material acquisition unit for acquisition and a second transmission unit for transmitting the target material to the terminal device. Here, by including the advertising material, the target material includes a video to which at least one first video image belongs on the server side based on the comparison of the face information, for example, based on the face information and the face template library. In order to determine the stream information, the advertising material can be acquired based on the video stream information. The server sends the advertisement material obtained by comparing the face information to the terminal device, and responds that the terminal side detects that the video stream has been played up to the start playback time corresponding to the advertisement material. Then, the display of the advertisement material is triggered to display the advertisement material.
広告素材などの素材のロードおよび表示方式は、再生ビデオストリーム中の第1ビデオ画像内の顔情報の比較によって得られるため、端末デバイスにより当該広告素材を受信した後に、当該広告素材の表示が再生しているビデオストリームに正確にマッチングされるので、ユーザはビデオストリームに関連されるより多い効果的な情報(たとえば正確に投入した広告素材など)をリアルタイムで得ることができる。 Since the loading and display method of the material such as the advertisement material is obtained by comparing the face information in the first video image in the playback video stream, the display of the advertisement material is reproduced after the advertisement material is received by the terminal device. By accurately matching to the video stream you are playing, you can get more effective information related to the video stream (for example, exactly the ad material you put in) in real time.
いくつかの可能な実現形態において、前記情報確定ユニットは、前記顔テンプレートライブラリに含まれた複数の所定の顔テンプレートに基づいて、前記顔情報に対応する人物身分情報を得、前記人物身分情報に基づいてビデオライブラリを検索して、前記少なくとも1つの第1ビデオ画像が属されているビデオストリーム情報を得る。 In some possible implementations, the information determination unit obtains person identification information corresponding to the face information based on a plurality of predetermined face templates included in the face template library, and obtains the person identification information corresponding to the face information. Based on, the video library is searched to obtain video stream information to which the at least one first video image belongs.
いくつかの可能な実現形態において、前記情報確定ユニットは、前記顔情報と前記複数の所定の顔テンプレートとの第1比較結果を確定し、前記第1比較結果に基づいて、前記顔情報に対応する人物身分情報を得る。 In some possible implementations, the information determination unit determines a first comparison result between the face information and the plurality of predetermined face templates, and responds to the face information based on the first comparison result. Get the identity information of the person to do.
いくつかの可能な実現形態において、前記装置は、前記端末デバイスに前記目標素材に対応する再生時間情報を送信するための第3送信ユニットをさらに備え、ここで、前記再生時間情報は、前記目標素材の所定の再生時間帯に対応する参考画像情報を含む。 In some possible embodiments, the apparatus further comprises a third transmission unit for transmitting reproduction time information corresponding to the target material to the terminal device, wherein the reproduction time information is the target. Includes reference image information corresponding to a given playback time zone of the material.
いくつかの可能な実現形態において、前記参考画像情報は、前記目標素材の所定の再生時間帯に対応する複数フレームの参考画像の特徴情報を含む。 In some possible implementations, the reference image information includes feature information of a plurality of frames of the reference image corresponding to a predetermined reproduction time zone of the target material.
いくつかの可能な実現形態において、前記装置は、前記所定の再生時間帯の少なくとも1つの隣接時間帯で前記ビデオストリーム情報に対してサンプリングを実行して、複数フレームの参考画像を得るためのサンプリングユニットと、前記複数フレームの参考画像に対して特徴抽出処理を実行して、前記複数フレームの参考画像の特徴情報を得るための特徴抽出ユニットと、をさらに備える。 In some possible embodiments, the device performs sampling on the video stream information in at least one adjacent time zone of the predetermined playback time zone to obtain a multi-frame reference image. Further includes a unit and a feature extraction unit for executing a feature extraction process on the reference image of the plurality of frames to obtain feature information of the reference image of the plurality of frames.
いくつかの可能な実現形態において、前記装置は、前記端末デバイスに広告ブロッキング指示を送信するための第4送信ユニットをさらに備え、前記広告ブロッキング指示は、前記端末デバイスによって再生しているビデオストリーム中に特定の広告素材が出現したことが検出された場合、前記端末デバイスが前記目標素材を表示するように指示する。 In some possible embodiments, the device further comprises a fourth transmission unit for transmitting an ad blocking instruction to the terminal device, wherein the ad blocking instruction is in a video stream being played by the terminal device. When it is detected that a specific advertising material has appeared, the terminal device is instructed to display the target material.
いくつかの実施例において、本発明の実施例によって提供される装置に含まれる機能または含まれるモジュールは、上記の方法の実施例に記述された方法を実行することができ、その具体的な実装は上記の方法の実施例の記述を参照することができ、簡潔化のために、ここでは繰り返して説明しない。 In some embodiments, the features or modules included in the apparatus provided by the embodiments of the present invention are capable of performing the methods described in the embodiments of the above methods and the specific implementation thereof. Can refer to the description of the embodiment of the above method and will not be repeated here for the sake of brevity.
本発明の実施例は、コンピュータプログラム命令が記憶されているコンピュータ可読記録媒体をさらに提供し、前記コンピュータプログラム命令がプロセッサによって実行されると、上記の方法が実現される。コンピュータ可読記録媒体は、揮発性コンピュータ可読記録媒体または不揮発性コンピュータ可読記録媒体であり得る。 The embodiments of the present invention further provide a computer-readable recording medium in which computer program instructions are stored, and when the computer program instructions are executed by a processor, the above method is realized. The computer-readable recording medium can be a volatile computer-readable recording medium or a non-volatile computer-readable recording medium.
本発明の実施例は、コンピュータ可読コードを含むコンピュータプログラム製品をさらに提供し、当コンピュータ可読コードがデバイス上で運行されるとき、デバイス中のプロセッサによって上記の実施例によって提供される情報処理方法を実現するための命令が実行される。 An embodiment of the present invention further provides a computer program product comprising a computer readable code, the information processing method provided by the above embodiment by the processor in the device when the computer readable code is operated on the device. The instruction to realize it is executed.
本発明の実施例は、コンピュータ可読命令を記憶するための、もう1つのコンピュータプログラム製品をさらに提供し、命令が実行されるときに、コンピュータが上記の任意の実施例によって提供される情報処理方法の操作を実行するようにする。 The embodiments of the present invention further provide another computer program product for storing computer readable instructions, the information processing method provided by the computer according to any of the above embodiments when the instructions are executed. To execute the operation of.
当該コンピュータプログラム製品は、具体的に、ハードウェア、ソフトウェア、または、両者の組み合わせの方式で実現され得る。1つのオプションの実施例において、前記コンピュータプログラム製品は、コンピュータ記録媒体として具体化され、もう1つのオプションの実施例において、コンピュータプログラム製品は、たとえばソフトウェア開発キット(Software Development Kit、SDK)などの、ソフトウェア製品として具体化され得る。 The computer program product can be specifically realized by a method of hardware, software, or a combination of both. In one example of the option, the computer program product is embodied as a computer recording medium, and in another example of the option, the computer program product is, for example, a software development kit (SDK). It can be embodied as a software product.
本発明の実施例は、電子デバイスをさらに提供し、当該電子デバイスは、プロセッサと、プロセッサによって実行可能な命令を記憶するためのメモリと、を備え、ここで、前記プロセッサは、上記の方法を実行するように構成される。 An embodiment of the invention further provides an electronic device, wherein the electronic device comprises a processor and a memory for storing instructions that can be executed by the processor, wherein the processor comprises the above method. Configured to run.
電子デバイスは、端末デバイス、サーバ、または、他の形のデバイスとして提供され得る。 The electronic device may be provided as a terminal device, a server, or other form of device.
図14は、本発明の実施例に係る電子デバイス800のブロック図である。例えば、電子デバイス800は、携帯電話、コンピュータ、デジタル放送端末、情報送受信機器、ゲームコンソール、タブレット機器、医療機器、フィットネス機器、パーソナルデジタルアシスタント等の端末デバイスであってもよい。
FIG. 14 is a block diagram of the
図14を参照すると、電子デバイス800は、処理コンポーネント802、メモリ804、電源コンポーネント806、マルチメディアコンポーネント808、オーディオコンポーネント810、入力/出力(I/O)インターフェース812、センサコンポーネント814及び通信コンポーネント816のうちの1つ又は複数のコンポーネントを備えてもよい。
Referring to FIG. 14, the
処理コンポーネント802は、通常、電子デバイス800の全般操作、例えば、表示、電話発呼、データ通信、カメラ操作及び記録操作に関連する操作を制御する。処理コンポーネント802は、上記方法のステップの全部又は一部を実行するように、命令を実行する1つ又は複数のプロセッサ820を備えてもよい。また、処理コンポーネント802は、処理コンポーネント802と他のコンポーネントとの間の相互作用が容易になるように、1つ又は複数のモジュールを備えてもよい。例えば、処理コンポーネント802は、マルチメディアコンポーネント808と処理コンポーネント802との間の相互作用が容易になるように、マルチメディアモジュールを備えてもよい。
The
メモリ804は、電子デバイス800での操作をサポートするために、各タイプのデータを記憶するように構成される。これらのデータの例示は、電子デバイス800で操作するための如何なるアプリケーションプログラム又は方法の命令、連絡人データ、電話帳データ、メッセージ、ピクチャ、映像などを含む。メモリ804は、如何なるタイプの揮発性もしくは不揮発性記憶デバイス又はそれらの組合せ、例えば、スタティックランダムアクセスメモリ(SRAM)、電気的に消去可能なプログラマブル読み出し専用メモリ(EEPROM)、消去可能なプログラマブル読み出し専用メモリ(EPROM)、プログラマブル読み出し専用メモリ(PROM)、読み出し専用メモリ(ROM)、磁気メモリ、フラッシュメモリ、磁気ディスク又は光ディスクによって実現されてもよい。
The
電源コンポーネント806は、電子デバイス800の各種のコンポーネントへ電力を供給する。電源コンポーネント806は、電源管理システム、1つ又は複数の電源、並びに、電子デバイス800用の電力を生成、管理及び配分するに関する他のコンポーネントを含んでもよい。
The
マルチメディアコンポーネント808は、前記電子デバイス800とユーザとの間に1つの出力インターフェースを供給するスクリーンを備える。幾つかの実施例では、スクリーンは、液晶ディスプレイ(LCD)及びタッチパネル(TP)を含んでもよい。スクリーンは、タッチパネルを含む場合、ユーザからの入力信号を受信するように、タッチスクリーンとして実現されてもよい。タッチパネルは、タッチ、スライド及びタッチパネルでのジェスチャーを感知するように、1つ又は複数のタッチセンサを含む。前記タッチセンサは、タッチ又はスライド動作の境界を感知するだけではなく、前記タッチ又はスライド操作と関連する持続時間及び圧力をさらに検出することができる。幾つかの実施例では、マルチメディアコンポーネント808は、1つのフロントカメラヘッド及び/又はバックカメラヘッドを含む。電子デバイス800が操作モード、例えば、撮影モード又はビデオモードにあるとき、フロントカメラヘッド及び/又はバックカメラヘッドは、外部のマルチメディアデータを受信することができる。フロントカメラヘッド及びバックカメラヘッドのそれぞれは、1つの固定の光学レンズシステムであってもよいし、焦点距離及び光学ズーム能力を有するものであってもよい。
The
オーディオコンポーネント810は、オーディオ信号を出力及び/又は入力するように構成される。例えば、オーディオコンポーネント810は、マイク(MIC)を備え、電子デバイス800が操作モード、例えば、発呼モード、記録モード及び音声識別モードにあるとき、マイクは、外部オーディオ信号を受信するように構成される。受信されたオーディオ信号は、さらに、メモリ804に記憶される、又は、通信コンポーネント816を介して送信されることができる。幾つかの実施例では、オーディオコンポーネント810は、さらに、オーディオ信号を出力するためのスピーカをさらに含む。
The
I/Oインターフェース812は、処理コンポーネント802とペリフェラルインターフェースモジュールとの間でインターフェースを供給するものであり、上記ペリフェラルインターフェースモジュールは、キーボード、クリックホイール、ボタンなどであってもよい。これらのボタンは、ホームページボタン、ボリュームボタン、起動ボタン及びロックボタンを含んでもよいが、それらに限定されない。
The I /
センサコンポーネント814は、様々な側面での状態推定を電子デバイス800に供給するための1つ又は複数のセンサを含む。例えば、センサコンポーネント814は、電子デバイス800のオン/オフ状態、コンポーネントの相対位置を検出することができ、例えば、前記コンポーネントは、電子デバイス800のディスプレイ及びテンキーである。センサコンポーネント814は、さらに、電子デバイス800もしくは電子デバイス800のコンポーネントの位置変更、ユーザと電子デバイス800との接触の存在もしくは不存在、電子デバイス800の方位又は加速/減速及び電子デバイス800の温度変化をさらに検出することができる。センサコンポーネント814は、如何なる物理的接触もないとき、近辺にある物体の存在を検出するための近接センサを含んでもよい。センサコンポーネント814は、さらに、結像応用に使用される光センサ、例えばCMOS又はCCD画像センサを含んでもよい。幾つかの実施例では、当該センサコンポーネント814は、さらに、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサ又は温度センサを含んでもよい。
The
通信コンポーネント816は、電子デバイス800と他のユーザ機器との間の無線又は有線方式の通信が便利になるように構成される。電子デバイス800は、通信規格に基づく無線ネットワーク、例えば、WiFi、2Gもしくは3G、又はそれらの組合せにアクセスすることができる。1つの例示的な実施例では、通信コンポーネント816は、ブロードキャストチャネルを介して、外部ブロードキャスト管理システムからのブロードキャスト信号又はブロードキャスト関連通知情報を受信する。1つの例示的な実施例では、前記通信コンポーネント816は、さらに、短距離通信が容易になるように、ニアフィールド通信(NFC)モジュールを含んでもよい。例えば、NFCモジュールでは、無線頻度識別(RFID)技術、赤外データ協会(IrDA)技術、超広帯域(UWB)技術、ブルートゥース(登録商標)(BT)技術及び他の技術によって実現されてもよい。
The
例示的な実施例では、電子デバイス800は、上記方法を実行するための1つ又は複数の特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、デジタル信号処理デバイス(DSPD)、プログラマブルロジックデバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、コントローラ、マイクロコントローラ、マイクロプロセッサ又は他の電子部品によって実現されてもよい。
In an exemplary embodiment, the
例示的な実施例は、不揮発性コンピュータ可読記憶媒体、例えばコンピュータプログラム命令を含むメモリ804を更に提供する。上記コンピュータプログラム命令は、電子デバイス800のプロセッサ820によって実行されて上記方法を実施させ得る。
An exemplary embodiment further provides a non-volatile computer readable storage medium, eg, a
図15は、本発明の実施例に係る電子デバイス900のブロック図である。例えば、電子デバイス900は、サーバとして提供され得る。図7を参照すると、電子デバイス900は、処理コンポーネント922を含み、更に、当該処理コンポーネント922は、1つ又は複数のプロセッサ、及びメモリ932に代表されるメモリリソースとを備え、メモリ932は、処理コンポーネント922によって実行され得る命令、例えば、アプリケーションプログラムを記憶する。メモリ932に記憶されるアプリケーションプログラムは、それぞれが1セットの命令に対応する1つ又は1つ以上のモジュールを備えてもよい。また、処理コンポーネント922は、命令を実行することで上記方法を実施するように構成される。
FIG. 15 is a block diagram of the
電子デバイス900は、電子デバイス900の電源管理を実行するように構成される電源コンポーネント926と、電子デバイス900をネットワークに接続するように構成される有線又は無線ネットワークインターフェース950と、入力・出力(I/O)インターフェース958とを更に備えてもよい。電子デバイス900は、メモリ932に記憶されたオペレーティングシステム、例えばWindows ServerTM、Mac OS XTM、UnixTM、LinuxTM、FreeBSDTM又はその他を操作してもよい。
The
例示的な実施例は、不揮発性コンピュータ可読記憶媒体、例えば、コンピュータプログラム命令を含むメモリ932を更に提供する。上記コンピュータプログラム命令が電子デバイス900の処理コンポーネント922によって実行されることで、上記方法は、実施され得る。
An exemplary embodiment further provides a non-volatile computer readable storage medium, eg, a
本発明は、システム、方法及び/又はコンピュータプログラム製品を提供する。コンピュータプログラム製品は、コンピュータ可読記憶媒体を含んでもよい。コンピュータ可読記憶媒体には、プロセッサに本発明の各態様を実施させるためのコンピュータ可読プログラム命令が載せている。 The present invention provides systems, methods and / or computer program products. Computer program products may include computer readable storage media. The computer-readable storage medium contains computer-readable program instructions for causing the processor to perform each aspect of the present invention.
コンピュータ可読記憶媒体は、命令実行機器で使用される命令を維持及び記憶する有形機器であってもよい。コンピュータ可読記憶媒体は、例えば、電気記憶機器、磁気記憶機器、光記憶機器、電磁的記憶機器、半導体記憶機器又は上記任意の適切な組み合わせであってもよいが、それらに限定されない。コンピュータ可読記憶媒体のより具体的な例(非網羅のリスト)は、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、消去可能なプログラマブル読み出し専用メモリ(EPROM又はフラッシュメモリ)、スタティックランダムアクセスメモリ(SRAM)、携帯型圧縮ディスク読み出し専用メモリ(CD-ROM)、デジタル多機能ディスク(DVD)、メモリスティック、フロッピーディスク、機械的符号化機器、例えば、命令が記憶されるパンチカード又は溝内突起構造、及び上記の任意の適切な組合を含む。ここで使用されるコンピュータ可読記憶媒体は、瞬時信号自身、例えば、無線電波又は他の自由に伝搬される電磁波、導波路又は他の伝送媒体を介して伝搬される電磁波(例えば、光ファイバー・ケーブルを介した光パルス)、又は電線を介して伝送された電気信号として解釈されない。 The computer-readable storage medium may be a tangible device that maintains and stores the instructions used by the instruction executing device. The computer-readable storage medium may be, for example, an electrical storage device, a magnetic storage device, an optical storage device, an electromagnetic storage device, a semiconductor storage device, or any suitable combination described above, but is not limited thereto. More specific examples of computer-readable storage media (non-exhaustive list) are portable computer disks, hard disks, random access memory (RAM), read-only memory (ROM), erasable programmable read-only memory (EPROM or flash memory). ), Static random access memory (SRAM), portable compressed disk read-only memory (CD-ROM), digital multifunction disk (DVD), memory stick, floppy disk, mechanical coding device, for example, instructions are stored. Includes punch cards or in-groove protrusion structures, and any suitable union as described above. The computer-readable storage medium used herein is an instantaneous signal itself, eg, a radio wave or other freely propagating electromagnetic wave, a waveguide or an electromagnetic wave propagating through another transmission medium (eg, an optical fiber cable). It is not interpreted as an optical signal transmitted through an optical pulse) or an electric wire.
ここで記述されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から各演算/処理機器にダウンロードし、又は、ネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワーク及び/又は無線ネットワークを介して外部コンピュータ或いは外部記憶機器へダウンロードしてもよい。ネットワークは、銅伝送ケーブル、光ファイバー伝送、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ及び/又はエッジサーバを含んでもよい。各演算/処理機器におけるネットワークアダプタ又はネットワークインターフェースは、ネットワークからコンピュータ可読プログラム命令を受信して当該コンピュータ可読プログラム命令を転送することにより、各演算/処理機器におけるコンピュータ可読記憶媒体に記憶させる。 The computer-readable program instructions described herein are downloaded from a computer-readable storage medium to each arithmetic / processing device, or via a network such as the Internet, local area network, wide area network and / or wireless network to an external computer or external. You may download it to a storage device. The network may include copper transmission cables, fiber optic transmissions, wireless transmissions, routers, firewalls, switches, gateway computers and / or edge servers. The network adapter or network interface in each arithmetic / processing device receives a computer-readable program instruction from the network and transfers the computer-readable program instruction to store the computer-readable program instruction in the computer-readable storage medium in each arithmetic / processing apparatus.
本発明の操作を実行するためのコンピュータプログラム命令は、アセンブリ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン関連命令、マイクロコード、ファームウェア命令、状態設定データ、又は、1種若しくは複数種のプログラミング言語の任意の組み合わせで作成されたソースコード又はターゲットコードであってもよい。前記プログラミング言語は、オブジェクト指向プログラミング言語(例えば、Smalltalk、C++等)、及び、通常のプロセスプログラミング言語(例えば、「C」語言)又は類似するプログラミング言語を含む。コンピュータ可読プログラム命令は、完全にユーザコンピュータ上で実行されてもよく、部分的にユーザコンピュータ上で実行されてもよく、1つの独立するソフトウェアパッケージとして実行されてもよく、一部がユーザコンピュータ上でもう一部がリモートコンピュータ上で実行されてもよく、又は完全にリモートコンピュータ又はサーバ上で実行されてもよい。リモートコンピュータの場合に、リモートコンピュータは、任意の種類のネットワーク(ローカルエリアネットワーク(LAN)又は広域ネットワーク(WAN)を含む)を介してユーザコンピュータに接続され、又は、外部コンピュータに接続されてもよい(例えば、インターネットサービスプロバイダを利用してインターネットで接続される)。幾つかの実施例では、コンピュータ可読プログラム命令の状態情報を用いて電子回路、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ(FPGA)又はプログラマブル論理アレイ(PLA)を個性化でカストマイズする。当該電子回路は、コンピュータ可読プログラム命令を実行することにより、本発明の各態様を実施可能である。 The computer program instructions for performing the operations of the present invention are assembly instructions, instruction set architecture (ISA) instructions, machine instructions, machine-related instructions, microcodes, firmware instructions, state setting data, or one or more types. It may be source code or target code created by any combination of programming languages. The programming language includes an object-oriented programming language (eg, Smalltalk, C ++, etc.) and a conventional process programming language (eg, "C" wording) or a similar programming language. Computer-readable program instructions may be executed entirely on the user computer, partially on the user computer, or as one independent software package, some on the user computer. The other part may be executed on the remote computer, or may be entirely executed on the remote computer or the server. In the case of a remote computer, the remote computer may be connected to the user computer or to an external computer via any type of network (including local area network (LAN) or wide area network (WAN)). (For example, connect to the Internet using an Internet service provider). In some embodiments, electronic circuits such as programmable logic circuits, field programmable gate arrays (FPGAs) or programmable logic arrays (PLAs) are personalized and customized using state information from computer-readable program instructions. The electronic circuit can implement each aspect of the present invention by executing computer-readable program instructions.
ここで、本発明の実施例に係る方法、装置(システム)及びコンピュータプログラム製品のフローチャート及び/又はブロック図を参照して、本発明の各態様を記述した。理解できるように、フローチャート及び/又はブロック図の各ブロック並びにフローチャート及び/又はブロック図における各ブロックの組み合わせは、何れもコンピュータ可読プログラム命令にて実現され得る。 Here, each aspect of the present invention has been described with reference to the flowchart and / or block diagram of the method, apparatus (system) and computer program product according to the embodiment of the present invention. As can be understood, each block of the flowchart and / or the block diagram and each combination of the blocks in the flowchart and / or the block diagram can be realized by a computer-readable program instruction.
これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータ又は他のプログラマブルデータ処理装置のプロセッサへ供給されて、1種のマシンを生み出すことができる。このように、これらの命令がコンピュータ又は他のプログラマブルデータ処理装置のプロセッサによって実行されたときに、フローチャート及び/又はブロック図における1つ又は複数のブロックで規定された機能/動作を実現する装置は、生成される。これらのコンピュータ可読プログラム命令をコンピュータ可読記憶媒体に記憶してもよい。これらの命令により、コンピュータ、プログラマブルデータ処理装置及び/又は他の機器は、特定の方式で稼働する。このように、命令が記憶されたコンピュータ可読媒体は、1つの製造品を含み、それは、フローチャート及び/又はブロック図における1つ又は複数のブロックで規定された機能/動作を実現する各態様の命令を含む。 These computer-readable program instructions can be fed to the processor of a general purpose computer, a dedicated computer or other programmable data processing device to create a single machine. Thus, a device that, when executed by the processor of a computer or other programmable data processing device, realizes the function / operation specified by one or more blocks in the flowchart and / or block diagram. , Generated. These computer-readable program instructions may be stored in a computer-readable storage medium. With these instructions, computers, programmable data processing equipment and / or other equipment operate in a particular manner. As described above, the computer-readable medium in which the instruction is stored includes one manufactured product, which is an instruction of each aspect that realizes the function / operation specified by one or more blocks in the flowchart and / or the block diagram. including.
コンピュータ可読プログラム命令をコンピュータ、他のプログラマブルデータ処理装置、又は他の機器にロードしてもよい。このように、コンピュータ、他のプログラマブルデータ処理装置又は他の機器上で一連の操作ステップが実行され、コンピュータによる実現の過程は、生み出される。これにより、コンピュータ、他のプログラマブルデータ処理装置、又は他の機器上で実行された命令は、フローチャート及び/又はブロック図における1つ又は複数のブロックで規定された機能/動作を実現する。 Computer-readable program instructions may be loaded into a computer, other programmable data processor, or other equipment. In this way, a series of operational steps are performed on a computer, other programmable data processor or other device, and the process of realization by the computer is created. Thereby, an instruction executed on a computer, other programmable data processing device, or other device realizes a function / operation defined by one or more blocks in a flowchart and / or a block diagram.
図面におけるフローチャート及びブロック図は、本発明の複数の実施例に係るシステム、方法及びコンピュータプログラム製品の実施可能な体系アーキテクチャ、機能及び操作を示す。この点では、フローチャート又はブロック図における各ブロックは、1つのモジュール、プログラムセグメント又は命令の一部を代表してもよい。前記モジュール、プログラムセグメント又は命令の一部は、規定された論理機能を実施するための1つ又は複数の実行可能命令を含む。幾つかの代替としての実施形態において、ブロック中にマークされた機能は、図面に示された順番と異なる順番で発生してもよい。例えば、2つの連続するブロックは、実に、基本的に並行に実行されてもよく、そして、逆の順番で実行されるときもあり、これは、かかる機能に応じて定められる。注意すべきことは、ブロック図及び/又はフローチャートにおける各ブロック、並びに、ブロック図及び/又はフローチャートにおけるブロックの組み合わせは、規定の機能又は動作を実行する専用のハードウェアに基づくシステムにて実現されてもよく、専用ハードウェアとコンピュータ命令との組み合わせで実現されてもよい。 Flow charts and block diagrams in the drawings show feasible systematic architectures, functions and operations of systems, methods and computer program products according to a plurality of embodiments of the present invention. In this regard, each block in the flowchart or block diagram may represent part of a module, program segment or instruction. A part of the module, program segment or instruction includes one or more executable instructions for performing a defined logical function. In some alternative embodiments, the functions marked in the block may occur in a different order than shown in the drawings. For example, two consecutive blocks may, in fact, be executed essentially in parallel, and may be executed in reverse order, depending on such function. It should be noted that each block in the block diagram and / or flowchart, and the combination of blocks in the block diagram and / or flowchart, is realized in a system based on dedicated hardware that performs a specified function or operation. It may be realized by a combination of dedicated hardware and computer instructions.
論理違反していない場合、本発明の異なる実施例間を互いに組み合わせることができ、異なる実施例の説明が強調される。説明の一部については、他の実施例の記録を参照されたい。 If the logic is not violated, different embodiments of the invention can be combined with each other, emphasizing the description of the different embodiments. See the records of other examples for some of the explanations.
以上では、本発明の各実施例を記述した。上記説明は、例示であり、網羅的ではなく、開示された各実施例にも限定されない。説明された各実施例の範囲及び精神から逸脱しない場合に、多くの修正及び変更は、当業者にとって明らかである。本文での用語は、各実施例の原理、実際の応用又は、マーケットにおける技術に対する技術的改善を最良に解釈し、又は当業者に本文に開示された各実施例を理解させえるために選択される。 In the above, each embodiment of the present invention has been described. The above description is exemplary, not exhaustive, and is not limited to each disclosed embodiment. Many modifications and changes will be apparent to those skilled in the art, provided that they do not deviate from the scope and spirit of each of the embodiments described. The terms in the text have been selected to best interpret the principles of each embodiment, actual applications, or technological improvements to technology in the market, or to allow one of ordinary skill in the art to understand each embodiment disclosed in the text. To.
Claims (21)
再生しているビデオストリーム中の第1ビデオ画像に対して顔検出を実行して、前記第1ビデオ画像の顔情報を得ることと、
サーバに前記顔情報を送信することと、
前記サーバによって送信された、前記顔情報に基づいて得られた目標素材を、受信することと、
前記ビデオストリームが前記目標素材に対応する開始再生時間まで再生されたことが検出されたことに応答して、前記目標素材の表示をトリガすることと、を含む
ことを特徴とする情報処理方法。 It is an information processing method
Performing face detection on the first video image in the video stream being played to obtain the face information of the first video image,
Sending the face information to the server and
Receiving the target material transmitted by the server and obtained based on the face information, and
An information processing method comprising: triggering the display of the target material in response to the detection that the video stream has been played up to the start playback time corresponding to the target material.
前記再生時間情報に基づいて、前記ビデオストリームが前記目標素材に対応する開始再生時間まで再生されたか否かを検出することと、をさらに含む
ことを特徴とする請求項1に記載の情報処理方法。 Receiving the reproduction time information including the reference image information corresponding to the predetermined reproduction time zone of the target material of the target material transmitted by the server.
The information processing method according to claim 1, further comprising detecting whether or not the video stream has been played up to the start playback time corresponding to the target material based on the playback time information. ..
ことを特徴とする請求項2に記載の情報処理方法。 The information processing method according to claim 2, wherein the reference image information includes feature information of a plurality of frames of reference images corresponding to a predetermined reproduction time zone of the target material.
ことを特徴とする請求項3に記載の情報処理方法。 The information according to claim 3, wherein the reference image of the plurality of frames is obtained by performing sampling a plurality of times for at least one time zone adjacent to the predetermined reproduction time zone. Processing method.
前記ビデオストリームの再生待ちの第2ビデオ画像であって、前記第1ビデオ画像が再生された後に再生される第2ビデオ画像と、前記参考画像情報と、を比較して、比較結果を得ることと、
前記比較結果に基づいて、前記ビデオストリームが前記目標素材に対応する開始再生時間まで再生されたか否かを確定することと、を含む
ことを特徴とする請求項2乃至4の中のいずれか1項に記載の情報処理方法。 It is possible to detect whether or not the video stream has been played up to the start playback time corresponding to the target material based on the playback time information.
The second video image waiting to be played back in the video stream, and the second video image played after the first video image is played back, is compared with the reference image information to obtain a comparison result. When,
One of claims 2 to 4, wherein, based on the comparison result, it is determined whether or not the video stream has been played up to the start playback time corresponding to the target material. The information processing method described in the section.
前記比較結果が、前記複数フレームの参考画像の中の第1参考画像との比較に成功したことである場合、前記ビデオストリームが前記目標素材に対応する開始再生時間まで再生されたと確定することを含み、
前記複数フレームの参考画像の中の前のM個の参考画像は、前記第1参考画像を含む
ことを特徴とする請求項5に記載の情報処理方法。 Based on the comparison result, it is possible to determine whether or not the video stream has been played up to the start playback time corresponding to the target material.
If the comparison result is that the comparison with the first reference image in the reference image of the plurality of frames is successful, it is determined that the video stream has been played up to the start playback time corresponding to the target material. Including,
The information processing method according to claim 5, wherein the previous M reference images in the plurality of frames of the reference images include the first reference image.
前記複数フレームの参考画像の中の最後のN個の参考画像は、前記第2参考画像を含む
ことを特徴とする請求項5に記載の情報処理方法。 When the comparison result is that the comparison with the second reference image in the reference image of the plurality of frames is successful, it further includes confirming that the reproduction of the target material is finished.
The information processing method according to claim 5, wherein the last N reference images in the plurality of frames of the reference images include the second reference image.
ことを特徴とする請求項1乃至7の中のいずれか1項に記載の情報処理方法。 The information processing method according to any one of claims 1 to 7, further comprising displaying the target material in response to the detection of an advertising material satisfying a predetermined blocking condition. ..
端末デバイスによって送信された少なくとも1つの第1ビデオ画像の顔情報を受信することと、
前記顔情報と、複数の所定の顔テンプレートを含む顔テンプレートライブラリと、に基づいて、前記少なくとも1つの第1ビデオ画像が属されているビデオストリーム情報を確定することと、
前記ビデオストリーム情報に基づいて目標素材を取得することと、
前記端末デバイスに前記目標素材を送信することと、を含む
ことを特徴とする情報処理方法。 It is an information processing method
Receiving the face information of at least one first video image transmitted by the terminal device,
Determining the video stream information to which the at least one first video image belongs, based on the face information and a face template library containing a plurality of predetermined face templates.
Acquiring the target material based on the video stream information,
An information processing method comprising transmitting the target material to the terminal device.
前記顔テンプレートライブラリに含まれた複数の所定の顔テンプレートに基づいて、前記顔情報に対応する人物身分情報を得ることと、
前記人物身分情報に基づいてビデオライブラリを検索して、前記少なくとも1つの第1ビデオ画像が属されているビデオストリーム情報を得ることと、を含む
ことを特徴とする請求項9に記載の情報処理方法。 Determining the video stream information to which the at least one first video image belongs is based on the face information and face template library.
Obtaining the person identification information corresponding to the face information based on a plurality of predetermined face templates included in the face template library, and
The information processing according to claim 9, wherein the information processing according to claim 9, comprising searching a video library based on the person identification information to obtain video stream information to which the at least one first video image belongs. Method.
前記再生時間情報は、前記目標素材の所定の再生時間帯に対応する参考画像情報を含む
ことを特徴とする請求項9または10に記載の情報処理方法。 Further including transmitting the reproduction time information corresponding to the target material to the terminal device.
The information processing method according to claim 9 or 10, wherein the reproduction time information includes reference image information corresponding to a predetermined reproduction time zone of the target material.
ことを特徴とする請求項11に記載の情報処理方法。 The information processing method according to claim 11, wherein the reference image information includes feature information of a plurality of frames of reference images corresponding to a predetermined reproduction time zone of the target material.
前記複数フレームの参考画像に対して特徴抽出処理を実行して、前記複数フレームの参考画像の特徴情報を得ることと、をさらに含む
ことを特徴とする請求項11または12に記載の情報処理方法。 Sampling the video stream information in at least one adjacent time zone of the predetermined playback time zone to obtain a reference image of a plurality of frames.
The information processing method according to claim 11 or 12, further comprising performing a feature extraction process on the plurality of frames of the reference image to obtain feature information of the plurality of frames of the reference image. ..
前記広告ブロッキング指示は、前記端末デバイスによって再生しているビデオストリーム中に特定の広告素材が出現したことが検出された場合、前記端末デバイスが前記目標素材を表示するように指示する
ことを特徴とする請求項9乃至13の中のいずれか1項に記載の情報処理方法。 Further including sending an ad blocking instruction to the terminal device,
The advertisement blocking instruction is characterized in that when it is detected that a specific advertisement material appears in a video stream being played by the terminal device, the terminal device instructs the terminal device to display the target material. The information processing method according to any one of claims 9 to 13.
再生しているビデオストリーム中の第1ビデオ画像に対して顔検出を実行して、前記第1ビデオ画像の顔情報を得るための第1検出ユニットと、
サーバに前記顔情報を送信するための第1送信ユニットと、
前記サーバによって送信された、前記顔情報に基づいて得られた目標素材を、受信するための第1受信ユニットと、
前記ビデオストリームが前記目標素材に対応する開始再生時間まで再生されたことが検出されたことに応答して、前記目標素材の表示をトリガするための第1応答ユニットと、を備える
ことを特徴とする情報処理装置。 It is an information processing device
A first detection unit for performing face detection on a first video image in a video stream being played and obtaining face information of the first video image, and
The first transmission unit for transmitting the face information to the server,
A first receiving unit for receiving the target material transmitted by the server and obtained based on the face information, and
It is characterized by comprising a first response unit for triggering the display of the target material in response to the detection that the video stream has been played up to the start playback time corresponding to the target material. Information processing device.
前記再生時間情報に基づいて、前記ビデオストリームが前記目標素材に対応する開始再生時間まで再生されたか否かを検出するための第2検出ユニットと、をさらに備える
ことを特徴とする請求項15に記載の情報処理装置。 A second receiving unit for receiving reproduction time information including reference image information corresponding to a predetermined reproduction time zone of the target material of the target material transmitted by the server, and
15. The information processing device described.
ことを特徴とする請求項16に記載の情報処理装置。 The information processing apparatus according to claim 16, wherein the reference image information includes feature information of a plurality of frames of reference images corresponding to a predetermined reproduction time zone of the target material.
ことを特徴とする請求項17に記載の情報処理装置。 The information according to claim 17, wherein the reference image of the plurality of frames is obtained by performing sampling a plurality of times for at least one time zone adjacent to the predetermined reproduction time zone. Processing equipment.
端末デバイスによって送信された少なくとも1つの第1ビデオ画像の顔情報を受信するための第3受信ユニットと、
前記顔情報と、複数の所定の顔テンプレートを含む顔テンプレートライブラリと、に基づいて、前記少なくとも1つの第1ビデオ画像が属されているビデオストリーム情報を確定するための情報確定ユニットと、
前記ビデオストリーム情報に基づいて目標素材を取得するための素材取得ユニットと、
前記端末デバイスに前記目標素材を送信するための第2送信ユニットと、を備える
ことを特徴とする情報処理装置。 It is an information processing device
A third receiving unit for receiving the face information of at least one first video image transmitted by the terminal device, and
An information determination unit for determining the video stream information to which the at least one first video image belongs, based on the face information and a face template library including a plurality of predetermined face templates.
A material acquisition unit for acquiring the target material based on the video stream information, and
An information processing device including a second transmission unit for transmitting the target material to the terminal device.
プロセッサと、
プロセッサによって実行可能な命令を記憶するためのメモリと、を備え、
前記プロセッサは、請求項1乃至8、および、請求項9乃至14の中のいずれか1項に記載の方法を実行するように構成される
ことを特徴とする電子デバイス。 It ’s an electronic device,
With the processor
With memory for storing instructions that can be executed by the processor,
An electronic device, wherein the processor is configured to perform the method of any one of claims 1-8 and 9-14.
前記コンピュータプログラム命令がプロセッサによって実行されると、請求項1乃至8、および、請求項9乃至14の中のいずれか1項に記載の方法が実現される
ことを特徴とするコンピュータ可読記録媒体。
A computer-readable recording medium that stores computer program instructions.
A computer-readable recording medium, wherein when the computer program instruction is executed by a processor, the method according to any one of claims 1 to 8 and claims 9 to 14 is realized.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911267882.7A CN110996121A (en) | 2019-12-11 | 2019-12-11 | Information processing method and device, electronic equipment and storage medium |
CN201911267882.7 | 2019-12-11 | ||
PCT/CN2020/087486 WO2021114552A1 (en) | 2019-12-11 | 2020-04-28 | Information processing method and apparatus, electronic device and storage medium |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022516701A true JP2022516701A (en) | 2022-03-02 |
Family
ID=70092375
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021534223A Pending JP2022516701A (en) | 2019-12-11 | 2020-04-28 | Information processing methods and devices, electronic devices and recording media |
Country Status (5)
Country | Link |
---|---|
JP (1) | JP2022516701A (en) |
KR (1) | KR20210090262A (en) |
CN (1) | CN110996121A (en) |
TW (1) | TW202122989A (en) |
WO (1) | WO2021114552A1 (en) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110996121A (en) * | 2019-12-11 | 2020-04-10 | 北京市商汤科技开发有限公司 | Information processing method and device, electronic equipment and storage medium |
CN113055740A (en) * | 2020-04-26 | 2021-06-29 | 杜达亮 | Method and system for identifying and pasting object in video |
CN111667313A (en) * | 2020-06-08 | 2020-09-15 | 上海极链网络科技有限公司 | Advertisement display method and device, client device and storage medium |
CN112312191A (en) * | 2020-10-30 | 2021-02-02 | 湖南快乐阳光互动娱乐传媒有限公司 | Display method and device of video advertisement material |
CN113766297B (en) * | 2021-05-27 | 2023-12-05 | 腾讯科技(深圳)有限公司 | Video processing method, playing terminal and computer readable storage medium |
CN113240702A (en) * | 2021-06-25 | 2021-08-10 | 北京市商汤科技开发有限公司 | Image processing method and device, electronic equipment and storage medium |
CN113794836B (en) * | 2021-09-09 | 2023-10-13 | 北京字节跳动网络技术有限公司 | Bullet time video generation method, device, system, equipment and medium |
CN114040248A (en) * | 2021-11-23 | 2022-02-11 | 维沃移动通信有限公司 | Video processing method and device and electronic equipment |
CN114419699A (en) * | 2021-12-28 | 2022-04-29 | 青岛畅索科技有限公司 | Image information processing method, system, device and storage medium |
CN114679591A (en) * | 2021-12-30 | 2022-06-28 | 广州方硅信息技术有限公司 | Video proportion switching method, device and medium for live broadcast room and computer equipment |
CN114845161A (en) * | 2022-05-10 | 2022-08-02 | 北京三快在线科技有限公司 | Video generation method, device, equipment and medium based on video structure information |
CN115033136A (en) * | 2022-06-28 | 2022-09-09 | 北京字跳网络技术有限公司 | Material display method, device, equipment, computer readable storage medium and product |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007512735A (en) * | 2003-11-17 | 2007-05-17 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Insert commercials into a video stream based on surrounding program content |
CN102868922A (en) * | 2012-09-11 | 2013-01-09 | Tcl通力电子(惠州)有限公司 | Method and system for playing advertisement |
WO2013088822A1 (en) * | 2011-12-16 | 2013-06-20 | 株式会社ソニー・コンピュータエンタテインメント | Broadcast program processing device, broadcast program processing method, broadcast station device, information distribution server, program and information storage medium |
JP2015029297A (en) * | 2009-09-14 | 2015-02-12 | ティヴォ インク | Extraction of finger print in media contents |
CN106303621A (en) * | 2015-06-01 | 2017-01-04 | 北京中投视讯文化传媒股份有限公司 | The insertion method of a kind of video ads and device |
US20170238054A1 (en) * | 2011-08-25 | 2017-08-17 | Comcast Cable Communications, Llc | Application Triggering |
CN108259974A (en) * | 2018-03-07 | 2018-07-06 | 优酷网络技术(北京)有限公司 | Video matching method and device |
CN108509611A (en) * | 2018-03-30 | 2018-09-07 | 百度在线网络技术(北京)有限公司 | Method and apparatus for pushed information |
JP2019110544A (en) * | 2014-02-07 | 2019-07-04 | ソニー インタラクティブ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー | Scheme for determining locations and timing of advertisements and other insertions in media |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7853558B2 (en) * | 2007-11-09 | 2010-12-14 | Vibrant Media, Inc. | Intelligent augmentation of media content |
CN101466024A (en) * | 2007-12-19 | 2009-06-24 | 上海亿动信息技术有限公司 | Method and device for inserted playing of advertisement information when playing multimedia file on customer equipment |
US8725560B2 (en) * | 2009-02-02 | 2014-05-13 | Modiface Inc. | Method and system for simulated product evaluation via personalizing advertisements based on portrait images |
CN103024464B (en) * | 2011-12-31 | 2016-03-30 | 中国科学院计算技术研究所 | System and method with video-frequency playing content relevant information is provided |
CN103024479B (en) * | 2012-12-17 | 2016-03-02 | 深圳先进技术研究院 | In video content, self adaptation throws in the method and system of advertisement |
US8572097B1 (en) * | 2013-03-15 | 2013-10-29 | FEM, Inc. | Media content discovery and character organization techniques |
CN104581430B (en) * | 2013-10-21 | 2018-06-19 | 华为技术有限公司 | Advertisement cut-in method and equipment in video playing |
US10904638B2 (en) * | 2014-01-24 | 2021-01-26 | Eleven Street Co., Ltd. | Device and method for inserting advertisement by using frame clustering |
CN105117463B (en) * | 2015-08-24 | 2019-08-06 | 北京旷视科技有限公司 | Information processing method and information processing unit |
CN106656951A (en) * | 2016-09-14 | 2017-05-10 | 乐视控股(北京)有限公司 | Advertisement putting method, client, server and system |
CN109429078B (en) * | 2017-08-24 | 2022-02-22 | 北京搜狗科技发展有限公司 | Video processing method and device for video processing |
CN108446390B (en) * | 2018-03-22 | 2022-01-04 | 百度在线网络技术(北京)有限公司 | Method and device for pushing information |
CN110880120A (en) * | 2018-09-06 | 2020-03-13 | 阿里巴巴集团控股有限公司 | Advertisement method, advertisement system and identification device |
CN110996121A (en) * | 2019-12-11 | 2020-04-10 | 北京市商汤科技开发有限公司 | Information processing method and device, electronic equipment and storage medium |
CN110996156A (en) * | 2019-12-20 | 2020-04-10 | 杭州当虹科技股份有限公司 | Method for automatically detecting and pushing advertisement in video playing process |
-
2019
- 2019-12-11 CN CN201911267882.7A patent/CN110996121A/en active Pending
-
2020
- 2020-04-28 JP JP2021534223A patent/JP2022516701A/en active Pending
- 2020-04-28 KR KR1020217018772A patent/KR20210090262A/en not_active Application Discontinuation
- 2020-04-28 WO PCT/CN2020/087486 patent/WO2021114552A1/en active Application Filing
- 2020-05-27 TW TW109117597A patent/TW202122989A/en unknown
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007512735A (en) * | 2003-11-17 | 2007-05-17 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Insert commercials into a video stream based on surrounding program content |
JP2015029297A (en) * | 2009-09-14 | 2015-02-12 | ティヴォ インク | Extraction of finger print in media contents |
US20170238054A1 (en) * | 2011-08-25 | 2017-08-17 | Comcast Cable Communications, Llc | Application Triggering |
WO2013088822A1 (en) * | 2011-12-16 | 2013-06-20 | 株式会社ソニー・コンピュータエンタテインメント | Broadcast program processing device, broadcast program processing method, broadcast station device, information distribution server, program and information storage medium |
CN102868922A (en) * | 2012-09-11 | 2013-01-09 | Tcl通力电子(惠州)有限公司 | Method and system for playing advertisement |
JP2019110544A (en) * | 2014-02-07 | 2019-07-04 | ソニー インタラクティブ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー | Scheme for determining locations and timing of advertisements and other insertions in media |
CN106303621A (en) * | 2015-06-01 | 2017-01-04 | 北京中投视讯文化传媒股份有限公司 | The insertion method of a kind of video ads and device |
CN108259974A (en) * | 2018-03-07 | 2018-07-06 | 优酷网络技术(北京)有限公司 | Video matching method and device |
CN108509611A (en) * | 2018-03-30 | 2018-09-07 | 百度在线网络技术(北京)有限公司 | Method and apparatus for pushed information |
Also Published As
Publication number | Publication date |
---|---|
WO2021114552A1 (en) | 2021-06-17 |
CN110996121A (en) | 2020-04-10 |
KR20210090262A (en) | 2021-07-19 |
TW202122989A (en) | 2021-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2022516701A (en) | Information processing methods and devices, electronic devices and recording media | |
CN107396177B (en) | Video playing method, device and storage medium | |
JP6423445B2 (en) | Multimedia data reproduction method, apparatus and system | |
CN108932253B (en) | Multimedia search result display method and device | |
RU2614137C2 (en) | Method and apparatus for obtaining information | |
US9015745B2 (en) | Method and system for detection of user-initiated events utilizing automatic content recognition | |
CN104023263B (en) | Video selected works providing method and device | |
CN108966025B (en) | Video playing method and device and computer readable storage medium | |
US20130165164A1 (en) | Transferring Media Context Information Based on Proximity to a Mobile Device | |
CN107122430B (en) | Search result display method and device | |
CN110519655B (en) | Video editing method, device and storage medium | |
CN107277628B (en) | video preview display method and device | |
CN108495168B (en) | Bullet screen information display method and device | |
CN110719530A (en) | Video playing method and device, electronic equipment and storage medium | |
CN110913244A (en) | Video processing method and device, electronic equipment and storage medium | |
CN104079964A (en) | Method and device for transmitting video information | |
CN111182328B (en) | Video editing method, device, server, terminal and storage medium | |
CN112291631A (en) | Information acquisition method, device, terminal and storage medium | |
CN108521579B (en) | Bullet screen information display method and device | |
CN113365099B (en) | Bullet screen issuing method, bullet screen receiving method, bullet screen issuing device, electronic equipment and storage medium | |
CN104702988A (en) | AV (Audio/Video) playing method and device | |
CN108574860B (en) | Multimedia resource playing method and device | |
CN106851418B (en) | Video recommendation method and device | |
CN110769282A (en) | Short video generation method, terminal and server | |
CN111246242A (en) | Searching method and device based on played video, application server and terminal equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210615 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210615 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220627 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220705 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230214 |