JP7210089B2 - リソースの表示方法、装置、機器及びコンピュータプログラム - Google Patents

リソースの表示方法、装置、機器及びコンピュータプログラム Download PDF

Info

Publication number
JP7210089B2
JP7210089B2 JP2021544837A JP2021544837A JP7210089B2 JP 7210089 B2 JP7210089 B2 JP 7210089B2 JP 2021544837 A JP2021544837 A JP 2021544837A JP 2021544837 A JP2021544837 A JP 2021544837A JP 7210089 B2 JP7210089 B2 JP 7210089B2
Authority
JP
Japan
Prior art keywords
sub
video
optical flow
target
videos
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021544837A
Other languages
English (en)
Other versions
JP2022519355A (ja
Inventor
▲輝▼ 生
昌 ▲孫▼
▲東▼波 黄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Publication of JP2022519355A publication Critical patent/JP2022519355A/ja
Application granted granted Critical
Publication of JP7210089B2 publication Critical patent/JP7210089B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036—Insert-editing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4782—Web browsing, e.g. WebTV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本願は、２０１９年０６月２４日に提出された、出願番号が２０１９１０５５０２８２．５であり、発明の名称が「リソースの表示方法、装置、機器及び記憶媒体」である中国特許出願の優先権を主張し、当該中国特許出願の全てのコンテンツが参照により本願に組み込まれている。
本願実施例は、コンピュータ技術分野に関し、特に、リソースの表示方法、装置、機器及び記憶媒体に関する。
コンピュータ技術の発展に伴い、ビデオでリソースを表示する方式は、ますます増えている。例えば、広告リソースを表示することを例として、広告リソースを表示する新しい方式は、ビデオ内のデスクトップ、壁、フォトフレーム、看板などの適切な位置にフラット又は物理的な広告リソースを表示することである。
関連技術のリソースを表示するプロセスでは、プロのデザイナが、ビデオ内で手動検索することにより、リソースを表示できる位置を決定し、当該位置にリソースを表示する。
本願実施例を実現するプロセスにおいて、発明者は、関連技術に少なくとも以下の問題があることを発見した。
関連技術において、プロのデザイナによって、ビデオ内で手動検索することにより、リソースを表示できる位置を決定し、手動検索は、効率が低く、大量の時間と労力を費やし、それにより、リソースを表示する効率を低下させる。
本願実施例は、リソースの表示方法、装置、機器及び記憶媒体を提供し、関連技術における問題を解决することができる。
一態様において、本願実施例は、リソースの表示方法を提供し、前記方法は、
ターゲットビデオの１つ又は複数のターゲットサブビデオを取得するステップであって、各ターゲットサブビデオは、複数の画像フレームを含む、ステップと、
任意の１つのターゲットサブビデオの画像フレームに基づいて、前記任意の１つのターゲットサブビデオの少なくとも１つのキーフレームを取得するステップと、
カラークラスタリングに従って、前記任意の１つのターゲットサブビデオの任意の１つのキーフレームを複数の領域に分割し、前記複数の領域のうち、面積要求を満たす領域を前記任意の１つのキーフレームの選択可能領域として使用するステップと、
前記任意の１つのターゲットサブビデオの各キーフレームの選択可能領域を、前記任意の１つのターゲットサブビデオの選択可能領域として使用し、各ターゲットサブビデオの選択可能領域からターゲット領域を選択して、前記ターゲット領域でリソースを表示するステップと、を含む。
一態様において、リソースの表示装置を提供し、前記装置は、
ターゲットビデオの１つ又は複数のターゲットサブビデオを取得し、各ターゲットサブビデオは、複数の画像フレームを含むように構成される、第１取得モジュールと、
任意の１つのターゲットサブビデオの画像フレームに基づいて、前記任意の１つのターゲットサブビデオの少なくとも１つのキーフレームを取得するように構成される、第２取得モジュールと、
カラークラスタリングに従って、前記任意の１つのターゲットサブビデオの任意の１つのキーフレームを複数の領域に分割するように構成される、分割モジュールと、
前記複数の領域のうち、面積要求を満たす領域を前記任意の１つのキーフレームの選択可能領域として使用し、前記任意の１つのターゲットサブビデオの各キーフレームの選択可能領域を、前記任意の１つのターゲットサブビデオの選択可能領域として使用し、各ターゲットサブビデオの選択可能領域からターゲット領域を選択するように構成される、選択モジュールと、
前記ターゲット領域でリソースを表示するように構成される、表示モジュールと、を備える。
一方、プロセッサとメモリを備える、コンピュータ機器を提供し、前記メモリは、少なくとも１つの命令を記憶し、前記少なくとも１つの命令は、前記プロセッサによって実行されるとき、上記の任意の１つに記載のリソースの表示方法を実現する。
一方、さらに、少なくとも１つの命令を記憶する、コンピュータ可読記憶媒体を提供し、前記少なくとも１つの命令は、実行されるときに、上記の任意の１つに記載のリソースの表示方法を実現する。
一方、さらに、コンピュータ命令を含む、コンピュータプログラム製品又はコンピュータプログラムを提供し、前記コンピュータ命令は、コンピュータ可読記憶媒体に記憶され、コンピュータ機器のプロセッサは、前記コンピュータ可読記憶媒体から前記コンピュータ命令を読み取り、プロセッサは、前記コンピュータ命令を実行して、前記コンピュータ機器に上記の任意の１つに記載のリソースの表示方法を実行させる。
本願実施例で提供される技術的解決策は、以下の有益な効果を含み得る。
カラークラスタリングの方法に従って、キーフレームを複数の領域に自動的に分割し、その後、面積要求を満たす選択可能領域からターゲット領域を選択してリソースを表示する。自動的に検索する方法により、リソースを表示する適切な位置を決定し、自動検索の効率は高く、時間を節約し、人件費を削減して、それにより、リソースを表示する効率を向上させることができる。
本願実施例による実施環境の概略図である。 本願実施例によるリソースの表示方法のフローチャートである。 本願実施例によるリソースを表示する適切な位置を検索する例示的なフローチャートである。 本願実施例によるオプティカルフロー情報の概略図である。 本願実施例によるカラークラスタリングに従って領域を分割する概略図である。 本願実施例による選択可能領域を決定する概略図である。 本願実施例によるターゲット領域でリソースを表示する概略図である。 本願実施例によるリソースの表示装置の概略図である。 本願実施例によるリソースの表示機器の例示的な構造図である。
本願実施例の技術的解決策をより明確に説明するために、以下は、実施例の説明で使用される図面について簡単に紹介する。以下に説明される図面は、本願実施例のいくつかの実施例に過ぎず、当業者にとっては、創造的な作業なしに、これらの図面に従って他の図面を得ることもできることは自明である。
本願実施例の目的、技術的解決策及び利点をより明確にするために、以下は、図面を参照して本願実施例の実施形態をさらに詳細に説明する。
コンピュータ技術の発展に伴い、ビデオでリソースを表示する方式は、ますます多い。例えば、広告リソースを表示することを例として、新しい広告リソースを表示する方式は、ビデオ内のデスクトップ、壁、フォトフレーム、看板などの適切な位置にフラット又は物理的な広告リソースを表示することである。
それに対して、本願実施例は、リソースの表示方法を提供し、本願実施例による方法の実施環境の概略図を示す図１を参照すると、当該実施環境は、端末１１及びサーバ１２を含む。
ここで、端末１１は、リソースを表示できるアプリケーションプログラム又はウェブページがインストールされ、当該アプリケーションプログラム又はウェブページは、ビデオを再生でき、当該アプリケーションプログラム又はウェブページ内のビデオにリソースを表示する必要がある場合、本願実施例による方法を適用して、ビデオでリソースを表示する位置を検索し、当該位置でリソースを表示することができる。端末１１は、リソースを表示する必要があるターゲットビデオを取得し、その後、当該ターゲットビデオをサーバ１２に送信して記憶することができる。もちろん、端末１１では、当該ターゲットビデオを記憶して、当該ターゲットビデオでリソースを表示する必要がある場合に、本願実施例による方法を適用して表示することもできる。
一可能な実施形態において、端末１１は、携帯電話、タブレット、パーソナルコンピュータなどのスマート機器であり得る。サーバ１２は、１つのサーバであり、又は複数のサーバによって構成されるサーバクラスタであり、又は１つのクラウドコンピューティングサービスセンタである。端末１１及びサーバ１２は、有線又は無線ネットワークを介して通信接続を確立する。
当業者は、前記端末１１及びサーバ１２は、一例に過ぎず、他の既存の又は将来の端末又はサーバが、本願実施例に適用できる場合にも、本願実施例の保護範囲に含まれ、参照の方式でこれに含まれるべきであることを理解できる。
上記の図１に示された実施環境に基づいて、本願実施例は、コンピュータ機器が実行する、リソースの表示方法を提供し、当該コンピュータ機器が端末であることを例とする。図２に示されたように、本願実施例による方法は、以下のいくつかのステップを含む。
ステップ２０１において、ターゲットビデオの１つ又は複数のターゲットサブビデオを取得し、各ターゲットサブビデオは、複数の画像フレームを含む。
ビデオは、一連の静的映像を電気信号の方式でキャプチャ、記録、処理、格納、転送及び再現するさまざまな技術を指す。連続する画像の変化が、毎秒２４フレーム画面以上を超える場合、視覚の持続性原理に従って、人間の目は、単一の静的画面を区別できないため、連続する画面を再生するときに、滑らかで連続的に見え、このような連続する画面をビデオと呼ばれる。あるビデオが、リソース表示を実行する必要がある場合、端末は、当該リソースを表示する必要があるビデオを取得し、当該リソースを表示する必要があるビデオをターゲットビデオとして使用する。例示的に、ターゲットビデオを取得する方式は、サーバから当該ターゲットビデオをダウンロードし、又は端末からキャッシュされるビデオから当該ターゲットビデオを抽出することである。ビデオに含まれるデータ量が、非常に大きく、複雑で多様であるため、ビデオの関連する処理を実行するとき、通常、ビデオの階層構造特性に準拠して、ビデオを複数のサブビデオに分割し、各サブビデオは、複数の画像フレームを含む。
例示的に、ビデオの階層構造特性は、ビデオの最下層から上位層への階層構造は、フレーム、ショット、シーンの３つのレベルのロジックユニットに順次に分割される。フレームは、ビデオデータの最も基本的な構成要素であり、各枚の画像が、１フレームであり、１グループの画像フレームは、特定の優先順位及び設定された速度に従って、順次に連続的に再生してビデオになり、ショットは、ビデオデータの最小のセマンティックユニットであり、カメラが、１つのショットで撮影した画像フレームのコンテンツは、あまり変化せず、同じショットのフレームとフレーム間は、比較的に類似し、シーンは、通常、ビデオクリップに含まれる上位層セマンティックコンテンツを記述し、セマンティックに関連し、且つ、コンテンツが類似するいくつかのショットによって構成される。
一可能な実施形態において、ビデオの階層構造特性に準拠して、ターゲットビデオを複数のサブビデオに分割する方式は、ターゲットビデオをショットに応じて分割して、複数のサブビデオを取得する。ターゲットビデオをショットに応じて分割して、複数のサブビデオを取得した後、分割により得られたサブビデオから１つ又は複数のターゲットサブビデオを取得し、さらに、当該１つ又は複数のターゲットサブビデオに基づいて、リソースを表示する適切な位置を検索する。
ビデオをショットに応じて分割する基本原理は、特定のショット境界検出アルゴリズムを介して、ビデオの各ショットの境界を検出し、その後、境界で完全なビデオをいくつかの独立したショット、即ち、サブビデオに分割する。通常、１つの完全なビデオをショットに応じて分割するには、以下のいくつかのステップが必要である。
ステップ１において、ビデオを画像フレームに分け、画像フレームの特徴を抽出して、画像フレームの特徴に基づいて、画像フレーム間のコンテンツが、変化されたか否かを測定する。ここでの画像フレームの特徴は、すべての画像フレームを表す特徴を指すことに留意されたい。一般的に使用される画像フレームの特徴は、画像フレームの色特徴、画像フレームの形状の特徴、画像フレームのエッジ輪郭特徴又は画像フレームのテクスチャ特徴などを含む。本願実施例は、抽出される画像フレームの特徴に対して限定しない。例えば、画像フレームの色特徴を抽出し、例示的に、画像フレームの色特徴は、当該画像フレームの現れた回数が、最も多い色を指す。
ステップ２において、抽出される画像フレームの特徴に基づいて、特定の測定基準を介して、一連の隣接するフレームとフレームとの差を計算し、フレームとフレームとの差は、フレームとフレームとの特徴の変化程度を示すために使用される。例えば、抽出される画像フレームの特徴が、画像フレームの色特徴を指す場合、フレームとフレームとの差を計算することは、フレームとフレームとの色特徴間の差を計算することを指す。
例示的に、フレームとフレームとの差を計算する方式は、２つの画像フレームの特徴間の距離を計算し、当該距離を２つの画像フレーム間の差とすることである。一般的に使用される特徴間の距離の表示方式は、ユークリッド距離、マハラノビス距離、２次距離などがある。本願実施例は、距離の表示方式に対して限定しなく、画像フレームの特徴のタイプに従って、距離の表示方式を柔軟に選択することができる。
ステップ３において、特定の閾値を設定し、閾値は、経験に従って設定してもよいし、ビデオコンテンツに従って調整してもよい。その後、一連の隣接するフレームとフレームとの差と閾値を比較して、ある所のフレームとフレームとの差が、閾値を超える場合、ここをショット境界に表記し、ここにショット変換があると認識し、その２フレームを異なる２つのショットに帰属させ、ある所のフレームとフレームとの差が、閾値を超えない場合、ここをショット非境界に表記し、ここにショット変換はないと認識し、この２フレームを同じショットに帰属させる。
本願実施例は、ターゲットビデオをショットに従って、複数のサブビデオに分割できる限り、ショット分割の具体的な方法に対して限定しない。例えば、ｐｙＤｅｔｅｃｔＳｃｅｎｅ道具を使用してショット分割を実行する。ターゲットビデオをショットに応じて分割した後、各サブビデオを処理して、リソースを表示する適切な位置を検索することができる。例示的に、リソースを表示する適切な位置を検索するプロセスは、図３に示されたようであり、まず、ターゲットビデオを取得し、その後、ターゲットビデオをショットに応じて分割して、複数のサブビデオを取得し、次に、各サブビデオでリソースを表示する適切な位置を自動的に検索する。なお、サブビデオには、１つ又は複数の壁のシーン、フォトフレームのシーンなどのシーンが含まれる可能性があり、サブビデオの任意の１つのシーンでリソースを表示する適切な位置を自動的に検索することができ、例えば、サブビデオの壁のシーンでリソースを表示する適切な位置を自動的に検索することができる。
一可能な実施形態において、ターゲットビデオの１つ又は複数のターゲットサブビデオを取得することは、ターゲットビデオのうちの任意の１つのサブビデオに対して、任意の１つのサブビデオのオプティカルフロー情報を取得することと、任意の１つのサブビデオのオプティカルフロー情報が、オプティカルフロー要求を満たしていないことに応答して、任意の１つのサブビデオを削除し、削除されていないサブビデオのうちの１つ又は複数のサブビデオをターゲットサブビデオとして使用することと、を含む。一可能な実施形態において、ターゲットビデオの１つ又は複数のターゲットサブビデオを取得する前に、まず、ターゲットビデオをショットに応じて分割する場合に対して、ここでのターゲットビデオのうちの任意の１つのサブビデオは、ターゲットビデオをショットに応じて分割により得られた各サブビデオのうちの任意の１つのサブビデオを指す。
オプティカルフロー情報は、任意の１つのサブビデオの隣接する画像フレーム間の動き情報、及び任意の１つのサブビデオの各画像フレームの光線情報を示すことができる。オプティカルフロー情報は、オプティカルフロー密度、オプティカルフロー角度のうちの１つ又は複数を含む。ここで、オプティカルフロー密度は、隣接する画像フレーム間の動き変化を示し、オプティカルフロー角度は、画像フレーム内の光線方向を示す。一可能な実施形態において、オプティカルフロー情報が異なることに従って、任意の１つのサブビデオのオプティカルフロー情報が、オプティカルフロー要求を満たしていないことに応答して、任意の１つのサブビデオを削除する具体的な状況も異なる。例示的に、任意の１つのサブビデオのオプティカルフロー情報が、オプティカルフロー要求を満たしていないことに応答して、任意の１つのサブビデオを削除する具体的な状況は、以下の３つを含むが、これに限定されない。
状況１において、オプティカルフロー情報は、オプティカルフロー密度を含み、任意の１つのサブビデオのオプティカルフロー情報は、任意の１つのサブビデオの２つの隣接する画像フレームごとの間のオプティカルフロー密度と、任意の１つのサブビデオの平均オプティカルフロー密度を含み、任意の１つのサブビデオの平均オプティカルフロー密度に対する任意の１つのサブビデオの任意の２つの隣接する画像フレーム間のオプティカルフロー密度の比率が、第１閾値を超えることに応答して、任意の１つのサブビデオを削除する。
オプティカルフロー密度は、２つの隣接する画像フレーム間の動き変化を示し、ここでの２つの隣接する画像フレーム間の動き変化は、サブビデオの再生順序に従って、前の再生順序の画像フレームから後の再生順序の隣接する画像フレームへの動き変化を指す。同じサブビデオでは、２つの隣接する画像フレーム間のオプティカルフロー密度が大きいほど、当該隣接する２つの画像フレーム間の動き変化が、大きいことを示す。任意の１つのサブビデオの２つの隣接する画像フレームごとの間のオプティカルフロー密度に従って、当該サブビデオの平均オプティカルフロー密度を取得することができる。２つの隣接する画像フレームごとの間のオプティカルフロー密度と、平均オプティカルフロー密度をそれぞれ比較し、任意の２つの隣接する画像フレーム間の平均オプティカルフロー密度に対するオプティカルフロー密度の比率が、第１閾値を超える場合、当該サブビデオのフレーム間の動き変化が大きく、当該サブビデオの領域でリソースを表示するには適切でないことを示し、当該サブビデオを削除する。
第１閾値は、経験に従って設定してもよいし、適用シーンに従って自由に調整してもよい。例えば、第１閾値を２に設定し、即ち、任意の１つのサブビデオで、ある２つの隣接する画像フレーム間の平均オプティカルフロー密度に対するオプティカルフロー密度の比率が、２を超える場合、当該サブビデオを削除する。
一可能な実施形態において、任意の１つのサブビデオの２つの隣接する画像フレームごとの間のオプティカルフロー密度は、任意の１つのサブビデオの２つの隣接する画像フレームのピクセルごとのオプティカルフロー密度を指す。例示的に、任意の１つのサブビデオの２つの隣接する画像フレームごとの間のオプティカルフロー密度に従って、当該サブビデオの平均オプティカルフロー密度を取得するプロセスでは、任意の２つの隣接する画像フレームのピクセル間のオプティカルフロー密度を、当該任意の２つの隣接する画像フレームの前の１つの画像フレーム又は後の１つの画像フレームのピクセルのオプティカルフロー密度とする。その後、各画像フレームのピクセルのオプティカルフロー密度に従って、各オプティカルフロー密度に対応するピクセルの数を統計し、さらに、各オプティカルフロー密度に対応するピクセルの数に従って、当該サブビデオの平均オプティカルフロー密度を取得する。例えば、図４（１）に示されたように、当該図面の横座標は、オプティカルフロー密度を示し、縦座標は、ピクセル数を示し、当該図面内のオプティカルフロー密度－ピクセル数の曲線に従って、各オプティカルフロー密度ン位対応するピクセルの数を知ることができ、さらに、任意の１つのサブビデオの平均オプティカルフロー密度を取得する。
状況２において、オプティカルフロー情報は、オプティカルフロー角度を含み、任意の１つのサブビデオのオプティカルフロー情報は、任意の１つのサブビデオの各画像フレームのオプティカルフロー角度、任意の１つのサブビデオの平均オプティカルフロー角度、及び任意の１つのサブビデオのオプティカルフロー角度標準差を含み、任意の１つのサブビデオのオプティカルフロー角度標準差に対する第１数値の比率が、第２閾値を超えることに応答して、任意の１つのサブビデオを削除し、第１数値は、任意の１つのサブビデオの任意の１つの画像フレームのオプティカルフロー角度と、任意の１つのサブビデオの平均オプティカルフロー角度との差の絶対値を示す。
オプティカルフロー角度は、画像フレーム内の光線方向を示す。任意の１つのサブビデオのすべての画像フレームのオプティカルフロー角度に従って、当該サブビデオの平均オプティカルフロー角度と当該サブビデオのオプティカルフロー角度標準差を取得することができる。ここで、オプティカルフロー角度標準差は、各画像フレームのオプティカルフロー角度とサブビデオの平均オプティカルフロー角度の差の平方の算術平均の平方根を指し、サブビデオ内のオプティカルフロー角度の離散程度を反映する。例えば、任意の１つのサブビデオに、ｎ個の画像フレームを含み、このｎ個の画像フレームの任意の１つの画像フレームのオプティカルフロー角度が、ａｉであり、当該サブビデオの平均オプティカルフロー角度が、ｂである場合、当該サブビデオのオプティカルフロー角度標準差ｃの計算式は、以下の通りである。
Figure 0007210089000001
任意の１つのサブビデオの各画像フレームのオプティカルフロー角度は、それぞれ当該サブビデオの平均オプティカルフロー角度の差を計算し、各差の絶対値を当該サブビデオのオプティカルフロー角度標準差とそれぞれ比較する。任意の１つの画像フレームのオプティカルフロー角度と当該サブビデオの平均オプティカルフロー角度の差の絶対値を、第１数値とし、当該サブビデオのオプティカルフロー角度標準差に対する第１数値の比率は、第２閾値を超えることは、当該サブビデオ内の光線変化が大きく、当該サブビデオの領域でリソースを表示するには適切でないことを示し、当該サブビデオを削除する。
第２閾値は、経験に従って設定してもよいし、適用シーンに従って自由に調整してもよい。例えば、第２閾値を３に設定し、即ち、任意の１つのサブビデオに、オプティカルフロー角度標準差に対する特定の画像フレームのオプティカルフロー角度と平均オプティカルフロー角度の差の絶対値の比率が、３を超える場合、当該サブビデオを削除する。第２閾値は、第１閾値とは同じであり、又は第１閾値とは異なり、本願実施例は、これに対して限定しないことに留意されたい。
一可能な実施形態において、任意の１つのサブビデオの各画像フレームのオプティカルフロー角度は、任意の１つのサブビデオの各画像フレームのピクセルのオプティカルフロー角度を指す。例示的に、任意の１つのサブビデオのすべての画像フレームのオプティカルフロー角度に従って、当該サブビデオの平均オプティカルフロー角度と当該サブビデオのオプティカルフロー角度標準差を取得するプロセスでは、各画像フレームのオプティカルフロー角度を当該画像フレームのピクセルのオプティカルフロー角度とする。その後、各画像フレームのピクセルのオプティカルフロー角度に従って、各オプティカルフロー角度に対応するピクセルの数を統計し、さらに、各オプティカルフロー角度に対応するピクセルの数に従って、当該サブビデオの平均オプティカルフロー角度及び当該サブビデオのオプティカルフロー角度標準差を取得する。例えば、図４（２）に示されたように、当該図面の横座標は、オプティカルフロー角度を示し、縦座標は、ピクセルの数を示し、当該図面内のオプティカルフロー角度－ピクセル数の曲線に従って、各オプティカルフロー角度に対応するピクセルの数を知ることができ、さらに、任意の１つのサブビデオの平均オプティカルフロー角度及び任意の１つのサブビデオのオプティカルフロー角度標準差を取得する。
状況３において、オプティカルフロー情報は、オプティカルフローの密度とオプティカルフローの角度を含み、任意の１つのサブビデオのオプティカルフロー情報は、任意の１つのサブビデオの２つの隣接する画像フレームごとの間のオプティカルフローの密度、任意の１つのサブビデオの平均オプティカルフローの密度、任意の１つのサブビデオの各画像フレームのオプティカルフローの角度、任意の１つのサブビデオの平均オプティカルフローの角度及び任意の１つのサブビデオのオプティカルフローの角度標準差を含み、任意の１つのサブビデオの平均オプティカルフロー密度に対する任意の１つのサブビデオの任意の２つの隣接する画像フレーム間のオプティカルフロー密度の比率が、第１閾値を超え、且つ、任意の１つのサブビデオのオプティカルフロー角度標準差に対する第１数値の比率が、第２閾値を超えることに応答して、任意の１つのサブビデオを削除し、第１数値は、任意の１つのサブビデオの任意の１つの画像フレームのオプティカルフロー角度と、任意の１つのサブビデオの平均オプティカルフロー角度との差の絶対値を示す。第１数値は、任意の１つのサブビデオの任意の１つの画像フレームのオプティカルフロー角度と、任意の１つのサブビデオの平均オプティカルフロー角度との差の絶対値を示す。
第１閾値及び第２閾値は、経験に従って設定してもよいし、適用シーンに従って自由に調整してもよい。例えば、第１閾値を２に設定し、第２閾値を３に設定し、即ち、任意の１つのサブビデオに、ある２つの隣接する画像フレーム間の平均オプティカルフロー密度に対するオプティカルフロー密度の比率が、２を超え、且つ、オプティカルフロー角度標準差に対する特定の画像フレームのオプティカルフロー角度と平均オプティカルフロー角度の差の絶対値の比率が３を超える場合、当該サブビデオを削除する。
上記の任意１つの状況に従って、オプティカルフロー要求を満たしないサブビデオを削除した後、削除されていないサブビデオのうちの１つ又は複数のサブビデオをターゲットサブビデオとして使用する。一可能な実施形態において、削除されていないサブビデオのうちの１つ又は複数のサブビデオをターゲットサブビデオとして使用することは、削除されていないサブビデオのすべてのサブビデオをターゲットサブビデオとして使用することを指し、又は、削除されていないサブビデオから１つ又は複数のサブビデオをターゲットサブビデオとして選択することを指し、本願実施例は、これに対して限定しない。削除されていないサブビデオから１つ又は複数のサブビデオを選択してターゲットサブビデオとして使用する状況に対して、選択ルールは、経験に従って設定してもよいし、適用シーンに従って柔軟に調整してもよいし、例示的に、選択ルールは、削除されていないサブビデオから参照数のサブビデオをランダムに選択してターゲットサブビデオとして使用することである。
ステップ２０２において、任意の１つのターゲットサブビデオの画像フレームに基づいて、任意の１つのターゲットサブビデオの少なくとも１つのキーフレームを取得する。
ターゲットビデオをショットに応じて分割した後、１つの完全なターゲットビデオは、いくつかのセマンティックで互いに独立するショットユニット、即ち、サブビデオに分けられる。サブビデオを取得した後、オプティカルフロー情報に従って各サブビデオをスクリーニングして、オプティカルフロー要求を満たすオプティカルフロー情報のターゲットサブビデオを取得する。しかし、各ターゲットサブビデオに含まれるデータ量は、依然として膨大である。次は、各ターゲットサブビデオから適量の画像フレームを抽出して、当該ターゲットサブビデオのキーフレームとして、データ処理量を減少し、それにより、ターゲットビデオでリソースを表示する位置を検索する効率を向上させる。
キーフレームは、ビデオの主要なコンテンツを説明できる画像フレームであり、通常、キャラクタ又は物体の動き又は変化の主要な動作がある画像フレームを指す。１つターゲットサブビデオでは、画像フレームと画像フレームとのコンテンツ変化は、大きすぎないため、最も代表的な１つ画像フレーム又は複数の画像フレームを抽出して、すべてのターゲットサブビデオのキーフレームとする。
適切なキーフレームの抽出方法は、最も代表的な画像フレームを抽出する同時に、冗長をあまり生成しない。一般的なキーフレームの抽出方法は、ショット境界に基づいてキーフレームを抽出する方法、視覚コンテンツに基づいてキーフレームを抽出する方法、動き分析に基づいてキーフレームを抽出する方法、クラスタリングに基づいてキーフレームを抽出する方法などがある。本願実施例は、ターゲットサブビデオから適切なキーフレームを抽出できる限り、キーフレームの抽出方法に対して限定しない。例えば、ビデオコンテンツが、比較的に簡単であり、シーンが、固定であり又はショットの活動が少ない場合、ショット境界に基づいてキーフレームを抽出する方法を使用してキーフレームを抽出し、即ち、各ターゲットサブビデオの最初のフレーム、中間のフレーム及び最後のフレームをキーフレームとする。さらに例えば、ビデオコンテンツが比較的に複雑である場合、クラスタリングに基づいてキーフレームを抽出する方法を使用してキーフレームを抽出し、即ち、クラスタリング分析を介してターゲットサブビデオの画像フレームをいくつかのタイプに分け、クラスタリング中心に最も近い画像フレームを、当該ターゲットサブビデオのキーフレームとして選択する。任意の１つのターゲットサブビデオのキーフレームの数は、１つであっても、複数であってもよいし、本願実施例は、これに対して限定しなく、つまり、任意の１つのターゲットサブビデオは、少なくとも１つのキーフレームを有する。
ターゲットサブビデオの少なくとも１つのキーフレームを取得した後、当該ターゲットサブビデオでリソースを表示する位置を検索するとき、少なくとも１つのキーフレームのみで検索し、検索効率を向上させる。
ステップ２０３において、カラークラスタリングに従って、任意の１つのターゲットサブビデオの任意の１つのキーフレームを複数の領域に分割し、複数の領域のうち、面積要求を満たす領域を任意の１つのキーフレームの選択可能領域として使用する。
キーフレームは、ターゲットサブビデオのうち、最も代表的である画像フレームであり、各キーフレームでは、壁領域、デスクトップ領域、フォトフレーム領域などの、複数の領域がある。異なる領域は、異なる色を有する。カラークラスタリングの方法に従って、各キーフレームを複数の領域に分割することができ、同じ領域内の色は、類似し、異なる領域内の色は、大きく異なる。例えば、図５（１）に示されたキーフレームに対してカラークラスタリングを実行して、図５（２）に示されたクラスタリング結果を取得することができ、クラスタリング結果は、複数の領域を含み、異なる領域のサイズは、大きく異なる。
カラークラスタリングは、色特徴に基づいて実行されるクラスタリングを指す。したがって、クラスタリングする前に、キーフレームのすべてのピクセルの色特徴を抽出する必要がある。キーフレームのすべてのピクセルの色特徴を抽出するとき、適切な色特徴空間を選択する必要がある。一般的に使用される色特徴空間は、ＲＧＢ色の空間、ＨＳＶ色の空間、Ｌａｂ色の空間及びＹＵＶ色の空間などがある。本願実施例は、選択される色の空間に対して限定しない。例えば、ＨＳＶ色の空間に基づいて、キーフレームのすべてのピクセルの色特徴を抽出する。ＨＳＶ色の空間のＨは、色相を示し、Ｓは、彩度を示し、Ｖは、明度を示す。通常、角度を使用して色相Ｈを測定し、値の範囲は、［０，３６０］であり、色相Ｈは、人の視覚感知に影響を与えやすい属性であり、光の異なる色を反映し、色の濃淡の影響を受けない。彩度Ｓの値の範囲は、［０，１］であり、彩度Ｓは、同じ色相のうち、白が占める比率を反映し、彩度Ｓの値が大きいほど、色の彩度が高いことを示す。明度Ｖは、色の濃淡のグレーレベルを説明するために使用され、明度Ｖの値の範囲は、［０，２２５］である。ＨＳＶ色の空間に基づいて抽出されるキーフレームのうちの任意の１つのピクセルの色特徴は、ベクトル（ｈｉ，ｓｉ，ｖｉ）で示すことができる。
キーフレームのすべてのピクセルの色特徴を取得した後、キーフレームのすべてのピクセルに対してカラークラスタリングを実行し、クラスタリング結果に基づいて、キーフレームを複数の領域に分割する。キーフレームのすべてのピクセルに対してカラークラスタリングを実行する基本的なステップは、以下の通りである。
ステップ１において、色特徴距離閾値ｄを設定する。最初のピクセルの色特徴を最初のセットＳ１の初期クラスタリング中心Ｃ１とし、Ｓ１内のピクセルの数Ｎ１＝１である。色特徴距離閾値ｄのサイズを調整して、同じセット内の色の複雑さを制御することができる。
ステップ２において、任意の１つのキーフレームにおいて、任意の１つのピクセルに対して、当該ピクセルの色特徴とＣ１の色特徴の距離Ｄｉを計算する。Ｄｉが、色特徴距離閾値ｄを超えない場合、当該ピクセルをセットＳ１に追加し、セットＳ１のクラスタリング中心とピクセル数を修正し、Ｄｉが、色特徴距離閾値ｄを超える場合、当該ピクセルを新しいセットＳ２のクラスタリング中心Ｃ２とし、これによって類推する。
ステップ３において、各セットＳｉに対して、２セットのクラスタリング中心の色特徴距離が、色特徴距離閾値ｄより小さくする、セットＳｊがある場合、セットＳｊを、セットＳｉに合わせ、セットＳｉのクラスタリング中心及びピクセル数を修正し、セットＳｊを削除する。
ステップ４において、すべてのピクセルが、異なるセットに入るまで、ステップ２及びステップ３を繰り返し、この場合、各セットは、すべて収束する。
収束された各セットは、すべて１つの領域に配置され、異なるセットは、異なる領域に配置される。上記のプロセスを介して、任意の１つのキーフレームを複数の領域に分割することができ、同じ領域内のすべてのピクセルの色特徴は、類似する。複数の領域内に、いくつかの面積が小さい領域が含まれる可能性があり、一可能な実施形態において、含まれるピクセルの数が、数閾値以下の領域を削除する。ここで、数閾値は、キーフレーム内のピクセルの数に従って設定してもよいし、キーフレームのコンテンツに従って調整してもよい。
カラークラスタリングを実現するアルゴリズムは、複数があり、一可能な実施形態において、平均シフト（Ｍｅａｎ Ｓｈｉｆｔ）アルゴリズムを採用して、キーフレームに対してカラークラスタリングを実行する。
カラークラスタリングに従って、任意の１つのキーフレームを複数の領域に分割した後、複数の領域のうち、面積要求を満たす領域を任意の１つのキーフレームの選択可能領域として使用する。一可能な実施形態において、面積要求を満たす領域を任意の１つのキーフレームの選択可能領域として使用することは、任意の１つのキーフレームの面積に対する複数の領域のうちの任意の１つの領域の面積の比率が、第３閾値を超えることに応答して、任意の１つの領域を任意の１つのキーフレームの選択可能領域として使用することを含む。
具体的には、任意の１つのキーフレームに対して、カラークラスタリングを実行された後、複数の領域を取得する。各領域の面積と当該キーフレームの面積を、それぞれ比較する。当該キーフレームの面積に対するある領域の面積の比率が、第３閾値を超える場合、当該領域を当該キーフレームの選択可能領域として使用する。このプロセスは、リソースを表示するための面積が比較的に大きい領域を検索して、リソースを表示する効果を向上させることができる。第３閾値は、経験に従って設定してもよいし、適用シーンに従って自由に調整してもよい。例えば、壁を表示する領域を検索するとき、第３閾値は、１／８に設定され、即ち、キーフレームの面積に対する選択可能領域の面積の比率が、１／８を超えるように要求し、このようにして取得するされる選択可能領域で壁を表示する可能性が、大きい。図６に示されたように、キーフレームの面積に対する面積の比率が、１／８を超える領域を当該キーフレームの選択可能領域として使用する。
ステップ２０４において、任意の１つのターゲットサブビデオの各キーフレームの選択可能領域を、任意の１つのターゲットサブビデオの選択可能領域として使用し、各ターゲットサブビデオの選択可能領域からターゲット領域を選択して、ターゲット領域でリソースを表示する。
任意の１つのターゲットサブビデオに対して、各キーフレームの選択可能領域を取得した後、各キーフレームでリソースを表示することができる潜在的な位置を取得することができ、当該位置でリソースを表示することができる。当該任意の１つのターゲットサブビデオの各キーフレームの選択可能領域を取得した後、任意の１つのターゲットサブビデオの各キーフレームの選択可能領域を、当該任意の１つのターゲットサブビデオの選択可能領域として使用し任意の１つのターゲットサブビデオの選択可能領域は、即ち、当該任意の１つのターゲットビデオのリソースを表示することができ潜在的な位置である。
任意の１つのターゲットサブビデオの選択可能領域を取得するプロセスに従って、各ターゲットサブビデオの選択可能領域を取得することができる。各ターゲットサブビデオの選択可能領域は、すべて、当該ターゲットサブビデオのすべてのキーフレームの選択可能領域を指す。各ターゲットサブビデオの選択可能領域を取得した後、各ターゲットサブビデオの選択可能領域からターゲット領域を選択してリソースを表示することができる。一可能な実施形態において、各ターゲットサブビデオの選択可能領域からターゲット領域を選択するプロセスは、各ターゲットサブビデオのすべての選択可能領域をターゲット領域とすることを指してもよいし、各ターゲットサブビデオの選択可能領域のうちの一部をターゲット領域とすることを指してもよいし、本願実施例は、これに対して限定しない。
ターゲット領域の数は、１つ又は複数であり得、異なるターゲット領域では、同じリソースを表示してもよいし、異なるリソースを表示してもいし、本願実施例は、これに対して限定しないことに留意されたい。さらに、ターゲット領域は、キーフレームの選択可能領域に従って取得されたため、ターゲット領域は、キーフレームの一部又はすべてにあり、ターゲット領域でリソースを表示するプロセスは、即ち、ターゲット領域を含むキーフレームでリソースを表示するプロセスである。同じターゲットサブビデオの異なるキーフレームでは、同じリソースを表示してもよいし、異なるリソースを表示してもよい。同様に、異なるターゲットサブビデオの異なるキーフレームでは、同じリソースを表示してもよいし、異なるリソースを表示してもよい。
例えば、リソースが、広告リソースであることを例とし、図７（１）に示されたキーフレームに対して、各ターゲットサブビデオの選択可能領域から１つ又は複数の選択可能領域をターゲット領域として選択した後、当該キーフレームは、１つターゲット領域を含み、当該ターゲット領域で広告リソースを表示し、表示結果は、図７（２）に示されたようである。
本願実施例において、カラークラスタリングの方法に従って、キーフレームを複数の領域に自動的に分割し、その後、面積要求を満たす選択可能領域からターゲット領域を選択してリソースを表示する。自動的に検索する方法により、リソースを表示する適切な位置を決定し、自動検索の効率は高く、時間を節約し、人件費を削減して、それにより、リソースを表示する効率を向上させることができる。
同じ技術構想に基づいて、図８を参照すると、本願実施例は、リソースの表示装置を提供し、当該装置は、
ターゲットビデオの１つ又は複数のターゲットサブビデオを取得し、各ターゲットサブビデオは、複数の画像フレームを含むように構成される、第１取得モジュール８０１と、
任意の１つのターゲットサブビデオの画像フレームに基づいて、任意の１つのターゲットサブビデオの少なくとも１つのキーフレームを取得するように構成される、第２取得モジュール８０２と、
任意の１つのキーフレームに対して、カラークラスタリングに従って、任意の１つのキーフレームを複数の領域に分割するように構成される、分割モジュール８０３と、
複数の領域のうち、面積要求を満たす領域を任意の１つのキーフレームの選択可能領域として使用し任意の１つのターゲットサブビデオの各キーフレームの選択可能領域を、任意の１つのターゲットサブビデオの選択可能領域として使用し、各ターゲットサブビデオの選択可能領域からターゲット領域を選択するように構成される、選択モジュール８０４と、
ターゲット領域でリソースを表示するように構成される、表示モジュール８０５と、を備える。
一可能な実施形態において、第１取得モジュール８０１は、ターゲットビデオのうちの任意の１つのサブビデオに対して、任意の１つのサブビデオのオプティカルフロー情報を取得し、任意の１つのサブビデオのオプティカルフロー情報が、オプティカルフロー要求を満たしていないことに応答して、任意の１つのサブビデオを削除し、削除されていないサブビデオのうちの１つ又は複数のサブビデオをターゲットサブビデオとして使用するように構成される。
一可能な実施形態において、オプティカルフロー情報は、オプティカルフロー密度を含み、任意の１つのサブビデオのオプティカルフロー情報は、任意の１つのサブビデオの２つの隣接する画像フレームごとの間のオプティカルフロー密度と、任意の１つのサブビデオの平均オプティカルフロー密度とを含み、
第１取得モジュール８０１は、任意の１つのサブビデオの平均オプティカルフロー密度に対する任意の１つのサブビデオの任意の２つの隣接する画像フレーム間のオプティカルフロー密度の比率が、第１閾値を超えることに応答して、任意の１つのサブビデオを削除するように構成される。
一可能な実施形態において、オプティカルフロー情報は、オプティカルフロー角度を含み、任意の１つのサブビデオのオプティカルフロー情報は、任意の１つのサブビデオの各画像フレームのオプティカルフロー角度、任意の１つのサブビデオの平均オプティカルフロー角度、及び任意の１つのサブビデオのオプティカルフロー角度標準差を含み、
第１取得モジュール８０１は、任意の１つのサブビデオのオプティカルフロー角度標準差に対する第１数値の比率が、第２閾値を超えることに応答して、任意の１つのサブビデオを削除するように構成され、第１数値は、任意の１つのサブビデオの任意の１つの画像フレームのオプティカルフロー角度と、任意の１つのサブビデオの平均オプティカルフロー角度との差の絶対値を示す。
一可能な実施形態において、オプティカルフロー情報は、オプティカルフロー密度とオプティカルフロー角度を含み、任意の１つのサブビデオのオプティカルフロー情報は、任意の１つのサブビデオの２つの隣接する画像フレームごとの間のオプティカルフロー密度、任意の１つのサブビデオの平均オプティカルフロー密度、任意の１つのサブビデオの各画像フレームのオプティカルフロー角度、任意の１つのサブビデオの平均オプティカルフロー角度及び任意の１つのサブビデオのオプティカルフロー角度標準差を含み、
第１取得モジュール８０１は、任意の１つのサブビデオの平均オプティカルフロー密度に対する任意の１つのサブビデオの任意の２つの隣接する画像フレーム間のオプティカルフロー密度の比率が、第１閾値を超え、且つ、任意の１つのサブビデオのオプティカルフロー角度標準差に対する第１数値の比率が、第２閾値を超えることに応答して、任意の１つのサブビデオを削除するように構成され、第１数値は、任意の１つのサブビデオの任意の１つの画像フレームのオプティカルフロー角度と、任意の１つのサブビデオの平均オプティカルフロー角度との差の絶対値を示す。
一可能な実施形態において、選択モジュール８０４は、任意の１つのキーフレームの面積に対する複数の領域のうちの任意の１つの領域の面積の比率が、第３閾値を超えることに応答して、任意の１つの領域を任意の１つのキーフレームの選択可能領域として使用するように構成される。
一可能な実施形態において、第１取得モジュール８０１は、ターゲットビデオをショットに応じて分割し、分割により得られたサブビデオから１つ又は複数のターゲットサブビデオを取得するように構成される。
本願実施例において、カラークラスタリングの方法に従って、キーフレームを複数の領域に自動的に分割し、その後、面積要求を満たす選択可能領域からターゲット領域を選択してリソースを表示する。自動的に検索する方法により、リソースを表示する適切な位置を決定し、自動検索の効率は高く、時間を節約し、人件費を削減して、それにより、リソースを表示する効率を向上させることができる。
上記の実施例による装置が、その機能を実現するとき、上記の各機能モジュールの分割のみを例に挙げて説明したが、実際の応用では、必要に応じて上述の機能を異なる機能モジュールにより割り当てられて完了してもよく、即ち、機器の内部構造を異なる機能モジュールに分割して、上述の機能のすべて又は一部を完了することができることに留意されたい。さらに、上記の実施例による装置は、方法の実施例と同じ構想に属し、その具体的な実現プロセスについては方法の実施例を参照し、ここでは繰り返して説明しない。
図９は、本願実施例によるリソースの表示機器の例示的な構造図である。当該機器は、スマート携帯電話、タブレット、動画エキスパートグループオーディオレイヤ３（ＭＰ３：Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ａｕｄｉｏ Ｌａｙｅｒ ＩＩＩ）プレーヤ、動画エキスパートグループオーディオレイヤ４（ＭＰ４：Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ａｕｄｉｏ Ｌａｙｅｒ ＩＶ）プレーヤ、ラップトップコンピュータ又はデスクトップコンピュータなどの、端末であり得る。端末は、さらに、ユーザ機器、携帯式端末、ラップトップ端末、デスクトップ端末などの他の名称で呼ばれる可能性がある。
通常、端末は、プロセッサ９０１とメモリ９０２とを備える。
プロセッサ９０１は、１つ又は複数の４コアプロセッサ又は８コアプロセッサなどの処理コアを備えることができる。プロセッサ９０１は、デジタル信号プロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、プログラマブルロジックアレイ（ＰＬＡ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ａｒｒａｙ）のうちの少なくとも１つのハードウェアの形を使用して実現されることができる。プロセッサ９０１は、メインプロセッサ及びセカンダリプロセッサを備えることもでき、メインプロセッサは、アウェイク状態でデータを処理するために使用されるプロセッサであり、中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）とも称し、セカンダリプロセッサは、スタンバイ状態でデータを処理するために使用される低電力プロセッサである。いくつかの実施例において、プロセッサ９０１は、グラフィックスプロセッサ（ＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が統合されてもよく、ＧＰＵは、ディスプレイ画面に表示される必要があるコンテンツをレンダリング及び描画するために使用される。いくつかの実施例において、プロセッサ９０１は、人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）プロセッサをさらに備えることができ、当該ＡＩプロセッサは、機械学習に関する計算操作を処理するために使用される。
メモリ９０２は、１つ又は複数のコンピュータ読み取り可能な記憶媒体を含み得、当該コンピュータ読み取り可能な記憶媒体は非一時的である。メモリ９０２は、１つ又は複数の磁気ディスクメモリ、フラッシュメモリなどの、高速ランダムアクセスメモリ、及び不揮発性メモリを備えることもできる。いくつかの実施例において、メモリ９０２内の非一時的なコンピュータ可読記憶媒体は、少なくとも１つの命令を記憶するように構成され、当該少なくとも１つの命令がプロセッサ９０１によって実行されることにより、本願実施例の方法実施例によるリソースの表示方法を実現する。
いくつかの実施例において、端末は、さらに、例示的に、周囲機器インターフェース９０３と少なくとも１つの周囲機器とを備えることができる。プロセッサ９０１、メモリ９０２、及び周囲機器インターフェース９０３は、バス又は信号線を介して互いに接続することができる。各周囲機器は、バス、信号線、又は回路基板を介して周囲機器インターフェース９０３に接続することができる。具体的には、周囲機器は、無線周波数回路９０４、タッチスクリーン９０５、カメラコンポーネント９０６、オーディオ回路９０７、位置決めコンポ―ネット９０８及び電源９０９のうちの少なくとも１つを含む。
周囲機器インターフェース９０３は、入力／出力（Ｉ／Ｏ：Ｉｎｐｕｔ ／Ｏｕｔｐｕｔ）に関する少なくとも１つの周囲機器と、プロセッサ９０１及びメモリ９０２との接続を実行するように構成されることができる。いくつかの実施例において、プロセッサ９０１、メモリ９０２、及び周囲機器インターフェース９０３は、同じチップ又は回路基板に統合される。他のいくつかの実施例において、プロセッサ９０１、メモリ９０２、及び周囲機器インターフェース９０３のいずれか１つ又は２つは、独立したチップ又は回路基板に実装されることができ、本実施例はこれらに限定されるものではない。
無線周波数回路９０４は、電磁信号とも称される無線周波数（ＲＦ：Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）信号を送信及び受信するために使用される。無線周波数回路９０４は、電磁信号を介して通信ネットワーク及び他の通信機器と通信する。無線周波数回路９０４は、電気信号を電磁信号に変換して送信するか、又は、受信した電磁信号を電気信号に変換する。一可能な実施形態において、無線周波数回路９０４は、アンテナシステム、ＲＦトランシーバ、１つ又は複数の増幅器、同調器、発振器、デジタルシグナルプロセッサ、コーデックチップセット、ユーザＩＤモジュールカードなどを含む。無線周波数回路９０４は、少なくとも１つの無線通信プロトコルを介して他の端末と通信できる。当該無線通信プロトコルは、メトロポリタンエリアネットワーク、各世代の移動通信ネットワーク（２Ｇ、３Ｇ、４Ｇ及び５Ｇ）、ワイヤレスメトロポリタンエリアネットワーク及び／又はＷｉＦｉ（登録商標）ネットワークを含むが、これらに限定されない。いくつかの実施例において、無線周波数回路９０４は、近距離無線通信（ＮＦＣ：Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）に関する回路をさらに備えるが、本願実施例は、これらに対して限定しない。
ディスプレイスクリーン９０５は、ユーザインターフェース（ＵＩ：Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を表示するように構成される。当該ＵＩは、グラフィック、テキスト、アイコン、ビデオ、及びそれらの任意の組み合わせを含むことができる。表示スクリーン９０５がタッチスクリーンである場合、表示スクリーン９０５はさらに、表示スクリーン９０５の表面上又はその上でタッチ信号を収集する機能を備える。当該タッチ信号は、処理のための制御信号としてプロセッサ９０１に入力されてもよい。この場合、表示スクリーン９０５は、ソフトボタン及び／又はソフトキーボードとも呼ばれる仮想ボタン及び／又は仮想キーボードを提供するために使用できる。いくつかの実施例において、端末のフロントパネルに設定された１つの表示スクリーン９０５があり得る。別のいくつかの実施例において、少なくとも２つの表示スクリーン９０５があり得、当該少なくとも２つの表示スクリーン９０５はそれぞれ、端末の異なる表面に設定されるか、又は折り畳み設計を有する。別のいくつかの実施例において、表示スクリーン６０５は、端末の曲面又は折り畳み面に設定されたフレキシブル表示スクリーン（Ｆｌｅｘｉｂｌｅ ｄｉｓｐｌａｙ ｓｃｒｅｅｎ）であってもよい。さらに、表示スクリーン９０５は、非長方形の不規則な形、即ち、特殊な形状のスクリーンに設定されてもよい。ディスプレイスクリーン９０５は、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機発光ダイオード（ＯＬＥＤ：Ｏｒｇａｎｉｃ Ｌｉｇｈｔ－Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）などの素材で作られることができる。
カメラコンポーネント９０６は、画像又はビデオを収集するように構成される。一可能な実施形態において、カメラコンポーネント９０６は、フロントカメラ及びリアカメラを含む。通常、フロントカメラは、端末のフロントパネルに設定され、リアカメラは、端末の背面に設定される。いくつかの実施例において、リアカメラは少なくとも２つであり、それぞれ、メインカメラ、被写界深度カメラ、広角カメラ、望遠カメラのうちの任意の１つであり、メインカメラと被写界深度カメラの融合で背景ぼかし機能を実現し、メインカメラ及び望遠カメラの融合でパノラマ撮影及び仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）撮影機能又は他の融合撮影機能を実現する。いくつかの実施例において、カメラコンポーネント９０６は、フラッシュをさらに備える。フラッシュは、単色温度フラッシュであってもよく、二色温度フラッシュであってもよい。二色温度フラッシュは、ウォームフラッシュとコールドフラッシュの組み合わせを指し、異なる色温度での光線の補正に使用されることができる。
オーディオ回路９０７は、マイクロフォン及びスピーカを含み得る。マイクロフォンは、ユーザと環境の音波を収集し、音波を電気信号に変換してプロセッサ９０１に入力して処理するか、又は無線周波数回路９０４に入力して音声通信を実現するために使用される。ステレオ収集又はノイズ低減の目的で、複数のマイクロフォンがあり得、それらはそれぞれ、端末の異なる部位に設定されることができる。マイクロフォンは、アレイマイクロフォン又は全方向収集型マイクロフォンであってもよい。スピーカは、プロセッサ９０１又は無線周波数回路９０４からの電気信号を音波に変換するために使用される。スピーカは、従来のフィルムスピーカであってもよいし、圧電セラミックスピーカであってもよい。スピーカが圧電セラミックスピーカである場合、電気信号を人間の可聴音波に変換するだけでなく、距離測定などの目的で電気信号を人間の不可聴音波に変換することもできる。いくつかの実施例において、オーディオ回路９０７はまた、ヘッドフォンジャックを含み得る。
測位コンポーネント９０８は、ナビゲーション又は位置ベースのサービス（ＬＢＳ：Ｌｏｃａｔｉｏｎ Ｂａｓｅｄ Ｓｅｒｖｉｃｅ）を実現するために、端末の現在の地理的位置を位置決めするように構成される。測位コンポーネント９０８は、アメリカの全地球測位システム（ＧＰＳ：Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）であってもよく、中国の北斗衛星測位システム、ロシアのグロナスシステム又は欧州連合のガリレオシステムに基づく測位コンポーネントであってもよい。
電源９０９は、端末における各コンポーネントに電力を供給するために使用される。電源９０９は、交流、直流、使い捨て電池、又は充電式電池であり得る。電源９０９が充電式電池を備える場合、当該充電式電池は、有線充電又は無線充電をサポートすることができる。当該充電式電池は、高速充電技術をサポートしてもよい。
いくつかの実施例において、端末は、さらに、１つ又は複数のセンサ９１０を備える。当該１つ又は複数のセンサ９１０は、加速度センサ９１１、ジャイロスコープセンサ９１２、圧力センサ９１３、指紋センサ９１４、光学センサ９１５及び近接センサ９１６を含むが、これらに限定されない。
加速度センサ９１１は、端末によって確立された座標系の３つの座標軸上の加速度の大きさを検出することができる。例えば、加速度センサ９１１は、３つの座標軸上の重力加速度の成分を検出するために使用されることができる。プロセッサ９０１は、タッチスクリーン９０５を制御して、加速度センサ９１１で収集された重力加速度信号に従って、ランドスケープビュー又はポートレートビューでユーザインターフェースを表示することができる。加速度センサ９１１はまた、ゲーム又はユーザの運動データの収集に使用されることができる。
ジャイロスコープセンサ９１２は、端末の本体方向及び回転角度を検出することができ、ジャイロスコープセンサ９１２は、加速度センサ９１１と協働して、端末に対するユーザの３Ｄ動作を収集することができる。プロセッサ９０１は、ジャイロスコープセンサ９１２で収集されたデータに従って、モーションセンシング（ユーザの傾斜操作に応じてＵＩを変換するなど）、撮影中の画像の手振れ補正、ゲーム制御、及び慣性航法などの機能を実現することができる。
圧力センサ９１３は、端末のサイドフレーム及び／又はタッチスクリーン９０５の下層に設定されることができる。圧力センサ９１３が端末のサイドフレームに設定される場合、端末に対するユーザの握持信号を検出することができ、圧力センサ９１３によって収集されたホールディング信号に従って、プロセッサ９０１によって、左手と右手の識別又はショートカット操作を実行することができる。圧力センサ９１３がタッチスクリーン９０５の下層に設定される場合、プロセッサ９０１は、タッチスクリーン９０５でのユーザの圧力操作に従って、ＵＩインターフェース上の操作性コントロールを制御することができる。操作性コントロールは、ボタンコントロール、スクロールバーコントロール、アイコンコントロール、及びメニューコントロールのうちの１つを備える。
指紋センサ９１４は、ユーザの指紋を収集するために使用される。プロセッサ９０１は、指紋センサ９１４で収集された指紋に従ってユーザの身元を認識するか、又は、指紋センサ９１４は、収集した指紋に従ってユーザのアイデンティティを認識する。ユーザのアイデンティティが信頼できる身元であると認識した場合、プロセッサ９０１は、画面のロックの解除、暗号化された情報の閲覧、ソフトウェアのダウンロード、支払い、及び設定の変更などの関連する敏感な操作を実行することをユーザに許可する。指紋センサ９１４は、端末の前面、背面、又は側面に設置されることができる。端末に、物理的ボタン又は製造業者のロゴ（Ｌｏｇｏ）が設定されている場合、指紋センサ９１４は、物理的ボタン又はメーカーのＬｏｇｏと統合されてもよい。
光学センサ９１５は、環境光強度を収集するために使用される。一実施例において、プロセッサ９０１は、光学センサ９１５によって収集された環境光強度に従って、タッチスクリーン９０５の表示輝度を制御することができる。具体的には、環境光強度が高い場合、タッチスクリーン９０５の表示輝度を上げ、環境光の強度が低い場合、タッチスクリーン９０５の表示輝度を下げる。別の実施例において、プロセッサ９０１は、光学センサ９１５によって収集された環境光強度に従って、カメラコンポーネント９０６の撮影パラメータを動的に調整することもできる。
近接センサ９１６は、距離センサとも呼ばれ、通常、端末のフロントパネルに設定される。近接センサ９１６は、ユーザと端末の前面との間の距離を収集するために使用される。一実施例において、近接センサ９１６がユーザと端末の前面との間の距離が徐々に小さくなることを検出した場合、プロセッサ９０１は、タッチスクリーン９０５がスクリーンオン状態からスクリーンオフ状態に切り替えるように制御する。近接センサ９１６がユーザと端末の前面との間の距離が徐々に大きくなることを検出した場合、プロセッサ９０１は、タッチスクリーン９０５がスクリーンオフ状態からスクリーンオン状態に切り替えるように制御する。
当業者なら自明であるか、図９で示される構造は、端末への限定を構成せず、図に示されるよりも多い又は少ないコンポーネントを備えるか、又はいくつかのコンポーネントを組み合わせるか、又は異なるコンポーネント配置を使用することができる。
例示的な実施例において、さらに、プロセッサとメモリを備える、コンピュータ機器を提供し、前記メモリは、少なくとも１つの命令、少なくとも１つのプログラム、コードセット又は命令セットを記憶する。前記少なくとも１つの命令、少なくとも１つのプログラム、コードセット又は命令セットは、１つ又は１つ以上のプロセッサによって実行されるように構成され、上記の任意の１つのリソースの表示方法を実現する。
例示的な実施例において、さらに、少なくとも１つの命令、少なくとも１つのプログラム、コードセット又は命令セットを記憶する、コンピュータ可読記憶媒体を提供し、前記少なくとも１つの命令、少なくとも１つのプログラム、コードセット又は命令セットは、コンピュータ機器のプロセッサによって実行されるときに、上記の任意の１つのリソースの表示方法を実現する。
一可能な実施形態において、前記コンピュータ可読記憶媒体は、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、リードオンリーメモリ（ＣＤ－ＲＯＭ：Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気ディスク、フロッピーディスク及び光データ記憶機器などであり得る。
例示的な実施例において、さらに、コンピュータ命令を含む、コンピュータプログラム製品又はコンピュータプログラムを提供し、当該コンピュータ命令は、コンピュータ可読記憶媒体に記憶される。コンピュータ機器のプロセッサは、コンピュータ可読記憶媒体から当該コンピュータ命令を読み取り、プロセッサは、当該コンピュータ命令を実行して、当該コンピュータ機器に上記の任意の１つのリソースの表示方法を実行させる。
本明細書で言及された「複数」は、２つ又は２つ以上を指すことを理解されたい。「及び／又は」は、関連付けられたオブジェクトを説明する関連付けであり、３種類の関係が存在することができることを示し、例えば、Ａ及び／又はＢは、Ａが独立で存在する場合、ＡとＢが同時に存在する場合、Ｂが独立で存在する場合など３つの場合を表すことができる。文字「／」は、一般的に、コンテキストオブジェクトが「又は」の関係であることを示す。
上記の本願実施例の番号は、実施例の優劣を表すものではなく、説明の便宜を図るためのものである。
上記は本願実施例の例示的な実施例に過ぎず、本願実施例を限定することを意図するものではなく、本願実施例の精神及び原則内で行われるあらゆる修正、同等の置換、改善などは、すべて本願実施例の保護範囲に含まれるべきである。
１１ 端末
１２ サーバ
８０１ 第１取得モジュール
８０２ 第２取得モジュール
８０３ 分割モジュール
８０４ 選択モジュール
８０５ 表示モジュール
９０１ プロセッサ
９０２ メモリ
９０３ 周囲機器インターフェース
９０４ 無線周波数回路
９０５ 表示スクリーン
９０５ ディスプレイスクリーン
９０５ タッチスクリーン
９０６ カメラコンポーネント
９０７ オーディオ回路
９０８ 測位コンポーネント
９０８ コンポ―ネット
９０９ 電源
９１０ センサ
９１１ 加速度センサ
９１２ ジャイロスコープセンサ
９１３ 圧力センサ
９１４ 指紋センサ
９１５ 光学センサ
９１６ 近接センサ

Claims (14)

  1. コンピュータ機器が実行する、リソースの表示方法であって、
    ターゲットビデオの１つ又は複数のターゲットサブビデオを取得するステップであって、前記１つ又は複数のターゲットサブビデオの各ターゲットサブビデオは、複数の画像フレームを含む、ステップと、
    前記１つ又は複数のターゲットサブビデオの任意の１つのターゲットサブビデオの前記複数の画像フレームに基づいて、前記任意の１つのターゲットサブビデオの少なくとも１つのキーフレームを取得するステップと、
    カラークラスタリングに従って、前記任意の１つのターゲットサブビデオの前記少なくとも１つのキーフレームの各キーフレームを複数の領域に分割し、前記複数の領域のうち、面積要求を満たす領域を前記各キーフレームの選択可能領域として使用するステップと、
    前記任意の１つのターゲットサブビデオの前記各キーフレームの選択可能領域を、前記任意の１つのターゲットサブビデオの選択可能領域として使用し、前記各ターゲットサブビデオの選択可能領域からターゲット領域を選択して、前記ターゲット領域でリソースを表示するステップと、
    を含み、
    前記複数の領域のうち、面積要求を満たす領域を前記各キーフレームの選択可能領域として使用する前記ステップは、
    前記各キーフレームの面積に対する前記複数の領域のうちの任意の１つの領域の面積の比率が、第３閾値を超えることに応答して、前記任意の１つの領域を前記各キーフレームの選択可能領域として使用するステップ
    を含むことを特徴とする、リソースの表示方法。
  2. ターゲットビデオの１つ又は複数のターゲットサブビデオを取得する前記ステップは、
    前記ターゲットビデオの複数のサブビデオのうちの任意の１つのサブビデオに対して、前記任意の１つのサブビデオのオプティカルフロー情報を取得するステップと、
    前記任意の１つのサブビデオのオプティカルフロー情報が、オプティカルフロー要求を満たさないことに応答して、前記任意の１つのサブビデオを削除し、削除されていないサブビデオのうちの１つ又は複数のサブビデオをターゲットサブビデオとして使用するステップと、
    を含むことを特徴とする、請求項１に記載のリソースの表示方法。
  3. 前記オプティカルフロー情報は、前記任意の１つのサブビデオの再生順序に従って、前の再生順序の画像フレームから後の再生順序の隣接する画像フレームへの動き変化を指すオプティカルフロー密度を含み、前記任意の１つのサブビデオのオプティカルフロー情報は、前記任意の１つのサブビデオの２つの隣接する画像フレームごとの間のオプティカルフロー密度と、前記任意の１つのサブビデオの平均オプティカルフロー密度とを含み、
    前記任意の１つのサブビデオのオプティカルフロー情報が、オプティカルフロー要求を満たさないことに応答して、前記任意の１つのサブビデオを削除する前記ステップは、
    前記任意の１つのサブビデオの平均オプティカルフロー密度に対する前記任意の１つのサブビデオの任意の２つの隣接する画像フレーム間のオプティカルフロー密度の比率が、第１閾値を超えることに応答して、前記任意の１つのサブビデオを削除するステップを含む
    ことを特徴とする、請求項２に記載のリソースの表示方法。
  4. 前記オプティカルフロー情報は、オプティカルフロー角度を含み、前記任意の１つのサブビデオのオプティカルフロー情報は、前記任意の１つのサブビデオの各画像フレームのオプティカルフロー角度、前記任意の１つのサブビデオの平均オプティカルフロー角度、及び前記任意の１つのサブビデオのオプティカルフロー角度標準差を含み、
    前記任意の１つのサブビデオのオプティカルフロー情報が、オプティカルフロー要求を満たさないことに応答して、前記任意の１つのサブビデオを削除する前記ステップは、
    前記任意の１つのサブビデオのオプティカルフロー角度標準差に対する第１数値の比率が、第２閾値を超えることに応答して、前記任意の１つのサブビデオを削除するステップを含み、前記第１数値は、前記任意の１つのサブビデオの任意の１つの画像フレームのオプティカルフロー角度と、前記任意の１つのサブビデオの平均オプティカルフロー角度との差の絶対値を示す
    ことを特徴とする、請求項２に記載のリソースの表示方法。
  5. 前記オプティカルフロー情報は、オプティカルフロー密度とオプティカルフロー角度を含み、前記任意の１つのサブビデオのオプティカルフロー情報は、前記任意の１つのサブビデオの２つの隣接する画像フレームごとの間のオプティカルフロー密度、前記任意の１つのサブビデオの平均オプティカルフロー密度、前記任意の１つのサブビデオの各画像フレームのオプティカルフロー角度、前記任意の１つのサブビデオの平均オプティカルフロー角度及び前記任意の１つのサブビデオのオプティカルフロー角度標準差を含み、
    前記任意の１つのサブビデオのオプティカルフロー情報が、オプティカルフロー要求を満たさないことに応答して、前記任意の１つのサブビデオを削除する前記ステップは、
    前記任意の１つのサブビデオの平均オプティカルフロー密度に対する前記任意の１つのサブビデオの任意の２つの隣接する画像フレーム間のオプティカルフロー密度の比率が、第１閾値を超え、且つ、前記任意の１つのサブビデオのオプティカルフロー角度標準差に対する第１数値の比率が、第２閾値を超えることに応答して、前記任意の１つのサブビデオを削除するステップを含み、前記第１数値は、前記任意の１つのサブビデオの任意の１つの画像フレームのオプティカルフロー角度と、前記任意の１つのサブビデオの平均オプティカルフロー角度との差の絶対値を示す
    ことを特徴とする、請求項２に記載のリソースの表示方法。
  6. ターゲットビデオの１つ又は複数のターゲットサブビデオを取得する前記ステップは、
    ターゲットビデオをショットに応じて分割し、分割により得られたサブビデオから１つ又は複数のターゲットサブビデオを取得するステップ
    を含むことを特徴とする、請求項１ないし５のいずれか一項に記載のリソースの表示方法。
  7. リソースの表示装置であって、
    ターゲットビデオの１つ又は複数のターゲットサブビデオを取得するように構成される第１取得モジュールであって、前記１つ又は複数のターゲットサブビデオの各ターゲットサブビデオは、複数の画像フレームを含む、第１取得モジュールと、
    前記１つ又は複数のターゲットサブビデオの任意の１つのターゲットサブビデオの前記複数の画像フレームに基づいて、前記任意の１つのターゲットサブビデオの少なくとも１つのキーフレームを取得するように構成される、第２取得モジュールと、
    カラークラスタリングに従って、前記任意の１つのターゲットサブビデオの前記少なくとも１つのキーフレームの各キーフレームを複数の領域に分割するように構成される、分割モジュールと、
    前記複数の領域のうち、面積要求を満たす領域を前記各キーフレームの選択可能領域として使用し、前記任意の１つのターゲットサブビデオの前記各キーフレームの選択可能領域を、前記任意の１つのターゲットサブビデオの選択可能領域として使用し、前記各ターゲットサブビデオの選択可能領域からターゲット領域を選択するように構成される、選択モジュールと、
    前記ターゲット領域でリソースを表示するように構成される、表示モジュールと、
    を備え、
    前記選択モジュールは、前記各キーフレームの面積に対する前記複数の領域のうちの任意の１つの領域の面積の比率が、第３閾値を超えることに応答して、前記任意の１つの領域を前記各キーフレームの選択可能領域として使用するように構成されることを特徴とする、リソースの表示装置。
  8. 前記第１取得モジュールは、前記ターゲットビデオの複数のサブビデオのうちの任意の１つのサブビデオに対して、前記任意の１つのサブビデオのオプティカルフロー情報を取得し、前記任意の１つのサブビデオのオプティカルフロー情報が、オプティカルフロー要求を満たしていないことに応答して、前記任意の１つのサブビデオを削除し、削除されていないサブビデオのうちの１つ又は複数のサブビデオをターゲットサブビデオとして使用するように構成される
    ことを特徴とする、請求項７に記載のリソースの表示装置。
  9. 前記オプティカルフロー情報は、前記任意の１つのサブビデオの再生順序に従って、前の再生順序の画像フレームから後の再生順序の隣接する画像フレームへの動き変化を指すオプティカルフロー密度を含み、前記任意の１つのサブビデオのオプティカルフロー情報は、前記任意の１つのサブビデオの２つの隣接する画像フレームごとの間のオプティカルフロー密度と、前記任意の１つのサブビデオの平均オプティカルフロー密度とを含み、前記第１取得モジュールは、前記任意の１つのサブビデオの平均オプティカルフロー密度に対する前記任意の１つのサブビデオの任意の２つの隣接する画像フレーム間のオプティカルフロー密度の比率が、第１閾値を超えることに応答して、前記任意の１つのサブビデオを削除するように構成される
    ことを特徴とする、請求項８に記載のリソースの表示装置。
  10. 前記オプティカルフロー情報は、オプティカルフロー角度を含み、前記任意の１つのサブビデオのオプティカルフロー情報は、前記任意の１つのサブビデオの各画像フレームのオプティカルフロー角度、前記任意の１つのサブビデオの平均オプティカルフロー角度、及び前記任意の１つのサブビデオのオプティカルフロー角度標準差を含み、前記第１取得モジュールは、前記任意の１つのサブビデオのオプティカルフロー角度標準差に対する第１数値の比率が、第２閾値を超えることに応答して、前記任意の１つのサブビデオを削除するように構成され、前記第１数値は、前記任意の１つのサブビデオの任意の１つの画像フレームのオプティカルフロー角度と、前記任意の１つのサブビデオの平均オプティカルフロー角度との差の絶対値を示す
    ことを特徴とする、請求項８に記載のリソースの表示装置。
  11. 前記オプティカルフロー情報は、オプティカルフロー密度とオプティカルフロー角度を含み、前記任意の１つのサブビデオのオプティカルフロー情報は、前記任意の１つのサブビデオの２つの隣接する画像フレームごとの間のオプティカルフロー密度、前記任意の１つのサブビデオの平均オプティカルフロー密度、前記任意の１つのサブビデオの各画像フレームのオプティカルフロー角度、前記任意の１つのサブビデオの平均オプティカルフロー角度及び前記任意の１つのサブビデオのオプティカルフロー角度標準差を含み、前記第１取得モジュールは、前記任意の１つのサブビデオの平均オプティカルフロー密度に対する前記任意の１つのサブビデオの任意の２つの隣接する画像フレーム間のオプティカルフロー密度の比率が、第１閾値を超え、且つ、前記任意の１つのサブビデオのオプティカルフロー角度標準差に対する第１数値の比率が、第２閾値を超えることに応答して、前記任意の１つのサブビデオを削除するように構成され、前記第１数値は、前記任意の１つのサブビデオの任意の１つの画像フレームのオプティカルフロー角度と、前記任意の１つのサブビデオの平均オプティカルフロー角度との差の絶対値を示す
    ことを特徴とする、請求項８に記載のリソースの表示装置。
  12. 前記第１取得モジュールは、ターゲットビデオをショットに応じて分割し、分割により得られたサブビデオから１つ又は複数のターゲットサブビデオを取得するように構成される
    ことを特徴とする、請求項７ないし１１のいずれか一項に記載のリソースの表示装置。
  13. プロセッサとメモリを備える、コンピュータ機器であって、前記メモリは、少なくとも１つの命令を記憶し、前記少なくとも１つの命令は、前記プロセッサによって実行されるとき、請求項１ないし６のいずれか一項に記載のリソースの表示方法のステップを実現することを特徴とする、コンピュータ機器。
  14. コンピュータ命令を含む、コンピュータプログラムであって、
    前記コンピュータ命令は、コンピュータ可読記憶媒体に記憶され、コンピュータ機器のプロセッサは、前記コンピュータ可読記憶媒体から前記コンピュータ命令を読み取り、プロセッサは、前記コンピュータ命令を実行して、前記コンピュータ機器に請求項１ないし６のいずれか一項に記載のリソースの表示方法を実行させる
    ことを特徴とする、コンピュータプログラム。
JP2021544837A 2019-06-24 2020-06-19 リソースの表示方法、装置、機器及びコンピュータプログラム Active JP7210089B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910550282.5 2019-06-24
CN201910550282.5A CN110290426B (zh) 2019-06-24 2019-06-24 展示资源的方法、装置、设备及存储介质
PCT/CN2020/097192 WO2020259412A1 (zh) 2019-06-24 2020-06-19 展示资源的方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
JP2022519355A JP2022519355A (ja) 2022-03-23
JP7210089B2 true JP7210089B2 (ja) 2023-01-23

Family

ID=68004686

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021544837A Active JP7210089B2 (ja) 2019-06-24 2020-06-19 リソースの表示方法、装置、機器及びコンピュータプログラム

Country Status (5)

Country Link
US (1) US20210335391A1 (ja)
EP (1) EP3989591A4 (ja)
JP (1) JP7210089B2 (ja)
CN (1) CN110290426B (ja)
WO (1) WO2020259412A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110290426B (zh) * 2019-06-24 2022-04-19 腾讯科技（深圳）有限公司 展示资源的方法、装置、设备及存储介质
CN113676753B (zh) * 2021-10-21 2022-02-15 北京拾音科技文化有限公司 Vr场景中展示视频的方法、装置、电子设备和存储介质
CN114283356B (zh) * 2021-12-08 2022-11-29 上海韦地科技集团有限公司 一种移动图像的采集分析***及方法
CN116168045B (zh) * 2023-04-21 2023-08-18 青岛尘元科技信息有限公司 扫变镜头的分割方法和***、存储介质及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004521571A (ja) 2001-06-25 2004-07-15 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ビデオにおける重ね書き要素の適応的配置
WO2012005242A1 (ja) 2010-07-05 2012-01-12 日本電気株式会社 画像処理装置及び画像分割方法
US20150078733A1 (en) 2008-05-28 2015-03-19 Mirriad Limited Apparatus and method for identifying insertion zones in video material and for inserting additional material into the insertion zones
US20160142792A1 (en) 2014-01-24 2016-05-19 Sk Planet Co., Ltd. Device and method for inserting advertisement by using frame clustering
JP2018136895A (ja) 2017-02-24 2018-08-30 沖電気工業株式会社 画像処理装置およびプログラム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6031930A (en) * 1996-08-23 2000-02-29 Bacus Research Laboratories, Inc. Method and apparatus for testing a progression of neoplasia including cancer chemoprevention testing
JP3781835B2 (ja) * 1996-10-04 2006-05-31 日本放送協会 動画像領域分割装置
CN102460433A (zh) * 2009-06-15 2012-05-16 皇家飞利浦电子股份有限公司 选择代表图像的方法和设备
US8369686B2 (en) * 2009-09-30 2013-02-05 Microsoft Corporation Intelligent overlay for video advertising
CN102148919B (zh) * 2010-02-09 2015-05-27 新奥特（北京）视频技术有限公司 一种球类检测的方法及***
JP2012015894A (ja) * 2010-07-02 2012-01-19 Jvc Kenwood Corp 色補正装置及び方法
CN103297811A (zh) * 2012-02-24 2013-09-11 北京明日时尚信息技术有限公司 一种智能嵌入式视频广告的实现方法
CN103092963A (zh) * 2013-01-21 2013-05-08 信帧电子技术（北京）有限公司 一种视频摘要生成方法和装置
US10438631B2 (en) * 2014-02-05 2019-10-08 Snap Inc. Method for real-time video processing involving retouching of an object in the video
JP6352126B2 (ja) * 2014-09-17 2018-07-04 ヤフー株式会社 広告表示装置、広告表示方法、及び広告表示プログラム
CN105513098B (zh) * 2014-09-26 2020-01-21 腾讯科技（北京）有限公司 一种图像处理的方法和装置
CN105141987B (zh) * 2015-08-14 2019-04-05 京东方科技集团股份有限公司 广告植入方法和广告植入***
US10127945B2 (en) * 2016-03-15 2018-11-13 Google Llc Visualization of image themes based on image content
WO2017165538A1 (en) * 2016-03-22 2017-09-28 Uru, Inc. Apparatus, systems, and methods for integrating digital media content into other digital media content
CN106340023B (zh) * 2016-08-22 2019-03-05 腾讯科技（深圳）有限公司 图像分割的方法和装置
CN106503632A (zh) * 2016-10-10 2017-03-15 南京理工大学 一种基于视频分析的自动扶梯智能安全监测方法
CN107103301B (zh) * 2017-04-24 2020-03-10 上海交通大学 视频目标时空最大稳定性判别性颜色区域匹配方法和***
US10096169B1 (en) * 2017-05-17 2018-10-09 Samuel Chenillo System for the augmented assessment of virtual insertion opportunities
TWI651662B (zh) * 2017-11-23 2019-02-21 財團法人資訊工業策進會 影像標註方法、電子裝置及非暫態電腦可讀取儲存媒體
CN108052876B (zh) * 2017-11-28 2022-02-11 广东数相智能科技有限公司 基于图像识别的区域发展评估方法及装置
CN108921130B (zh) * 2018-07-26 2022-03-01 聊城大学 基于显著性区域的视频关键帧提取方法
US10699137B2 (en) * 2018-08-14 2020-06-30 Verizon Connect Ireland Limited Automatic collection and classification of harsh driving events in dashcam videos
CN110290426B (zh) * 2019-06-24 2022-04-19 腾讯科技（深圳）有限公司 展示资源的方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004521571A (ja) 2001-06-25 2004-07-15 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ビデオにおける重ね書き要素の適応的配置
US20150078733A1 (en) 2008-05-28 2015-03-19 Mirriad Limited Apparatus and method for identifying insertion zones in video material and for inserting additional material into the insertion zones
WO2012005242A1 (ja) 2010-07-05 2012-01-12 日本電気株式会社 画像処理装置及び画像分割方法
US20160142792A1 (en) 2014-01-24 2016-05-19 Sk Planet Co., Ltd. Device and method for inserting advertisement by using frame clustering
JP2018136895A (ja) 2017-02-24 2018-08-30 沖電気工業株式会社 画像処理装置およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
張よう, 外6名，"ニュース文と画像内容の一致性を考慮した複数ニュース映像の要約"，電子情報通信学会技術研究報告，日本，一般社団法人電子情報通信学会，2016年02月29日，第115巻, 第495号，p.67-72

Also Published As

Publication number Publication date
US20210335391A1 (en) 2021-10-28
CN110290426B (zh) 2022-04-19
CN110290426A (zh) 2019-09-27
EP3989591A4 (en) 2022-08-17
JP2022519355A (ja) 2022-03-23
EP3989591A1 (en) 2022-04-27
WO2020259412A1 (zh) 2020-12-30

Similar Documents

Publication Publication Date Title
US11189037B2 (en) Repositioning method and apparatus in camera pose tracking process, device, and storage medium
US20200272825A1 (en) Scene segmentation method and device, and storage medium
JP7058760B2 (ja) 画像処理方法およびその、装置、端末並びにコンピュータプログラム
WO2021008456A1 (zh) 图像处理方法、装置、电子设备及存储介质
JP7210089B2 (ja) リソースの表示方法、装置、機器及びコンピュータプログラム
WO2020221012A1 (zh) 图像特征点的运动信息确定方法、任务执行方法和设备
CN110059685B (zh) 文字区域检测方法、装置及存储介质
CN108776822B (zh) 目标区域检测方法、装置、终端及存储介质
CN110647881B (zh) 确定图像对应的卡片类型的方法、装置、设备及存储介质
CN110796248A (zh) 数据增强的方法、装置、设备及存储介质
CN110675412A (zh) 图像分割方法、图像分割模型的训练方法、装置及设备
CN111754386B (zh) 图像区域屏蔽方法、装置、设备及存储介质
CN110853124B (zh) 生成gif动态图的方法、装置、电子设备及介质
CN110675473B (zh) 生成gif动态图的方法、装置、电子设备及介质
CN111857793B (zh) 网络模型的训练方法、装置、设备及存储介质
CN111325220A (zh) 图像生成方法、装置、设备及存储介质
CN112381729B (zh) 图像处理方法、装置、终端及存储介质
CN110728167A (zh) 文本检测方法、装置及计算机可读存储介质
CN111275607B (zh) 界面显示方法、装置、计算机设备及存储介质
CN111639639B (zh) 检测文本区域的方法、装置、设备及存储介质
CN113592874B (zh) 图像显示方法、装置和计算机设备
WO2021243955A1 (zh) 主色调提取方法及装置
CN112817768B (zh) 动画处理方法、装置、设备及计算机可读存储介质
CN113409235B (zh) 一种灭点估计的方法及装置
CN110458289B (zh) 多媒体分类模型的构建方法、多媒体分类方法及装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210802

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210802

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230105

R150 Certificate of patent or registration of utility model

Ref document number: 7210089

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150