JP7220859B2 - 超短メディアコンテンツを交換するシステムおよび方法 - Google Patents

超短メディアコンテンツを交換するシステムおよび方法 Download PDF

Info

Publication number
JP7220859B2
JP7220859B2 JP2020150558A JP2020150558A JP7220859B2 JP 7220859 B2 JP7220859 B2 JP 7220859B2 JP 2020150558 A JP2020150558 A JP 2020150558A JP 2020150558 A JP2020150558 A JP 2020150558A JP 7220859 B2 JP7220859 B2 JP 7220859B2
Authority
JP
Japan
Prior art keywords
media
computing device
self
contained
media content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020150558A
Other languages
English (en)
Other versions
JP2021197722A (ja
Inventor
スミルノフ アンドレイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Interactive Standard LLC
Original Assignee
Interactive Standard LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Interactive Standard LLC filed Critical Interactive Standard LLC
Publication of JP2021197722A publication Critical patent/JP2021197722A/ja
Application granted granted Critical
Publication of JP7220859B2 publication Critical patent/JP7220859B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/483Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/487Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/489Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using time information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04Real-time or near real-time messaging, e.g. instant messaging [IM]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/046Interoperability with other network applications or services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/08Annexed information, e.g. attachments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10Multimedia information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H04L69/161Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields
    • H04L69/162Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields involving adaptations of sockets based mechanisms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365Multiplexing of several video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27Server based end-user applications
    • H04N21/274Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743Video hosting of uploaded data from client
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440236Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8549Creating video summaries, e.g. movie trailer

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、コンテンツ共有の分野に関し、より詳しくは、ユーザデバイス間で超短メディアコンテンツを交換するシステムおよび方法に関する。
これまでの電子コンポーネントの高速化と小型化は、テキスト、音声、動画、画像、アニメーション、クリップアート、およびその他のコンテンツなどのデジタルメディアを処理および交換する能力のあるパーソナルコンピューティングデバイスの普及に貢献してきた。パーソナルコンピューティングデバイスとしては、例えば、スマートフォン、タブレット、ラップトップ、携帯ゲーム機、スマートTV、スマート腕時計、スマート眼鏡などが挙げられる。既存の多くのパーソナルコンピューティングデバイスは、大量のデジタルコンテンツを記憶し、インターネットに無線で接続し、かつ他のコンピューティングデバイスとデータ交換することがある。
人々は、しばしば、コンピューティングデバイス(またはシステム)を使用して、情報を通信または交換する。コンピューティングデバイスを介して通信する従来のアプローチとしては、ショートメッセージサービス(Short Message Service:SMS)およびマルチメディアメッセージングサービス(Multimedia Messaging Service:MMS)などのテキストメッセージングが挙げられる。例えば、従来のアプローチでは、第1コンピューティングデバイスは、第2コンピューティングデバイスにセルラまたはローカルネットワークを通して、テキスト、画像、音声および/または動画などを含む通信を伝送する場合がある。第2コンピューティングデバイスは、通信を受信して、即時に(または、ほぼ即時に)、通信に含まれているコンテンツを見る、それにアクセスする、またはそれと相互作用する場合がある。これらのケースでは、コンピューティングデバイスは、限定はされないが、テキスト、動画、音声、画像/写真などの、完全に形成されたメディアコンテンツアイテムの全てを交換する。あるいは、コンピューティングデバイスは、例えば、VOIP(ボイスオーバーIP)、ブロードキャストモードで、ストリーミングネットワーク接続を通してメディアコンテンツアイテムを交換する場合もある。
従来の両通信モードでは、コンテンツの受信者は、コンテンツを受信するとすぐに、なにかしらの大きな働きかけなしに、コンテンツにアクセスする、それを見る、またはそれと相互作用することができる。例えば、受信者のコンピューティングデバイスが、画像および/または動画ファイルを受信すると、コンピューティングデバイスのユーザは、画像を、選択、クリックまたはタップなどをして、その画像および/または動画ファイルを見る、および/またはダウンロードすることができる。
しかし、上述の通信の第1従来モードは、大量のメディアコンテンツアイテムを伝送する場合に著しい欠点を有する。通信開始デバイスのユーザによるメディアコンテンツアイテムの記録開始から、受信者デバイスでの再生時点までのタイムラグは、限定はされないが、全体のメディアコンテンツアイテムの記録時間、開始デバイスからの(通常サーバへの)メディアコンテンツアイテムの送信時間、および受信者デバイスの(通常サーバからの)メディアコンテンツアイテムの受信時間を含む場合がある。全てのこれらのプロセスは、メディアコンテンツファイルの長さによって順次かつ直接左右されるので、全体の遅延は、著しいものになる場合がある。
第2(ブロードキャスト)モードでは、通信セッション(例えば、動画セッション)に関与する各ユーザが同時にオンラインであることが必要である。加えて、チャンネルの伝送能力、およびその中の伝送エラー(パケット損失または遅延)は、典型的には、伝送されるメディアコンテンツの知覚品質の低下につながる場合がある。
本発明の実施形態は、通信の従来モードの上述の課題に対処し、また、コンピューティングデバイスを使用する別々の参加者によるチャット、グループおよび/またはチャンネルでの、個人およびグループ通信セッション向けに使用されるコンピュータ方法およびシステムを対象とする。開示するシステムは、複数の超短メディアコンテンツセグメントを採用することによって、このような通信を可能にするが、この複数の超短メディアコンテンツセグメントは、超短情報「コンテンツ」をメディアストリームに組み込む、または符号化することによって、単一のメディアコンテンツアイテム(動画、音声、テキストおよびその他のもの)から/それに自動的に変換することができるものである。例えば、メディアコンテンツセグメントの長さが、約3秒である場合、通信開始デバイスのメディアコンテンツアイテムの記録開始時間から、受信者デバイスでの再生時間までは、メディアコンテンツセグメントの記録期間(約3秒)、受信者デバイスへのメディアコンテンツセグメントの処理および伝送の時間の合計であり、トータル約3秒から約6秒である。同時に、有利には、伝送速度およびチャンネルの干渉が、伝送されるメディアコンテンツの質を損なわない。
様々な実施形態では、システムは、複数の超短メディアコンテンツセグメントを記憶する場合がある。メディアコンテンツセグメントは、ユーザ嗜好に基づいてフィルタされ、かつユーザがユーザの都合のよいときに記憶されているメディアコンテンツを閲覧できる分類データベースに記憶されてよい。事前に記憶されたメディアコンテンツもまた、1つまたは複数の超短セグメントの集合を提供するために、ユーザ嗜好に基づいて、エンドユーザデバイスでフィルタされてもよい。超短セグメントに関連するこの超短セグメントおよび/またはタグの集合は、他のユーザと共有されてよい。超短セグメントのそれぞれは、再生、編集、公開される場合がある自己完結型動画、音声およびテキストなどである。本開示の種々の実施形態は、協働的な超短自己完結型メディアコンテンツの双方的交換を提供するコンピューティングデバイス(またはシステム)を利用する場合がある。
一代表的実施形態では、超短メディアコンテンツを交換する方法が提供される。メディアコンテンツアイテムは、第1コンピューティングデバイスによって記録される。メディアコンテンツアイテムは、動画メッセージ、音声メッセージ、またはテキストメッセージのち少なくとも1つを含む。第1コンピューティングデバイスは、メディアコンテンツアイテムの記録中に、記録されるメディアコンテンツアイテムを複数の自己完結型メディアフラグメントに分割する。複数の自己完結型メディアフラグメントのそれぞれは、所定の時間長(多くとも3秒の長さ)を有する。第1コンピューティングデバイスは、複数の自己完結型メディアフラグメントを処理して、対応するメディアフラグメントに関連するサービス情報を生成し、同時に、次の自己完結型メディアフラグメントを記録および分割する。サービス情報は、記録されているメディアコンテンツアイテムが動画メッセージである場合、プレビューフレームを含む。第1コンピューティングデバイスは、複数の自己完結型メディアフラグメントを、メディアストリームとして、それを視聴する第2コンピューティングデバイスに伝送し、同時に、次の自己完結型メディアフラグメントの記録、分割および処理を続ける。複数の自己完結型メディアフラグメントのそれぞれは、第2コンピューティングデバイスによって1つずつ受信され、かつ連続的なメディアストリームとして表示され、同時に、次の自己完結型メディアフラグメントが、第1コンピューティングデバイスから受信される。
本明細書に組み込まれ、かつ本明細書の一部を構成する添付図面は、発明を実施するための形態と共に本開示の1つまたは複数の例示的実施形態を示すものであり、それらの原理および実装形態を説明するために提供される。
図1は、本開示の実施形態に従って、メディアコンテンツの協働的な交換を提供するように構成された例示的システムを示す図である。 図2は、本開示の実施形態に従って、メディアコンテンツの協働的な交換を提供するように構成された例示的コンピューティングデバイスを示す図である。 図3は、本開示の実施形態に従って、メディアコンテンツの協働的な交換を提供するように構成された例示的コンピューティングデバイスを示す図である。 図4は、本開示の実施形態に従って、ユーザによってメッセージ記録中にメディアバイトを生成するステップ、ならびに、第1ユーザデバイスを使用してメディアバイトを処理および送信するステップのシーケンス図である。 図5は、本開示の実施形態に従って、第2ユーザデバイスを使用して、受信されるメディアバイトを受信および再生するステップのシーケンス図である。 図6Aは、受信者コンピューティングデバイスによる1組のメディアコンテンツアイテムの従来の時系列再生を示す図である。 図6Bは、本開示の実施形態に従って、複数のコンピューティングデバイスが、異なるアングルから同時に同じ対象610を記録する例を示す図である。 図6Cは、本開示の実施形態に従った、メディアコンテンツアイテム記録のタイムラインを示す図である。 図6Dは、本開示の実施形態に従って、受信者コンピューティングデバイス130の協働交換モジュール139によって組み合わされるメディアバイトのパック651および652を示す図である。 図7は、本開示の実施形態に従って、種々のシナリオで利用される場合があるコンピュータシステムの一例を示す図である。
例示的態様が、ユーザデバイス間で超短メディアコンテンツを交換するためのシステム、方法、およびコンピュータプログラムのコンテキストで、本明細書に記載される。以下の説明は例示のためのみのものであり、いかなる点においても限定することを意図するものではないことを当業者であれば理解されるであろう。本開示の効果を用いることで、その他の態様は当業者であれば容易に連想されるであろう。添付図面に示される例示的な態様の実装形態に、参照番号が項目ごとに付与される。同一または類似の項目であることを言及するために、図面および以下の説明を通して可能な範囲で同じ参照番号が使用される。
図1は、本開示の実施形態に従って、超短メディアコンテンツの協働的な交換を提供するように構成された例示的システム100を示す。例示的システム100は、メディアサーバ110(例えば、クラウドサーバ)および複数のコンピューティングデバイス(例えば、コンピューティングデバイスA120、コンピューティングデバイスB130、図6のコンピューティングデバイス600など)を含む場合がある。一部の実施形態では、メディアサーバ110は、少なくとも1つのプロセッサ112および少なくとも1つのデータ記憶装置114を備える場合がある。少なくとも1つのプロセッサ112は、メディアサーバ110の種々のタスク実施を促進するように構成される場合がある。少なくとも1つのデータ記憶装置114は、限定はされないが、超短メディアフラグメント、サービス情報、および超短メディアフラグメントに関連する他のメタデータなどを含むメディアコンテンツなどの様々なタイプのデータおよび情報を記憶するように構成される場合がある。
図1の例では、1つまたは複数のコンピューティングデバイスは、第1コンピューティングデバイス(例えば、コンピューティングデバイスA)120、および第2コンピューティングデバイス(例えば、コンピューティングデバイスB)130を含む場合がある。コンピューティングデバイスA120は、少なくとも1つのプロセッサ122、少なくとも1つのディスプレイ124、少なくとも1つのセンサ126、および少なくとも1つのデータ記憶装置128を備える場合がある。同様に、コンピューティングデバイスB130は、少なくとも1つのプロセッサ132、少なくとも1つのディスプレイ134、少なくとも1つのセンサ136、および少なくとも1つのデータ記憶装置138を備える場合がある。コンピューティングデバイス(例えば、コンピューティングデバイスA120およびコンピューティングデバイスB130など)ごとに、少なくとも1つのプロセッサ(例えば、プロセッサ122、プロセッサ132など)が、対応するデバイスの各種操作を促進する場合がある。ディスプレイ構成要素124および134のそれぞれは、ビジュアルコンテンツを表示または提示するように構成される場合がある。センサ126および136のそれぞれは、データを、取得、収集、決定および/または検出するように構成される場合がある。場合によっては、センサ126および136のそれぞれは、(限定はされないが)タッチセンサ(例えば、タッチディスプレイ)、音声センサ(例えば、マイクロフォン)、または画像センサ(例えば、カメラ)、加速度計、ジャイロスコープ、位置センサ(例えば、GPS)などのうちの少なくとも1つを含む場合がある。さらに、データ記憶装置128および138は、コンピューティングデバイスの操作に関連する情報を記憶するように構成される場合がある。
図1に関して、一部の実施形態では、コンピューティングデバイスA120にインストールされた協働コンテンツ交換モジュール/コンポーネント129(例えば、メッセージングアプリケーション)は、コンピューティングデバイスA120に少なくとも1つのセンサ126(例えば、カメラ)を使用して第1メディアコンテンツアイテム(例えば、画像、動画など)を取得させる場合がある。例えば、コンピューティングデバイスA120のユーザは、協働コンテンツ交換コンポーネント129を開始および利用して、コンピューティングデバイスA120の前面カメラおよび/または背面カメラに、写真または動画を撮らせる場合がある。取得された第1メディアコンテンツアイテム(例えば、写真、動画など)は、第1メディアコンテンツアイテムの元のフル解像度および/または明白な(例えば、実質的に鮮明で、変わらないなどの)バージョンに相当する場合がある。一実施形態では、協働コンテンツ交換モジュール129は、メディアコンテンツアイテムを取得、記録、および/または処理するのと同時に、取得した第1メディアコンテンツアイテムを、以下「メディアバイト」と呼ばれる複数の超短自己完結型メディアフラグメントにリアルタイムで分割する場合がある。本明細書で使用する場合、用語「超短自己完結型メディアフラグメント」および「メディアバイト」は、同じ意味で用いられ、かつ、動画、音声、テキストおよび/またはクリップアートならびに、それらに関連するメタデータ(サービス情報)を含むデータファイルを意味する。一実施形態では、各メディアバイトは、約3秒の長さの所定の固定時間長を有する。しかし、別の実施形態ではメディアバイトは、システム、ネットワーク、アプリケーションおよび/またはユーザ要件に基づいて、より短い、またはより長い場合がある。協働コンテンツ交換モジュール129は、メディアコンテンツアイテムに組み合わせて、単一のメディアストリームとして再生する、受信者へのメディアバイトの順次伝送を提供する場合がある。一部の実施形態では、協働コンテンツ交換モジュール129は、コンピューティングデバイスA120に、第1メディアコンテンツアイテムの複数のメディアバイトをメディアサーバ110へ伝送させる場合があり、また、メディアサーバ110は、1つまたは複数のコンピューティングデバイスから受信したメディアバイトを組み合わせて、単一のメディアストリームを生成する場合がある。
さらに、協働コンテンツ交換モジュール129は、コンピューティングデバイスA120に、少なくとも第1メディアコンテンツアイテムを含むメディアストリームをコンピューティングデバイスB130へ伝送させる場合がある。一部の実施形態では、コンピューティングデバイスA120からコンピューティングデバイスB130へのメディアストリームの伝送は、メディアサーバ110を介して実施される場合がある。例えば、メディアサーバ110は、コンピューティングデバイスA120とコンピューティングデバイスB130との間で、コンテンツを含む通信を中継する場合がある。
コンピューティングデバイスB130が、少なくとも第1メディアコンテンツアイテムを含むメディアストリームを受信するときに、協働コンテンツ交換モジュール/コンポーネント139は、コンピューティングデバイスB130が受信したメディアストリームへのアクセスを提供することを可能にする場合がある。受信されるメディアストリームは、いくつかのユーザによって生成された複数のメディアコンテンツアイテムを含む場合がある。メディアストリームがいくつかのユーザによって生成される場合、記録時間、制作者、地理的位置、位置、方位、順番、論理的に完全なメディアコンテンツアイテムなどを考慮に入れて、協働コンテンツ交換モジュール/コンポーネント139は、これらの記録を順次再生する場合がある。本開示の実施形態に従って、全てのメディアバイトは、独立した完全なメディアユニット(動画または音声)を技術的に提示する。そのようなものであるから、コンピューティングデバイスB130のユーザは、他の条件によって組み合わされたメディアバイトを見ることを望む可能性がある。
場合によっては、コンピューティングデバイスB130のユーザは、新しいコンテンツアイテムを受信したメディアストリームに加えることを望むこともある。受信したメディアストリームを修正するために、協働コンテンツ交換モジュール139は、第1メディアコンテンツアイテムによって表現される同じイベント/対象の異なるバージョンに相当する場合がある第2メディアコンテンツアイテム(例えば、画像、動画など)を、少なくとも1つのセンサ136(例えば、前面カメラ、背面カメラなど)を利用して、コンピューティングデバイスB130のユーザが取得することを可能にする。協働コンテンツ交換モジュール139は、コンピューティングデバイスB130(またはメディアサーバ110)に、第1および第2メディアコンテンツアイテムの両方を含む、修正または新規メディアストリームを生成させる場合がある。コンピューティングデバイスB130のユーザは、メディアストリームの修正バージョンをコンピューティングデバイスA120に(メディアサーバ110を介して)返信することを選択する場合がある。
一シナリオ例では、協働コンテンツ交換コンポーネント129は、コンピューティングデバイスA120に、元の画像をキャプチャさせる場合がある。協働コンテンツ交換コンポーネント129は、記録される動画ストリームを、コンテナ内で、そのそれぞれが独立して、処理、符号化、パッケージ化されるメディアバイトに分割する場合がある。協働コンテンツ交換コンポーネント129は、記録段階で、記録されるメディアバイトの時間長の正確なカウント、音声と動画データの同期、および高速なストリーム処理を提供する専用の技術的ソリューションをさらに利用する場合がある。コンピューティングデバイスB130によるメディアストリームの受信の際に、協働コンテンツ交換コンポーネント139は、コンピューティングデバイスB130のユーザが、ストリームから自身の好みの(ユーザ自身のものだけではなく)メディアバイトを選択して、それらを編集し、任意の順序でそれらを再アレンジし、不必要なものを削除し、かつ得られた動画を公開することを可能にする。本処理は、時間と共に繰り返すことができ、結果として、協働的に相互作用して交換される複数のメディアコンテンツアイテムをもたらす。したがって、他のチャットまたはチャンネル参加者、ユーザからのメディアバイトと組み合わせて、ユーザ自身のメディアバイトを使用することで、ユーザは、様々な作成者のメディアストリームと協働、ミキシングすることによって動画を共作成することができる。
図2は、本開示の実施形態に従って、メディアコンテンツの協働的な交換を提供するように構成された例示的コンピューティングデバイス202を示す。例示的コンピューティングデバイス202(例えば、図6のコンピュータシステム600)は、前面画像センサ(例えば、前面カメラ)204、および背面画像センサ(例えば、背面カメラ)206などの1つまたは複数のセンサを備える場合がある。例示的コンピューティングデバイス202はまた、ビジュアルコンテンツを提示するように構成されたディスプレイ要素(例えば、表示スクリーン、タッチスクリーンなど)208を備える場合もある。
一部の実施形態では、コンピューティングデバイス202は、協働コンテンツ交換アプリケーションを動作させるように構成される場合がある。場合によっては、協働コンテンツ交換アプリケーションは、協働コンテンツ交換コンポーネント(例えば、図1の協働コンテンツ交換モジュール129、または協働コンテンツ交換モジュール139)に関連付けられる場合がある。一例では、協働コンテンツ交換アプリケーションは、カメラモードを開始する場合がある。カメラモードは、選択されたカメラ(例えば、前面カメラ204、背面カメラ206など)が「認識する」または検出する何らかのイメージの表示210を提供する場合がある。
図2に示すように、協働コンテンツ交換アプリケーションのカメラモードは、(限定はされないが)フラッシュを設定するためのアイコン(または、ボタン)212、または記録をするためのアイコン214、およびカメラを切り替えるためのアイコン216を含む種々のユーザインターフェース要素を提供する場合がある。場合によっては、フラッシュを設定するアイコン(または、ボタン)212は、文字「フラッシュ」を含む、テキストアイコンに相当する場合がある。記録をするためのアイコン214は、画像または動画の記録を開始および終了する場合がある。場合によっては、カメラを切り替えるためのアイコン216は、自撮り写真と呼ばれる用語である場合のある文字「セルフィー」を含むテキストアイコンに相当する場合がある。一部の実装形態では、「セルフィー」アイコンまたはボタン216を押下、タップ、またはそれと相互作用することにより、例えば、記録中に、背面カメラ206から前面カメラ204へ現在使用しているカメラを切り替えることができ、それにより、ユーザが、背面カメラ206によって記録されているイベントに関してコメントすることが可能になる。
一例では、例えば、第1超短メディアコンテンツアイテムを含む通信が、メディアサーバ110を介して別のコンピューティングデバイスから受信されるときに、通知218は、相互作用コンテンツ交換アプリケーションによって提示される場合がある。図2では、通知218は、「ショット」と呼ばれることもある通信が、「John」という名前のユーザから受信されたことを示す場合がある。引き続きこの例を参照し、コンピューティングデバイス202のユーザは、通知218および/またはデバイス202をタップ、クリック、またはそれと相互作用して、「John」からの通信(例えば、「ショット」)についてのより多くの情報を得る場合がある。
図3は、本開示の実施形態に従って、メディアコンテンツの協働的な交換を提供するように構成された例示的コンピューティングデバイス302(例えば、図6のコンピュータシステム600)を示す。上述のように図2を参照して、ユーザは、通信(例えば、「ショット」)が受信されたことを示す通知と相互作用して、受信された通信についてより多くの情報を得る場合がある。受信された通信は、複数のメディアバイトを含んでいるメディアコンテンツアイテムを含む場合がある。図3では、ユーザが通知と相互作用するときに、協働コンテンツ交換アプリケーションは、ユーザによってアクセスされる1つまたは複数の通信からの1つまたは複数の受信されたメディアバイトを表示する場合がある。
図3の例では、4つのメディアバイトが示されている。メディアバイトは、例えば、最後に受信した通信から最初に受信した通信の順番(またはその逆)で表示されるか、または一覧にされる場合がある。この例では、第1メディアバイトは、John Doeから受信した第1メディアコンテンツアイテム(例えば、画像、動画など)312の自己完結型超短セグメント310を含む場合がある。第1メディアバイトはまた、対応するメディアバイトが作成された日付(または時間)314などのメタデータ(サービス情報)に関連付けられている場合もある。
第2メディアバイト320は、Jane Doeから受信した(すなわちJane Doeによって送信された)第2メディアコンテンツアイテム322の一部である場合がある。第2メディアバイトは、第2メディアバイトが特定の場所(例えば、カリフォルニア州、サンフランシスコ324)で作成されたことを示すサービス情報を含む場合がある。
図3の例を引き続き参照し、第3メディアバイト330は、Joe Schmoeから受信した第3メディアコンテンツアイテム332の一部、および見出し(例えば、「楽しくいこう!」334)である場合がある。さらに、第4メディアバイト340は、Fred Bloggsから受信した第4メディアコンテンツアイテム342の一部である場合があり、かつ第4メディアバイト(および/または第4メディアコンテンツアイテム)がJoe Bloggsに関連付けられていることを示すタグ344を含む場合がある。
一部の実施形態では、メディアバイトは、(限定はされないが)プロパティ、メディアバイトを送信した送信側コンピューティングデバイスの識別子、メディアバイトが作成されたときに送信側コンピューティングデバイスが移動していたまたは移動されていた速度、メディアバイトが作成されたときに送信側コンピューティングデバイスが受けた加速度、メディアバイトが作成されたときに送信側コンピューティングデバイスが向いていた方向、メディアバイトが作成されたときの送信側コンピューティングデバイスの周辺天候状況、および/または、メディアバイトが作成されたときに送信側コンピューティングデバイスによってアクセスされていたメディア(例えば、演奏されていた曲)のタイトルを含む他のサービス情報に関連付けられる場合がある。
上述のように、協働コンテンツ交換モジュール139は、コンピューティングデバイス302(またはメディアサーバ110)が、第1メディアバイト310および第2メディアバイト320の両方を含む修正または新規メディアストリームを生成することを可能にする場合がある。したがって、ユーザは、自身のものに他の人のものを加えたメディアバイトを使用することによって、メディアコンテンツを共作成することができる。一実施形態では、ユーザは、例えば、記録時間および場所に基づいて2つ以上のメディアバイトを組み合わせることもできる。
図4は、本開示の実施形態に従って、ユーザによるメッセージ記録中にメディアバイトを生成するステップ、ならびに、第1ユーザデバイスを使用してメディアバイトを処理および送信するステップのシーケンス図である。ステップ402で、ユーザ401は、コンピューティングデバイス202で記録を行うために、例えば、アイコン214を押下することによって、動画403の記録を開始する場合がある。開示する協働コンテンツ交換システムは、種々のビデオ符号化標準をサポートする場合がある。ビデオ符号化標準としては、限定はされないが、ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262またはISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual、スケーラブルビデオ符号化(Scalable Video Coding:SVC)およびマルチビュービデオ符号化(Multiview Video Coding:MVC)拡張を含むITU-T H.264またはISO/IEC MPEG-4 AVC、ならびに、スケーラブルビデオ符号化(すなわち、スケーラブル高効率ビデオ符号化、Scalable High efficiency Video Coding:SHVC)およびマルチビュー拡張(すなわち、マルチビュー高効率ビデオ符号化、Multiview High Efficiency Video Coding:MV-HEVC)を含むITUT H.265およびISO/IEC 23008-2としても知られている高効率ビデオ符号化(High-Efficiency Video Coding:HEVC)が挙げられる。記録を開始するとすぐに、コンピューティングデバイス202は、協働コンテンツ交換モジュール129に記録されるフレーム404の送信を開始する。一実施形態では、協働コンテンツ交換モジュール129は、記録プロセス402と実質的に同時に(「即座に」)、記録される動画ストリームをメディアバイトに分割するように構成される場合がある。様々な実施形態では、協働コンテンツ交換モジュール129は、記録ステップ402の間に、記録されるメディアバイトの時間長の正確なカウント、音声と動画データコンテナの同期、および高速なストリーム処理を提供する専用のソリューションを実装する場合がある。
ステップ406では、記録されるメディアストリームからの隔離後、協働コンテンツ交換モジュール129は、例えば、受信したメディアストリームの各メディアバイトを符号化し、かつMP4コンテナにそれらをパッケージ化してもよい。さらに、ステップ406で、協働コンテンツ交換モジュール129は、各メディアバイトを、記録される動画データを含む別々の独立したビデオクリップとして、コンピューティングデバイス202のデータベース405(例えば、データ記憶装置)に記憶してもよい。このようなビデオクリップは、本明細書で説明するように、後で、協働動画ストリーミングに組み合わされてもよい。
本開示の実施形態に従って、ステップ408で、協働コンテンツ交換モジュール129は、各記憶されたメディアバイトを処理することができる。処理ステップ408は、一意な識別子を各メディアバイトに割り当てることと、対応するメディアバイトに関連するサービス情報を生成することを含む場合がある。サービス情報は、限定はされないが、メディアコンテンツアイテムの識別子、およびメディアコンテンツアイテム内のメディアバイトの位置についての情報を含む場合がある。本開示の実施形態に従って、各メディアバイトに含まれる動画データに関して、協働コンテンツ交換モジュール129は、プレビューフレームを生成してもよい。プレビューフレームは、例えば、ラプラス変換を使用して、メディアバイトに含まれている全ての動画フレームから選択された最高品質の動画フレームを含む場合がある。本明細書で使用する場合、用語「最高品質の動画フレーム」は、最も鮮明なフレームを意味する場合がある。一実施形態では、ラプラス変換は、例えば、メディアバイトの2つの個々のフレーム間の色を含む差異で、メディアバイトの各インスタンスで計算される場合がある。一実施形態では、協働コンテンツ交換モジュール129は、プレビューフレームをJPG形式または任意の他の既知の標準で符号化してもよく、また対応するメディアバイトのサービス記述にプレビューフレームを含んでもよい。
さらに、ステップ408では、協働コンテンツ交換モジュール129は、各記憶されているメディアバイトに関連する音声データを処理する場合がある。一実施形態では、協働コンテンツ交換モジュール129は、音声認識モジュールを含む場合がある。音声認識および自然言語理解処理技術の組み合わせは、一般に音声処理と呼ばれる。音声処理はまた、ユーザの音声を、協働コンテンツ交換モジュール129によって、メディアバイトのサービス記述に含まれる場合のあるテキストデータ(字幕)に変換する場合もある。音声処理に関して、書き換えられた音声データの認識精度は、通常、音声データの時間長が長くなるにつれて改善されるので、少なくともいくつかの実施形態では、協働コンテンツ交換モジュール129は、先に送信した字幕を後で再生成および再伝送する場合がある。
加えて、メディアバイトのサービス記述(サービス情報)は、メディアバイトの作成時間、ならびに、協働コンテンツ交換モジュール129に関連する他のパラメータおよびサービス特性を含む場合がある。これらのパラメータは、記録される対象に対する、ジオロケーションデータ、ジャイロデータ、コンパスデータ、カメラアングル、相対距離などを含むセンサ126および136によって収集される種々のデータを含む場合がある。場合によっては、センサ126および136のそれぞれは、(限定はされないが)タッチセンサ(例えば、タッチディスプレイ)、音声センサ(例えば、マイクロフォン)、または画像センサ(例えば、カメラ)、加速度計、ジャイロスコープ、位置センサ(例えば、GPS)などのうちの少なくとも1つを含む場合がある。
一実施形態に従って、ステップ410では、協働コンテンツ交換モジュール129は、メディアサーバ110に、生成されたメディアバイト、プレビューフレーム、およびメディアバイトに関連するその他のサービス情報をアップロードする場合がある。有利には、アップロードステップ410は、記録ステップ402と、処理ステップ408とは非同期で行われる。一実施形態に従って、アップロードされるメディアバイトは、メディアサーバ110の記憶装置に、一時的にキャッシュされる場合があり、それにより、デバイス130の接続ステータスに関係なく、受信者コンピューティングデバイス130へのメディアストリームの配信が可能になる。ステップ412で、ユーザ401は、コンピューティングデバイス202で記録を行うために、例えば、アイコン214を再び押下することによって、動画403の記録を終了する場合がある。最終的に、記録されるメディアコンテンツアイテムに関連するメディアバイトの全ては、図4に示すように、メディアサーバ110にアップロードされる。
図5は、本開示の実施形態に従って、第2ユーザデバイスを使用して、受信されるメディアバイトを受信および再生するステップのシーケンス図である。2つのデバイス実装形態の例を使用して例示するが、他の実装形態が、異なる数または組み合わせのコンピューティングデバイスを使用して容易に達成される。例えば、メディアバイトは、2つ以上の異なるコンピューティングデバイスから同時に受信および処理される場合がある。受信されるメディアバイトに関連するサービス情報に基づいて、メディアサーバ110は、受信されるメディアコンテンツアイテムの指定受信者を識別する場合がある。ステップ502で、メディアサーバ110は、受信者コンピューティングデバイス130の協働コンテンツ交換モジュール139に通知を送信する場合がある。一実施形態では、通知は、受信されるメディアバイトの記述、対応する再生可能動画データ(例えば、動画ファイル)503をダウンロードするためのリンク、および送信者デバイス120の協働コンテンツ交換モジュール129によって生成されたプレビューフレームを含む場合がある。様々な実施形態では、受信者コンピューティングデバイス130の接続ステータスに応じて、メディアサーバ110は、種々のプロトコルまたは、これらのプロトコルのいずれかの組み合わせを利用して、ステップ502を実行してもよい。これらのプロトコルは、限定はされないが、WebSocket、Push、HTTPなどを含んでもよい。
図5に示すように、ステップ504で、協働コンテンツ交換モジュール139は、メディアサーバ110にメディアバイトをダウンロードする要求を返信することによって、通知の配信確認を送信する場合がある。ステップ506で、協働コンテンツ交換モジュール139は、動画データ、および、例えば、各メディアバイトのプレビューフレームを含むその動画データを提示するために必要とされる他の情報のダウンロードを開始する場合がある。有利なことに、ダウンロードステップ506は、受信者コンピューティングデバイス130によって選択されたペースで、非同期で実施することができ、また、送信者コンピューティングデバイス120の協働コンテンツ交換モジュール129によって実施されるアップロードステップに影響を与えない。一実施形態に従って、協働コンテンツ交換モジュール139は、メディアバイトをダウンロードし、受信者コンピューティングデバイス130にそれらをローカルに記憶し、かつ再生のためにそれらをキュー501に入れる場合がある。ダウンロードされたメディアバイトは、元のメディアコンテンツアイテムの順番に従ってキューに入れられてよい。
ステップ508で、協働コンテンツ交換モジュール139は、ダウンロードしたメディアバイトをその再生コンポーネントに加える場合がある。ステップ510で、協働コンテンツ交換モジュール139は、それらの順序番号に従って各メディアバイトの再生を開始する場合がある。一実施形態では、協働コンテンツ交換モジュール139は、個々のメディアバイトを再生するときに、シームレスな連続動画ストリームを作成する場合がある。一実施形態では、再生する各メディアバイト間のギャップおよびディレイを除外するために、協働コンテンツ交換モジュール139は、メディアバイトの先行ローディング技術を採用してもよい。先行ローディングとは、再生前に、メディアバイトが協働コンテンツ交換モジュール139の再生コンポーネントに完全にロードされることを意味する。一実施形態では、メディアバイトは、(もしあれば)先のメディアバイト再生と共に非同期並列モードでロードされることもある。
全ての機能が、それぞれのコンピューティングデバイスの協働コンテンツ交換モジュール129および139によって実施される、すなわち、メディアストリームの送信、受信、および再生に関する全てのステップは、オンラインモードおよびオフラインモードの両方でユーザ401および505に対して透過的に実施される場合がある、という点に留意すべきである。有利には、メディアバイトの送信および受信に関するステップは、メディアサーバ110を介して協働コンテンツ交換モジュール129および139によって、それぞれ互いに独立して実施されてる場合がある。ユーザ401および505によるメディアコンテンツアイテムの同時カウンタ送信のケースでは、メディアコンテンツアイテムの交換は、互いに独立して協働コンテンツ交換モジュール129および139によって両方向で、かつ図4および図5に関して上述したアルゴリズムに従って実施される場合がある。ユーザのグループによるメディアコンテンツアイテム交換のケースでは、メディアコンテンツアイテムの受信は、異なる時間インスタンスで、グループの(制作者を除く)全メンバーによって実施される場合があるという点に留意すべきである。
図6Aから6Dは、本発明の一実施形態に従って、別々のユーザによって同じ場所で同時に記録される各メディアバイトが、どのようにまとめて組み合わされ得るかを示す。概して、メディアストリームが別々のユーザによって生成される場合、一般に、各アプリケーションは、これらの記録物を順次再生する。図6Aは、受信者コンピューティングデバイスによる1組のメディアコンテンツアイテム(例えば、動画ファイル)の従来の時系列再生を示す。図6Aでは、メディアコンテンツアイテム601から605は、例えば、記録時間が考慮に入れられて、次々と順次再生されている。
対照的に、本発明の実施形態によれば、全てのメディアバイトは、技術的に独立した完全なメディアユニット(例えば、動画)と見なされ、同様に他の原理を使用して、それらを組み合わせることができる。図6Bは、複数のコンピューティングデバイス611から614が、異なるアングルから同時に同じ対象610を記録する例を示す。結果として、異なるアングルから異なる人々によって記録される同じイベントまたは(対象610のような)同じ対象(すなわち、得点となったサッカーゴールまたは新年の打ち上げ花火)を映す1組のメディアコンテンツアイテム621から625が作成される場合がある。それぞれのデバイス611から614上で動作する協働コンテンツ交換モジュール129は、コンテンツアイテムの記録される動画ストリームを複数のメディアバイトに分割する。
図6Cは、メディアコンテンツアイテム記録のタイムライン640を示す。図6Cに示すように、記録されるメディアコンテンツアイテム621から625のそれぞれは、協働コンテンツ交換モジュール129によってメディアバイトの対応するセット631から635に分割される。メディアバイトのそれぞれは、それらに関連するサービス情報を有する。サービス情報は、コンピューティングデバイス611から614のセンサから受信されるタイムマーカおよびデータを含む場合がある。このようなセンサデータとしては、限定はされないが、少なくとも1つの場所に関連する1組の属性を表すジオタグデータ、ジャイロ測定データ、コンパスデータ、カメラアングルを示すデータ、および/または記録される対象に対する相対距離などを挙げてもよい。最終的に、記録されるメディアコンテンツアイテム621から625に関連するメディアバイトの全ては、図4に示すように、メディアサーバ110にアップロードされる。
図5に関連して上述したように、受信者コンピューティングデバイス130によってホストされている協働コンテンツ交換モジュール139は、動画データ、および、例えば、各メディアバイトのプレビューフレームを含むその動画データを提示するために必要とされる他の情報のダウンロードを開始する場合がある。有利なことに、ダウンロードステップは、受信者コンピューティングデバイス130によって選択されたペースで、非同期で実施することができる。受信者コンピューティングデバイス130によって実質的に同時に受信される別々のユーザからのいくつかのメディアストリームがある場合がある。さらに、受信者コンピューティングデバイス130はまた、複数のメディアバイトを記録する場合があり、これらの複数のメディアバイトは、協働コンテンツ交換モジュール139によって、受信されたメディアストリームに加えることができるものである。
一実施形態に従って、協働交換モジュール139は、受信したメディアバイトを処理する場合がある。例えば、協働交換モジュール139は、タイムマーカの一致に基づいて、メディアバイトを組み合わせる場合がある。別の例として、協働交換モジュール139は、サービス情報属性(ジオタグ、カメラ方向、カメラアングル、視角など)のうちいずれか1つまたはそれらの組み合わせに基づいて、各メディアバイトを組み合わせる場合がある。任意の上述の基準を用いることによって選択されるメディアバイトのセットは、パックで分類される場合がある。
図6Dは、受信者コンピューティングデバイス130の協働交換モジュール139によって組み合わされるメディアバイトのパック651および652を示す。メディアバイトの第1パック651は、別々のユーザによって異なるアングル、異なる距離および異なる詳細の程度で記録されるイベントまたは対象の第1表示641を表す。メディアバイトの第2パック652は、第1パック651に関連するユーザのサブセットによって記録されるイベントまたは対象の第2表示641を表す。有利には、受信者コンピューティングデバイス130のユーザは、協働交換モジュール139を使用して、他の編集操作の間に、不必要なメディアバイトを削除することによって対応するパック651および/または652を編集し、距離またはカメラアングルによってそれらをソートし、メディアバイトを再アレンジし、音楽、字幕または絵文字を追加することができる。したがって、他のユーザによって記録されたメディアバイトを自身のものに加えることによって、種々のコメント、感動および詳細で拡張されたイベントまたは対象の協働的な多重アングル記録を実質的に生成する。
一実施形態に従って、ユーザ間のメディアバイトの交換は、他の相互作用参加者のオンライン接続に関係なく、開示するシステムが非同期ユーザ相互作用を提供できるようにするサーバコンポーネント(記載されているメディアサーバ110など)を通して行われる。メディアサーバ110は、通過するメディアストリームを最適化し、かつメディアストリームの1つまたは複数の特徴を管理するように構成されてよい。加えて、メディアサーバ110は、イベントおよび相互作用に関与する別々のユーザ間の状態(例えば、コンテンツへのアクセスをユーザに提供すること)を同期する(例えば、可能なコンテンツアイテムの消費を同期する)ように構成されてよい。メディアサーバ110は、ユーザが複数の異なるコンピューティングデバイスから利用可能なコンテンツアイテムをブラウズすることを可能にする場合がある。さらに、メディアサーバ110は、コンピューティングデバイス(送信者コンピューティングデバイス120と受信者コンピューティングデバイス130との)間の最適交換レートを維持するように構成されてもよい。一実施形態では、メディアサーバ110は、データ交換時に、ユーザのコンピューティングデバイス上のプラットフォーム特性、可能なプロトコルまたは設定を考慮に入れる場合がある。例えば、メディアサーバ110は、標準的なコンテンツ配信ネットワーク(Content Delivery Network:CDN)リソースおよびHTTP要求を使用してもよい。少なくともいくつかの実施形態では、メディアサーバ110はまた、ファイアウォールおよびプロキシサーバを通る正確なメディアデータ通路を確保する場合もある。
要約すると、送信者コンピューティングデバイス120で動画、音声またはテキストメッセージなどのメディアコンテンツアイテムを記録するときに、協働コンテンツ交換モジュール129は、それらを、例えば、本明細書においてはメディアバイトと称される3秒の長さまでの複数の超短自己完結型メディアフラグメントに自動的に「分割」してもよい。残りのメディアコンテンツアイテムを記録するのと同時に、協働コンテンツ交換モジュール129は、各記録されるメディアバイトを処理し、かつ例えば、HTTP(S)プロトコルを使用してメディアサーバ110を通して、処理されるメディアバイトを受信者コンピューティングデバイスに伝送してもよい。受信者デバイス130に配備されている協働コンテンツ交換モジュール139は、受信者デバイス130上で、単一のメディアストリームの形態で受信したメディアバイトの「シームレス」な再生を提供することができる。
さらに、メディアコンテンツアイテムは、送信者デバイス120および指定受信者デバイス130のユーザ間で交換され、かつ実質的な並列モードで互いに伝送されてよい。したがって、協働コンテンツ交換モジュール129および139は、別々の参加者からのメディアコンテンツデータアイテムの元のメディアストリームとして視覚化される場合があるライブ通信セッションを生成することができ、その結果、各メディアコンテンツアイテムは、メディアバイトの特定のセットに展開される場合がある。
一実施形態に従って、各メディアバイトの長さは、必要最小限の意味のあるコンテンツをそれに組み込むように選択される場合がある。上記のように、各メディアバイトは、超短自己完結型メディアフラグメントを含む。言い換えると、メディアバイトは、一方では、メディアストリーム内に含まれたメディアコンテンツの完全に独立した部分である。他方では、各メディアバイトは、全てのメディアコンテンツアイテムを構成する最小の技術的メディアユニットである。
各メディアバイトのこの自己完結型特性により、完全な動画/音声としてメディアバイトを用いるユーザ作業が可能になる。言い換えると、ユーザは、全てのタイプのメディアコンテンツを含む個別のメディアバイトと相互作用(再生、編集、公開などが)できる場合がある。種々の実施形態では、ユーザは、エンドユーザ、消費者、広告主、マーケタ、コンテンツプロバイダ、コンテンツ所有者、ネットワーク、ブロードキャスタ、メディア企業、モバイルキャリア、レコード会社、映画スタジオ、調節装置、モバイルデバイス設計者、モバイルデバイス製造業者、移動通信サービスコンソリデータ、アフィリエイトまたは一部の他のタイプのユーザのうち少なくとも1つである場合がある。
さらに、各メディアバイトの自己完結型特性により、受信したメディアコンテンツアイテムを修正するか、または新しいメディアコンテンツアイテムを生成するためにそれらを組み合わせる際の柔軟性を、より良くユーザに与えることになる。例えば、ユーザは、ストリームから自身の好みの(ユーザ自身のものだけではなく)メディアバイトを選択して、それらを編集し、任意の順序でそれらを再アレンジし、不必要なものを削除し、かつ得たものを公開することができる。ユーザは、記録時間および場所によってメディアバイトを組み合わせて、結果として、異なる人々による異なるアングルからの同じイベントおよび対象(すなわち、得点となったサッカーゴールまたは新年の打ち上げ花火)をカバーする1組の動画を得ることができる。メディアバイトが作成されるときに自動的に割り当てられる一意な識別子のメカニズムにより、ユーザは、自身のストリームを、並行した無関係であることが多いストリームのメディアコンテンツにリンクし、ストリームからの引用を含め、またはコメントや返信をストリームに関連付けできるようになる。例えば、ユーザは、他のユーザの公開メッセージからのメディアバイトを自身のストリームにコピーすることができる。同時に、ユーザのストリームに、ユーザのメディアバイトへのリンクの記述に関して特別なメッセージが自動的に生成されてよく、それにより、必要があれば、ユーザは、自身のメディアコンテンツへの参照を素早くモニタして、それらを許可またはブロックすることができる。
図7は、本開示の実施形態に従って、種々のシナリオで利用することができるコンピュータシステムの一例を示す。
ここで、図7を参照すると、メディアコンテンツの協働的な交換を提供するように構成された図1のコンピュータシステム100が、概して、本開示の1つまたは複数の実施形態に従って示されている。本明細書に記載の方法は、ハードウェア、ソフトウェア(例えば、ファームウェア)またはこれらの組み合わせで実装される場合がある。本開示の1つまたは複数の例示的な実施形態では、本明細書に記載の方法は、パーソナル・コンピュータ、ワークステーション、ミニコンピュータまたはメインフレームコンピュータなどの特殊用途または汎用デジタルコンピュータのマイクロプロセッサの一部としてハードウェアに実装される。したがって、システム700は、O/Sの複数のインスタンスを同時に動作させることができる汎用コンピュータまたはメインフレーム701を含む場合がある。
本開示の1つまたは複数の例示的な実施形態では、図7に示すようなハードウェアアーキテクチャに関して、コンピュータ701は、1つまたは複数のプロセッサ705、メモリ制御部715に連結されたメモリ710、および、ローカル入力/出力制御部735を介して通信可能に連結された1つまたは複数の入力および/または出力(Input and/or Output:I/O)デバイス740、745(または周辺機器)を含む。入力/出力制御部735は、例えば、限定はされないが、1つまたは複数のバス、または従来技術で公知のようなその他の有線または無線接続であってもよい。入力/出力制御部735は、簡略化のために省略するが、通信を可能にする制御部、バッファ(キャッシュ)、ドライバ、リピータ、および受信部など追加の構成要素を備えていてもよい。さらに、ローカルインターフェースは、上述のコンポーネント間の適切な通信を可能にするアドレス、制御および/またはデータ接続を含んでいてもよい。入力/出力制御部735は、出力デバイス740および745にアクセスするように構成された複数のサブチャンネルを含む場合がある。サブチャンネルは、光ファイバ通信ポートを含む場合がある。
プロセッサ705は、特にキャッシュ記憶装置などの記憶装置720またはメモリ710に記憶されているソフトウェアを実行するハードウェアデバイスである。プロセッサ705は、任意のカスタムメイドまたは市販のプロセッサ、中央演算処理装置(Central Processing Unit:CPU)、コンピュータ701に関連するいくつかのプロセッサの中の補助プロセッサ、(マイクロチップまたはチップセットの形態の)半導体ベースマイクロプロセッサ、マクロプロセッサ、もしくは、概して、命令を実行する任意のデバイスであってもよい。
メモリ710としては、揮発性メモリ素子(例えば、ランダムアクセスメモリ(例えば、DRAM、SRAM、SDRAMなどのRAM))、および不揮発性メモリ素子(例えば、ROM、消去可能プログラマブル読み出し専用メモリ(Erasable Programmable Read Only Memory:EPROM)、電子的消去可能プログラマブル読み出し専用メモリ(Electronically Erasable Programmable Read Only Memory:EEPROM)、プログラマブル読み出し専用メモリ(Programmable Read Only Memory:PROM)、テープ、コンパクトディスク読み取り専用メモリ(Compact Disc Read Only Memory:CD-ROM)、ディスク、ディスケット、カートリッジ、カセットなど)のうち任意の1つまたはそれらの組み合わせが挙げられる。さらに、メモリ710は、電気的、磁気的、光学的および/または他のタイプの記憶媒体を組み込んでいてもよい。メモリ710は、種々のコンポーネントが、互いに離れて配置されているが、プロセッサ705によってアクセスされる場合がある分散アーキテクチャを有する場合があることに留意されたい。
メモリ710内の命令は、論理的機能を実行するために、それぞれが順番にリスト化された実行可能命令を含む1つまたは複数の別々のプログラムを含む場合がある。図7の例では、メモリ710内の命令、好適なオペレーティングシステム(Operating System:OS)711。オペレーティングシステム711は、他のコンピュータプログラムの実行を本質的に制御して、スケジューリング、入力出力制御、ファイルおよびデータ管理、メモリ管理、ならびに通信制御および関連サービスを提供する。
本開示の1つまたは複数の実施形態に従って、メモリ710は、それぞれがオペレーティングシステムのインスタンスを動作させる複数の論理的パーティション(Logical Partition:LPAR)を含む場合がある。LPARは、メモリ710に記憶され、かつプロセッサ705によって実行されるプログラムである場合があるハイパーバイザによって管理される場合がある。
本開示の1つまたは複数の例示的な実施形態では、従来のキーボード750およびマウス755が、入力/出力制御部735に連結される場合がある。I/Oデバイス740、745などのその他の出力デバイスは、入力デバイス、例えば、限定はされないが、プリンタ、スキャナ、カメラ、マイクロフォンなどを含む場合がある。最後に、I/Oデバイス740、745は、入力および出力の両方を通信するデバイス、例えば、限定はされないが、ネットワークインターフェースカード(Network Interface Card:NIC)または(他のファイル、デバイス、システム、またはネットワークにアクセスするための)変復調装置、無線周波数(Radio Frequency:RF)、またはその他の送受信機、電話インターフェース、ブリッジ、ルータなどをさらに含む場合がある。システム700は、ディスプレイ730に連結されたディスプレイ制御部725をさらに含んでもよい。
本開示の1つまたは複数の例示的な実施形態では、システム700は、ネットワーク765への接続向けのネットワークインターフェース760をさらに含む場合がある。ネットワーク765は、ブロードバンド接続を介した、コンピュータ701と、任意の外部サーバ、クライアントなどとの間の通信向けのIPベースネットワークであってもよい。ネットワーク765は、コンピュータ701と外部システムとの間でデータを伝送および受信する。例示的な実施形態では、ネットワーク765は、サービスプロバイダによって管理される管理IPネットワークである場合がある。ネットワーク765は、例えば、WiFi、WiMaxなどのワイヤレスプロトコルおよび技術を使用してワイヤレスな形式で実装されてもよい。ネットワーク765はまた、ローカルエリアネットワーク、ワイドエリアネットワーク、メトロポリタンエリアネットワーク、インターネットネットワーク、またはその他の類似のタイプのネットワーク環境などのパケット交換ネットワークである場合もある。ネットワーク765は、固定ワイヤレスネットワーク、ワイヤレスローカルエリアネットワーク(Local Area Network:LAN)、ワイヤレスワイドエリアネットワーク(Wide Area Network:WAN)、パーソナルエリアネットワーク(Personal Area Network:PAN)、仮想専用ネットワーク(Virtual Private Network:VPN)、インターネットまたはその他の好適なネットワークシステムであってもよく、信号を受信および伝送する機器を含む。
コンピュータ701がPC、ワークステーション、インテリジェントデバイスなどである場合、メモリ710内の命令は、基本入出力システム(Basic Input Output System:BIOS)(簡略化のために省略されている)をさらに含む場合がある。BIOSは、起動時にハードウェアを初期化およびテストし、OS711を始動させ、かつハードウェアデバイス間のデータ伝送をサポートする1組の本質的ソフトウェアルーチンである。BIOSは、コンピュータ701が起動されるときにBIOSが実行可能であるようにROMに記憶される。
コンピュータ701が動作しているときに、プロセッサ705は、メモリ710に記憶されている命令を実行して、メモリ710へおよびそこからデータを通信し、かつ命令に従って、概してコンピュータ701の動作を制御するように構成される。
本開示の実施形態が、本開示の実施形態に従う方法、装置(システム)、およびコンピュータプログラム製品のフローチャート図および/またはブロック図を参照して本明細書に記載されている。フローチャート図および/またはブロック図の各ブロック、およびフローチャート図および/またはブロック図内のブロックの組み合わせが、コンピュータ可読プログラム命令によって実行され得ることを理解されたい。
本明細書にて開示する本発明の実装形態は、コンピュータシステム、コンピュータ実装方法および/またはコンピュータプログラム製品として実装されてよい。コンピュータプログラム製品は、プロセッサに本発明の実施形態を実行させるコンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体(またはメディア)を含んでもよい。
コンピュータ可読記憶媒体は、命令実行デバイスによって使用される命令を保持および記憶できる有形デバイスである場合がある。コンピュータ可読記憶媒体は、例えば、限定はされないが、電子記憶デバイス、磁気記憶デバイス、光記憶デバイス、電磁記憶デバイス、半導体記憶デバイス、または上述の任意の好適な組み合わせであってもよい。コンピュータ可読記憶媒体のより具体的な例の包括的なリストとしては、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ(Random Access Memory:RAM)、読み取り専用メモリ(Read-Only Memory:ROM)、消去可能プログラマブル読み取り専用メモリ(EPROMまたはフラッシュメモリ)、静的ランダムアクセスメモリ(Static Random Access Memory:SRAM)、ポータブルコンパクトディスク読み取り専用メモリ(CDROM)、デジタル多用途ディスク(Digital Versatile Disk:DVD)、メモリスティック、フロッピーディスク、命令がそこに溝状に記録されたパンチカードまたは***した構造などの機械的にコード化されたデバイス、および前述のものの任意の好適な組み合わせが挙げられる。本明細書で使用する場合、コンピュータ可読記憶媒体は、例えば、電波またはその他の自ら伝搬する電磁波、導波管またはその他の伝送媒体を通して伝搬する電磁波(例えば、光ファイバーケーブルを通る光パルス)、あるいは有線を通して伝送される電気信号などの本質的に一時的な信号であると解釈されない。
本明細書に記載されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から、対応するコンピューティング/処理デバイスに、もしくは、例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワークおよび/またはワイヤレスネットワークなどのネットワークを介して、外部コンピュータまたは外部記憶デバイスにダウンロードされ得る。ネットワークは、銅製の伝送ケーブル、光伝送ファイバ、ワイヤレス伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータおよび/またはエッジサーバを含んでもよい。各コンピューティング/処理デバイス内のネットワークアダプタカードまたはネットワークインターフェースは、ネットワークからコンピュータ可読プログラム命令を受信して、対応するコンピューティング/処理デバイス内部のコンピュータ可読記憶媒体の記憶領域に、コンピュータ可読プログラム命令を転送する。
本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ(Instruction-Set-Architecture:ISA)命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、ステート設定データ、または、Smalltalk、C++などのオブジェクト指向プログラミング言語、および「C」プログラミング言語または類似のプログラミング言語などの従来の手続き型プログラミング言語を含む1つまたは複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードのいずれかであってもよい。コンピュータ可読プログラム命令は、全面的にユーザのコンピュータで、部分的にユーザのコンピュータで、スタンドアロンソフトウェアパッケージとして、部分的にユーザコンピュータと部分的にリモートコンピュータとで、もしくは全面的にリモートコンピュータまたはサーバで、実行されてよい。後半のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク(LAN)またはワイドエリアネットワーク(WAN)を含む任意のタイプのネットワークを通して、ユーザのコンピュータに接続されるか、または、接続は、外部コンピュータに対して(例えば、インターネットサービスプロバイダを使用してインターネットを通して)構築されてもよい。いくつかの実施形態では、例えば、プログラマブル論理回路、フィールドプログラマブルゲートアレイ(Field-Programmable Gate Array:FPGA)またはプログラマブル・ロジックアレイ(Programmable Logic Array:PLA)を含む電子回路は、本発明の実施形態を実施するために、コンピュータ可読プログラム命令の状態情報を利用して、コンピュータ可読プログラム命令を実行し、電子回路をパーソナライズしてもよい。
これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータ、またはその他のプログラマブルデータ処理装置のプロセッサに備えられて、機構を形成してよく、コンピュータまたはその他のプログラマブルデータ処理装置のプロセッサを介して実行するこの命令は、フローチャートおよび/またはブロック図のブロックまたは諸ブロックで規定される機能/作用を実装する手段を作り出すようなものである。これらのコンピュータ可読プログラム命令はまた、コンピュータ、プログラマブルデータ処理装置および/またはその他のデバイスに特定の方式で機能するように命じることができるコンピュータ可読媒体に記憶されてもよく、それ自体に記憶されている命令を有するコンピュータ可読記憶媒体は、フローチャートおよび/またはブロック図のブロックまたは諸ブロックで規定される機能/作用の実施形態を実装する命令を含む、製造物品を含むようなものである。
コンピュータ可読プログラム命令はまた、コンピュータ、その他のプログラマブルデータ処理装置またはその他のデバイスにロードされて、コンピュータ、その他のプログラマブル装置、またはその他のデバイス上で一連の動作ステップを実施させて、コンピュータ実装プロセスを作り出してもよく、コンピュータ、その他のプログラマブル装置、または他のデバイス上で実行するこの命令は、フローチャートおよび/またはブロック図のブロックまたは諸ブロックで規定される機能/作用を実装するようなものである。
本発明の種々の実施形態は、関連する図面を参照して本明細書に記載される。本発明の代替的実施形態は、本発明の趣旨から逸脱することなく考案される場合がある。種々の接続および位置関係(例えば、超えて、下で、隣接してなど)は、以下の説明および図面における構成要素間で述べられる。これらの接続および/または位置関係は、特に指示がない限り、直接的または間接的である場合があり、かつ本発明は、この点において、制限することを意図しない。したがって、エンティティの連結は、直接的または間接的連結を意味する場合があり、エンティティ間の位置関係は、直接的または間接的位置関係である場合がある。さらに、本明細書に記載された種々のタスクおよび処理ステップは、本明細書に記載されていない追加のステップまたは機能を有する、より包括的なプロシージャまたはプロセスに組み込むことができる。
次の定義および略語は、特許請求の範囲および明細書の解釈のために使用される。本明細書で使用する場合、用語「備える」、「備えている」、「含む」、「含んでいる」、「有する」、「有している」、「含有する」、「含有している」またはそれらのいずれの他の変形形態も、非排他的包含をカバーすることを意図している。例えば、構成要素のリストを含む構成物、混合物、プロセス、方法、物品または装置は、それらの構成要素のみに必ずしも限定されるものではなく、また、このような構成物、混合物、プロセス、方法、物品または装置に対して、明示的に一覧にされていない、または固有のものでない他の構成要素を含み得る。
追加として、用語「例示的な」は、本明細書で使用される場合、「例、事例、または例示として作用すること」を意味する。「例示的な」と本明細書で記載されるいずれの実施形態または設計も、他の実施形態または設計にわたって好ましいまたは有利なものとして必ずしも解釈されるというわけではない。用語「少なくとも1つ」および「1つまたは複数の」は、1以上の任意の整数、すなわち、1、2、3、4などを含むことが理解され得る。用語「複数の」は、2以上の任意の整数、すなわち、2、3、4、5などを含むことが理解され得る。用語「接続」は、間接的な「接続」および直接的な「接続」の両方を含む場合がある。
用語「約」、「実質的に」、「およそ」およびそれらの変形形態は、本出願時に可能な機器に基づく特定の量の測定値に対応する誤差の程度を含むことを意図している。例えば、「約」は、所与の値の±8%、±5%または±2%の範囲を含む場合がある。
本発明の各種実施形態の説明は、例示の目的で提示されるが、開示する実施形態を網羅する、または制限することを意図していない。記載された実施形態の趣旨と範囲から逸脱することのない多くの修正および変更が、当業者には明らかであろう。本明細書で使用される用語は、実施形態の原理、市場において見いだされる技術に対する実用的な応用または技術的改良を最良に説明するために、もしくは、当業者が理解できるようにするために選択されたものである。
図中のフローチャートおよびブロック図は、本発明の種々の実施形態に従うシステム、方法およびコンピュータプログラム製品の可能な実装形態の構成、機能性、および動作を示している。この点に関しては、フローチャートまたはブロック図の各ブロックは、規定された論理的機能を実装する1つまたは複数の実行可能命令を含む命令のモジュール、セグメント、または部分を表すことがある。一部の代替的な実装形態では、ブロックに記載された機能が、図中に記載された順序以外で行われる場合もある。例えば、関係する機能性に応じて、連続して示される2つのブロックが、実際には実質的に同時に実行されるか、またはその2つのブロックが時には逆順で実行されてもよい。ブロック図および/またはフローチャート図の各ブロック、およびブロック図および/またはフローチャート図内のブロックの組み合わせが、特定の機能または作用を実施するか、もしくは専用ハードウェアおよびコンピュータ命令の組み合わせを実行する専用ハードウェアベースシステムによって実装され得ることに留意されたい。

Claims (20)

  1. 超短メディアコンテンツを交換する方法であって、
    第1コンピューティングデバイスによってメディアコンテンツアイテムを記録し、前記メディアコンテンツアイテムは、動画メッセージ、音声メッセージ、またはテキストメッセージのうち少なくとも1つを含むことと、
    前記第1コンピューティングデバイスによって、前記メディアコンテンツアイテムの記録中に、前記メディアコンテンツアイテムを複数の自己完結型メディアフラグメントに分割し、前記複数の自己完結型メディアフラグメントのそれぞれは、所定の時間長を有することと、
    前記第1コンピューティングデバイスによって、前記複数の自己完結型メディアフラグメントのそれぞれを処理して、対応する自己完結型メディアフラグメントに関連するサービス情報を生成し、同時に、次のメディアコンテンツアイテムを記録および分割し、
    前記第1コンピューティングデバイスによって、前記複数の自己完結型メディアフラグメントのそれぞれを、第2コンピューティングデバイスに伝送し、同時に、次のメディアコンテンツアイテムの記録および分割、ならびに次の自己完結型メディアフラグメントの処理を続けることによりサービス情報を生成し、前記複数の自己完結型メディアフラグメントを前記第2コンピューティングデバイスに伝送した後に、前記次のメディアコンテンツアイテムが前記第2コンピューティングデバイスに伝送されることと、を含み
    前記第2コンピューティングデバイスによって前記次の自己完結型メディアフラグメントが前記第1コンピューティングデバイスから受信されるのと同時に、前記複数の自己完結型メディアフラグメントのそれぞれは、前記第2コンピューティングデバイスにおいて連続的なメディアストリームとして1つずつ表示される
    方法。
  2. 前記自己完結型メディアフラグメントを処理することは、前記複数の自己完結型メディアフラグメントのそれぞれに対して、対応する自己完結型メディアフラグメントに含まれている音声情報に対応する字幕を生成することを含む、請求項1に記載の方法。
  3. 前記サービス情報は、少なくとも、メディアフラグメントの識別子、メディアコンテンツアイテムの識別子、前記メディアコンテンツアイテム内の前記メディアフラグメントの位置、タイムスタンプ、ジオロケーション、モーションデータ、方向情報、およびカメラアングル情報を含む、請求項1に記載の方法。
  4. 前記複数の自己完結型メディアフラグメントを含む前記メディアストリームを受信することと、連続的なメディアストリームとして前記第2コンピューティングデバイスによって前記メディアコンテンツアイテムを再生することとをさらに含む、
    請求項1に記載の方法。
  5. 記録時間および場所、記録を行うコンピューティングデバイスから対象までの距離および/または記録を行うコンピューティングデバイスのカメラアングルに基づいて、2つ以上のメディアコンテンツアイテムからの自己完結型メディアフラグメントを新しいメディアコンテンツアイテムに組み合わせることをさらに含む、請求項4に記載の方法。
  6. 前記所定の時間長は3秒を超えない、請求項1に記載の方法。
  7. 前記サービス情報によって、記録されている前記メディアコンテンツアイテムが動画メッセージであることが示されている場合、前記サービス情報はプレビューフレームを含み、
    前記プレビューフレームは、ラプラス変換を使用して、前記対応する自己完結型メディアフラグメントに含まれている全フレームから選択され、
    前記プレビューフレームは、画像の鮮明度が最も高いフレームを含む、請求項1に記載の方法。
  8. 前記メディアコンテンツアイテムは、同時に異なるアングルから複数のコンピューティングデバイスによって記録される同じ対象の表示を含む、請求項5に記載の方法。
  9. 前記自己完結型メディアフラグメントを組み合わせることは、時間、場所、記録を行うコンピューティングデバイスから前記対象までの距離および/または記録を行うコンピューティングデバイスのカメラアングルのうち1つまたは複数に基づいて、前記自己完結型メディアフラグメントをソートおよび再アレンジすることをさらに含む、請求項8に記載の方法。
  10. 超短メディアコンテンツを交換するシステムであって、
    メディアコンテンツアイテムを記録し、前記メディアコンテンツアイテムは、動画メッセージ、音声メッセージ、またはテキストメッセージのうち少なくとも1つを含み、
    前記メディアコンテンツアイテムを記録中に、前記メディアコンテンツアイテムを複数の自己完結型メディアフラグメントに分割し、前記複数の自己完結型メディアフラグメントのそれぞれは、所定の時間長を有し、
    前記複数の自己完結型メディアフラグメントのそれぞれを処理して、対応する自己完結型メディアフラグメントに関連するサービス情報を生成し、同時に、次のメディアコンテンツアイテムを記録および分割し、
    前記複数の自己完結型メディアフラグメントのそれぞれを、第2コンピューティングデバイスのプロセッサに伝送し、同時に、次のメディアコンテンツアイテムの記録および分割、ならびに次の自己完結型メディアフラグメントの処理を続けることによりサービス情報を生成し、前記複数の自己完結型メディアフラグメントを前記第2コンピューティングデバイスに伝送した後に、前記次のメディアコンテンツアイテムが前記第2コンピューティングデバイスに伝送される、
    ように構成された第1コンピューティングデバイスのプロセッサを含み、
    前記第2コンピューティングデバイスによって前記次の自己完結型メディアフラグメントが前記第1コンピューティングデバイスの前記プロセッサから受信されるのと同時に、前記複数の自己完結型メディアフラグメントのそれぞれは、前記第2コンピューティングデバイスにおいて、連続的なメディアストリームとして1つずつ表示される、
    システム。
  11. 前記自己完結型メディアフラグメントを処理するように構成された前記第1コンピューティングデバイスの前記プロセッサは、前記複数の自己完結型メディアフラグメントのそれぞれに対して、対応する自己完結型メディアフラグメントに含まれている音声情報に対応する字幕を生成するように構成される、請求項10に記載のシステム。
  12. 前記サービス情報は、少なくとも、メディアフラグメントの識別子、メディアコンテンツアイテムの識別子、前記メディアコンテンツアイテム内の前記メディアフラグメントの位置、タイムスタンプ、ジオロケーション、モーションデータ、方向情報、およびカメラアングル情報を含む、請求項10に記載のシステム。
  13. 前記第2コンピューティングデバイスは、前記複数の自己完結型メディアフラグメントを含む前記メディアストリームを受信し、かつ連続的なメディアストリームとして前記メディアコンテンツアイテムを再生するように構成される、請求項10に記載のシステム。
  14. 前記第2コンピューティングデバイスは、記録時間および場所、記録を行うコンピューティングデバイスから対象までの距離および/または記録を行うコンピューティングデバイスのカメラアングルに基づいて、2つ以上のメディアコンテンツアイテムからの自己完結型メディアフラグメントを新しいメディアコンテンツアイテムに組み合わせるように構成される、請求項13に記載のシステム。
  15. 前記所定の時間長は3秒を超えない、請求項10に記載のシステム。
  16. 前記サービス情報によって、記録されている前記メディアコンテンツアイテムが動画メッセージであることが示されている場合、前記サービス情報はプレビューフレームを含み、
    前記プレビューフレームは、ラプラス変換を使用して、前記対応する自己完結型メディアフラグメントに含まれている全フレームから選択され、
    前記プレビューフレームは、画像の鮮明度が最も高いフレームを含む、請求項10に記載のシステム。
  17. 前記メディアコンテンツアイテムは、同時に異なるアングルから複数のコンピューティングデバイスによって記録される同じ対象の表示を含む、請求項14に記載のシステム。
  18. 前記自己完結型メディアフラグメントを組み合わせるように構成された前記第2コンピューティングデバイスは、時間、場所、記録を行うコンピューティングデバイスから前記対象までの距離および/または記録を行うコンピューティングデバイスのカメラアングルのうち1つまたは複数に基づいて、前記自己完結型メディアフラグメントをソートおよび再アレンジするようにさらに構成される、請求項17に記載のシステム。
  19. 超短メディアコンテンツを交換するコンピュータ実行可能命令を含む非一時的コンピュータ可読媒体であって、
    第1コンピューティングデバイスによってメディアコンテンツアイテムを記録し、前記メディアコンテンツアイテムは、動画メッセージ、音声メッセージ、またはテキストメッセージのうち少なくとも1つを含み、
    前記第1コンピューティングデバイスによって、前記メディアコンテンツアイテムを記録中に、前記メディアコンテンツアイテムを複数の自己完結型メディアフラグメントに分割し、前記複数の自己完結型メディアフラグメントのそれぞれは、所定の時間長を有し、
    前記第1コンピューティングデバイスによって、前記複数の自己完結型メディアフラグメントのそれぞれを処理して、対応する自己完結型メディアフラグメントに関連するサービス情報を生成し、同時に、次のメディアコンテンツアイテムを記録および分割し、
    前記第1コンピューティングデバイスによって、前記複数の自己完結型メディアフラグメントのそれぞれを、第2コンピューティングデバイスに伝送し、同時に、次のメディアコンテンツアイテムの記録および分割、ならびに次の自己完結型メディアフラグメントの処理を続けることによりサービス情報を生成し、前記複数の自己完結型メディアフラグメントを前記第2コンピューティングデバイスに伝送した後に、前記次のメディアコンテンツアイテムが前記第2コンピューティングデバイスに伝送される、
    ための命令を含み
    前記第2コンピューティングデバイスによって前記次の自己完結型メディアフラグメントが前記第1コンピューティングデバイスから受信されるのと同時に、前記複数の自己完結型メディアフラグメントのそれぞれは、前記第2コンピューティングデバイスにおいて、連続的なメディアストリームとして1つずつ表示される、
    非一時的コンピュータ可読媒体。
  20. 前記自己完結型メディアフラグメントを処理することは、前記複数の自己完結型メディアフラグメントのそれぞれに対して、対応する自己完結型メディアフラグメントに含まれている音声情報に対応する字幕を生成することを含む、請求項19に記載の媒体。
JP2020150558A 2020-06-15 2020-09-08 超短メディアコンテンツを交換するシステムおよび方法 Active JP7220859B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US16/901,141 2020-06-15
US16/901,141 US11438287B2 (en) 2020-06-15 2020-06-15 System and method for generating and reproducing ultra short media content
US16/921,345 US10862837B1 (en) 2020-06-15 2020-07-06 System and method for exchanging ultra short media content
US16/921,345 2020-07-06

Publications (2)

Publication Number Publication Date
JP2021197722A JP2021197722A (ja) 2021-12-27
JP7220859B2 true JP7220859B2 (ja) 2023-02-13

Family

ID=73653558

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020150558A Active JP7220859B2 (ja) 2020-06-15 2020-09-08 超短メディアコンテンツを交換するシステムおよび方法

Country Status (4)

Country Link
US (2) US11438287B2 (ja)
EP (1) EP3926968A1 (ja)
JP (1) JP7220859B2 (ja)
CN (1) CN113810452A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11438287B2 (en) * 2020-06-15 2022-09-06 Interactive Standard LLC System and method for generating and reproducing ultra short media content

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008118329A (ja) 2006-11-02 2008-05-22 Matsushita Electric Ind Co Ltd コンテンツ送信装置、およびコンテンツ受信装置
JP2016517646A (ja) 2013-03-08 2016-06-16 トムソン ライセンシングThomson Licensing 自動ビデオセグメント化のための方法および装置
JP2017069708A (ja) 2015-09-29 2017-04-06 富士通株式会社 動画像再生装置、動画像配信サーバ、動画像再生方法、動画像配信方法、動画像再生プログラム、及び動画像配信プログラム
WO2018087976A1 (ja) 2016-11-11 2018-05-17 ソニー株式会社 管理装置および管理方法
WO2018088026A1 (ja) 2016-11-11 2018-05-17 ソニー株式会社 送信装置、送信方法およびコンテンツ配信システム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1286537A3 (en) * 2001-08-21 2011-04-27 Thomson Licensing Routing and processing data
US20090287648A1 (en) * 2008-05-14 2009-11-19 Microsoft Corporation Ad-based revenue generation using media-hashing to control fraud
CA2711311C (en) * 2009-08-10 2016-08-23 Seawell Networks Inc. Methods and systems for scalable video chunking
US8190677B2 (en) * 2010-07-23 2012-05-29 Seawell Networks Inc. Methods and systems for scalable video delivery
US9137308B1 (en) * 2012-01-09 2015-09-15 Google Inc. Method and apparatus for enabling event-based media data capture
US20140010517A1 (en) 2012-07-09 2014-01-09 Sensr.Net, Inc. Reduced Latency Video Streaming
US20140189516A1 (en) * 2012-12-27 2014-07-03 Huawei Technologies Co., Ltd. Video preview display method and terminal device
US9804760B2 (en) * 2013-08-22 2017-10-31 Apple Inc. Scrollable in-line camera for capturing and sharing content
GB2528039A (en) * 2014-07-01 2016-01-13 Canon Kk Method for identifying objects across time periods and corresponding device
US20160294763A1 (en) 2015-03-31 2016-10-06 Facebook, Inc. Multi-user media presentation system
US10462519B2 (en) * 2015-06-19 2019-10-29 Disney Enterprises, Inc. Generating dynamic temporal versions of content
KR102399049B1 (ko) * 2015-07-15 2022-05-18 삼성전자주식회사 전자 장치 및 전자 장치의 이미지 처리 방법
US9813746B2 (en) 2015-09-21 2017-11-07 Thomas J. Sheffler Network-loss tolerant mobile broadcast systems and algorithms
US10499088B1 (en) 2015-10-20 2019-12-03 Halogen Networks, LLC Live video streaming system and method
US10425694B2 (en) 2016-12-30 2019-09-24 Facebook, Inc. Live broadcast on an online social network
BR112019024070A2 (pt) * 2017-05-16 2020-06-02 Telefonaktiebolaget Lm Ericsson (Publ) Método de ingestão e de distribuição de mídia, aparelho empacotador de mídia, servidor de origem, nó de ponto terminal, e, rede de transmissão contínua em mídia
CN108401192B (zh) 2018-04-25 2022-02-22 腾讯科技(深圳)有限公司 视频流处理方法、装置、计算机设备及存储介质
US10607611B1 (en) * 2019-09-06 2020-03-31 Verbit Software Ltd. Machine learning-based prediction of transcriber performance on a segment of audio
US11438287B2 (en) * 2020-06-15 2022-09-06 Interactive Standard LLC System and method for generating and reproducing ultra short media content
US11081140B1 (en) * 2020-06-24 2021-08-03 Facebook, Inc. Systems and methods for generating templates for short-form media content

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008118329A (ja) 2006-11-02 2008-05-22 Matsushita Electric Ind Co Ltd コンテンツ送信装置、およびコンテンツ受信装置
JP2016517646A (ja) 2013-03-08 2016-06-16 トムソン ライセンシングThomson Licensing 自動ビデオセグメント化のための方法および装置
JP2017069708A (ja) 2015-09-29 2017-04-06 富士通株式会社 動画像再生装置、動画像配信サーバ、動画像再生方法、動画像配信方法、動画像再生プログラム、及び動画像配信プログラム
WO2018087976A1 (ja) 2016-11-11 2018-05-17 ソニー株式会社 管理装置および管理方法
WO2018088026A1 (ja) 2016-11-11 2018-05-17 ソニー株式会社 送信装置、送信方法およびコンテンツ配信システム

Also Published As

Publication number Publication date
EP3926968A1 (en) 2021-12-22
US10862837B1 (en) 2020-12-08
US11438287B2 (en) 2022-09-06
CN113810452A (zh) 2021-12-17
JP2021197722A (ja) 2021-12-27
US20210392099A1 (en) 2021-12-16

Similar Documents

Publication Publication Date Title
US9852762B2 (en) User interface for video preview creation
US10930257B2 (en) System and method for providing a video with lyrics overlay for use in a social messaging environment
US10412425B2 (en) Processing gaps in audio and video streams
DK2603986T3 (en) SYSTEM AND PROCEDURE FOR SYNCHRONIZED PLAYING OF DIGITAL CONTENT STREAMING
US10484737B2 (en) Methods and systems for instantaneous asynchronous media sharing
KR101470904B1 (ko) 동영상 제공 방법 및 동영상 제공 시스템
WO2014186192A2 (en) Creating, editing, and publishing a video using a mobile device
KR20220031894A (ko) 데이터 스트림을 동기화하기 위한 시스템 및 방법
JP7220859B2 (ja) 超短メディアコンテンツを交換するシステムおよび方法
WO2015035934A1 (en) Methods and systems for facilitating video preview sessions
US20150128040A1 (en) Generating custom sequences of video streams
US20230217047A1 (en) Method, system, and computer-readable recording medium for implementing fast-switching mode between channels in multi-live transmission environment
TWI465929B (zh) 分配合作式電腦編輯系統
JP7290260B1 (ja) サーバ、端末及びコンピュータプログラム
EP3985987A1 (en) Method, system, and computer-readable recording medium for implementing seamless transition mode between channels in live multi-transmission environment
US20220417619A1 (en) Processing and playing control over interactive video
US10623803B2 (en) Essence content creation, modification and/or delivery methods and systems
US11792247B2 (en) Recording system and method of multilayer and synchronized communal social media content
US11089352B1 (en) Techniques for synchronizing content playback across devices
CN117676181A (zh) 延迟直播的方法和装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230119

R150 Certificate of patent or registration of utility model

Ref document number: 7220859

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150