JP7235098B2 - 情報配信装置、情報配信方法、情報配信プログラム - Google Patents

情報配信装置、情報配信方法、情報配信プログラム Download PDF

Info

Publication number
JP7235098B2
JP7235098B2 JP2021506158A JP2021506158A JP7235098B2 JP 7235098 B2 JP7235098 B2 JP 7235098B2 JP 2021506158 A JP2021506158 A JP 2021506158A JP 2021506158 A JP2021506158 A JP 2021506158A JP 7235098 B2 JP7235098 B2 JP 7235098B2
Authority
JP
Japan
Prior art keywords
user
information
unit
specific
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021506158A
Other languages
English (en)
Other versions
JPWO2020188908A1 (ja
JPWO2020188908A5 (ja
Inventor
栄治 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Publication of JPWO2020188908A1 publication Critical patent/JPWO2020188908A1/ja
Publication of JPWO2020188908A5 publication Critical patent/JPWO2020188908A5/ja
Application granted granted Critical
Publication of JP7235098B2 publication Critical patent/JP7235098B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27Server based end-user applications
    • H04N21/274Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743Video hosting of uploaded data from client
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/252Processing of multiple end-users' preferences to derive collaborative data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808Management of client data
    • H04N21/25841Management of client data involving the geographical location of the client
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866Management of end-user data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866Management of end-user data
    • H04N21/25891Management of end-user data being end-user preferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508Management of client data or end-user data
    • H04N21/4532Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6582Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6587Control parameters, e.g. trick play commands, viewpoint selection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Emergency Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Transfer Between Computers (AREA)

Description

本発明は情報配信装置、情報配信方法、情報配信プログラムに関する。
特許文献1には、ユーザIDに紐付けられたユーザ属性データを抽出し、トレーニングの映像コンテンツをマッチングテーブルの中から抽出して表示する技術が開示される。これにより、ユーザ毎に適切なコンテンツを提供する。
特開2018-98769号公報
ところで、マラソン、競輪、競馬、サッカー等の、多数の選手(ユーザ)が参加する競技等において、応援者は、大多数の集団の中から応援対象となるユーザを見つけ出すことが難しい場合がある。また、こうした競技においては、応援者は、応援対象となるユーザと、その周囲に存在する人物とを含むグループに注目して応援したいという要求がある。
そこで、本発明は、多数の人物を含む集団から、特定のユーザとその周囲に存在する人物を抽出することで、大多数の集団の中から特定のユーザを観察するのを支援する情報配信装置、情報配信方法、情報配信プログラムを提供することを目的とする。
本実施形態にかかる情報配信装置は、各ユーザが備えるユーザ装置から、前記各ユーザ装置により撮影されたユーザ撮影画像及び前記各ユーザ装置により測定された前記ユーザの位置情報のうち少なくとも1つと、前記ユーザのユーザIDと、を含むユーザ情報を受信するユーザ情報受信部と、
前記複数のユーザ情報から、少なくとも1人のユーザを特定するユーザ特定部と、
前記特定されたユーザの周囲に存在する少なくとも1人の他のユーザを、前記受信したユーザ撮影画像及び前記ユーザの位置情報のうち少なくとも1つに基づいて抽出する他ユーザ抽出部と、
前記ユーザ情報のうち少なくとも1つと、前記抽出した他ユーザの情報である他ユーザ情報のうち少なくとも1つとを紐付けた関連ユーザグループ情報を生成する関連ユーザグループ情報生成部と、
前記関連ユーザグループ情報を外部に配信する配信部と、を備える。
本実施形態にかかる情報配信方法は、各ユーザが備えるユーザ装置から、前記各ユーザ装置により撮影されたユーザ撮影画像及び前記各ユーザ装置により測定された前記ユーザの位置情報のうち少なくとも1つと、前記ユーザのユーザIDと、を含むユーザ情報を受信し、
前記複数のユーザ情報から、少なくとも1人のユーザを特定し、
前記特定されたユーザの周囲に存在する少なくとも1人の他のユーザを、前記受信したユーザ撮影画像及び前記ユーザの位置情報のうち少なくとも1つに基づいて抽出し、
前記ユーザ情報のうち少なくとも1つと、前記抽出した他ユーザの情報である他ユーザ情報のうち少なくとも1つとを紐付けた関連ユーザグループ情報を生成し、
前記関連ユーザグループ情報を外部に配信する。
本実施形態にかかる情報配信プログラムは、各ユーザが備えるユーザ装着装置から、前記各ユーザ装着装置により撮影されたユーザ撮影画像及び前記各ユーザ装置により測定された前記ユーザの位置情報のうち少なくとも1つと、前記ユーザのユーザIDと、を含むユーザ情報を受信する処理と、
前記複数のユーザ情報から、少なくとも1人のユーザを特定する処理と、
前記特定されたユーザの周囲に存在する少なくとも1人の他のユーザを、前記受信したユーザ撮影画像及び前記ユーザの位置情報のうち少なくとも1つに基づいて抽出する処理と、
前記ユーザ情報のうち少なくとも1つと、前記抽出した他ユーザの情報である他ユーザ情報のうち少なくとも1つとを紐付けた関連ユーザグループ情報を生成する処理と、
前記関連ユーザグループ情報を外部に配信する処理と、
をコンピュータに実行させる。
本実施形態によれば、大多数のユーザの中から特定のユーザを観察するのを支援することができる。
本発明にかかる情報配信装置の概要を説明する図である。 本発明の実施の形態にかかるユーザ装置の構成を示すブロック図である。 本発明の実施の形態にかかるサーバの構成を示すブロック図である。 本発明の実施の形態にかかるサーバの動作処理を示すフローチャートである。 本発明の実施の形態にかかるマラソンの参加者の一部の集団を説明する図である。 関連ユーザグループ情報の一例を示す図である。 図5の変形例のマラソンの参加者の一部の集団を説明する図である。 図7に示した変形例の関連ユーザグループ情報の一例を示す図である。 通信端末10及びサーバ30のハードウェア構成例を示すブロック図である。
図1及び図2を参照して、本発明にかかる情報配信システムの概要を説明する。
本配信システムは、例えば、マラソン等の多数の選手が参加する競技において、各参加者にユーザ装置40を備えさせ、ユーザ撮影画像及びユーザの位置情報のうち少なくとも1つと、ユーザIDと、を含むユーザ情報を無線通信し、サーバ30で収集する。収集した各ユーザ情報は、ユーザ撮影画像及びユーザの位置情報のうち少なくとも1つに基づいて、特定のユーザ(応援対象)とその周囲のユーザを含む関連ユーザグループ情報として紐付けられ、競技を視聴したい応援者が所有する通信端末10に配信される。このようにして、多数の参加者からなる競技を視聴したい応援者は、多数の参加者の中から、応援対象の参加者とその周囲の参加者を含むグループに注目して、競技の観戦を楽しむことができる。例えば、こうした関連ユーザグループ情報をスマートフォン等の通信端末で受信した応援者は、各選手の位置を配置した地図表示として、あるいは、グループ内の各選手の順位等を示すサムネイル付きのリスト表示としてこの関連ユーザグループ情報を閲覧することができる。好ましくは、応援者は、周囲の選手のユーザ装置40により応援対象となる選手を撮影した映像を閲覧する。
本情報配信システムでは、人工衛星20を利用した測位システムにより、各参加者の位置情報を取得することができる。例えば、米国のGPS(Global Positioning System)及びロシアのGLONASS(Global Navigation Satellite System)といった衛星測位システムを使用することができる。マラソンやサッカー等の競技では、密集した各選手の正確な位置(誤差1mクラス)を把握するため、GPSを補完する衛星(例えば、準天頂衛星みちびき)から送信される信号を利用した測位を行うことが好ましい。
図2は、ユーザ装置40の構成を示すブロック図である。ユーザ装置40は、撮像部401、位置検出部402及び無線通信部403を備える。撮像部401は、例えば、ユーザの前方および後方などのユーザの周囲を撮影可能なウェアラブルカメラであり、イメージセンサ(例えば、CCD/CMOSイメージセンサ)を含む。こうしたカメラは、好ましくは、文字や色彩も識別可能な高解像度カメラである。位置検出部402は、前述した測位システムを用いて、ユーザ装置40を装着したユーザの位置を測定する。無線通信部403は、サーバ30と無線通信することができ、撮像部401による撮像データ及び位置検出部402による位置情報と、ユーザの背番号やゼッケン番号、登録番号、名前などのユーザを識別するユーザIDをサーバ30に無線送信することができる。無線通信部403は、例えば、Bluetooth(登録商標) Low Energy(以下、BLE)、ZigBee(登録商標)またはWi-Fi(登録商標)により、外部機器(例えば、サーバ)と無線通信を行うことができる。ユーザ装置は、制御部を含み得る。この制御部は、記憶部に格納された各種プログラムに基づいて、各種制御を実行する機能を有し、中央演算処理装置(CPU)、読出専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、入出力ポート(I/O)等により実現される。
また、ユーザ装置40は、図示していないが、装着したユーザの周囲音を収音するマイクロフォンを有してもよく、収音した音声データもサーバ30に送信してもよい。
応援者が所持する通信端末10は、図1に示すように、ディスプレイ部101、スピーカ102及び通信部103を含む。ディスプレイ部101は、液晶ディスプレイ(LCD)又はタッチスクリーンディスプレイなどの任意の好適なディスプレイを含む。通信部103は、サーバ30とネットワークを介して通信し、撮像部401による撮像データ、位置検出部402による位置情報、及びマイクロフォンによる周囲音の音声データを受信することができる。
ここでいうネットワークの例としては、ローカルエリアネットワーク(local area network、LAN)、及びワイドエリアネットワーク(wide area network、WAN)、例えば、インターネットを挙げることができる。また、通信ネットワークは、例えば、イーサネット(登録商標)、ユニバーサルシリアルバス(Universal Serial Bus、USB)、FIREWIRE(登録商標)、移動通信用のグローバルシステム(Global System for Mobile Communications、GSM(登録商標))、拡張データGSM(登録商標)環境(Enhanced Data GSM(登録商標) Environment、EDGE)、符号分割多元接続(code division multiple access、CDMA)、時分割多元接続(time division multiple access、TDMA)、Bluetooth(登録商標)、Wi-Fi(登録商標)、ボイスオーバーインターネットプロトコル(voice over Internet Protocol、VoIP)、Wi-MAX(登録商標)、又は任意の他の好適な通信プロトコル等の、様々な有線又は無線プロトコルを含む、任意の周知のネットワークプロトコルを用いて実施することができる。
このように通信端末10は、競技を観戦する応援者が、競技参加者の撮像データ、位置情報及び周囲音の音声データを視聴するための装置であり、移動通信端末又は固定通信端末であってもよい。移動通信端末は、例えば、携帯電話、スマートフォン、タブレット型端末、ウエラブル端末(スマートグラス等)などの携帯端末とすることができる。固定通信端末は、パーソナルコンピュータ、多機能テレビ、セットトップボックスなどとすることができる。
次に、図3~図7を参照して、本発明の特徴部の一つである情報配信装置であるサーバの機能について説明する。本発明は、マラソン、競輪、競馬、サッカー、カーレース等の、多数の選手が参加する競技などに適用可能であるが、以下では、マラソンを例に説明する。
図3は、サーバ30の構成を示すブロック図である。サーバ30は、ユーザ情報受信部301、ユーザ特定部302、他ユーザ抽出部303、関連ユーザグループ情報生成部304及び配信部305を備える。ユーザ特定部302は、更に特定ユーザID受信部3021と、選択シンボル情報受信部3022と、を含んでもよい。他ユーザ抽出部303は、位置関係算出部3031と、撮影ユーザ判定部3032とを更に含んでもよい。
図4は、サーバ30の動作処理を示すフローチャートである。図5は、マラソンの大多数の参加者のうちの一部の集団を説明する図である。この一部の集団には、応援対象となる選手Aと、その周囲の選手B,C,D,E,Fと、が含まれている。図5の例では、各選手は、背部側にユーザ装置40を装着しており、各ユーザ装置40の各撮像部は、走行方向とは逆方向を撮影している。図5には、各ユーザ装置40から延びた略三角形の各撮影領域401A~401Fが示されている。
ユーザ情報受信部301は、各ユーザ装置40から、撮像データ及び位置情報のうち少なくとも1つと、ユーザIDと、を含むユーザ情報を受信する(ステップS1)。
次に、ユーザ特定部302は、大多数の参加者から、応援対象のユーザを特定する(ステップS2)。予め定められたユーザ、例えば、お気に入りの選手、又は先頭を走る選手を、特定ユーザとして選択してもよい。あるいは、応援者が、自身が所持する通信端末10から、ユーザIDを入力し、入力データを特定ユーザID受信部3021が受信することで、ユーザを特定してもよい。応援者が、自身が所持する通信端末10から、後述する関連ユーザグループ情報生成部304が生成した特定の選手のピンアイコンなどのシンボルを選択してサーバに送信し、選択データを選択シンボル情報受信部3022が受信することで、ユーザを特定してもよい。なお、本例では、図5に示す応援対象である選手Aが特定ユーザとなる。
他ユーザ抽出部303は、特定されたユーザと関連する周囲のユーザ(一部の集団)を抽出する(ステップS3)。例えば、位置関係算出部3031により、各ユーザ装置40の位置情報に基づいて、各ユーザ(各選手)の位置関係(走行方向に対して前後、左右、及び互いの距離)を算出し、特定ユーザ(選手A)との距離(選手Aから所定の距離内)に応じて、関連する周囲のユーザを抽出してもよい。例えば、本例では、特定ユーザ(選手A)の周囲の10m以内の選手B,C,D,E,F,Gを、関連する周囲のユーザとして抽出することができる。
あるいは、他ユーザ抽出部303は、特定ユーザ(選手A)を撮影しているユーザ装置40を装着するユーザを、関連する周囲のユーザとして抽出してもよい。図5では、特定ユーザ(選手A)は、周囲の選手の装着する各ユーザ装置40の撮像部の撮影領域401B,401C,401D(画角)の一部に含まれる。撮影データを画像認識し人物等を特定可能な撮影ユーザ判定部3032により、選手の顔、ゼッケン等を画像認識し、特定ユーザ(選手A)を撮影する周囲のユーザを特定し、他ユーザとして抽出するようにしてもよい。こうして、本例では、選手B,C,Dが特定ユーザ(選手A)を撮影しているので、選手B,C,Dを他ユーザとして抽出することができる。
このようにして、関連ユーザグループ情報生成部304は、特定ユーザのユーザ情報のうち少なくとも1つと、その関連する周囲のユーザ(他ユーザ)の他ユーザ情報の少なくとも1つとを含む関連ユーザグループ情報を生成する(ステップS4)。関連ユーザグループ情報は、図5に示すような、各選手の位置を地図上にピンアイコンなどのシンボルで表示した情報(関連ユーザグループ位置情報)として生成してもよい。この場合、関連ユーザグループ位置情報は、応援対象の選手のピンアイコンと、その周囲の選手のピンアイコンを、色や形状の異なる別の形態で表示してもよい。さらに、この場合、関連ユーザグループ情報は、各選手のピンアイコンから、各選手が備えるユーザ装置40の撮影映像データがリンクされた情報として生成してもよい。これにより、応援者は、通信端末10から各選手のピンアイコンを選択することで、その選手が備えるカメラの映像を閲覧することができる。
関連ユーザグループ情報生成部304は、例えば、特定ユーザのユーザ情報の位置情報と、各選手が備えるユーザ装置40の撮影映像データと、を含む関連ユーザグループ情報を生成してもよい。これにより、特定ユーザの位置情報と、特定ユーザの周囲のユーザが撮像した、特定ユーザが撮影された映像データと、を関連づけて応援者の通信端末10に配信することができる。この場合、他ユーザ抽出部303は、各ユーザ装置40の位置情報、および、撮影ユーザ判定部3032による特定ユーザを撮影する他ユーザ特定、のいずれかに基づいて他ユーザを抽出するが、この双方に基づいて他ユーザを抽出することがより好ましい。
あるいは、関連ユーザグループ情報は、図6に示すような、リスト表示として生成してもよい。また、距離(m)の項目には、応援対象の選手Aからの距離が示されている。ここでは、応援対象の選手Aから前進方向については、プラスで、後進方向については、マイナスで距離が示されている。この場合、映像の有無の項目には、各選手のユーザ装置40による撮影データのサムネイルを表示してもよい。なお、ここでいう映像の有無は、撮影ユーザ判定部3032が判定した、応援対象の選手Aが撮影されているか否かを示すものである。図6では、選手D、B、Cの映像が「有」となっているので、応援者は、これらの映像へのリンクから選手Aの映像を閲覧することができる。図6では、選手E、F、Gのユーザ装置40の映像が「無」となっているが、応援者は、これらの映像へのリンクから、その映像を閲覧することもできる。
このようにして生成した関連ユーザグループ情報を、配信部305は、応援者の通信端末10に配信する(ステップS5)。これにより、応援者は、大多数の参加者の中から、応援対象の選手と、その周囲の選手を含むグループに注目して、観戦を楽しむことができる。また、応援者は、応援対象の選手をその周囲の各選手が撮像した画像、または、応援対象の選手とその周囲の選手を含むグループの現在位置の推移の少なくともいずれかを常時観察することができる。
(変形例)
図7は、図5の変形例のマラソンの参加者の一部の集団を説明する図である。一部の集団には、応援対象となる選手Aと、その周囲の選手B,C,D,E,Fと、が含まれている。各選手は、腹部側及び背部側の両方にユーザ装置40を装着しており、各撮像部は、走行方向と、走行方向とは逆方向をそれぞれ撮影している。図7には、各ユーザ装置40から延びた略円形の撮影領域401A~401Fが示されている。なお、図7では、参加者の腹部側及び背部側の両方にユーザ装置40を装着した例を示したが、これに限定されず、参加者の両側部にもユーザ装置40を装着してもよい。この変形例では、参加者の複数のユーザ装置40により、参加者の全周囲方向を撮影することができる。なお、本例でも、図7に示す応援対象である選手Aが特定ユーザとなる。
ここで、図7を参照して、変形例における特定ユーザと関連する周囲のユーザの抽出例(ステップS3)を説明する。
例えば、位置関係算出部3031により、各ユーザ装置40の位置情報に基づいて、位置関係(走行方向に対して前後、左右、又は互いの距離)を算出し、特定ユーザ(選手A)との位置関係(選手Aから所定の距離内)により、関連する周囲のユーザを抽出してもよい。例えば、本例では、特定ユーザの前方を走行する選手B,C,Dを他ユーザとして抽出することができる。例えば、本例では、特定ユーザの後方を走行する選手E,F,Gを他ユーザとして抽出することができる。変形例の構成とすることにより、関連ユーザグループ情報生成部304は、特定ユーザを前方から撮影した画像を、他選手B,C,Dのユーザ装置40から取得したり、特定ユーザを後方から撮影した画像を、他選手E,F,Gのユーザ装置40から取得したりすることができる。応援者は、特定ユーザID受信部3021に送信するユーザIDに、希望する位置関係情報を追加して送信することで、希望の方向から特定ユーザを撮影した画像の配信を、サーバ30から受信することができる。
あるいは、特定ユーザ(選手A)を撮影しているユーザ装置40を装着するユーザを、関連する周囲のユーザとして抽出してもよい。図7では、特定ユーザ(選手A)は、周囲の選手の撮像部の撮影領域401C,401D、401E,401G(画角)の一部に含まれる。また、撮影ユーザ判定部3032により、選手の顔、選手の着用するゼッケン等を画像認識し、特定ユーザを撮影する周囲のユーザを特定するようにしてもよい。したがって、本例では、選手C,D、E、Gが特定ユーザ(選手A)を撮影しているので、選手C,D、E、Gを関連する周囲のユーザとして抽出することができる。
図8は、図7に示した変形例の関連ユーザグループ情報の一例を示す図である。
図8に示すように、関連ユーザグループ情報は、走行方向における各選手の順位を示すリスト表示として生成してもよい。また、距離(m)の項目には、応援対象の選手Aからの距離が示されている。ここでは、応援対象の選手Aから前進方向については、プラスで、後進方向については、マイナスで距離が示されている。なお、ここでは、応援対象の選手Aからの距離を示したが、スタートからの距離又はゴールまでの距離を示してもよい。
この場合、映像の有無の項目には、各選手のユーザ装置40による撮影データのサムネイルを表示してもよい。なお、ここでいう映像の有無は、応援対象の選手Aが撮影されているか否かを示すものである。図8では、選手D、C、E,Gの映像が「有」となっているので、応援者は、これらの映像へのリンクから選手Aの映像を閲覧することができる。図8では、選手B、Fのユーザ装置40の映像が「無」となっているが、応援者は、これらの映像へのリンクから、その映像を閲覧することもできる。
以上のように、応援者は、通信端末でこのようなリストを受信して、応援対象の位置を確認することができる。また、応援者は、応援対象の選手の周囲の選手からの臨場感のある映像を楽しむことができる。
上述の例において、情報配信プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、DVD(Digital Versatile Disc)、BD(Blu-ray(登録商標) Disc)、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
図9は、実施形態における通信端末10及びサーバ30のハードウェア構成例を示すブロック図である。図9に示すように、本実施形態の通信端末10及びサーバ30は、CPU(Central Processing Unit)201、RAM(Random access memory)202、ROM(Read Only Memory)203などを有するコンピュータである。CPU201は、RAM202、ROM203、または、ハードディスク204に格納されたソフトウェアに従い演算および制御を行う。RAM202は、CPU201が各種処理を実行する際の一時記憶領域として使用される。ハードディスク204には、オペレーティングシステム(OS)や、後述の登録プログラムなどが記憶される。ディスプレイ205は、液晶ディスプレイとグラフィックコントローラとから構成され、ディスプレイ205には、画像やアイコンなどのオブジェクト、および、GUIなどが表示される。入力部206は、ユーザが端末装置200に各種指示を与えるための装置であり、例えばタッチパネル、マウスやキーボードなどによって構成され得る。I/F(インターフェース)部207は、IEEE 802.11aなどの規格に対応した無線LAN通信や有線LAN通信を制御することができ、TCP/IPなどのプロトコルに基づき同一通信ネットワークおよびインターネットを介して外部機器と通信する。システムバス208は、CPU201、RAM202、ROM203、および、ハードディスク204などとのデータのやり取りを制御する。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上記実施形態では、マラソン大会等の競技における選手にユーザ装置40を着用させた。しかし、本発明はこれに限定されず、車両や馬、自転車、オートバイ等の移動体に、ユーザ装置40を装着してもよい。また、本システムは、こうした競技だけに限定されず、例えば、公道を走る車両にユーザ装置40を装着し、運転者(選手に相当)と、家庭にいる家族(応援者に相当)によって利用されてもよい。この場合、「選手ID(ゼッケン)」は、車両ごとか車載機ごとのID、すなわち、ナンバープレートを利用してもよい。
この出願は、2019年3月18日に出願された日本出願特願2019-049630を基礎とする優先権を主張し、その開示の全てをここに取り込む。
本発明は、大多数のユーザの中から特定のユーザを観察するのを支援する技術に関し、産業上の利用可能性を有する。
1 情報配信システム
10 通信端末
101 ディスプレイ部
102 スピーカ
103 通信部
20 人工衛星
30 サーバ
301 ユーザ情報受信部
302 ユーザ特定部
3021 特定ユーザID受信部
3022 選択シンボル情報受信部
303 他ユーザ抽出部
3031 位置関係算出部
3032 撮影ユーザ判定部
304 関連ユーザグループ情報生成部
305 配信部
40 ユーザ装置
401 撮像部
402 位置検出部
403 無線通信部

Claims (8)

  1. 各ユーザが備えるユーザ装置から、前記各ユーザ装置により撮影されたユーザ撮影画像及び前記各ユーザ装置により測定された前記ユーザ装置の位置情報と、前記ユーザのユーザIDと、を含むユーザ情報を受信するユーザ情報受信部と、
    複数の前記ユーザ情報から、少なくとも1人のユーザを特定するユーザ特定部と、
    前記特定された特定ユーザの周囲に存在する少なくとも1人の他のユーザを、前記受信したユーザ撮影画像及び前記ユーザの位置情報のうち少なくとも1つに基づいて抽出する他ユーザ抽出部と、
    前記特定ユーザの前記ユーザ装置の位置情報と、前記抽出した他ユーザの前記各ユーザ装置により撮影されたユーザ撮影画像と、を紐付けた関連ユーザグループ情報を生成する関連ユーザグループ情報生成部と、
    前記関連ユーザグループ情報を外部に配信する配信部と、を備える情報配信装置。
  2. 記特定ユーザと前記他ユーザとの位置関係を算出する位置関係算出部を更に含み、
    前記他ユーザ抽出部は、前記算出された位置関係に基づいて、他ユーザを抽出する、請求項1に記載の情報配信装置。
  3. 前記関連ユーザグループ情報生成部は、前記ユーザの位置情報と、前記他ユーザの位置情報と、をシンボルとして表示可能な形態で関連ユーザグループ位置情報を生成する、
    請求項2に記載の情報配信装置。
  4. 記他ユーザ抽出部は、前記各ユーザ撮影画像に、前記特定ユーザが撮影されているか否かを判定する撮影ユーザ判定部をさらに備え、
    前記他ユーザ抽出部は、前記ユーザ撮影画像に前記特定ユーザが撮影されているか否かに基づいて、前記他ユーザを抽出する、請求項1に記載の情報配信装置。
  5. 前記配信部は、前記特定ユーザが撮影されていると判定される場合、当該撮影された特定ユーザ画像を外部に配信する、請求項に記載の情報配信装置。
  6. 前記ユーザ特定部は、外部の通信端末から特定のユーザID情報を受信する特定ユーザID情報受信部を備える、請求項1からのいずれか1項に記載の情報配信装置。
  7. 各ユーザが備えるユーザ装置から、前記各ユーザ装置により撮影されたユーザ撮影画像及び前記各ユーザ装置により測定された前記ユーザの位置情報と、前記ユーザのユーザIDと、を含むユーザ情報を受信し、
    複数の前記ユーザ情報から、少なくとも1人のユーザを特定し、
    前記特定された特定ユーザの周囲に存在する少なくとも1人の他のユーザを、前記受信したユーザ撮影画像及び前記ユーザの位置情報のうち少なくとも1つに基づいて抽出し、
    前記特定ユーザの前記ユーザ装置の位置情報と、前記抽出した他ユーザの前記各ユーザ装置により撮影されたユーザ撮影画像と、を紐付けた関連ユーザグループ情報を生成し、
    前記関連ユーザグループ情報を外部に配信する、情報配信方法。
  8. 各ユーザが備えるユーザ装置から、前記各ユーザ装置により撮影されたユーザ撮影画像及び前記各ユーザ装置により測定された前記ユーザの位置情報と、前記ユーザのユーザIDと、を含むユーザ情報を受信する処理と、
    複数の前記ユーザ情報から、少なくとも1人のユーザを特定する処理と、
    前記特定された特定ユーザの周囲に存在する少なくとも1人の他のユーザを、前記受信したユーザ撮影画像及び前記ユーザの位置情報のうち少なくとも1つに基づいて抽出する処理と、
    前記特定ユーザの前記ユーザ装置の位置情報と、前記抽出した他ユーザの前記各ユーザ装置により撮影されたユーザ撮影画像と、を紐付けた関連ユーザグループ情報を生成する処理と、
    前記関連ユーザグループ情報を外部に配信する処理と、
    をコンピュータに実行させる、情報配信プログラム。
JP2021506158A 2019-03-18 2019-12-10 情報配信装置、情報配信方法、情報配信プログラム Active JP7235098B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019049630 2019-03-18
JP2019049630 2019-03-18
PCT/JP2019/048261 WO2020188908A1 (ja) 2019-03-18 2019-12-10 情報配信装置、情報配信方法、情報配信プログラム

Publications (3)

Publication Number Publication Date
JPWO2020188908A1 JPWO2020188908A1 (ja) 2020-09-24
JPWO2020188908A5 JPWO2020188908A5 (ja) 2022-01-21
JP7235098B2 true JP7235098B2 (ja) 2023-03-08

Family

ID=72519035

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021506158A Active JP7235098B2 (ja) 2019-03-18 2019-12-10 情報配信装置、情報配信方法、情報配信プログラム

Country Status (4)

Country Link
US (1) US11683549B2 (ja)
EP (1) EP3944086B1 (ja)
JP (1) JP7235098B2 (ja)
WO (1) WO2020188908A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022259339A1 (ja) * 2021-06-07 2022-12-15 日本電信電話株式会社 表示制御装置、表示制御方法、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010512059A (ja) 2006-11-30 2010-04-15 ソニー エリクソン モバイル コミュニケーションズ, エービー 可搬移動通信デバイスの位置情報を提供するデバイス及び方法
JP2014102417A (ja) 2012-11-21 2014-06-05 Oceans Inc 地図を利用した情報共有システム
JP2017207974A (ja) 2016-05-19 2017-11-24 ソニー株式会社 情報処理装置、情報処理方法及びプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8662975B1 (en) * 2008-07-23 2014-03-04 Mark D. Wieczorek Multiplayer game using multiplayer characters
US9053594B2 (en) * 2008-10-01 2015-06-09 International Business Machines Corporation Monitoring objects in motion along a static route using sensory detection devices
US20160098941A1 (en) * 2013-05-21 2016-04-07 Double Blue Sports Analytics, Inc. Methods and apparatus for goaltending applications including collecting performance metrics, video and sensor analysis
US20150116501A1 (en) * 2013-10-30 2015-04-30 Sony Network Entertainment International Llc System and method for tracking objects
US20190267041A1 (en) * 2015-02-24 2019-08-29 Plaay Llc System and method for generating probabilistic play analyses from sports videos
EP3317880A1 (en) * 2015-07-03 2018-05-09 H4 Engineering, Inc. Tracking camera network
US20170064240A1 (en) * 2015-08-24 2017-03-02 Microsoft Technology Licensing, Llc Player position and auxiliary information visualization
JP2017103619A (ja) * 2015-12-02 2017-06-08 ソニー株式会社 制御装置、制御方法、およびプログラム
JP2018098769A (ja) 2016-12-14 2018-06-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 情報処理方法、情報処理システム及びサーバ
JP7016648B2 (ja) 2017-09-08 2022-02-07 キヤノン株式会社 画像形成装置
EP3873285A1 (en) * 2018-10-29 2021-09-08 Robotarmy Corp. Racing helmet with visual and audible information exchange

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010512059A (ja) 2006-11-30 2010-04-15 ソニー エリクソン モバイル コミュニケーションズ, エービー 可搬移動通信デバイスの位置情報を提供するデバイス及び方法
JP2014102417A (ja) 2012-11-21 2014-06-05 Oceans Inc 地図を利用した情報共有システム
JP2017207974A (ja) 2016-05-19 2017-11-24 ソニー株式会社 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
EP3944086B1 (en) 2023-09-06
US11683549B2 (en) 2023-06-20
WO2020188908A1 (ja) 2020-09-24
JPWO2020188908A1 (ja) 2020-09-24
US20210360307A1 (en) 2021-11-18
EP3944086A4 (en) 2022-06-01
EP3944086A1 (en) 2022-01-26

Similar Documents

Publication Publication Date Title
US9196093B2 (en) Information presentation device, digital camera, head mount display, projector, information presentation method and non-transitory computer readable medium
US9729788B2 (en) Image generation apparatus and image generation method
EP3229459B1 (en) Information processing device, information processing method and program
US20170124769A1 (en) Augmented reality display system, terminal device and augmented reality display method
CN107852476B (zh) 动画播放装置、动画播放方法、动画播放***以及动画发送装置
JP2020086983A (ja) 画像処理装置、画像処理方法、及びプログラム
JPWO2016199483A1 (ja) 画像処理装置、画像処理方法、プログラム
JP7235098B2 (ja) 情報配信装置、情報配信方法、情報配信プログラム
US20210258505A1 (en) Image processing apparatus, image processing method, and storage medium
JPWO2019150675A1 (ja) 情報処理装置
JP7282519B2 (ja) 画像処理装置または画像処理サーバー
JP2010034699A (ja) 放送送信装置および放送受信装置および放送送受信システム
JP2014048864A (ja) 表示制御システム、ゲームシステム、表示制御システムの制御方法、表示制御装置、表示制御装置の制御方法、及びプログラム
WO2020095647A1 (ja) 画像処理装置、画像処理サーバー、画像処理方法、コンピュータプログラム及び記憶媒体
JP7289630B2 (ja) 画像処理装置
JP7233887B2 (ja) 画像処理装置
JPWO2019017046A1 (ja) 情報処理装置、および情報処理方法
US20240214614A1 (en) Multi-camera multiview imaging with fast and accurate synchronization
US20240214543A1 (en) Multi-camera multiview imaging with fast and accurate synchronization
WO2021152834A1 (ja) ライフログ管理装置、制御方法及び記憶媒体
JPWO2019038885A1 (ja) 情報処理装置および画像出力方法
WO2024138099A1 (en) Multi-camera multiview imaging with fast and accurate synchronization
JP2024031113A (ja) 情報処理装置および画像生成方法
JP2024031114A (ja) 情報処理装置および画像生成方法
JP2020077952A (ja) 画像処理装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210729

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230206

R150 Certificate of patent or registration of utility model

Ref document number: 7235098

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150