CN113767643B - 直播传输***以及直播传输方法 - Google Patents

直播传输***以及直播传输方法 Download PDF

Info

Publication number
CN113767643B
CN113767643B CN201980093949.1A CN201980093949A CN113767643B CN 113767643 B CN113767643 B CN 113767643B CN 201980093949 A CN201980093949 A CN 201980093949A CN 113767643 B CN113767643 B CN 113767643B
Authority
CN
China
Prior art keywords
live
presentation effect
conference site
video
live broadcast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980093949.1A
Other languages
English (en)
Other versions
CN113767643A (zh
Inventor
林范和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Barus Co ltd
Original Assignee
Barus Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Barus Co ltd filed Critical Barus Co ltd
Publication of CN113767643A publication Critical patent/CN113767643A/zh
Application granted granted Critical
Publication of CN113767643B publication Critical patent/CN113767643B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/101—Collaborative creation, e.g. joint development of products or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41415—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance involving a public display, viewable by several users in a public space outside their home, e.g. movie theatre, information kiosk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Databases & Information Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Social Psychology (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Primary Health Care (AREA)
  • Computer Security & Cryptography (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Computing Systems (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Environmental Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Emergency Management (AREA)
  • Game Theory and Decision Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Ecology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

在对直播影像同时进行传输的多个直播会场中，提高参与者全员的融入感。直播传输***1具有反应收集部4和呈现效果控制部5，针对场所不同的多个直播会场A～C同时传输直播影像。反应收集部4针对每个直播会场实时地从直播会场内的检测设备7收集在直播会场A～C中欣赏直播影像的参与者的反应。呈现效果控制部5基于由反应收集部4收集到的每个直播会场的参与者的反应，对每个直播会场独立地决定在直播会场A～C中应呈现的呈现效果。

Description

直播传输***以及直播传输方法
技术领域
本发明涉及直播传输***以及直播传输方法，尤其涉及针对场所不同的多个直播会场的同时直播传输。
背景技术
例如，在专利文献1中，公开了如下的活动(event)呈现***：一边使用户们相互协作或者相互竞争等，一边向对歌手、出场人物的音乐会影像进行显示的影像显示装置输出规定的呈现效果。该活动呈现***具有呈现控制子***、用户终端和影像显示装置。呈现控制子***进行活动会场的呈现控制。用户终端经由通信网络而与呈现控制子***连接。影像显示装置设置于活动会场，显示由呈现控制子***产生的呈现效果的影像。在此，呈现效果通过使用由活动会场中的用户的各种作业而产生的积分来选定，并将其合成到影像数据中。例如，作为出场人物进行演唱的影像的背后的图层而附加在显示评论之后消失这样的动作，通过这样的呈现效果，使活动变得热烈。
现有技术文献
专利文献
专利文献1：日本特开2017-151978号公报
发明内容
发明所要解决的问题
顺便提及的是，在同时进行针对场所不同的多个直播会场的直播传输的情况下，由于参与者的热烈(heat up)的程度在每个直播会场不同，因此，如果在所有的直播会场中一律进行相同的呈现效果，则恐怕会因会场不同而存在给参与者带来不协调感的情况。例如，使参与者进一步热烈这样的较强烈的呈现效果，在已经充分热烈的直播会场中是优选的，但在与其相比热烈程度欠缺的直播会场中是不优选的。在这样的直播会场中，反倒是在有节制地形成呈现效果的情况下，对于该会场的参与者而言，更容易获得融入感。
本发明是鉴于上述情况而完成的，其目的在于，在同时进行直播传输的多个直播会场中，提高参与者全员的融入感。
用于解决问题的手段
为了解决该问题，第一发明提供一种直播传输***，其具有反应收集部和呈现效果控制部，针对场所不同的多个直播会场同时进行直播传输。反应收集部针对每个直播会场实时地从直播会场内的检测设备收集直播会场中的参与者的反应。呈现效果控制部基于由反应收集部收集到的每个直播会场的参与者的反应，对每个直播会场独立地决定在直播会场中应呈现的呈现效果。
在此，在第一发明中，也可以是，上述呈现效果控制部生成每个直播会场的呈现效果影像来作为上述呈现效果，并向直播会场传输合成有呈现效果影像的直播影像。另外，也可以是，上述呈现效果控制部决定每个直播会场的呈现效果声响来作为上述呈现效果，并对直播会场侧的音响设备进行指示。进一步地，也可以是，上述呈现效果控制部决定每个直播会场的呈现效果照明来作为上述呈现效果，并对直播会场侧的照明设备进行指示。
在第一发明中，也可以是，上述检测设备是直播会场中的参与者所拥有的多个便携终端，上述参与者的反应是参与者对多个便携终端的用户操作的数量。另外，也可以是，上述检测设备是设置于各个直播会场的摄像机，上述参与者的反应是由摄像机获取到的图像中的动作。另外，也可以是，上述检测设备是设置于各个直播会场的麦克风，上述参与者的反应是由麦克风获取到的声音。进一步地，也可以是，上述检测设备是设置于各个直播会场的温度传感器，上述参与者的反应是由温度传感器获取到的温度的变化。
第二发明提供一种直播传输方法，其针对场所不同的多个直播会场同时进行直播传输。在该直播传输方法中，在第一步骤中，通过将表演者的动作转换为虚拟的出场人物的动作，从而生成虚拟的出场人物的直播影像。在第二步骤中，针对每个直播会场从直播会场侧的检测设备实时地收集在直播会场欣赏直播影像的参与者的反应。在第三步骤中，基于收集到的每个直播会场的参与者的反应，对每个直播会场决定在直播会场中应呈现的呈现效果。在第四步骤中，基于所决定的每个直播会场的呈现效果，对每个直播会场生成呈现效果影像。在第五步骤中，在所生成的直播影像上合成所生成的每个直播会场的呈现效果影像。在第六步骤中，向直播会场传输合成有呈现效果影像的针对每个直播会场的直播影像。
发明效果
根据本发明，通过根据各个直播会场中的参与者的反应而对每个直播会场独立地决定在直播会场中应呈现的呈现效果，从而执行与各个直播会场相适的呈现效果。由此，不会给特定的直播会场的参与者带来不协调感，能够有效地提高同时直播传输中的参与者全员的融入感。
附图说明
图1是本实施方式所涉及的虚拟直播***的框图。
图2是表示直播影像的一个例子的图。
图3是表示呈现效果影像的一个例子的图。
图4是表示合成影像的一个例子的图。
具体实施方式
图1是本实施方式所涉及的虚拟直播***的框图。该虚拟直播***，构成为以与场所不同的多个直播会场A～C网络连接的直播传输***1为主体，针对直播会场A～C，同时传输将虚拟的出场人物(包含出场人物的组合)的歌曲、舞蹈影像化后的直播影像。由此，在多个会场中，实现虚拟的出场人物所进行的直播的同时进行。此外，在本说明书中，“直播会场”广泛地包含进行动画传输、VR传输(VR、virtual reality，虚拟现实)、AR传输(AR、Augmented Reality，增强现实)等的同时直播传输的场所，不仅包含实际存在的会场，还包含线上的会场(不限制参与人数有多少)。
直播传输***1具有运动分析部2、直播影像生成部3、反应收集部4以及呈现效果控制部5。运动分析部2基于在表演出场人物的动作的表演者(演员)上安装的多个运动传感器的输出，对表演者的动作进行分析并数据化。直播影像生成部3通过将数据化后的表演者的动作转换为虚拟的出场人物的动作，从而生成例如图2所示那样的、与虚拟的出场人物相关的动画化的直播影像。该直播影像经由因特网等网络，向直播会场A～C同时传输。
各个直播会场A～C具有输出设备6和检测设备7。在输出设备6中，存在向屏幕投射影像的投影仪等显示设备6a、以扬声器为主体的音响设备6b、以及发出灯光、激光束等的照明设备6c。显示设备6a由影像控制部5a进行控制，音响设备6b由音响控制部5b进行控制，照明设备6c由照明控制部5c按每个直播会场独立地进行控制。
检测设备7直接或间接地对在特定的直播会场中欣赏直播影像的参与者的反应进行检测。在本实施方式中，作为检测设备7，设想有参与者所持有的便携终端7a、对直播会场内的参与者整体进行俯瞰的摄像机7b、对直播会场内的参与者整体的声音进行收集的麦克风7c、对直播会场内的温度进行检测的温度传感器7d，使用它们中的至少一个。
在使用参与者所持有的智能手机等便携终端7a作为检测设备7的情况下，能够基于便携终端7a中的规定的用户操作的数量(例如，敲击数)来检测/推定参与者的反应。在虚拟直播中，在存在来自出场人物的请求的情况下，参与者为了对喜欢的出场人物进行支持，在便携终端7a的应用程序上高速地进行敲击(敲击数的大小表示支持的程度)。因而，可以视为参与者所进行的敲击的总数越多，则直播会场越热烈，即参与者的反应越强烈。
在使用设置于直播会场的摄像机7b作为检测设备7的情况下，能够基于由摄像机7b拍摄到的图像中的动作来检测/推定参与者的反应。一般而言，存在直播会场越热烈，人们的动作、来自发光棒的亮点的动作越大的倾向。因此，对由摄像机7b拍摄到的图像按时间序列进行监测，可以视为图像中的动作(例如光流)越大，则直播会场越热烈，即参与者的反应越强烈。
在使用设置于直播会场的麦克风7c作为检测设备7的情况下，能够基于由麦克风7c获取到的声音的大小来检测/推定参与者的反应。在虚拟直播中，在存在来自出场人物的请求的情况下，参与者以较大的声音发出声援。因而，可以视为参与者所进行的声援的音量越大，则直播会场越热烈，即参与者的反应越强烈。
在使用设置于直播会场的温度传感器7d作为检测设备7的情况下，能够基于由温度传感器7d检测出的温度变化来检测/推定参与者的反应。直播会场越热烈，直播会场越被热气包裹，室温越上升。因此，通过温度传感器7d对室温的上升进行监测，可以视为温度上升的程度越大，则直播会场越热烈，即参与者的反应越强烈。
直播传输***1根据由直播会场A～C侧的检测设备7检测的每个直播会场的参与者的反应，按每个直播会场对呈现效果进行控制。具体而言，反应收集部4针对每个直播会场实时地从各个直播会场A～C内的检测设备7收集在直播会场A～C中欣赏直播影像的参与者的反应。呈现效果控制部5基于由反应收集部4收集到的每个直播会场的参与者的反应，对每个直播会场决定在直播会场A～C中应呈现的呈现效果。作为呈现效果控制部5，设置有影像控制部5a、音响控制部5b以及照明控制部5c。
影像控制部5a生成每个直播会场的呈现效果影像来作为呈现效果，并向直播会场A～C传输分别合成有呈现效果影像的直播影像。图3作为呈现效果影像的一个例子，示出了作为直播影像的背景图层而附加的流星。每单位时间的流星的个数是根据各个直播会场A～C中的参与者的反应而按每个直播会场决定的，参与者的反应越强烈则越多。图4是表示在直播影像中合成有流星的呈现效果影像的合成影像的一个例子的图。对于参与者的反应较强烈的直播会场A，合成图像中的流星的数量较多，由此，进行与非常热烈的参与者相适的呈现。对于参与者的反应为中等程度的直播会场B，合成图像中的流星的数量一般，由此，不会给一般热烈的参与者带来不协调感，而进行与其相应的呈现。对于参与者的反应较平淡的直播会场C，合成图像中的流星的数量较少，由此，不会给热烈程度欠缺的参与者带来不协调感，而进行与其相应的呈现。
此外，在直播影像中合成的呈现效果影像并不限定于流星，能够任意地使用已知的各种影像。例如，在使用燃起的火焰作为呈现效果影像的情况下，也可以根据参与者的反应，可变地控制火焰的大小、势头。另外，呈现效果影像不需要是相同种类的，也可以根据参与者的反应而附加不同种类的呈现效果影像。进一步地，作为影像控制部5a所产生的呈现效果，不仅可以附加作为背景的呈现效果影像，例如也可以如改变出场人物的出汗量那样对直播影像的出场人物自身赋予变化。
音响控制部5b决定每个直播会场的呈现效果声响来作为呈现效果，并向直播会场侧的音响设备6b分别指示该呈现效果的执行。例如，参与者的反应越强烈，则音量越大、或者声源的数量越增加。
照明控制部5c决定每个直播会场的呈现效果照明来作为呈现效果，并向直播会场侧的照明设备6c分别进行指示。例如，参与者的反应越强烈，则越增加灯的发光数、或者缩短闪光灯的间隔、或者增加激光束的根数。
这样，根据本实施方式，根据各个直播会场中的参与者的反应，换言之，根据直播会场中的热烈程度，对每个直播会场独立地决定在直播会场中应呈现的呈现效果。由此，执行与各个直播会场相适的呈现效果。其结果是，不会给特定的直播会场的参与者带来不协调感，在同时进行直播传输的所有直播会场中，能够有效地提高参与者全员的融入感。
附图标记说明
1：直播传输***；
2：运动分析部；
3：直播影像生成部；
4：反应收集部；
5：呈现效果控制部；
5a：影像控制部；
5b：音响控制部；
5c：照明控制部；
6：输出设备；
6a：显示设备；
6b：音响设备；
6c：照明设备；
7：检测设备；
7a：便携终端；
7b：摄像机；
7c：麦克风；
7d：温度传感器。

Claims (4)

1.一种直播传输***，其与场所不同的多个直播会场侧的设备网络连接，对基于在直播传输中的表演者的动作而生成的直播影像进行直播传输，其特征在于，
所述直播传输***具有：
运动分析部，其对表演在直播中的出场人物的动作的表演者的动作进行分析并数据化；
直播影像生成部，其通过将数据化后的所述表演者的动作转换为出场人物的动作而生成所述直播影像；
反应收集部，其通过网络实时地且统合地从分别设置于所述多个直播会场的检测设备收集在被直播传输所述直播影像后的所述多个直播会场各自中的参与者的反应；以及
呈现效果控制部，其基于收集到的每个直播会场的参与者的反应，对每个直播会场独立地决定在所述直播影像中附加的呈现效果，并通过网络将该呈现效果向分别设置于所述多个直播会场的输出设备发送。
2.根据权利要求1所述的直播传输***，其特征在于，
所述呈现效果是针对所述直播影像而独立地图层合成的每个直播会场的呈现效果影像、针对直播会场侧的音响装置而独立地指示的每个直播会场的呈现效果声响、或者针对直播会场侧的照明设备而独立地指示的每个直播会场的呈现效果照明。
3.一种直播传输方法，其由与场所不同的多个直播会场侧的设备网络连接后的直播传输***对基于在直播传输中的表演者的动作而生成的直播影像进行直播传输，其特征在于，
所述直播传输方法具有：
第一步骤，在该第一步骤中，对表演在直播中的出场人物的动作的表演者的动作进行分析并数据化；
第二步骤，在该第二步骤中，通过将数据化后的所述表演者的动作转换为出场人物的动作而生成直播影像，将生成的所述直播影像向所述多个直播会场同时传输；
第三步骤，在该第三步骤中，通过网络实时地且统合地从分别设置于所述多个直播会场的检测设备收集在被直播传输所述直播影像后的所述多个直播会场各自中的参与者的反应；以及
第四步骤，在该第四步骤中，基于收集到的每个直播会场的参与者的反应，对每个直播会场独立地决定在所述直播影像中附加的呈现效果，并通过网络将该呈现效果向分别设置于所述多个直播会场的输出设备发送。
4.根据权利要求3所述的直播传输方法，其特征在于，
所述呈现效果是针对所述直播影像而独立地图层合成的每个直播会场的呈现效果影像、针对直播会场侧的音响装置而独立地指示的每个直播会场的呈现效果声响、或者针对直播会场侧的照明设备而独立地指示的每个直播会场的呈现效果照明。
CN201980093949.1A 2019-03-13 2019-03-13 直播传输***以及直播传输方法 Active CN113767643B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/010165 WO2020183630A1 (ja) 2019-03-13 2019-03-13 ライブ配信システムおよびライブ配信方法

Publications (2)

Publication Number Publication Date
CN113767643A CN113767643A (zh) 2021-12-07
CN113767643B true CN113767643B (zh) 2024-04-05

Family

ID=72426182

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980093949.1A Active CN113767643B (zh) 2019-03-13 2019-03-13 直播传输***以及直播传输方法

Country Status (6)

Country Link
US (1) US20220132224A1 (zh)
EP (1) EP3941080A4 (zh)
JP (1) JPWO2020183630A1 (zh)
KR (1) KR102625902B1 (zh)
CN (1) CN113767643B (zh)
WO (1) WO2020183630A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2023012976A1 (zh) * 2021-08-05 2023-02-09
KR102668144B1 (ko) * 2021-11-29 2024-05-22 김규환 스트리머 및 시청자의 반응에 대응하여 반응하는 캐릭터 생성 장치
CN114613119B (zh) * 2022-01-19 2023-09-19 浙江大丰体育设备有限公司 支持无线群控荧光棒群控的基站
JP2024004193A (ja) * 2022-06-28 2024-01-16 エイベックス・テクノロジーズ株式会社 配信システム
WO2024047815A1 (ja) * 2022-08-31 2024-03-07 日本電信電話株式会社 盛り上がり尤度制御方法、盛り上がり尤度制御装置及び盛り上がり尤度制御プログラム

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5993314A (en) * 1997-02-10 1999-11-30 Stadium Games, Ltd. Method and apparatus for interactive audience participation by audio command
JP2012227712A (ja) * 2011-04-19 2012-11-15 Hoshun Ri 視聴覚システム、リモコン端末、会場機器制御装置、視聴覚システムの制御方法、及び視聴覚システムの制御プログラム
CN104159005A (zh) * 2014-08-22 2014-11-19 苏州乐聚一堂电子科技有限公司 虚拟演唱会观众影像***
CN104423701A (zh) * 2013-08-23 2015-03-18 意美森公司 体育事件的触感使能的观看
WO2015120413A1 (en) * 2014-02-07 2015-08-13 Fanpics, Llc Real-time imaging systems and methods for capturing in-the-moment images of users viewing an event in a home or local environment
CN106303555A (zh) * 2016-08-05 2017-01-04 深圳市豆娱科技有限公司 一种基于混合现实的直播方法、装置和***
US9814987B1 (en) * 2014-12-22 2017-11-14 Amazon Technologies, Inc. Spectator feedback and adaptation
CN107634936A (zh) * 2017-08-24 2018-01-26 广州华多网络科技有限公司 一种直播互动方法、服务器及终端
CN108091192A (zh) * 2017-12-14 2018-05-29 尹子悦 交互式在线教学***及方法、教师***以及学生***
JP2018158046A (ja) * 2017-03-23 2018-10-11 株式会社バンダイナムコエンターテインメント 操作制御システム、キャラクタ上映システム及びプログラム
WO2018199115A1 (ja) * 2017-04-24 2018-11-01 ヤマハ株式会社 演出制御装置、演出システム、及びプログラム
JP6463535B1 (ja) * 2018-04-27 2019-02-06 株式会社コロプラ プログラム、情報処理装置、および方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4432246B2 (ja) * 2000-09-29 2010-03-17 ソニー株式会社 観客状況判定装置、再生出力制御システム、観客状況判定方法、再生出力制御方法、記録媒体
JP5609160B2 (ja) * 2010-02-26 2014-10-22 ソニー株式会社 情報処理システム、コンテンツ合成装置および方法、並びに記録媒体
NZ595638A (en) 2011-10-07 2013-09-27 Let S Powow Ltd Collaboration Extension System
EP2582145A3 (en) * 2011-10-13 2014-07-30 Gface GmbH Interactive remote participation in live entertainment
US10231024B2 (en) * 2013-09-12 2019-03-12 Blizzard Entertainment, Inc. Selectively incorporating feedback from a remote audience
CN104754284B (zh) 2013-12-26 2018-08-10 ***通信集团公司 一种视频会议直播方法、设备及***
US9344681B2 (en) 2014-08-21 2016-05-17 Infocus Corporation Systems and methods of incorporating live streaming sources into a video conference
US9691238B2 (en) * 2015-07-29 2017-06-27 Immersion Corporation Crowd-based haptics
JP6931505B2 (ja) * 2016-02-23 2021-09-08 株式会社ユークス イベント演出システム、その動作方法、およびそのプログラム
JP2018036690A (ja) * 2016-08-29 2018-03-08 米澤　朋子 一対多コミュニケーションシステムおよびプログラム
US20180137425A1 (en) * 2016-11-17 2018-05-17 International Business Machines Corporation Real-time analysis of a musical performance using analytics
JP6775557B2 (ja) * 2018-09-03 2020-10-28 グリー株式会社 動画配信システム、動画配信方法、及び動画配信プログラム

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5993314A (en) * 1997-02-10 1999-11-30 Stadium Games, Ltd. Method and apparatus for interactive audience participation by audio command
JP2012227712A (ja) * 2011-04-19 2012-11-15 Hoshun Ri 視聴覚システム、リモコン端末、会場機器制御装置、視聴覚システムの制御方法、及び視聴覚システムの制御プログラム
CN104423701A (zh) * 2013-08-23 2015-03-18 意美森公司 体育事件的触感使能的观看
WO2015120413A1 (en) * 2014-02-07 2015-08-13 Fanpics, Llc Real-time imaging systems and methods for capturing in-the-moment images of users viewing an event in a home or local environment
CN104159005A (zh) * 2014-08-22 2014-11-19 苏州乐聚一堂电子科技有限公司 虚拟演唱会观众影像***
US9814987B1 (en) * 2014-12-22 2017-11-14 Amazon Technologies, Inc. Spectator feedback and adaptation
CN106303555A (zh) * 2016-08-05 2017-01-04 深圳市豆娱科技有限公司 一种基于混合现实的直播方法、装置和***
JP2018158046A (ja) * 2017-03-23 2018-10-11 株式会社バンダイナムコエンターテインメント 操作制御システム、キャラクタ上映システム及びプログラム
WO2018199115A1 (ja) * 2017-04-24 2018-11-01 ヤマハ株式会社 演出制御装置、演出システム、及びプログラム
CN107634936A (zh) * 2017-08-24 2018-01-26 广州华多网络科技有限公司 一种直播互动方法、服务器及终端
CN108091192A (zh) * 2017-12-14 2018-05-29 尹子悦 交互式在线教学***及方法、教师***以及学生***
JP6463535B1 (ja) * 2018-04-27 2019-02-06 株式会社コロプラ プログラム、情報処理装置、および方法

Also Published As

Publication number Publication date
JPWO2020183630A1 (ja) 2021-12-02
KR20210135520A (ko) 2021-11-15
EP3941080A1 (en) 2022-01-19
US20220132224A1 (en) 2022-04-28
CN113767643A (zh) 2021-12-07
EP3941080A4 (en) 2023-02-15
KR102625902B1 (ko) 2024-01-17
WO2020183630A1 (ja) 2020-09-17

Similar Documents

Publication Publication Date Title
CN113767643B (zh) 直播传输***以及直播传输方法
US20230245395A1 (en) Re-creation of virtual environment through a video call
CN110337318B (zh) 混合现实装置中的虚拟和真实对象记录
US10593167B2 (en) Crowd-based haptics
JP4716083B2 (ja) 情報処理装置および方法、記録媒体、並びにプログラム
US8990842B2 (en) Presenting content and augmenting a broadcast
CN105306868A (zh) 视频会议***及方法
US9473810B2 (en) System and method for enhancing live performances with digital content
JP7465019B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP2018163461A (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP2015125647A (ja) 情報通信プログラム、情報通信装置及び配信サーバ
JP6688378B1 (ja) コンテンツ配信システム、配信装置、受信装置及びプログラム
JP4501037B2 (ja) 通信制御システムと通信装置および通信方法
JP2015185019A (ja) 情報通信装置の外部接続デバイス、情報通信装置の外部接続デバイス用プログラム
JP7442979B2 (ja) カラオケシステム
JP7188831B2 (ja) ライブ配信システムおよびライブ配信方法
US20230031160A1 (en) Information processing apparatus, information processing method, and computer program
Knudsen Synchronous virtual spaces–transparent technology for producing a sense of presence at a distance
WO2022201944A1 (ja) 配信システム
JP2011228998A (ja) 遠隔会議装置、遠隔会議方法、および遠隔会議プログラム
JP2022134638A (ja) 画像表示システム、表示制御方法、発光制御方法、及びプログラム
JP2023182937A (ja) 反応管理装置及びプログラム
JP2022066666A (ja) ライブイベント演出補助システム
JP2020108177A (ja) コンテンツ配信システム、配信装置、受信装置及びプログラム
JP2023123389A (ja) コミュニケーションシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant