CN111200745A - 视点信息采集方法、装置、设备和计算机存储介质 - Google Patents

视点信息采集方法、装置、设备和计算机存储介质 Download PDF

Info

Publication number
CN111200745A
CN111200745A CN201911418595.1A CN201911418595A CN111200745A CN 111200745 A CN111200745 A CN 111200745A CN 201911418595 A CN201911418595 A CN 201911418595A CN 111200745 A CN111200745 A CN 111200745A
Authority
CN
China
Prior art keywords
viewpoint
information
viewpoint information
terminal
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911418595.1A
Other languages
English (en)
Inventor
尚家乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Inc
Original Assignee
Goertek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Inc filed Critical Goertek Inc
Priority to CN201911418595.1A priority Critical patent/CN111200745A/zh
Publication of CN111200745A publication Critical patent/CN111200745A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42221—Transmission circuitry, e.g. infrared [IR] or radio frequency [RF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Analytical Chemistry (AREA)
  • Biophysics (AREA)
  • Neurosurgery (AREA)
  • Biomedical Technology (AREA)
  • Chemical & Material Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种视点信息采集方法，包括以下步骤：接收终端发送的数据采集指令，通过预置的传感器采集用户的位姿信息，处理所述位姿信息得到视点信息，将所述视点信息发送至终端，以使所述终端根据所述视点信息调整视频图像。本发明还公开了一种视点信息采集装置、设备和计算机存储介质。本发明通过使用TWS耳机采集、处理用户位姿信息，得到可用于多视点视频调整的视点信息，打破了传统获取视点信息的方法需要借助复杂、昂贵的外部辅助设备的限制。

Description

视点信息采集方法、装置、设备和计算机存储介质
技术领域
本发明涉及无线网络及视频处理领域，尤其涉及视点信息采集方法、装置、设备和计算机存储介质。
背景技术
视点跟随技术可以让视频动画根据用户的位置姿态信息进行实时视点的变化，使得视频动画中的镜头视角与用户的头部位置姿态保持同步，从而让用户产生身临其境的沉浸感。
目前视点信息采集实现方法多依赖于成本高昂、构造复杂的外部辅助定位设备，其原理是通过将辅助定位设备采集到的用户位姿信息传输到成本较高的主机电脑上，主机电脑在根据视点信息处理视频信息并输出显示，这样的方法存在成本高、实现复杂的问题。
发明内容
本发明的主要目的在于提供一种视点信息采集方法、装置、设备和计算机存储介质，旨在解决当前实现视点信息采集的辅助设备使用复杂、成本昂贵的技术问题。
为实现上述目的，本发明提供视点信息采集方法，所述视点信息采集方法应用在TWS(True Wireless Stereo，无线立体声)耳机，所述视点信息采集方法包括以下步骤：
接收终端发送的数据采集指令；
通过预置的传感器采集用户的位姿信息，处理所述位姿信息得到视点信息；
将所述视点信息发送至终端，以使所述终端根据所述视点信息调整视频图像。
在一实施例中，所述接收终端发送的数据采集指令的步骤，包括：
检测用户是否已佩戴；
在用户已佩戴时，执行所述通过预置的传感器采集用户的位姿信息，处理所述位姿信息得到视点信息的步骤。
在一实施例中，所述通过预置的传感器采集用户的位姿信息，处理所述位姿信息得到视点信息的步骤，包括：
通过预置的传感器采集预设X、Y和Z三轴上的加速度信息；
根据所述加速度信息计算位姿信息，其中，所述位姿信息包括：横滚角、俯仰角和偏航角；
将所述横滚角、所述俯仰角和所述偏航角转化为旋转矩阵，将所述旋转矩阵作为视点信息。
在一实施例中，所述通过预置的传感器采集预设X、Y和Z三轴上的加速度信息的步骤，包括：
在采集时间到达预设窗口时间时，将在所述预设窗口时间内采集的数据进行滤波处理生成加速度信息。
此外，为实现上述目的，本发明提供一种视点信息采集方法，所述视点信息采集方法应用在终端，所述视点信息采集方法包括以下步骤：
在检测到多视点视频播放时，发送数据采集指令至TWS耳机；
接收TWS耳机发送的视点信息，处理所述视点信息得到实际视点位置；
根据所述实际视点位置渲染视频画面，将所述渲染后的视频画面输出显示。
在一实施例中，所述处理所述视点信息得到实际视点位置的步骤，包括：
提取视点信息中的旋转矩阵；
将所述旋转矩阵输入预设公式，获得实际视点位置，其中，预设公式为：Pworld＝RG-sensorRoffsetPuser+Toffset，所述Pworld为实际视点位置，RG-sensor为旋转矩阵，Puser、Roffset和Toffset为预设计算参数。
此外，为实现上述目的，本发明还提供一种视点信息采集***，所述视点信息采集***包含TWS耳机和终端，所述视点信息采集***包括以下步骤：
终端在检测到多视点视频播放时，发送数据采集指令至TWS耳机；
TWS耳机接收终端发送的数据采集指令；
TWS耳机通过预置的传感器采集用户的位姿信息，处理所述位姿信息得到视点信息；
TWS耳机将所述视点信息发送至终端，以使所述终端根据所述视点信息调整视频图像；
终端接收TWS耳机发送的视点信息，处理所述视点信息得到实际视点位置；
终端根据所述实际视点位置渲染视频画面，将所述渲染后的视频画面输出显示。
此外为实现上述目的，本发明还提供一种视点信息采集装置，所述视点信息采集装置包括：
接收模块：用于接收终端发送的数据采集指令；
采集处理模块：用于通过预置的传感器采集用户的位姿信息，处理所述位姿信息得到视点信息；
发送模块：用于将所述视点信息发送至终端。
此外，为实现上述目的，本发明还提供一种视点信息采集设备，所述视点信息采集设备包含TWS耳机和终端：
所述TWS耳机包括：第一存储器、第一处理器，及存储在所述第一存储器上并可在所述第一处理器上运行的计算机程序，其中，所述计算机程序被所述第一处理器执行时实现如上述的视点信息采集方法步骤。
所述终端包括：第二存储器、第二处理器，及存储在所述第二存储器上并可在所述第二处理器上运行的计算机程序，其中，所述计算机程序被所述第二处理器执行时实现如上述的视点信息采集方法步骤。
此外，为实现上述目的，本发明还提供计算机存储介质；
所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的视点信息采集方法的步骤。
本发明实施例提出的一种视点信息采集方法、装置、设备和计算机存储介质，通过使用TWS耳机通过预置的传感器采集用户的位姿信息，并对所述位姿信息进行处理计算的到视点信息，以将所述视点信息发送至终端，使得终端根据视点信息进行动画视点调整，实现视点跟随，本发明的技术方案中不借助复杂、昂贵的辅助设备实现，便捷、低成本地实现了视点信息的采集。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的装置结构示意图；
图2为本发明视点信息采集方法第一实施例的流程示意图；
图3为本发明视点信息采集方法第五实施例的流程示意图；
图4为本发明视点信息采集方法的设备交互示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
由于目前视点信息采集的实现方法多依赖于成本高昂、构造复杂的外部辅助定位设备，其通过辅助定位设备采集用户的位姿信息，并将所述位姿信息传输至成本较高的主机电脑上进行处理，这样的方法成本高昂，并且通常受制于设备只能在固定地点操作，无法便捷地实现。
本发明提供一种解决方案，通过使用TWS耳机预置的传感器采集用户的位姿信息，并对所述位姿信息进行处理计算的到视点信息，以将所述视点信息发送至终端进行视频画面渲染以调整视频画面视点，从而无需如传统方法一样借助复杂、昂贵的辅助设备实现，便捷、低成本地实现了视点跟随。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的TWS耳机(又叫视点信息采集设备，其中，视点信息采集设备可以是由单独的视点信息采集装置构成，也可以是由其他装置与视点信息采集装置组合形成)结构示意图。
如图1所示，该TWS耳机可以包括：处理器1001，例如，中央处理器CentralProcessing Unit，CPU)，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括输入单元比如耳机按键，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真WIreless-FIdelity，WIFI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如，磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地，TWS耳机还可以包括传感器、音频电路、蓝牙模块；输入单元，比显示屏，触摸屏；网络接口可选除无线接口中除蓝牙外，WIFI、探针等等。其中，传感器比如光传感器、动作传感器以及其他传感器。当然，TWS耳机还可配置陀螺仪、红外线传感器等其他传感器，在此不再赘述。
本领域技术人员可以理解，图1中示出的TWS耳机结构并不构成对TWS耳机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，该计算机软件产品存储在一个计算机存储介质(计算机存储介质：又叫计算机存储介质、计算机介质、可读介质、可读计算机存储介质、计算机可读计算机存储介质或者直接叫介质等，计算机存储介质可以是非易失性可读计算机存储介质，如RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法，作为一种计算机存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及计算机程序。
在图1所示的TWS耳机中，网络接口1004主要用于连接终端，与终端进行数据通信；而处理器1001可以用于调用存储器1005中存储的计算机程序，并执行本发明以下实施例提供的视点信息采集方法中的步骤。
参照图2，在本发明一种视点信息采集方法的第一实施例中，所述视点信息采集方法包括：
步骤S110，接收终端发送的数据采集指令。
本实施例的方法应用于TWS耳机，所述TWS耳机基于TWS技术原理，所述TWS技术原理是将扬声器分为了主扬声器和从属扬声器，主扬声器是能够接收智能手机、笔记本电脑等音源设备传输的特定协议的音频以及流媒体控制信号，并将音频传输给其他TWS设备的扬声器。从属扬声器是指能够从主扬声器接收音频的扬声器。TWS技术使得特定协议的音频可以从主扬声器传输到从扬声器，实现音频在两个分离的扬声器中同步播放，进而实现立体声效果，应用于移动场景的TWS耳机正在整合更多传感装置成为一个获取用户信息输入的基础入口。
作为用户信息采集、处理设备的TWS耳机，TWS耳机接收终端发送的数据采集指令，可以理解的是，TWS耳机与终端的信息传输需要以连接为前提，本实施例中TWS耳机与终端的连接方式可以是蓝牙、WIFI等无线连接，在此不作具体限定，所述终端是具备与所述TWS耳机通信、数据处理、数据存储、数据输出等功能的终端，所述终端在此不作具体限定，可以是智能手机、平板电脑等自身带有显示装置的设备，也可以是PC主机等自身并不具有显示装置，但可以通过有线或者是无线连接至外置显示装置以将处理后的动画数据输出显示的设备。
TWS耳机在与终端建立连接后，可以理解的是，此时TWS耳机存在用户已佩戴或是未佩戴两种情形，因此需要对用户佩戴状态进行判断，所述佩戴状态的判断方法将在后续实施例中引出，在此不作赘述，TWS耳机接收终端发送的数据采集指令，所述数据采集指令中包含与TWS耳机共同协定的特定指令帧，TWS耳机可从所述数据采集指令中解析获取所述特定指令帧，并根据所述特定指令帧执行操作。
步骤S120，通过预置的传感器采集用户的位姿信息，处理所述位姿信息得到视点信息。
TWS耳机在接收终端发送的数据采集指令后，从所述数据采集指令中解析获取所述特定指令帧，并根据所述特定指令帧执行数据采集操作，采集TWS耳机用户(佩戴者)的位姿信息，位姿信息描述用户的头部动作的信息。
具体地：本实施例所述的TWS耳机中预置的传感器，预置的传感器为可采集用户位姿信息的传感器，可以是加速度传感器(G-sensor)或陀螺仪等能够在用户佩戴TWS耳机时采集用户动作变化信息的传感器，可以是单个工作的传感器或是多个协同工作以获取更为准确信息的传感器，本实施例中以加速度传感器为例，TWS技术中区分主扬声器和副扬声器，对应TWS耳机中的主耳机与副耳机，传统方法中一般将传感器内置于主耳机中，以利于与其他设备直接通信，本实施例中对传感器内置于主耳机或副耳机不作具体限定，以加速度传感器内置于主耳机为例。
TWS耳机与终端建立通信连接并佩戴至用户耳部后，TWS耳机接收到终端发送的数据采集指令，TWS耳机解析所述数据采集指令并执行，加速度传感器采集用户动作时的X、Y、Z三轴的加速度信息缓存至FIFO(First In First Out，先进先出)通道，所述FIFO通道是由寄存器或者RAM(Random Access Memory，随机存取存储器)实现的存储结构，FIFO通道内的数据采用先入先出的读写方式，当下游无法及时处理上游输出的数据时，容易造成采集数据的丢失，而加速度传感器采集的数据量大，且下游计算处理较为复杂，因此使用FIFO通道暂时存储加速度传感器采集的数据。
在所述加速度传感器的数据采集时间到达窗口时间(窗口时间是指用户设定的采集时间长度)时，对窗口时间内采集的三轴加速度信息进行预处理，加速度传感器采集的数据中往往存在一部分数据远偏离于正常值，这部分远偏离于正常值的数据如同信号中噪声，若在计算时包含在内会对计算结果造成较大偏差，因此需要所述加速度传感器采集的数据进行预处理，所述预处理包含但不限于滤波、平滑等处理方式，由于视点信息采集的实时性特点，要求动画需要在用户视点移动时及时调整并输出显示，可以理解，若所述加速度传感器的数据采集时间较长，后续动画调整输出显示会有较大滞后，因此加速度传感器的每次数据采集时间以一个较短的窗口时间为限，加速度传感器采集窗口时间内的数据通过处理后得到视点信息。
步骤S130，将所述视点信息发送至终端，以使所述终端根据所述视点信息调整视频图像。
TWS耳机在本实施例中作为用户信息的采集设备，发挥着信息采集和部分数据处理的功能，为避免TWS耳机计算压力过大和贴合日常使用场景，视频画面的调整操作需要在终端实现，因此TWS耳机在计算反映用户动作的视点信息后，将所述用户动作的视点信息发送至终端，交由终端完成对视频画面的调整和输出显示。
在本实施例中，通过使用TWS耳机内置加速度传感器的方式，在用户佩戴TWS耳机时即可通过内置的加速度传感器采集用户的位姿信息，并根据所述位姿信息处理、计算得到反映用户的视点移动的视点信息，将所述视点信息发送至终端以使所述终端根据所述视点信息调整视频图像，打破了传统视点信息采集方法中使用复杂、昂贵的外部辅助定位设备的方法，显著降低了视点信息采集的实现成本，提升了实现视点信息采集的便捷性。
进一步地，在本发明第一实施例的基础上，提出了本发明视点信息采集方法的第二实施例。
本实施例是第一实施中步骤S110后置步骤，所述接收终端发送的数据采集指令的步骤之后，包括：
步骤a1，检测用户是否已佩戴。
作为用户信息采集、处理设备的TWS耳机接收终端发送的数据采集指令，可以理解的是，两个终端的信息传输需要以建立连接为前提，本实施例中对于TWS耳机与终端的连接方式不作具体限定，可以是蓝牙、WIFI等无线连接，由于TWS耳机体积有限，电池容量同样有所限制，在TWS耳机未与终端建立连接时，通信模块部分保持唤醒，以及时反应终端发送的连接请求。
在TWS耳机与终端建立连接后，可以理解的是，此时的TWS耳机存在用户未佩戴或者是已佩戴两种情形，因此需要进行佩戴状态检测，所述佩戴状态检测通过传感器实现，所述传感器种类在此不作具体限定，可以是电容接近式传感器、光电接近式传感器、红外传感器等，本实施例以电容接近式传感器为例，在所述接近式传感器检测到已佩戴时，TWS耳机可能存在如用户拿在手中、装在口袋中等情况，所述情况会导致TWS耳机采集错误的用户动作信息，基于两TWS耳机在佩戴后具有较为固定的相对位置，通过两TWS耳机内置的加速度传感器配合电容接近式传感器共同检测，可以有效避免特殊情况。
步骤a2，在用户已佩戴时，执行所述通过预置的传感器采集用户的位姿信息，处理所述位姿信息得到视点信息的步骤。
TWS耳机在检测到用户已佩戴时，执行所述通过预置的传感器采集用户的位姿信息，处理所述位姿信息得到视点信息的步骤。
在本实施例中，通过在TWS耳机采集数据之后判断TWS耳机的佩戴状态，确保进行数据采集时TWS耳机正确地佩戴至用户耳内，提高数据采集的准确性。
进一步地，在本发明上述实施例的基础上，提出了本发明视点信息采集的第三实施例。
本实施例是第一实施例中步骤S120的细化，所述通过预置的传感器采集用户的位姿信息，处理所述位姿信息得到视点信息的步骤，包括：
步骤b1，通过预置的传感器采集预设X、Y和Z三轴上的加速度信息。
在用户产生动作时，TWS耳机通过内置加速度传感器采集预设X、Y、Z轴上的加速度信息，所述预设X、Y、Z轴为用户视点坐标系中的三轴，所述加速度信息是传感器采集的未经处理的原始数据，所述原始数据中包含部分远偏离于正常数据的异常数据，将加速度信息缓存至FIFO通道，FIFO通道内的数据采用先入先出的读写方式，当下游无法及时处理上游输出的数据时，容易造成采集数据的丢失，而加速度传感器采集的数据量较大，且下游计算处理较为复杂，因此使用FIFO通道暂时存储加速度传感器采集的原始数据。
步骤b2，根据所述加速度信息计算位姿信息，其中，所述位姿信息包括：横滚角、俯仰角和偏航角。
TWS耳机根据所述加速度信息计算位姿信息，具体的，所述位姿信息包含横滚角、俯仰角和偏航角。
使用数学方法如四元法、一阶互补滤波算法、卡尔曼滤波算法等可由加速度信息计算得到，俯仰角、偏航角和滚动角，所述俯仰角、偏航角、滚动角反映了用户视点中心坐标相对于世界坐标系的关系。
步骤b3，将所述横滚角、所述俯仰角和所述偏航角转化为旋转矩阵，将所述旋转矩阵作为视点信息。
将所述横滚角，所述俯仰角，所述偏航角转化为旋转矩阵，例如，在预设坐标系内，X、Y、Z为预设坐标系的三轴，坐标系内存在一点P，所述P点可视为绕X、Y、Z三轴旋转一定角度得到的点，如P点绕X轴旋转α角，绕Y轴旋转β角，绕Z轴旋转θ角，TWS耳机将旋转矩阵作为视点信息。
则P点绕X旋转α角的旋转矩阵为Rx(α)，所述
Figure BDA0002351809980000091
则P点绕Y旋转β角的旋转矩阵为Ry(β)，所述
Figure BDA0002351809980000092
则P点绕Y旋转β角的旋转矩阵为Ry(β)，所述
Figure BDA0002351809980000093
则P点的旋转矩阵为R，所述
Figure BDA0002351809980000094
本实施例中耳机将位姿信息处理得到视点信息，并发送至终端，减少了终端的数据操作，使得数据处理更加规范便捷。
进一步地，在本发明上述实施例的基础上，提出了本发明视点信息采集的第四实施例。
本实施例是第三实施例中步骤b1的细化，所述通过预置的传感器采集预设X、Y和Z三轴上的加速度信息的步骤，包括：
步骤c1，在采集时间到达预设窗口时间时，将在所述预设窗口时间内采集的数据进行滤波处理生成加速度信息。
由于视点信息采集的实时性特点，要求动画需要在用户视点移动时及时调整并输出显示，可以理解，若所述加速度传感器的数据采集时间较长，后续动画调整输出显示会有较大滞后，因此加速度传感器的数据采集时间以一个较短的窗口时间为范围进行采集，在加速度传感器的数据采集时间到达窗口时间时，对窗口时间内采集数据进行预处理，加速度传感器采集的数据往往存在部分远偏离于正常值，这部分远偏离于正常值的数据如同信号中噪声，若在计算时包含在内会对计算结果造成较大偏差，因此需要所述加速度传感器采集的数据进行预处理，所述数据预处理至少包含滤波操作，数字滤波方法有限幅滤波、中值滤波、加权平均滤波、滑动平均滤波等方法，在此不作具体限定，窗口时间内采集的数据进行预处理操作后生成加速度信息。
在本实施例通过划分时间窗口对数据进行采集的方法，提升加速度信息生成的实时性，进而提升终端视频画面调整的实时性，通过滤波等数据预处理方法，去处数据中的噪声数据，提升数据采集的准确性。
参照图3，在本发明一种视点信息采集方法的第五实施例中，所述视点信息采集方法应用于终端，所述视点信息采集方法包括：
步骤S210，在检测到多视点视频播放时，发送数据采集指令至TWS耳机。
用户在观看由终端输出显示的多视点视频(多视点视频是指画面可以根据用户视点改变的视频)，通过主动方式，如用户点击特定功能按钮，终端发送数据采集指令至TWS耳机，或是其余方式，如终端自行检测正在播放的视频是否为多视点视频，若所述正在播放的视频为多视点视频，则发送数据采集指令至TWS耳机，以使TWS耳机通过预置的传感器采集用户的位姿信息。
步骤S220，接收TWS耳机发送的视点信息，处理所述视点信息得到实际视点位置。
终端接收TWS耳机发送的视点信息，从所述视点信息中提取旋转矩阵，并进行转换计算得到实际视点位置，现实应用中，由于用户视点中心坐标系与世界坐标系不相同，因此在用户视点中心坐标系内的用户视点位姿无法直接在世界坐标系中体现，需要经过相近的转换计算才可将所述用户视点中心坐标系内的实际视点位置。
步骤S230，根据所述实际视点位置渲染视频画面，将所述渲染后的视频画面输出显示。
终端根据计算得到的所述的实际视点位置，对视频画面进行渲染，生成渲染后的视频画面，再将所述渲染后的视频画面输出显示，以不带有有显示功能的终端为例，如图4所示，终端在根据实际视点信息对视频画面进行渲染，生成渲染后的视频画面后，通过WIFI、Type-C等方式将渲染后的视频画面输出值外置设备进行显示。
所述输出显示可在终端自身的显示器进行输出，或是输出终端通过与外部显示器连接输出。
在本实施例中，终端通过发送数据采集指令至TWS终端、接收TWS终端返回的视点信息，处理所述视点信息得到实际视点，并使用所述实际视点对视频画面进行相应渲染和输出显示，在终端即完成了接收TWS耳机数据并使用所述数据对视频画面进行调整的操作，低成本、便捷地实现了多视点视频画面的调整和输出。
进一步地，在本发明第五实施例的基础上，提出了本发明视点信息采集的第六实施例。
本实施例是第五实施例中步骤S220的细化，所述接收TWS耳机发送的视点信息，处理所述视点信息得到实际视点位置的步骤，包括：
步骤d1，提取视点信息中的旋转矩阵。
步骤d2，将所述旋转矩阵输入预设公式，获得实际视点位置，其中，预设公式为：Pworld＝RG-sensorRoffsetPuser+Toffset，所述Pworld为实际视点位置，RG-sensor为旋转矩阵，Puser、Roffset和Toffset为预设计算参数。
终端提取视点信息中的旋转矩阵，现实应用中，由于用户视点中心坐标系与世界坐标系不相同，因此在用户视点中心坐标系内的用户视点位姿无法直接在世界坐标系中体现，需要经过相近的转换计算才可将所述用户视点中心坐标系内的实际视点位置，实际视点与旋转矩阵存在如公式Pworld＝RG-sensorRoffsetPuser+Toffset所述的关系，公式中所述RG-sensor为旋转矩阵，Puser、Roffset和Toffset为预设计算参数利用所述公式即可得出用于调整动画视点的实际视点。
在本实施例中，终端通过提取视点信息中的旋转矩阵，计算实际视点位置，以便后续将所述视点位置应用于调整多视点视频画面，与传统视点信息采集方法相比，将交由成本较高的主机电脑处理的数据交由终端处理，低成本、便捷地实现了实际视点的获取操作。
此外，本发明还提出一种视点信息采集***，所述***包含TWS耳机和终端，所述视点信息采集***包括以下步骤：
终端在检测到多视点视频播放时，发送数据采集指令至TWS耳机；
TWS耳机接收终端发送的数据采集指令；
TWS耳机通过预置的传感器采集用户的位姿信息，处理所述位姿信息得到视点信息；
TWS耳机将所述视点信息发送至终端，以使所述终端根据所述视点信息调整视频图像；
终端接收TWS耳机发送的视点信息，处理所述视点信息得到实际视点位置；
终端根据所述实际视点位置渲染视频画面，将所述渲染后的视频画面输出显示。
此外，本发明实施例还提出一种视点信息采集装置，所述视点信息采集装置包括：
接收模块：用于接收终端发送的数据采集指令；
采集处理模块：用于通过预置的传感器采集用户的位姿信息，处理所述位姿信息得到视点信息；
发送模块：用于将所述视点信息发送至终端。
此外，本发明还提出一种视点信息采集设备，所述视点信息采集设备包含TWS耳机和终端：
所述TWS耳机包括：第一存储器、第一处理器，及存储在所述第一存储器上并可在所述第一处理器上运行的计算机程序，其中，所述计算机程序被所述第一处理器执行时实现如上述的视点信息采集方法步骤。
所述终端包括：第二存储器、第二处理器，及存储在所述第二存储器上并可在所述第二处理器上运行的计算机程序，其中，所述计算机程序被所述第二处理器执行时实现如上述的视点信息采集方法步骤。
此外，本发明实施例还提出一种计算机存储介质。
所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例提供的视点信息采集方法中的操作。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体/操作/对象与另一个实体/操作/对象区分开来，而不一定要求或者暗示这些实体/操作/对象之间存在任何这种实际的关系或者顺序；术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的。可以根据实际的需要选择中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个计算机存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种视点信息采集方法，其特征在于，所述视点信息采集方法应用于TWS耳机，所述视点信息采集方法包括以下步骤：
接收终端发送的数据采集指令；
通过预置的传感器采集用户的位姿信息，处理所述位姿信息得到视点信息；
将所述视点信息发送至终端，以使所述终端根据所述视点信息调整视频图像。
2.如权利要求1所述的视点信息采集方法，其特征在于，所述接收终端发送的数据采集指令的步骤之后，包括：
检测用户是否已佩戴；
在用户已佩戴时，执行所述通过预置的传感器采集用户的位姿信息，处理所述位姿信息得到视点信息的步骤。
3.如权利要求1所述的视点信息采集方法，其特征在于，所述通过预置的传感器采集用户的位姿信息，处理所述位姿信息得到视点信息的步骤，包括：
通过预置的传感器采集预设X、Y和Z三轴上的加速度信息；
根据所述加速度信息计算位姿信息，其中，所述位姿信息包括：横滚角、俯仰角和偏航角；
将所述横滚角、所述俯仰角和所述偏航角转化为旋转矩阵，将所述旋转矩阵作为视点信息。
4.如权利要求3所述的视点信息采集方法，其特征在于，所述通过预置的传感器采集预设X、Y和Z三轴上的加速度信息的步骤，包括：
在采集时间到达预设窗口时间时，将在所述预设窗口时间内采集的数据进行滤波处理生成加速度信息。
5.一种视点信息采集方法，其特征在于，所述视点信息采集方法应用于终端，所述视点信息采集方法包括以下步骤：
在检测到多视点视频播放时，发送数据采集指令至TWS耳机；
接收TWS耳机发送的视点信息，处理所述视点信息得到实际视点位置；
根据所述实际视点位置渲染视频画面，将所述渲染后的视频画面输出显示。
6.如权利要求5所述的视点信息采集方法，其特征在于，所述处理所述视点信息得到实际视点位置的步骤，包括：
提取视点信息中的旋转矩阵；
将所述旋转矩阵输入预设公式，获得实际视点位置，其中，预设公式为：Pworld＝RG- sensorRoffsetPuser+Toffset，所述Pworld为实际视点位置，RG-sensor为旋转矩阵，Puser、Roffset和Toffset为预设计算参数。
7.一种视点信息采集***，其特征在于，所述视点信息采集***包含TWS耳机和终端，所述视点信息采集***包括以下步骤：
终端在检测到多视点视频播放时，发送数据采集指令至TWS耳机；
TWS耳机接收终端发送的数据采集指令；
TWS耳机通过预置的传感器采集用户的位姿信息，处理所述位姿信息得到视点信息；
TWS耳机将所述视点信息发送至终端，以使所述终端根据所述视点信息调整视频图像；
终端接收TWS耳机发送的视点信息，处理所述视点信息得到实际视点位置；
终端根据所述实际视点位置渲染视频画面，将所述渲染后的视频画面输出显示。
8.一种视点信息采集装置，其特征在于，所述视点信息采集装置包括：
接收模块：用于接收终端发送的数据采集指令；
采集处理模块：用于通过预置的传感器采集用户的位姿信息，处理所述位姿信息得到视点信息；
发送模块：用于将所述视点信息发送至终端。
9.一种视点信息采集设备，其特征在于，所述视点信息采集设备包含TWS耳机和终端：
所述TWS耳机包括：第一存储器、第一处理器，及存储在所述第一存储器上并可在所述第一处理器上运行的计算机程序，其中，所述计算机程序被所述第一处理器执行时实现如权利要求1至4中任一项所述的视点信息采集方法步骤。
所述终端包括：第二存储器、第二处理器，及存储在所述第二存储器上并可在所述第二处理器上运行的计算机程序，其中，所述计算机程序被所述第二处理器执行时实现如权利要求5至6中任一项所述的视点信息采集方法步骤。
10.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的视点信息采集方法的步骤。
CN201911418595.1A 2019-12-31 2019-12-31 视点信息采集方法、装置、设备和计算机存储介质 Pending CN111200745A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911418595.1A CN111200745A (zh) 2019-12-31 2019-12-31 视点信息采集方法、装置、设备和计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911418595.1A CN111200745A (zh) 2019-12-31 2019-12-31 视点信息采集方法、装置、设备和计算机存储介质

Publications (1)

Publication Number Publication Date
CN111200745A true CN111200745A (zh) 2020-05-26

Family

ID=70747499

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911418595.1A Pending CN111200745A (zh) 2019-12-31 2019-12-31 视点信息采集方法、装置、设备和计算机存储介质

Country Status (1)

Country Link
CN (1) CN111200745A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022161026A1 (zh) * 2021-01-28 2022-08-04 Oppo广东移动通信有限公司 动作识别方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1604015A (zh) * 2003-09-30 2005-04-06 佳能株式会社 数据转换方法和装置以及姿势测量装置
CN102499616A (zh) * 2011-09-28 2012-06-20 天津大学 基于加速度传感器的内窥镜探头三维磁场定位***及定位方法
CN103000161A (zh) * 2012-12-14 2013-03-27 北京小米科技有限责任公司 一种图像显示方法、装置和一种智能手持终端
CN107493531A (zh) * 2017-08-04 2017-12-19 歌尔科技有限公司 一种头部姿态检测方法、装置和耳机
CN107533233A (zh) * 2015-03-05 2018-01-02 奇跃公司 用于增强现实的***和方法
US20180124385A1 (en) * 2016-10-28 2018-05-03 Sharp Laboratories Of America, Inc. Visual communication and information display device with multiple view point rendering
CN109478288A (zh) * 2016-07-15 2019-03-15 武礼伟仁株式会社 虚拟现实***及信息处理***

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1604015A (zh) * 2003-09-30 2005-04-06 佳能株式会社 数据转换方法和装置以及姿势测量装置
CN102499616A (zh) * 2011-09-28 2012-06-20 天津大学 基于加速度传感器的内窥镜探头三维磁场定位***及定位方法
CN103000161A (zh) * 2012-12-14 2013-03-27 北京小米科技有限责任公司 一种图像显示方法、装置和一种智能手持终端
CN107533233A (zh) * 2015-03-05 2018-01-02 奇跃公司 用于增强现实的***和方法
CN109478288A (zh) * 2016-07-15 2019-03-15 武礼伟仁株式会社 虚拟现实***及信息处理***
US20180124385A1 (en) * 2016-10-28 2018-05-03 Sharp Laboratories Of America, Inc. Visual communication and information display device with multiple view point rendering
CN107493531A (zh) * 2017-08-04 2017-12-19 歌尔科技有限公司 一种头部姿态检测方法、装置和耳机

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022161026A1 (zh) * 2021-01-28 2022-08-04 Oppo广东移动通信有限公司 动作识别方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
JP2020532914A (ja) 仮想オーディオのスイートスポット適応法
CN112270754B (zh) 局部网格地图构建方法及装置、可读介质和电子设备
CN109685915B (zh) 一种图像处理方法、装置及移动终端
CN111784765B (zh) 物体测量、虚拟对象处理方法及装置、介质和电子设备
CN111147743B (zh) 摄像头控制方法及电子设备
CN111970625B (zh) 录音方法和装置、终端和存储介质
WO2014185170A1 (ja) 画像処理装置、画像処理方法およびプログラム
CN111724412A (zh) 确定运动轨迹的方法、装置及计算机存储介质
CN110555815B (zh) 一种图像处理方法和电子设备
CN115002295A (zh) 图像数据同步方法、装置、终端设备及存储介质
CN111200745A (zh) 视点信息采集方法、装置、设备和计算机存储介质
CN108401194B (zh) 时间戳确定方法、装置和计算机可读存储介质
WO2023124972A1 (zh) 显示状态切换方法、装置及***、电子设备、存储介质
CN109688064B (zh) 数据传输方法、装置、电子设备和存储介质
CN111416948A (zh) 一种图像处理方法及电子设备
CN117311490A (zh) 腕戴设备控制方法及相关***、存储介质
CN110839108A (zh) 一种降噪方法及电子设备
WO2023108016A1 (en) Augmented reality using a split architecture
CN112927718B (zh) 感知周围环境的方法、装置、终端和存储介质
CN115361636A (zh) 声音信号调整方法、装置、终端设备及存储介质
CN110830724B (zh) 一种拍摄方法及电子设备
CN110708582B (zh) 同步播放的方法、装置、电子设备及介质
CN109951341B (zh) 内容获取方法、装置、终端及存储介质
CN110443841B (zh) 地面深度的测量方法、装置及***
CN112558302B (zh) 一种用于确定眼镜姿态的智能眼镜及其信号处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200526