CN115460463A - 视频播放装置及其控制方法 - Google Patents

视频播放装置及其控制方法 Download PDF

Info

Publication number
CN115460463A
CN115460463A CN202211213615.3A CN202211213615A CN115460463A CN 115460463 A CN115460463 A CN 115460463A CN 202211213615 A CN202211213615 A CN 202211213615A CN 115460463 A CN115460463 A CN 115460463A
Authority
CN
China
Prior art keywords
video
frame
extended
reference frame
aspect ratio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211213615.3A
Other languages
English (en)
Inventor
徐钻源
金睿薰
尹昭正
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN115460463A publication Critical patent/CN115460463A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H04N21/440272—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA for performing aspect ratio conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H04N21/4666—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms using neural networks, e.g. processing the feedback provided by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4854—End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4858—End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/0122—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal the input and the output signals having different aspect ratios

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开涉及一种视频播放装置及其控制方法，所述一种装置，包括：显示器；存储器，存储一个或更多个指令；以及至少一个处理器，被配置为通过执行所述一个或更多个指令以进行以下操作来在所述显示器的至少一部分上显示第一视频：将第一视频的宽高比与所述显示器的显示区域的宽高比进行比较，当第一视频的宽高比不同于所述显示区域的宽高比时，基于包括在第一视频中的至少一个帧来确定第一视频的类别，选择与第一视频的所述类别相关的训练的人工智能AI模型，通过将第一视频的至少一个帧应用于所述训练的AI模型来获得扩展视频，其中，所述扩展视频具有与所述显示区域的宽高比相应的宽高比，以及在所述显示区域中显示所述扩展视频。

Description

视频播放装置及其控制方法
本申请是向中国知识产权局提交的申请日为2019年01月03日的标题为“视频播放装置及其控制方法”的第201980007493.2号申请的分案申请。
技术领域
本公开涉及一种视频播放装置及其控制方法。
背景技术
包括显示器的装置可在从外部接收信号时在显示器上输出视频，并且还使用预先存储的数据在显示器中输出视频。
当装置使用显示器播放视频时，当视频的宽高比不同于显示器的显示区域的宽高比时，显示器的显示区域的一部分可以以黑色显示。近来，已经提出了用于在没有以黑色显示的区域的装置中播放视频的各种方法。
另外，近来已经将人工智能(AI)技术用于在装置中播放或产生视频。
AI***是指模仿人类水平智力的计算机***。不同于传统的基于规则的智能***，AI***是被训练、确定并变得更智能的***。AI***被使用得越多，AI***的识别率可提高得越多，并且AI***可更准确地理解用户偏好。因此，传统的基于规则的智能***正逐渐被基于深度学习的AI***取代。
AI技术由机器学习(深度学习)和利用机器学习的基础技术组成。
机器学习是对输入数据的特征进行分类并学习的算法技术，并且基础技术是使用诸如深度学习的机器学习算法的技术并且由包括语言理解、视觉理解、推理/预测、知识表示、操作控制等的技术领域组成。
AI技术被应用于如下的各种领域。语言理解是用于识别和应用/处理人类语言/字符的技术，并且包括自然语言处理、机器翻译、会话***、提问与回答、语音识别/合成等。视觉理解是像在人类视觉一样识别和处理对象的技术，并且包括对象识别、对象跟踪、图像搜索、人类识别、场景理解、空间理解、图像增强等。推理/预测是用于判断信息并逻辑地推理和预测结果的技术，并且包括基于知识/概率的推理、最优化预测、基于偏好的规划、推荐等。知识表示是用于将人类经验信息自动处理成知识数据的技术，并且包括知识构建(数据产生/分类)、知识管理(数据利用)等。操作控制是用于控制车辆的自动驾驶和机器人的运动的技术，并且包括运动控制(导航、碰撞避免和驾驶)、操作控制(行为控制)等。
发明内容
技术问题
提供了一种用于显示不具有失真的宽高比的视频的装置，使得当视频的宽高比不同于屏幕的宽高比时，不在装置的屏幕上显示黑边。
将被解决的技术问题不限于上述那些问题，并且可存在其他技术问题。
解决方案
根据本公开的第一方面，一种装置包括：存储器，存储至少一个程序和第一视频；显示器；以及至少一个处理器，被配置为通过执行所述至少一个程序在所述显示器的至少一部分上显示第一视频，其中，所述至少一个程序包括用于以下操作的指令：将第一视频的宽高比与将显示第一视频的区域的宽高比进行比较；当第一视频的宽高比不同于所述区域的宽高比时，通过使用第一视频产生与所述区域的宽高比相应的第二视频；以及在所述区域中显示第二视频，其中，通过将第一视频的至少一个帧输入到AI神经网络来执行第二视频的产生。
此外，产生第二视频的操作还可包括：提取包括在第一视频中的帧；基于提取出的帧产生将被输入到所述AI神经网络的训练数据；以及通过将所述训练数据输入到所述AI神经网络来训练所述AI神经网络以产生第二视频。
此外，产生第二视频的操作还可包括：通过将权重分配给位于包括在第一视频中的参考帧的边缘处的预设像素来产生所述训练数据。
此外，所述装置还可包括：通信接口，被配置为将第一视频发送到服务器并且从所述服务器接收由所述服务器使用第一视频产生的所述AI神经网络，并且第二视频是通过将第一视频的至少一个帧输入到从所述服务器接收到的所述AI神经网络而产生的。
此外，产生第二视频的操作还可包括：当第一视频的宽高比与所述区域的宽高比不同时，识别将在所述区域中显示的黑边；以及产生包括将在所述黑边中显示的扩展视频的第二视频。
此外，产生第二视频的操作还可包括：通过将包括在第一视频中的参考帧、所述参考帧的至少一个先前帧和所述参考帧的至少一个后续帧输入到所述AI神经网络来训练所述AI神经网络以产生第二视频的与所述参考帧相应的帧。
此外，产生第二视频的操作可通过以下操作来执行：通过将包括在第一视频中的参考帧和通过调整所述参考帧的尺寸而获得的尺寸调整后的帧输入到所述AI神经网络来训练所述AI神经网络以产生与第二视频的所述参考帧相应的帧。
此外，所述装置还可包括：通信接口，被配置为通过互联网执行通信，并且产生第二视频的操作可包括：检测构成包括在第一视频中的参考帧的图案和颜色中的至少一个；通过使用所述通信接口搜索与检测到的图案和颜色中的所述至少一个相关的图像；以及通过将所述参考帧和搜索到的图像输入到所述AI神经网络来训练所述AI神经网络以产生第二视频的与所述参考帧相应的帧。
此外，产生第二视频的操作还可包括：通过将参考帧、搜索到的图像和通过调整所述参考帧的尺寸而获得的尺寸调整后的图像输入到AI神经网络来训练所述AI神经网络以产生第二视频的与所述参考帧相应的帧，其中，通过调整搜索到的图像的尺寸来将尺寸调整后的图像的宽高比调整为与所述区域的宽高比相应。
根据本公开的第二方面，一种装置包括：存储器，存储至少一个程序；通信接口，被配置为从服务器接收视频列表；用户输入接口，被配置为接收用于从所述视频列表中选择将下载的第一视频的用户输入；显示器，包括将显示第一视频的区域；以及至少一个处理器，被配置为通过执行所述至少一个程序来播放第一视频，其中，所述至少一个程序包括用于以下操作的指令：从所述服务器接收所述视频列表，接收用于选择第一视频的用户输入，将第一视频的标识信息和关于所述区域的宽高比的信息发送到所述服务器，将第一视频的宽高比与所述区域的宽高比进行比较，当第一视频的宽高比不同于所述区域的宽高比时，通过使用第一视频获得与所述区域的宽高比相应的第二视频，以及在所述区域中显示第二视频，其中，第二视频是通过将第一视频的至少一个帧输入到AI神经网络来产生的。
根据本公开的第三方面，一种显示视频的方法包括：将第一视频的宽高比与将显示第一视频的区域的宽高比进行比较；当第一视频的宽高比不同于所述区域的宽高比时，通过使用第一视频产生与所述区域的宽高比相应的第二视频；以及在所述区域中显示第二视频，其中，通过将第一视频的至少一个帧输入到AI神经网络来执行第二视频的产生。
此外，产生第二视频的步骤还可包括：提取包括在第一视频中的帧；基于提取出的帧产生将被输入到所述AI神经网络的训练数据；以及通过将所述训练数据输入到所述AI神经网络来训练所述AI神经网络以产生第二视频。
此外，产生第二视频的步骤还可包括：通过将权重分配给位于包括在第一视频中的参考帧的边缘处的预设像素来产生训练数据。
此外，产生第二视频的步骤还可包括：将第一视频发送到服务器；以及从所述服务器接收由所述服务器使用第一视频产生的所述AI神经网络，并且第二视频是通过将第一视频的至少一个帧输入到从所述服务器接收到的所述AI神经网络来产生的。
此外，产生第二视频的步骤还可包括：当第一视频的宽高比与所述区域的宽高比不同时，识别将在所述区域中显示的黑边；以及产生包括将在所述黑边中显示的扩展视频的第二视频。
此外，产生第二视频的步骤还可包括：通过将包括在第一视频中的参考帧、所述参考帧的至少一个先前帧和所述参考帧的至少一个后续帧输入到所述AI神经网络来训练所述AI神经网络以产生第二视频的与所述参考帧相应的帧。
此外，产生第二视频的步骤还可包括：通过将包括在第一视频中的参考帧和通过调整所述参考帧的尺寸而获得的尺寸调整后的帧输入到所述AI神经网络来训练所述AI神经网络以产生第二视频的与所述参考帧相应的帧。
此外，产生第二视频的步骤还可包括：检测构成包括在第一视频中的参考帧的图案和颜色中的至少一个；搜索与检测到的图案和颜色中的所述至少一个相关的图像；通过将所述参考帧和搜索到的图像输入到所述AI神经网络来训练所述AI神经网络以产生第二视频的与所述参考帧相应的帧。
此外，产生第二视频的步骤还可包括：通过将参考帧、搜索到的图像和通过调整所述参考帧的尺寸而获得的尺寸调整后的图像输入到AI神经网络来训练所述AI神经网络以产生与所述参考帧相应的第二视频的帧，其中，通过调整搜索到的图像的尺寸来将尺寸调整后的图像的宽高比调整为与所述区域的宽高比相应。
根据本公开的第四方面，一种显示视频的方法包括：从服务器接收视频列表；接收用于从所述视频列表中选择将下载的第一视频的用户输入；将第一视频的标识信息和关于将显示第一视频的区域的宽高比的信息发送到所述服务器；将第一视频的宽高比与将显示第一视频的区域的宽高比进行比较，当第一视频的宽高比与所述区域的宽高比不同时，通过使用第一视频获得与所述区域的宽高比相应的第二视频，并在所述区域中显示第二视频，其中，第二视频是通过将第一视频的至少一个帧输入到AI神经网络来产生的。
根据本公开的第五方面，一种显示视频的方法包括：将第一视频的宽高比与在将显示第一视频的显示器中包括的屏幕的宽高比进行比较；基于比较结果识别与第一视频相应的扩展视频产生模块的存在性；基于识别结果，通过更新预先存储的用于使用第一视频的至少一部分产生扩展视频的训练模型来产生与第一视频相应的第一扩展视频产生模块；将第一视频输入到第一扩展视频产生模块来产生将在黑边中显示的扩展视频；并且将第一视频与所述扩展视频组合而产生的第二视频显示在屏幕上，其中，所述黑边是在所述屏幕上播放第一视频时由于第一视频的长宽比与所述屏幕的长宽比之间的差异而显示的区域，并且第二视频的长宽比与所述屏幕的长宽比相同。
根据本公开的第六方面，一种装置包括：显示器，包括将显示第一视频的屏幕；至少一个存储器，存储用于产生扩展视频和第一视频的训练模型；以及至少一个处理器，包括图形处理器(GPU)和NPU中的至少一个，其中，所述至少一个处理器将第一视频的宽高比与所述屏幕的宽高比进行比较，基于比较结果识别与第一视频相应的扩展视频产生模块是否被存储在所述至少一个存储器中，基于识别结果通过经由GPU和NPU中的至少一个更新用于使用第一视频的至少一部分产生扩展视频的预先存储的训练模型来产生与第一视频相应的第一扩展视频产生模块，并且控制所述至少一个存储器存储产生的第一扩展视频产生模块，经由GPU和NPU中的至少一个通过将第一视频输入到第一扩展视频产生模块来产生将在黑边中显示的扩展视频，并且控制所述显示器在屏幕上显示通过将第一视频与所述扩展视频组合而产生的第二视频，其中，黑边是在所述屏幕上播放第一视频时由于第一视频的宽高比与所述屏幕的宽高比之间的差异而显示的区域。
附图说明
图1是示例性地示出根据实施例的在黑边区域上显示扩展视频的装置的屏幕的示图。
图2是示出根据实施例的在装置的屏幕上显示的黑边的各种形状的示图。
图3是示出根据实施例的用于在装置的屏幕上显示扩展视频的用户界面(UI)的示图。
图4是示出根据实施例的在显示器的屏幕上显示包括扩展视频的视频的方法的流程图。
图5是示出根据实施例的产生扩展视频的方法的流程图。
图6是示出根据实施例的通过使用服务器产生扩展视频的方法的流程图。
图7是示出根据实施例的使用服务器控制用于显示包括扩展视频的视频的装置的方法的流程图。
图8是示出根据实施例的产生或选择扩展视频的方法的流程图。
图9和图10是示出根据实施例的将包括在视频中的帧输入到训练模型的示例的示图。
图11示出说明根据实施例的将调整尺寸的图像输入到训练模型的示例的示图。
图12示出说明根据实施例的将裁剪图像输入到训练模型的示例的示图。
图13示出说明根据实施例的将权重应用于包括在视频中的帧的示例的示图。
图14是示出根据实施例的将寻找到的图像作为训练数据输入到训练模型的方法的流程图。
图15示出说明根据实施例的将寻找到的图像作为训练数据输入到训练模型的示例的示图。
图16和图17是根据实施例的装置1000的框图。
图18是根据实施例的服务器2000的框图。
图19是根据实施例的处理器1300的框图。
图20是根据实施例的数据学习器1310的框图。
图21是根据实施例的数据识别器1320的框图。
图22是示出根据实施例的装置1000和服务器2000进行交互操作以学习和识别数据的示例的示图。
图23是根据实施例的装置的示意性框图。
图24是用于描述根据实施例的由装置执行的产生扩展视频产生模块的处理的示图。
图25示出用于描述根据实施例的由装置执行的根据从服务器下载第一视频的方法产生扩展视频的处理的示图。
图26是用于描述根据实施例的由装置执行的产生帧的扩展视频的顺序的示图。
图27是用于描述根据实施例的由装置执行的调整视频尺寸并产生扩展视频的情况的示图。
具体实施方式
现在将参照附图更全面地描述本公开，以使本领域普通技术人员能够没有任何困难地执行本公开。然而，本公开可以以许多不同的形式实施，并且不应被解释为限于在此阐述的实施例。在附图中，为了清楚起见，省略了与描述无关的部分以清楚地描述本公开，并且在整个说明书中，相同或类似的元件由相同的附图标记表示。
可根据功能块组件和各种处理步骤来描述本公开的一些实施例。功能块中的一些或全部可由被配置为执行指定功能的任何数量的硬件和/或软件组件来实现。例如，本公开的功能块可由一个或更多个微处理器实现，或者可由用于预设功能的电路组件实现。另外，例如，本公开的功能块可用任何编程或各种脚本语言来实现。功能块可以以在一个或更多个处理器上执行的算法来实现。此外，本公开可采用根据现有技术的任何数量的技术用于电子配置、信号处理和/或数据处理等。术语“机构”、“元件”、“部件”、“配置”等可被广泛地使用，并且不限于机械或物理组件。
在整个说明书中，还将理解的是，当元件被称为“连接到”另一元件时，它可“直接连接到”所述另一元件，或者所述元件可通过在它们间***中间元件而“电连接到”所述另一元件。在整个说明书中，除非另有说明，否则术语“包括”一个元件不排除其他元件，而是进一步包括一个元件。
此外，附图中示出的元件之间的连接线或连接器意在表示元件之间的示例性功能连接和/或物理连接或电路连接。在实际装置中，元件之间的连接可通过可替换或添加的各种功能连接、物理连接或电路连接来表示。
将理解的是，尽管术语“第一”、“第二”等可在这里用于描述各种元件，但这些元件不应受这些术语限制。上述术语仅用于将一个组件与另一组件区分开。
在下文中，为了便于描述，将显示第一视频3000的装置1000的屏幕的至少一部分被称为第一区域。另外，在下文中，为了便于描述第一区域，第一区域将被描述为装置1000的屏幕的整个区域，但实施例不限于此。
在下文中，将参照附图详细描述本公开。
图1是示例性地示出根据实施例的在黑边3010a和黑边3010b中显示扩展视频3020a和扩展视频3020b的装置1000的屏幕的示图。
参照图1，装置1000可在第一区域中播放并显示第一视频3000。
在第一区域中显示的第一视频3000的宽高比可不同于显示第一视频3000的第一区域的宽高比。当第一视频3000的宽高比不同于第一区域的宽高比时，当在第一区域中显示视频时，可在第一区域中显示黑边3010a和黑边3010b。
当在第一区域中显示黑边3010a和黑边3010b时，用户会感觉到第一视频3000小于实际尺寸。通常，在对第一视频3000的顶部部分和底部部分或者第一视频3000的左侧部分和右侧部分进行裁剪之后在第一区域上显示第一视频3000以在第一区域中不显示黑边3010a和黑边3010b。可选地，调整第一视频3000的尺寸，使得第一视频3000的宽高比与第一区域的宽高比相应。
当第一视频3000的一部分被裁剪时，在第一区域中不会显示出包括在第一视频3000中的所有信息。因为用户仅观看第一视频3000的一部分，所以存在用户可能错过视频的制作者的意图的问题。
另外，当调整第一视频3000的尺寸时，修改第一视频3000的宽高比，致使用户观看失真的视频。存在用户在观看失真视频时感到不舒服的问题。
为了解决上述问题，本公开提供一种用于通过使用AI神经网络技术产生扩展视频3020a和扩展视频3020b以使第一视频3000不失真、不显示黑边并且显示包括在第一视频3000中的所有信息的装置以及显示视频的方法。
本公开还提供一种用于产生包括产生的扩展视频3020a和扩展视频3020b以及第一视频3000的第二视频的装置以及显示视频的方法。本公开还提供一种产生的第二视频的宽高比与第一区域的宽高比相应的装置和显示视频的方法。本公开还提供一种用于在第一区域中显示产生的第二视频的装置以及显示视频的方法。
扩展视频3020a和扩展视频3020b是指使用AI神经网络技术产生并在黑边3010a和黑边3010b中显示而不会与第一视频3000不协调的图像。
第一视频3000可包括至少一个场景，并且场景可包括至少一个片段。片段可包括至少一个帧。
根据本公开的实施例，可通过将包括在第一视频3000中的至少一个帧输入到AI神经网络来产生扩展视频3020a和扩展视频3020b。另外，可通过将包括在第一视频3000中的至少一个帧输入到AI神经网络来产生第二视频。
根据本公开的实施例，AI神经网络可包括学习器、训练模型和扩展视频产生模块中的至少一个。可通过将训练数据输入到训练模型产生扩展视频产生模块。通过将包括在第一视频3000中的至少一个帧输入到扩展视频产生模块，可产生扩展视频和第二视频中的至少一个。训练模型和扩展视频产生模块可由一个AI神经网络组成，也可由独立的AI神经网络组成。学习器可以是被配置为通过将训练数据输入到训练模型来更新训练模型以产生扩展视频产生模块2440的算法。
根据本公开的实施例，装置1000可被制造为其中构建有预先产生的扩展视频产生模块。装置1000可通过将视频输入到内部构建的扩展视频产生模块来产生扩展视频。
根据本公开的实施例，装置1000可被制造为在其中构建有训练模型。装置1000可通过将训练数据应用于训练模型来产生扩展视频产生模块。装置1000可通过将训练数据连续地应用于训练模型来细化扩展视频产生模块。例如，装置1000可将训练数据输入到训练模型，并且控制学习器通过使用训练数据更新训练模型来产生(或细化)扩展视频产生模块。下面将参照图24描述使用学习器产生扩展视频产生模块的处理。装置1000可通过将第一视频3000输入到扩展视频产生模块来产生扩展视频3020a和扩展视频3020b。
根据本公开的实施例，装置1000可从服务器2000接收由构建在服务器2000中的训练模型产生的扩展视频产生模块。装置1000可通过将训练数据应用于构建在服务器2000中的训练模型来接收细化的扩展视频产生模块。例如，装置1000可接收通过将训练模型和训练数据输入到包括在服务器2000中的学习器而产生的扩展视频产生模块。装置1000可通过将第一视频3000输入到扩展视频产生模块来产生扩展视频3020a和扩展视频3020b。
根据本公开的实施例，装置1000可接收在服务器2000中产生并包括第一视频和与第一视频相应的扩展视频的第二视频。装置1000可在屏幕上显示第二视频。在这种情况下，与第一视频相应的扩展视频3020a和扩展视频3020b可以是通过将第一视频的至少一帧输入到由构建在服务器2000中的训练模型产生的扩展视频产生模块而产生的视频。
图2是示出根据实施例的在装置的屏幕上显示的黑边的各种形状的示图。
参照图2，黑边可在第一区域中以各种形状被显示。例如，黑边3011a和黑边3011b可被显示在装置1000a的第一区域中显示的视频3000a的左侧和右侧附近的部分处。在另一示例中，黑边3012a和黑边3012b可被显示在装置1000b的第一区域中显示的视频3000b的顶侧和底侧附近的部分处。在另一示例中，黑边3013可被显示在装置1000c的第一区域中显示的视频3000c的所有四侧附近的部分处。在另一示例中，黑边3014a和黑边3014b可被显示在装置1000d的第一区域中显示的视频3000d的左侧和右侧以及顶侧和底侧中的至少一对附近的部分处。
根据本公开的实施例，无论在第一区域中显示的黑边的形状如何都可产生将在黑边中显示的扩展视频。也就是说，根据本公开，当在视频的左侧和右侧附近的部分、视频的顶侧和底侧附近的部分、视频的所有四侧附近的部分、左侧和右侧以及顶侧和底侧中的至少一对附近的部分中的至少一个上显示黑边时，可产生将在黑边区域中显示的扩展视频。在下文中，虽然通过示例的方式描述了在视频的左侧和右侧显示黑边的情况，但对于本领域技术人员显而易见的是，本公开也可被应用于其他情况。
图3是示出根据实施例的用于在装置的屏幕上显示扩展视频的用户界面UI的示图。
参照图3，第一区域可包括允许用户选择显示第一视频3000的形状的图标3030。
根据实施例，图标3030可包括以原始宽高比显示第一视频3000的图标、根据第一区域的宽高比调整第一视频3000的尺寸并显示尺寸调整后的视频的图标以及根据第一区域的宽高比对第一视频3000的一部分进行裁剪并显示裁剪后的视频的图标。另外，图标3030可包括用于显示扩展视频的图标3031。
根据实施例，装置1000可接收用于修改图标3030的用户输入。装置1000可根据用户输入修改图标3030，并且在第一区域中显示第一视频3000以相应于修改后的图标3030。例如，装置1000可响应于用户输入将图标3030修改为用于显示扩展视频的图标3031。装置1000可在第一区域中显示第一视频3000以及扩展视频3020a和扩展视频3020b以相应于修改后的图标3031。
图4是示出根据实施例的在显示器的屏幕上显示包括扩展视频的视频的方法的流程图。
参照图4的操作S410，装置1000可对将在第一区域中显示的第一视频的宽高比(例如，4:3、16:9和2.35:1)与第一区域的宽高比(例如，3:2、4:3、16:9、16:10和18:9)进行比较。
也就是说，可由视频制作者的意图确定第一视频的宽高比，并且可根据所确定的宽高比来产生第一视频。例如，可以以16:9的宽高比产生第一视频。
第一区域的宽高比可在制造装置1000时被确定。另外，第一区域的宽高比可由从用户接收的用户输入来确定。此外，第一区域的宽高比可通过由在装置1000中运行的程序设置的比率来确定。第一区域的宽高比可以是18:9。
参照操作S430，装置1000可通过将第一视频的宽高比与第一区域的宽高比进行比较来确定第一视频的宽高比是否与第一区域的宽高比不同。例如，当第一视频的宽高比是16:9并且第一区域的宽高比是18:9时，装置1000可确定第一视频的宽高比不同于第一区域的宽高比。在另一示例中，当第一视频的宽高比是16:9并且第一区域的宽高比是16:9时，装置1000可确定第一视频的宽高比与第一区域的宽高比相同。
参照操作S450，装置1000可使用第一视频产生扩展视频。
根据实施例，装置1000可产生将在由于第一视频的宽高比不同于第一区域的宽高比而将产生的黑边区域中显示的扩展视频。
装置1000可识别黑边区域并且产生将在黑边区域中显示的扩展视频。例如，当第一视频的宽高比是16:9并且第一区域的宽高比是18:9时，装置1000可识别位于在第一视频的左侧和右侧附近的部分处的黑边区域。在另一示例中，当第一视频的宽高比是2.35:1并且第一区域的宽高比是16:9时，装置1000可识别位于在第一视频的顶侧和底侧附近的部分处的黑边区域。
根据实施例，装置1000可通过将第一视频输入到构建在装置1000中的AI神经网络来产生扩展视频和第二视频。在这种情况下，第二视频可包括第一视频的至少一部分和扩展视频。例如，装置1000可通过将第一视频输入到构建在装置1000中的扩展视频产生模块来产生扩展视频。在这种情况下，当制造装置1000时，构建在装置1000中的扩展视频产生模块可被构建在装置1000中。可选地，构建在装置1000中的扩展视频产生模块可从构建在装置1000中的训练模型被产生。另外，构建在装置1000中的扩展视频产生模块可在服务器中被产生并且可从服务器被接收。
根据实施例，装置1000可通过将包括在第一视频中的至少一个帧输入到AI神经网络来产生扩展视频产生模块。在这种情况下，第二视频可包括第一视频的至少一部分和扩展视频。例如，装置1000可通过将包括在第一视频中的至少一个帧输入到扩展视频产生模块来产生扩展视频。
也就是说，通过将包括在第一视频中的所有帧输入到扩展视频产生模块，装置1000可产生分别与第一视频的所有帧相应的扩展视频和第二视频。可选地，通过将包括在第一视频中的一些帧(例如，参考帧)输入到扩展视频产生模块，装置1000可产生分别与第一视频的所有帧相应的扩展视频和第二视频。
根据实施例，装置1000可通过将参考帧输入到扩展视频产生模块来产生与参考帧和与参考帧相关的帧相应的扩展视频和第二视频。就此而言，参考帧是根据需要选择用于产生扩展视频的帧。参考帧可包括实质上被输入到扩展视频产生模块的帧。参考帧可以是一个或更多个。与参考帧相关的帧可包括与参考帧类似的帧(例如，由解码器参照参考帧进行解码的帧)、具有与参考帧的像素相同的像素达到预设比率或更大比率的帧以及从参考帧起在预设时间之前和之后播放的帧。
例如，参考帧可以是帧内帧。帧内帧是指在不存在其他参考帧的情况下由解码器进行解码的帧。
在另一示例中，参考帧可以是构成第一视频片段的片段的多个帧中最适合于产生扩展视频的帧。参考帧可以是与构成第一视频的片段的多个帧中的多个帧最类似的帧。具体地，参考帧可以是构成片段的多个帧中的第一帧。可选地，参考帧可以是构成片段的多个帧中的中间帧。可选地，参考帧可以是构成片段的多个帧中的包括最大数量的与其他帧的像素相同的像素的帧。
当装置1000产生扩展视频时，使用装置1000的大量的计算资源。因此，装置1000可通过仅将第一视频的一些帧(例如，参考帧)输入到扩展视频产生模块来减少用于产生扩展视频的计算资源的使用。也就是说，可降低装置1000的处理器、图形处理器(GPU或神经处理单元(NPU))或存储器(例如，缓冲存储器)的利用率。此外，可降低用于产生扩展视频的装置1000的功耗。
第一视频可由多个参考帧组成。装置1000可通过将各个参考帧输入到扩展视频产生模块来产生分别与所述多个参考帧相应的多个扩展视频和第二视频。例如，扩展视频产生模块可响应于所述多个参考帧的各个输入来产生分别与所述多个参考帧相应的多个扩展视频。装置1000可通过将所述多个参考帧和分别与所述多个参考帧相应的扩展视频进行组合来产生第二视频。在另一示例中，扩展视频产生模块可响应于所述多个参考帧的各个输入来产生所述多个参考帧分别与相应于所述多个参考帧的多个扩展视频组合的第二视频。
根据各种实施例，AI神经网络(或训练模型)可包括生成式对抗网络(GAN)。GAN模型可包括例如产生器和鉴别器。在这种情况下，装置1000可通过将第一视频输入到产生器来产生扩展视频。
参照操作S470，装置1000可在第一区域中显示包括第一视频的至少一部分和扩展视频的第二视频。例如，装置1000可在第一区域中显示包括参考帧和与参考帧相应的扩展视频的第二视频。
根据实施例，参考帧在数量上可以是一个或更多个，并且第一视频可由多个参考帧组成。此外，在数量上可提供多个扩展视频。在这种情况下，可通过将多个参考帧输入到扩展视频产生模块来产生多个扩展视频以分别与所述多个参考帧相应。第二视频可以是所述多个参考帧分别与分别相应于所述多个参考帧的扩展视频组合的视频。
图5是示出根据实施例的产生扩展视频的方法的流程图。
参照图5，装置1000可通过使用构建在装置1000中的AI神经网络来产生扩展视频。具体地，装置1000可产生训练数据，并且通过将产生的训练数据输入到AI神经网络来训练AI神经网络。装置1000可通过将第一视频输入到训练的AI神经网络来产生扩展视频。
例如，可通过使用构建在装置1000中的训练模型来产生扩展视频产生模块。装置1000可通过使用产生的扩展视频产生模块来产生扩展视频。
根据实施例，装置1000可在用户不使用装置1000的时间期间产生与存储在装置1000中的视频相应的扩展视频产生模块和扩展视频。
参照操作S510，装置1000可检索存储在装置1000中的第一视频。装置1000可在用户不使用装置1000的时间期间检索包括存储在装置1000中的第一视频的视频。
根据实施例，装置1000可将视频的检索结果存储在装置1000中。在这种情况下，装置1000可存储与存储在装置1000中的视频相关的信息。例如，装置1000可在装置1000中存储视频被存储在存储器1700中的路径、视频的播放时间、视频的宽高比、是否已产生扩展视频等。
参照操作S530，装置1000可提取包括在第一视频中的至少一个帧。也就是说，装置1000可通过输入包括在第一视频中的所有帧来产生与第一视频相应的扩展视频产生模块。可选地，装置1000可通过输入包括在第一视频中的帧中的一些帧(例如，参考帧)来产生与第一视频相应的扩展视频产生模块。
装置1000可在用户不使用装置1000的时间期间提取包括在第一视频中的至少一个帧。
根据实施例，装置1000可提取包括在第一视频中的参考帧。在这种情况下，参考帧是根据需要被选择产生扩展视频的帧。参考帧可包括产生与构成第一视频的片段的多个帧相应的扩展视频所需的帧。参考帧可以是一个或更多个。
例如，参考帧可以是帧内帧。参考帧可以是将由解码器通过参照帧内帧来进行解码的帧。
在另一示例中，参考帧可以是在构成第一视频的片段的多个帧中与其他帧最类似的帧。具体地，参考帧可以是在构成片段的所述多个帧中的第一帧。可选地，参考帧可以是所述多个帧中的中间帧。可选地，参考帧可以是所述多个帧中的包括最大数量的与其他帧的像素相同的像素的帧。
当装置1000通过将训练数据应用于训练模型来更新训练模型时，使用装置1000的大量的计算资源。因此，通过仅将第一视频的一些帧(例如，参考帧)作为训练数据输入到训练模型，装置1000可减少用于更新训练模型的计算资源的使用。也就是说，可降低装置1000的处理器、GPU(或NPU)或存储器(例如，缓冲存储器)的利用率。此外，可减少用于更新训练模型的装置1000的功耗。
参照操作S550，装置1000可基于提取的帧产生训练数据。装置1000可在用户不使用装置1000的时间期间产生训练数据。
例如，装置1000可将第一视频的所有帧产生为训练数据。
在另一示例中，装置1000可将提取的参考帧和在参考帧之前播放的至少一个先前帧产生为训练数据。在另一示例中，装置1000可将参考帧和在参考帧之后播放的至少一个后续帧产生为训练数据。在另一示例中，装置1000可将参考帧和通过调整参考帧的尺寸而获得的尺寸调整后的帧产生为训练数据。在另一示例中，装置1000可通过将权重应用于位于参考帧的边缘处的预设像素来将参考帧产生为训练数据。在另一示例中，装置1000可将参考帧和通过对参考帧的一部分进行裁剪而获得的裁剪帧产生为训练数据。在另一示例中，装置1000可将参考帧和与参考帧相关的图像产生为训练数据。在这种情况下，与参考帧相关的图像可以是与构成参考帧的图案和颜色中的至少一个相关的图像。与参考帧相关的图像可以是通过互联网搜索而获得的图像。在另一示例中，装置1000可将参考帧、与参考帧相关的图像和通过调整与参考帧相关的图像的尺寸而获得的尺寸调整后的图像产生为训练数据。应用于训练模型的训练数据不限于此。
下面将参照图9至图15描述训练数据。
参照操作S570，装置1000可通过将训练数据输入到训练模型来产生扩展视频产生模块。装置1000可在用户不使用装置1000的时间期间产生扩展视频产生模块。装置1000可通过将训练数据应用于训练模型来细化产生的扩展视频产生模块。
根据实施例，装置1000可通过将以上在操作S550中描述的训练数据应用于构建在装置1000中的训练模型来产生扩展视频产生模块。例如，装置1000可将训练模型和训练数据输入到学习器，并且控制学习器通过使用训练数据更新训练模型来产生(或细化)扩展视频产生模块。在这种情况下，产生的扩展视频产生模块可以是用于在第一区域中显示第一视频的专用模块。根据实施例，可根据基于预设标准执行的训练来确定将训练数据应用于训练模型的方式。例如，可将监督式学习、非监督式学习和强化学习用于将训练数据应用于训练模型，还可将深度神经网络技术用于将训练数据应用于训练模型。
参照操作S590，装置1000可使用扩展视频产生模块产生扩展视频。装置1000可通过在用户不使用装置1000的时间期间将第一视频输入到扩展视频产生模块来产生扩展视频。
根据实施例，装置1000可提取包括在第一视频中的参考帧，并且将提取的参考帧输入到扩展视频产生模块，从而产生与参考帧相应的扩展视频。在这种情况下，参考帧是根据需要被选择用于产生扩展视频的帧。参考帧在数量上可以是一个或更多个，并且第一视频可包括多个参考帧。此外，扩展视频在数量上可以是多个。在这种情况下，可通过将所述多个参考帧输入到扩展视频产生模块来产生多个扩展视频以分别与所述多个参考帧相应。上面参照图4描述了通过将参考帧输入到扩展视频产生模块来产生扩展视频的方法，因此将省略重复的描述。
根据实施例，装置1000可在第一区域中显示通过将参考帧与相应于参考帧的扩展视频进行组合而产生的第二视频。在这种情况下，第二视频可以是多个参考帧分别与分别相应于所述多个参考帧的多个扩展视频组合的视频。上面参照图4描述了显示第二视频的方法，因此将省略重复的描述。
图6是示出根据实施例的通过使用服务器2000产生扩展视频的方法的流程图。
参照图6，装置1000可使用构建在服务器2000中的AI神经网络来产生扩展视频。装置1000可从服务器2000接收AI神经网络，并且通过使用接收到的AI神经网络来产生扩展视频。另外，装置1000可从服务器2000接收细化的AI神经网络。
例如，装置1000可从服务器2000接收由构建在服务器2000中的训练模型产生的扩展视频产生模块。另外，装置1000可通过将训练数据应用于构建在服务器2000中的训练模型来接收细化的扩展视频产生模块。
参照操作S610，装置1000可将第一视频发送到服务器2000。
根据实施例，装置1000可将存储在装置1000中的第一视频的至少一部分发送到服务器2000。
例如，装置1000可将从第一视频提取的至少一个帧发送到服务器2000。也就是说，装置1000可将存储在第一视频中的所有帧发送到服务器2000。可选地，装置1000可将存储在第一视频中的一些帧(例如，参考帧)发送到服务器2000。参考帧是根据需要被选择用于产生扩展视频产生模块的帧。参考帧可包括产生与构成第一视频的片段的多个帧相应的扩展视频所需的帧。上面参照图5描述了参考帧，因此将省略重复的描述。
当装置1000将第一视频发送到服务器2000时使用大量的网络资源。因此，通过仅将第一视频的一些帧(例如，参考帧)发送到服务器2000，装置1000可减少数据传输的量。另外，可降低用于将第一视频发送到服务器2000的装置1000的功耗。
在另一示例中，装置1000可将通过对第一视频的一部分进行裁剪而获得的裁剪图像发送到服务器2000。
根据实施例，装置1000可将关于发布在互联网上的第一视频的信息发送到服务器2000。例如，装置1000可将第一视频的标识符(例如，URL)发送到服务器2000。在另一示例中，装置1000可将从第一视频提取的至少一个帧发送到服务器2000。在另一示例中，装置1000可发送由从第一视频提取的多个参考帧组成的视频。
参照操作S620，服务器2000可提取包括在接收到的第一视频中的参考帧。
根据实施例，服务器2000可提取包括在第一视频中的参考帧。在这种情况下，参考帧是根据需要被选择用于产生扩展视频产生模块的帧。参考帧可包括产生与构成第一视频的片段的多个帧相应的扩展视频所需的帧。上面参照图5描述了参考帧，因此将省略重复的描述。另外，服务器2000可提取在参考帧之前播放的至少一个先前帧。另外，服务器2000可提取在参考帧之后播放的至少一个后续帧。
根据实施例，当从装置1000接收到参考帧时，服务器2000可省略从第一视频提取参考帧的操作。
参照操作S630，服务器2000可基于提取的帧产生训练数据。
例如，服务器2000可将提取的参考帧产生为训练数据。在另一示例中，服务器2000可将提取的参考帧和在参考帧之前播放的至少一个先前帧产生为训练数据。在另一示例中，服务器2000可将参考帧和在参考帧之后播放的至少一个后续帧产生为训练数据。在另一示例中，服务器2000可将参考帧和通过调整参考帧的尺寸而获得的尺寸调整后的帧产生为训练数据。在另一示例中，服务器2000可通过将权重应用于位于参考帧的边缘处的预设像素来产生参考帧作为训练数据。在另一示例中，服务器2000可将参考帧和通过对参考帧的一部分进行裁剪而获得的裁剪帧产生为训练数据。在另一示例中，服务器2000可将参考帧和与参考帧相关的图像产生为训练数据。在这种情况下，与参考帧相关的图像可以是与构成参考帧的图案和颜色中的至少一个相关的图像。与参考帧相关的图像可以是通过互联网搜索而获得的图像。在另一示例中，装置1000可将参考帧、与参考帧相关的图像和通过调整与参考帧相关的图像的尺寸而获得的尺寸调整后的图像产生为训练数据。应用于训练模型的训练数据不限于此。
下面将参照图9至图15描述训练数据。
参照操作S640，服务器2000可通过将训练数据应用于训练模型来产生扩展视频产生模块。另外，服务器2000可通过将训练数据应用于训练模型来细化产生的扩展视频产生模块。
根据实施例，服务器2000可通过将在操作S630中描述的训练数据应用于训练模型来产生扩展视频产生模块。例如，服务器2000可将训练模型和训练数据输入到学习模型，并且控制学习模型通过使用训练数据更新训练模型来产生(或细化)扩展视频产生模块。在这种情况下，产生的扩展视频产生模块可以是用于在第一区域中显示第一视频的专用模块。可根据基于预设标准执行的训练来确定将训练数据应用于训练模型的方式。例如，监督式学习、非监督式学习和强化学习可被用于将训练数据应用于训练模型，并且深度神经网络技术也可被用于将训练数据应用于训练模型。
参照操作S650，服务器2000可将产生的扩展视频产生模块发送到装置1000。在这种情况下，发送的扩展视频产生模块可以是用于在第一区域中显示第一视频的专用模块。
根据实施例，服务器2000可在用户不使用装置1000的时间期间将扩展视频产生模块发送到装置1000。
根据实施例，在用户请求将扩展视频产生模块发送到装置1000的情况下，服务器2000可将扩展视频产生模块发送到装置1000。
根据实施例，在装置1000显示第一视频的情况下，服务器2000可将扩展视频产生模块发送到装置1000。
参照操作S660，装置1000可通过使用从服务器接收的扩展视频产生模块来产生扩展视频。装置1000可在用户不使用装置1000的时间期间通过将第一视频输入到扩展视频产生模块来产生扩展视频。
也就是说，通过将包括在第一视频中的所有帧输入到扩展视频产生模块，装置1000可产生分别与第一视频的所有帧相应的扩展视频和第二视频。可选地，通过将包括在第一视频中的一些帧(例如，参考帧)输入到扩展视频产生模块，装置1000可产生分别与第一视频的所有帧相应的扩展视频和第二视频。
根据实施例，装置1000可提取包括在第一视频中的参考帧，并且将提取的参考帧输入到扩展视频产生模块，从而产生与参考帧相应的扩展视频。在这种情况下，参考帧在数量上可以是一个或更多个，并且第一视频可由多个参考帧组成。另外，扩展视频在数量上可以是多个。在这种情况下，可通过将所述多个参考帧输入到扩展视频产生模块来产生多个扩展视频以分别与所述多个参考帧相应。上面参照图4描述了通过将参考帧输入到扩展视频产生模块来产生扩展视频的方法，因此将省略重复的描述。
根据实施例，装置1000可在第一区域中显示通过将参考帧与相应于参考帧的扩展视频进行组合而产生的第二视频。在这种情况下，第二视频可以是多个参考帧与分别相应于所述多个参考帧的多个扩展视频组合的视频。
图7是示出根据实施例的使用服务器2000控制用于显示包括扩展视频的视频的装置的方法的流程图。
参照图7，装置1000可接收由服务器2000产生并包括第一视频和与第一视频相应的扩展视频的第二视频。装置1000可在屏幕上显示接收到的第二视频。在这种情况下，与第一视频相应的扩展视频3020a和扩展视频3020b可以是由构建在服务器2000中的AI神经网络产生的视频。
例如，可通过将第一视频的至少一帧输入到由构建在服务器2000中的训练模型产生的扩展视频产生模块来产生与第一视频相应的扩展视频3020a和扩展视频3020b。
参照操作S710，服务器2000可将视频列表发送到装置1000。视频列表是指可由服务器2000发送到装置1000的视频的列表。
根据实施例，服务器2000可以是提供VOD服务的服务器。在另一示例中，服务器2000可以是提供允许从用户上传视频并共享上传的视频的服务的服务器。
另外，装置1000可在装置1000的屏幕上显示接收到的视频列表。在装置1000的屏幕上显示的视频列表可以是包括作为缩略图的在每个视频中包括的至少一个帧的列表。
参照操作S720，装置1000可从用户接收用于选择包括在视频列表中的第一视频的用户输入。例如，装置1000可使用包括触摸屏的屏幕从用户接收用于选择第一视频的用户输入。在另一示例中，装置1000可通过使用输入装置(诸如，遥控、键盘和鼠标)从用户接收用于选择第一视频的用户输入。
参照操作S730，装置1000将选择的第一视频的标识信息(例如，标识符)和关于第一区域的宽高比(例如，18:9)的信息发送到服务器。
参照操作S740，服务器2000可基于从装置1000接收的第一区域的宽高比将第一视频的宽高比(例如，16:9)与第一区域的宽高比(例如，18:9)进行比较。服务器2000可识别第一视频的宽高比是否不同于第一区域的宽高比。例如，当第一视频的宽高比是16:9并且第一区域的宽高比是18:9时，服务器2000可确定第一视频的宽高比不同于第一区域的宽高比。在另一示例中，当第一视频的宽高比为16:9并且第一区域的宽高比为16:9时，服务器2000可确定第一视频的宽高比与第一区域的宽高比相同。
参照操作S750，服务器2000可通过使用第一视频产生扩展视频。
根据实施例，因为第一视频的宽高比不同于第一区域的宽高比，所以服务器2000可产生当第一视频被显示在第一区域中时将在黑边区域中显示的扩展视频。
服务器2000可识别黑边区域并且产生将在黑边区域中显示的扩展视频。例如，当第一视频的宽高比是16:9并且第一区域的宽高比是18:9时，装置1000可识别位于在第一视频的左侧和右侧附近的部分处的黑边区域。在另一示例中，当第一视频的宽高比是2.35:1并且第一区域的宽高比是16:9时，装置1000可识别位于在第一视频的顶侧和底侧附近的部分处的黑边区域。
根据实施例，服务器2000可通过将包括在第一视频中的至少一个帧输入到AI神经网络来产生扩展视频和第二视频。在这种情况下，第二视频可包括第一视频的至少一部分和扩展视频。
例如，服务器2000可通过将包括在第一视频中的至少一个帧输入到扩展视频产生模块来产生扩展视频。具体地，服务器2000可通过将包括在第一视频中的参考帧输入到扩展视频产生模块来产生与参考帧相应的扩展视频。在这种情况下，参考帧可以是一个或更多个。第一视频可由多个参考帧组成。
服务器2000可通过将各个参考帧输入到扩展视频产生模块来产生分别与多个参考帧相应的多个扩展视频。上面参照图4描述了通过将参考帧输入到扩展视频产生模块来产生扩展视频的方法，因此将省略重复的描述。
参照操作S760，服务器2000可将包括第一视频的至少一部分和扩展视频的第二视频发送到装置1000。
根据实施例，服务器2000可在用户不使用装置1000的时间期间将第二视频发送到装置1000。
根据实施例，服务器2000可在用户请求将第二视频发送到装置1000的情况下将第二视频发送到装置1000。
根据实施例，服务器2000可在装置1000显示第二视频的情况下将第二视频发送到装置1000。
参照操作S770，装置1000可在第一区域中显示包括第一视频的至少一部分和扩展视频的第二视频。例如，装置1000可在第一区域中显示包括参考帧和与参考帧相应的扩展视频的第二视频。
根据实施例，参考帧在数量上可以是一个或更多个，并且第一视频可由多个参考帧组成。此外，扩展视频在数量上可以是多个。在这种情况下，可通过将所述多个参考帧输入到扩展视频产生模块来产生多个扩展视频以分别与所述多个参考帧相应。第二视频可以是多个参考帧与分别相应于该多个参考帧的多个扩展视频组合的视频。
图8是示出根据实施例的产生或选择扩展视频的方法的流程图。参照图8公开的实施例可以由装置1000的处理器或服务器2000的处理器执行。也就是说，下面将描述的处理器可以是装置1000的处理器和服务器2000的处理器中的至少一个。处理器可包括图形处理器(GPU)或神经网络处理单元(NPU)。
参照图8，处理器可将第一视频的宽高比与在将播放第一视频的显示器中包括的屏幕的宽高比进行比较。显示器可包括具有可变的屏幕的宽高比的柔性显示器，其中，通过折叠屏幕的至少一部分或展开为屏幕的至少一部分在屏幕上输出第一视频。处理器可将第一视频的宽高比与通过折叠或展开屏幕的至少一部分而修改的屏幕的宽高比进行比较。每当屏幕的宽高比被改变时，处理器可以将第一视频的宽高比与修改后的屏幕的宽高比进行比较。
处理器可基于比较结果确定是否产生与第一视频相应的新的扩展视频产生模块(S810)。处理器可将第一视频输入到训练模型4000，使得训练模型4000通过使用第一视频来产生新的扩展视频产生模块(S820)。可选地，处理器确定第一视频的类别(S830)并且选择与确定的类别相关的先前训练出的扩展视频产生模块中的一个(S840)。处理器可通过使用扩展视频产生模块来产生扩展视频(S850)。
参照操作S810，处理器可确定是否产生与第一视频相应的新的扩展视频产生模块。处理器可将第一视频的宽高比与将显示第一视频的屏幕的宽高比进行比较。当第一视频的宽高比不同于屏幕的宽高比时，处理器可识别是否存在与第一视频相应的扩展视频产生模块。先前产生的扩展视频产生模块在数量上可以是多个。先前产生的扩展视频产生模块可被存储在装置1000的存储器或服务器2000的数据库DB中。处理器可识别在多个扩展视频产生模块中是否存在与第一视频相应的扩展视频产生模块。
根据实施例，处理器可基于与第一视频相应的扩展视频产生模块的存在性来确定是否产生新的扩展视频产生模块。例如，当存在与第一视频相应的先前产生的扩展视频产生模块时，处理器可确定不产生新的扩展视频产生模块。在另一示例中，当自从在先前产生与第一视频相应的扩展视频产生模块以来经过了预设时间时，处理器可确定产生新的扩展视频产生模块。在另一示例中，当与第一视频相应的先前产生的扩展视频产生模块未被配置为与将显示第一视频的区域的宽高比相匹配时，处理器可确定产生新的扩展视频产生模块。先前产生的扩展视频产生模块可被存储在装置1000的存储器和服务器2000的DB中。处理器可基于先前产生的扩展视频产生模块的头信息来确定是否产生新的扩展视频产生模块。头信息可包括关于与扩展视频产生模块相应的视频的信息(例如，视频被存储的路径、视频的播放时间、视频的宽高比和关于是否已经产生扩展视频的信息)、关于扩展视频产生模块的产生时间的信息以及关于第一视频的类别的信息。
根据实施例，处理器可基于与类似于第一视频的视频相应的扩展视频产生模块的存在性来确定是否产生新的扩展视频产生模块。
例如，当存在与第一视频的类别(例如，SF电影、关于自然的纪录片、现场表演、2D动画、3D动画、增强现实(AR)视频、全息视频等)相应的扩展视频产生模块时，处理器可以不产生新的扩展视频产生模块。
在另一示例中，在存在具有与和第一视频的名称类似的名称的视频相应的扩展视频产生模块的情况下，处理器可以不产生新的扩展视频产生模块。
在另一示例中，在存在与包括与第一视频的至少一个帧类似的帧的视频相应的扩展视频产生模块的情况下，处理器可以不产生新的扩展视频产生模块。参照操作S820，处理器可将第一视频输入到训练模型4000，使得训练模型4000通过使用第一视频产生与第一视频相应的新的扩展视频产生模块。训练模型4000可通过学习与第一视频相关的至少一条训练数据来产生新的扩展视频产生模块。处理器可控制训练模型4000经由GPU和NPU中的至少一个进行学习。例如，装置1000可将训练模型4000和第一视频输入到学习器，并且控制学习器使用第一视频更新训练模型4000并产生与第一视频相应的新的扩展视频产生模块。下面将参照图9至图15详细描述用于产生与第一视频相应的扩展视频产生模块的训练数据。
参照操作S830，处理器可确定第一视频的类别(例如，SF电影、关于自然的纪录片、现场表演、2D动画、3D动画、增强现实(AR)视频、全息视频等)以选择与第一视频相应的扩展视频产生模块。
根据实施例，处理器可基于第一视频的元数据来确定第一视频的类别。例如，处理器可基于第一视频的头信息来确定第一视频的类别。在另一示例中，处理器可基于第一视频的名称来确定第一视频的类别。
根据实施例，处理器可基于包括在第一视频中的至少一个帧来确定第一视频的类别。具体地，因为SF电影可包括与宇宙相关的至少一个帧，所以处理器可通过将包括在第一视频中的至少一个帧确定为与宇宙相关的帧来将第一视频的类别确定为SF电影。另外，因为关于自然的纪录片可包括与诸如森林、沙漠和海洋的自然相关的至少一个帧，所以处理器可通过将包括在第一视频中的至少一个帧确定为与自然相关的帧来将第一视频的类别确定为关于自然的纪录片。
根据实施例，处理器可通过识别出在第一视频的至少一个帧中包括的对象来确定第一视频的类别。具体地，当第一视频的对象为2D动画角色时，处理器可将第一视频的类别确定为2D动画。
参照操作S840，处理器可选择与第一视频的类别相关的先前产生的扩展视频产生模块中的一个。
根据实施例，处理器可基于类别存储关于先前产生的扩展视频产生模块的信息。关于先前产生的扩展视频产生模块的信息可包括关于视频的类别的信息和关于用于产生扩展视频产生模块的视频的场景的信息。
例如，处理器可将第一视频的类别确定为关于自然的纪录片。处理器可在先前产生的扩展视频产生模块中选择被产生为与关于自然的纪录片视频相应的扩展视频产生模块。另外，处理器可选择被产生为与在海中钓鱼的场景相应的扩展视频产生模块。
在另一示例中，处理器可将类别确定为SF电影。处理器可在先前产生的扩展视频产生模块中选择被产生为与SF电影相应的扩展视频产生模块。此外，处理器可选择被产生为与在空间中移动的宇宙飞船的场景相应的扩展视频产生模块。
根据实施例，处理器可基于第一视频的至少一个帧选择先前产生的扩展视频产生模块中的一个。例如，第一视频的至少一个帧可以是构成渔船在海中移动的场景的帧。处理器可选择被产生为与在海中钓鱼的场景相应的扩展视频产生模块。处理器可选择被产生为与船在海中移动的场景相应的扩展视频产生模块。
参照操作S850，处理器可通过将第一视频输入到在操作S820中新产生的扩展视频产生模块来产生扩展视频和第二视频中的至少一个。处理器可通过将第一视频输入到在操作S840中选择的扩展视频产生模块来产生扩展视频和第二视频中的至少一个。处理器可经由GPU和NPU中的至少一个从被输入了第一视频的扩展视频产生模块产生扩展视频。处理器可通过经由GPU和NPU中的至少一个将第一视频与扩展视频组合来产生第二视频。产生扩展视频和第二视频中的至少一个的方法与操作S450、操作S590和操作S660类似，因此将省略重复的描述。
图9和图10是示出根据实施例的将包括在视频中的帧输入到训练模型4000的示例的示图。
可将包括在第一视频中的至少一个帧作为训练数据输入到AI神经网络。另外，可通过输入的训练数据对AI神经网络进行训练以产生与第一视频相应的扩展视频和第二视频。就此而言，第二视频可包括第一视频和与第一视频相应的扩展视频。
参照图9，可将包括在视频中的参考帧3110以及在时间上在参考帧3110之前播放的先前帧3120-1、3120-2和3120-n中的至少一个作为训练数据输入到训练模型4000。
参照图10，可将包括在视频中的参考帧3210和在时间上在参考帧3210之后播放的后续帧3220-1、3220-2和3220-n中的至少一个作为训练数据输入到训练模型4000。
另外，显而易见的是，可将参考帧3110和参考帧3210、先前帧3120-1、3120-2和3120-n中的至少一个、以及后续帧3220-1、3220-2和3220-n中的至少一个作为训练数据输入到训练模型4000。
参照图9和图10，视频中的人可以在视频被播放时从右向左移动。随着视频中的人从右向左移动，在先前帧3120-1、3120-2和3120-n中可包括可位于参考帧3110的右侧附近的背景。另外，随着视频中的人从右向左移动，在后续帧3220-1、3220-2和3220-n中可包括可位于参考帧3210的左侧附近的背景。因此，可将先前帧3120-1、3120-2和3120-n以及后续帧3220-1、3220-2和3220-n中的至少一个作为训练数据输入到训练模型4000以产生扩展视频产生模块。
根据实施例，先前帧3120-1、3210-2和3120-n以及后续帧3220-1、3210-2和3220-n可以分别是在距参考帧3110和3210预设时间段之前和之后播放的帧。另外，先前帧3120-1、3210-2和3120-n以及后续帧3220-1、3210-2和3220-n可以分别是与参考帧3110和3210具有相似性的帧。在这种情况下，相似性可基于参考帧3110与先前帧3120-1、3120-2和3120-n之间的数据改变量或参考帧3210与后续帧3220-1、3220-2和3220-n之间的数据改变量。
训练模型4000可基于参考帧3110和3210、先前帧3120-1、3120-2和3120-n以及后续帧3220-1、3200-2和3220-n来识别出参考帧3110和3210的特征(诸如，图案和颜色)。训练模型4000可通过使用识别出的特征来产生扩展视频产生模块以产生将在被显示在参考帧的两侧附近的部分处的黑边中显示的拓展视频。
尽管上面仅描述了在视频的两侧附近的部分处显示黑边的情况，但显而易见的是，本实施例也适用于如图2中所示出的各种形状的黑边。
图11示出说明根据实施例的将尺寸调整后的图像3320输入到训练模型的示例的示图。
参照图11，可将包括在视频中的参考帧3310和通过调整参考帧3310的尺寸而获得的尺寸调整后的图像3320作为训练数据输入到训练模型4000。
参照图11，尺寸调整后的图像3320是通过调整参考帧3310的尺寸使得参考帧3310的宽高比与第一区域的宽高比相应而获得的图像。与参考帧3310相比，尺寸调整后的图像3320可具有数量增加的像素3321。
根据实施例，训练模型4000可识别出参考帧3310的特征(诸如，图案和颜色)。训练模型4000可通过使用识别出的特征产生扩展视频产生模块以产生将在参考帧3310的两侧附近的部分处的黑边中显示的扩展视频。
AI神经网络可学习输入的参考帧3310和尺寸调整后的图像3320，从而产生扩展视频产生模块以产生不会与参考帧3310不协调的扩展视频。
图12示出说明根据实施例的将裁剪图像输入到训练模型的示例的示图。
参照图12，可将包括在视频中的参考帧3410和通过对参考帧3410进行裁剪而获得的裁剪图像作为训练数据输入到训练模型4000。在这种情况下，裁剪图像3420可以是通过对参考帧3410的两侧的预设像素3411a和3411b进行裁剪而获得的图像。
根据实施例，视频的宽高比可以是2.35:1，并且第一区域的宽高比可以是18:9。裁剪图像3420可以是通过将参考帧3410的两侧处的预设像素3411a和3411b进行裁剪以与屏幕的宽高比相应而获得的图像。
根据实施例，视频的宽高比可以是16:9，并且第一区域的宽高比可以是18:9。裁剪图像可以是通过对参考帧的两侧处的预设像素进行裁剪以与第一区域的宽高比相应而获得的图像。
根据实施例，训练模型4000可基于参考帧3410和裁剪图像3420来识别出参考帧3410的特征(诸如，图案和颜色)。训练模型4000可通过使用识别出的特征产生扩展视频产生模块以产生将在参考帧3410的两侧附近的部分处的黑边中显示的扩展视频。
AI神经网络可学习输入的参考帧3410和裁剪图像3420，从而产生扩展视频产生模块以产生不会与参考帧3410不协调的扩展视频。
图13示出说明根据实施例的将权重应用于包括在视频中的帧的示例的示图。
参照图13，可将权重应用于视频中的参考帧3510的预设像素3511a和3511b。可将通过将权重应用于预设像素3511a和3511b而产生的参考帧3510作为训练数据输入到训练模型4000。
根据实施例，被应用了权重的预设像素3511a和3511b可以是位于黑边区域附近的像素。例如，视频的宽高比可以是16:9，并且第一区域的宽高比可以是18:9。在这种情况下，黑边区域可以是视频的两侧附近的部分。因此，可将权重应用于位于参考帧3510的两侧处的预设像素3511a和3511b。
根据实施例，训练模型4000可通过将权重应用于预设像素3511a和3511b来学习参考帧3510。训练模型4000可识别出被应用了权重的预设像素3511a和3511b的特征(诸如，图案和颜色)。训练模型4000可通过使用识别出的特征来产生扩展视频产生模块以产生将在在参考帧3510的两侧附近的部分处的黑边中显示的扩展视频。
图14是示出根据实施例的将寻找到的图像作为训练数据输入到训练模型的方法的流程图。图15示出说明根据实施例的将寻找到的图像作为训练数据输入到训练模型的示例的示图。
参照图14和图15，装置1000或服务器2000检索或搜索与参考帧相关的图像，并且将搜索到的图像作为训练数据输入到AI神经网络。装置1000或服务器2000可将搜索到的图像输入到训练模型4000。例如，装置1000或服务器2000可控制包括在装置1000或服务器2000中的学习器通过将搜索到的图像输入到训练模型4000来更新训练模型4000。
在操作S1410，装置1000或服务器2000可检测构成参考帧的图案和颜色中的至少一个。参照图15，装置1000或服务器2000可检测构成参考帧的图案(例如，背景的垂直线、栏杆的水平线等)和颜色(例如，背景的棕色、栏杆的灰色等)中的至少一个。
参照操作S1430，装置1000或服务器2000可搜索与检测到的图案和颜色中的至少一个相关的图像。在这种情况下，装置1000或服务器2000可检索存储在内部存储装置(例如，存储器或数据库)中的图像。另外，装置1000或服务器2000可通过因特网搜索图像。
参照图15，装置1000或服务器2000可检索或搜索与作为从参考帧3610检测到的图案的栏杆的水平线相关的图像3621。此外，装置1000或服务器2000可检索或搜索与作为从参考帧3610检测到的图案的背景的垂直线相关的图像3622。
参照操作S1450，装置1000或服务器2000可将搜索到的图像作为训练数据输入到训练模型4000。参照图15，装置1000或服务器2000可将搜索到的图像3621和3622以及参考帧3610一起作为训练数据输入到训练模型4000。
根据实施例，装置1000或服务器2000可通过调整搜索到的图像的尺寸来产生尺寸调整后的图像，并将产生的尺寸调整后的图像作为训练数据输入到训练模型4000。
根据实施例，训练模型4000可学习参考帧3610以及搜索到的图像3621和3622。训练模型4000可识别出参考帧3610的特征(诸如，图案或颜色)。此外，训练模型4000可识别出搜索到的图像3621和3622的特征(诸如，图案和颜色)。此外，训练模型4000可识别出通过调整搜索到的图像3621和3622的尺寸而产生的尺寸调整后的图像的特征(诸如，图案或颜色)。训练模型4000可通过使用识别出的特征产生扩展视频产生模块以产生将在位于参考帧3610的两侧附近的部分处的黑边中显示的扩展视频。
图16和图17是根据实施例的装置1000的框图。
如图16中所示出的，根据实施例的装置1000可包括用户输入接口1100、输出接口1200、处理器1300和通信接口1500。然而，图16所示出的所有元件不是装置1000的必要元件。装置1000可包括比图16中所示出的元件更多的元件。可选地，装置1000可包括比图16中所示出的元件更少的元件。
例如，如图17中所示出，除了用户输入接口1100、输出接口1200、处理器1300和通信接口1500之外，根据实施例的装置1000还可包括传感器1400、A/V输入接口1600和存储器1700。
用户输入接口1100是指用于输入允许用户控制装置1000的数据的装置。例如，用户输入接口1100可以是但不限于键盘、圆顶开关、触摸板(例如，触摸电容型触摸板、压力电阻型触摸板、红外光束感测型触摸板、表面声波型触摸板、一体应变计型触摸板和压电型触摸板)、滚轮或滚轮开关。
用户输入接口1100可接收从视频列表选择第一视频的用户输入。
输出接口1200可输出音频信号、视频信号或振动信号。输出接口1200可包括显示器1210、扬声器1220和振动电机1230。
显示器1210包括用于显示由装置1000处理的信息的屏幕。此外，屏幕可显示视频。例如，屏幕的至少一部分可显示包括第一视频的至少一部分和与第一视频相应的扩展视频的第二视频。显示器可以是例如液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器(例如，有源矩阵有机发光二极管(AMOLED)和无源矩阵OLED(PMOLED))、微机电***(MEMS)显示器或者通过折叠或展开来改变输出信息的屏幕的宽高比的柔性显示器。
扬声器1220输出从通信接口1500接收的或存储在存储器1700中的音频数据。此外，扬声器1220可输出与在装置1000中处理的功能相关的音频信号(例如，呼叫信号接收声音、消息接收声音和通知声音)。
处理器1300通常控制装置1000的整体操作。例如，处理器1300可通过执行存储在存储器1700中的程序来控制用户输入接口1100、输出接口1200、传感器1400、通信接口1500、A/V输入接口1600等的整体操作。另外，处理器1300可通过执行存储在存储器1700中的程序来执行上面参照图1至图14描述的装置1000的功能。
具体地，处理器1300可控制用户输入接口1100从用户接收文本、图像和视频的输入。处理器1300可控制麦克风1620接收用户的语音输入。处理器1300可执行被配置为基于用户的输入执行装置1000的操作的应用，并且控制该应用接收用户的输入。例如，处理器1300可通过执行语音助手应用并控制所执行的应用来控制麦克风1620接收用户的语音输入。
处理器1300可控制装置1000的输出接口1200和存储器1700显示第一视频。
当第一视频的宽高比不同于第一区域的宽高比时，处理器1300可产生在第一区域中显示的黑边中将显示的扩展视频。
处理器1300可通过将训练数据输入到AI神经网络来训练AI神经网络。例如，处理器1300可通过将训练数据输入到存储在存储器1700或服务器2000中的训练模型4000来产生扩展视频产生模块以产生扩展视频。在这种情况下，应当理解的是，处理器1300包括图形处理器(GPU)或神经网络处理器(NPU)。
另外，处理器1300可通过使用产生的扩展视频产生模块来产生与包括在视频中的参考帧相应的扩展视频，将参照图19至图22更详细地对此进行描述。在这种情况下，参考帧是根据需要被选择以产生扩展视频的帧。上面参照图4描述了用于产生扩展视频的参考帧，因此将省略重复的描述。
处理器1300可提取包括在第一视频中的至少一个帧。
处理器1300可控制装置1000的输出接口1200和存储器1700显示包括第一视频的至少一部分和与第一视频相应的扩展视频的第二视频。
此外，处理器1300可通过使用存储在存储器1700或服务器2000中的训练模型4000和学习器来学习用于产生与包括在视频中的参考帧相应的扩展视频的标准，并且可向用户提供用于基于学习结果产生与用户意图相匹配的扩展视频的扩展视频产生模块。
传感器1400可检测装置1000的状态和装置1000的环境状态，并且将获得的信息发送到处理器1300。传感器1400可用于产生关于装置1000的产品规格的信息、关于装置1000的状态的信息、关于装置1000的周围环境的信息、关于用户的状态的信息和关于用户使用装置1000的历史的信息的一部分。
传感器1400可包括从以下传感器中选择的至少一个传感器：磁传感器1410、加速度传感器1420、温度/湿度传感器1430、红外线传感器1440、陀螺仪传感器1450、位置传感器(例如，GPS)1460、大气压力传感器1470、接近传感器1480和RGB传感器(照度传感器)1490，但不限于此。由于本领域普通技术人员可直观地推断各个传感器的功能，因此将省略其详细描述。
通信接口1500可包括使得能够在装置1000与另一外部装置(未示出)和服务器2000之间进行通信的至少一个元件。外部装置(未示出)可以是如同装置1000的计算装置或感测装置，而不限于此。例如，通信接口1500可包括短程无线通信接口151、移动通信接口1520和广播接收器1530。
短程无线通信接口1510可包括蓝牙通信接口、蓝牙低功耗(BLE)通信接口、近场通信接口、无线局域网(WLAN)或Wi-Fi通信接口、Zigbee通信接口、红外数据协会(IrDA)通信接口、Wi-Fi直连(WFD)通信接口、超宽带(UWB)通信接口和Ant+通信接口，但不限于此。
移动通信接口1520可向移动通信网络上的基站、外部终端和服务器中的至少一个发送无线信号和从移动通信网络上的基站、外部终端和服务器中的至少一个接收无线信号。无线信号可包括用于收发音频呼叫信号、视频通信呼叫信号或文本/多媒体消息的各种类型的数据。
广播接收器1530可经由广播信道从外部接收广播信号和/或与广播相关的信息。广播信道可包括卫星信道和地面信道。根据本公开的实施例，装置1000可以不包括广播接收器1530。
此外，通信接口1500可向服务器2000发送视频。
根据实施例，通信接口1500可将存储在存储器1700中的第一视频的至少一部分发送到服务器2000。例如，通信接口1500可将从第一视频提取的至少一个帧发送到服务器2000。在另一示例中，通信接口1500可将由从第一视频提取的多个帧组成的视频发送到服务器2000。在另一示例中，通信接口1500可将通过对第一视频的一部分进行裁剪而获得的视频发送到服务器2000。
根据实施例，通信接口1500可将关于发布在互联网上的第一视频的信息发送到服务器2000。例如，通信接口1500可将第一视频的标识符(例如，URL)发送到服务器2000。在另一示例中，通信接口1500可将从第一视频提取的至少一个帧发送到服务器2000。在另一示例中，通信接口1500可将由从第一视频提取的多个帧组成的视频发送到服务器2000。
根据实施例，通信接口1500可接收由服务器产生的扩展视频产生模块。
根据实施例，通信接口1500可从服务器接收视频列表。
根据实施例，通信接口1500可从服务器接收视频。
音频/视频(A/V)输入接口1600用于输入音频信号或视频信号，并且可包括相机1610、麦克风1620等。相机1610可在视频呼叫模式或图像捕捉模式下经由图像传感器获得静止图像或运动图像的图像帧。由图像传感器捕捉的图像可由处理器1300或单独的图像处理器(未示出)来处理。由相机1610捕获的图像可被用作用户的上下文信息。
麦克风1620可从外部接收音频信号并且将接收到的信号处理成电声音数据。例如，麦克风1620可从外部装置或用户接收声音信号。麦克风1620可接收用户的语音输入。麦克风1620可将各种算法用于移除在接收外部声音信号的输入的过程期间产生的噪声。
存储器1700可存储用于处理和控制处理器1300的程序，并且存储输入到装置1000或从装置1000输出的数据。此外，存储器1700可存储视频和对存储在存储器1700中的视频进行检索的结果。存储器1700可将与存储在装置1000中的视频相关的信息存储在装置1000中。例如，存储器1700可存储视频被存储的路径、视频的播放时间、视频的宽高比、是否已经产生扩展视频等。
存储器1700可存储从视频提取的至少一个帧。
存储器1700可存储AI神经网络。例如，存储器1700可存储学习器、训练模型和由训练模型产生的扩展视频产生模块。此外，存储器1700可存储通过将包括在视频中的帧输入到扩展视频产生模块而产生的扩展视频。
存储器1700可包括从以下项中选择的至少一种类型的存储介质：闪存型、硬盘型、微型多媒体卡型、卡型存储器(例如，SD或XD存储器)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁存储器、磁盘或光盘。
存储在存储器1700中的程序可根据其功能被分类为多个模块，例如，用户界面(UI)模块1710、触摸屏模块1720和通知模块1730。
UI模块1710可根据应用提供与装置1000交互的专用UI、GUI等。触摸屏模块1720可检测用户在触摸屏上的触摸手势，并且将关于触摸手势的信息发送到处理器1300。根据本公开的实施例的触摸屏模块1720可识别出并分析触摸代码。触摸屏模块1720可被配置为包括控制器的单独的硬件组件。
通知模块1730可产生用于通知装置1000的事件的发生的信号。在装置1000中发生的事件的示例可包括呼叫信号的接收、消息的接收、键信号的输入和时间表的通知。通知模块1730可通过显示器1210以视频信号形式输出通知信号，通过扬声器1220以音频信号形式输出通知信号，并且通过振动电机1230以振动信号形式输出通知信号。
图18是根据实施例的服务器2000的框图。
参照图18，根据实施例的服务器2000可包括通信接口2500、DB 2700和处理器2300。
通信接口2500可包括使得能够与装置1000进行通信的至少一个组件。
通信接口2500可从装置1000接收视频或将视频发送到装置1000。
DB 2700可存储AI神经网络或将被输入到AI神经网络的训练数据。例如，DB 2700可存储学习器、训练模型和将被输入到训练模型的训练数据。DB 2700可存储由训练模型产生的扩展视频产生模块。
DB 2700可存储至少一个视频。DB 2700可存储由扩展视频产生模块产生的与至少一个视频相应的扩展视频。DB 2700可存储所述至少一个视频与相应于所述至少一个视频的扩展视频组合的视频。
处理器2300通常控制服务器2000的整体操作。例如，处理器2300可通过执行存储在服务器2000的DB 2700中的程序来控制DB 2700和通信接口2500的整体操作。处理器2300可通过执行存储在服务器2000的DB 2700中的程序来执行图1至图15中所示出的装置1000的操作的一部分。
处理器2300可执行以下功能中的至少一个功能：从视频提取帧的功能、基于提取的帧产生训练数据的功能、通过将训练数据输入到训练模型来产生扩展视频产生模块的功能以及通过将视频输入到扩展视频产生模块来产生扩展视频的功能。
处理器2300可控制以下数据中的至少一种数据：从视频提取帧所需的数据、基于提取的帧来产生训练数据所需的数据、通过将训练数据输入到训练模型来产生扩展视频产生模块所需的数据以及通过将视频输入到扩展视频产生模块来产生扩展视频所需的数据。
图19是根据实施例的处理器1300的框图。
参照图19，根据实施例的处理器1300可包括数据学习器1310和数据识别器1320。
数据学习器1310可学习用于产生与包括在视频中的参考帧相应的扩展视频的标准。参考帧是根据需要被选择以产生扩展视频的帧。上面参照图5描述了用于产生扩展视频的参考帧，并且将省略重复的描述。
数据学习器1310可学习用于选择用于产生与包括在视频中的参考帧相应的扩展视频的数据的标准。数据学习器1310可学习用于以下操作的标准：通过获得用于学习的数据并将获得的数据应用于下面将描述的数据识别模型来产生与包括在视频中的参考帧相应的扩展视频。
例如，数据学习器1310可学习以下操作作为用于获得训练数据的标准：获得可在距参考帧预设时间段之前和之后获得的先前帧和后续帧作为训练数据，获得参考帧和通过调整参考帧的尺寸而获得的尺寸调整后的图像，获得参考帧和通过对参考帧进行裁剪而获得的裁剪图像作为训练数据，以及获得寻找到的与参考帧相关的图像作为训练数据。以上参照图9至图15描述了用于学习的数据及其获得方法，因此将省略重复的描述。
例如，数据学习器1310可学习以下操作作为学习训练数据的标准：将权重应用于位于黑边区域附近的训练数据的像素，并且将权重应用于位于与参考帧的像素相同的像素附近的训练数据的像素。
数据识别器1320可基于数据来产生与包括在视频中的参考帧相应的扩展视频。数据识别器1320可通过使用更新的扩展视频产生模块从预设数据产生与包括在视频中的参考帧相应的扩展视频。数据识别器1320可根据通过学习而预设的标准来获得预设数据，并且使用将获得的数据用作输入值的扩展视频产生模块。另外，数据识别器1320可基于预设数据产生与包括在视频中的参考帧相应的扩展视频。另外，从将获得的数据用作输入值的扩展视频产生模块输出的结果值可被用于细化扩展视频产生模块。
数据学习器1310和数据识别器1320中的任意一个或两者可被制造为至少一个硬件芯片并且被构建在装置中。例如，数据学习器1310和数据识别器1320中的至少一个可被制造为用于人工智能(AI)的专用硬件芯片，或者可被制造为现有通用处理器(例如，中央处理器(CPU)或应用处理器)或图形处理器(例如，图形处理器(GPU))的一部分。
在这种情况下，数据学习器1310和数据识别器1320可被构建在一个装置中或者可被单独地构建在不同的装置中。例如，数据学习器1310和数据识别器1320中的一个可被包括在装置1000中，另一个可被包括在服务器2000中。另外，数据学习器1310可通过有线或无线地将通过数据学习器1310构建的模型信息提供给数据识别器1320或数据识别器1320可通过有线或无线地将输入到数据识别器1320的数据作为另外的训练数据提供给数据学习器1310。
另外，数据学习器1310和数据识别器1320中的任意一个或两者可被实现为软件模块。当数据学习器1310和数据识别器1320中的任意一个或两者被实现为软件模块(或包括指令的程序模块)时，软件模块可被存储在非暂时性计算机可读记录介质中。另外，在这种情况下，至少一个软件模块可由操作***(OS)或预设应用来提供。可选地，所述至少一个软件模块的一部分可由OS来提供，并且其余部分可由预设应用来提供。
图20是根据实施例的数据学习器1310的框图。
参照图20，根据实施例的数据学习器1310可包括数据获得器1310-1、预处理器1310-2、训练数据选择器1310-3、模型学习器1310-4和模型评估器1310-5。
数据获得器1310-1可获得产生与视频相应的扩展视频所需的数据。数据获得器1310-1可获得例如包括在视频中的参考帧、在参考帧之前播放的至少一个先前帧、在参考帧之后播放的至少一个后续帧、通过调整参考帧的尺寸而获得的尺寸调整后的帧、通过对参考帧的一部分进行裁剪而产生的裁剪图像以及与构成参考帧的图案和颜色中的至少一个相关的图像。
预处理器1310-2可对获得的数据进行预处理，使得该数据被用于产生与视频相应的扩展视频。预处理器1310-2可将获得的数据处理成预设格式，使得下面将描述的模型学习器1310-4可将获得的数据用于学习以产生与视频相应的扩展视频。
训练数据选择器1310-3可从多条预处理数据中选择学习所需的数据。选择的数据可被提供给模型学习器1310-4。训练数据选择器1310-3可根据用于产生与视频相应的扩展视频的预设标准从预处理的多条数据选择学习所需的数据。另外，训练数据选择器1310-3可根据通过下面将描述的模型学习器1310-4的学习所预先设置的标准来选择数据。
模型学习器1310-4可学习关于如何基于训练数据产生与视频相应的扩展视频的标准。此外，模型学习器1310-4可学习关于如何选择将用于产生与视频相应的扩展视频的训练数据的标准。
例如，关于如何选择由模型学习模型学习的训练数据的标准可包括：用于选择将被用作训练数据的参考帧的标准、用于从可在距参考帧预设时间之前或之后被播放的多个帧中选择至少一个帧作为训练数据的标准、用于选择参考帧和参考帧的尺寸调整的图像作为训练数据的标准、用于选择参考帧和参考帧的裁剪图像作为训练数据的标准以及用于选择与视频的类别相关的图像作为训练数据的标准。
此外，模型学习器1310-4可通过使用训练数据来更新用于产生与视频相应的扩展视频的训练模型。在这种情况下，训练模型可以是预先建立的模型。例如，可通过接收基本训练数据(例如，样本数据)的输入来预先建立训练模型。
可考虑应用识别模型的领域、学习的目的或装置1000的计算性能来预先建立训练模型。训练模型可以是基于例如神经网络的模型。例如，诸如深度神经网络(DNN)、循环神经网络(RNN)、双向循环深度神经网络(BRDNN)和生成式对抗网络(GAN)的模型可被用作训练模型，而不限于此。
根据各种实施例，当存在预先建立的多个训练模型时，模型学习器1310-4可将在输入训练数据与基本训练数据之间具有高关联性的训练模型确定为将被更新的训练模型。在这种情况下，可根据数据的类型预先对基础训练数据进行分类，并且可根据数据的类型预先建立训练模型。例如，可根据诸如以下的各种标准来对基础训练数据进行预先分类：产生训练数据的区域、产生训练数据的时间、训练数据的尺寸、训练数据的种类、训练数据的产生器以及训练数据中的对象的类型。
此外，模型学习器1310-4可通过使用包括例如误差反向传播或梯度下降的学习算法来更新训练模型。
另外，模型学习器1310-4可例如通过将训练数据用作输入值经由监督式学习来更新训练模型。另外，模型学习器1310-4可经由无监督学习来更新训练模型以通过以下操作来找到用于确定用于产生与视频相应的扩展视频的标准的标准：选择视频的参考帧，并且在没有监督的情况下自行学习产生与选择的参考帧相应的扩展视频所需的数据的类型。此外，模型学习器1310-4可经由使用关于通过学习产生与视频相应的扩展视频的结果是否正确的反馈的强化学习来更新训练模型。
另外，当更新训练模型时，模型学习器1310-4可存储使用更新的训练模型产生的扩展视频产生模块。在这种情况下，模型学习器1310-4可将扩展视频产生模块存储在包括数据识别器1320的装置的存储器中。可选地，模型学习器1310-4可将扩展视频产生模块存储在经由有线或无线网络连接到装置的服务器的DB中。
在这种情况下，存储扩展视频产生模块的存储器还可存储例如与装置的至少另一元件相关的命令或数据。另外，存储器可存储软件和/或程序。程序可包括例如内核、中间件、应用编程接口(API)和/或应用程序(或“应用”)。
当模型评估器1310-5将评估数据输入到训练模型，并且根据评估数据输出的识别结果不满足预设标准时，模型评估器1310-5可控制模型学习器1310-4再次学习。在这种情况下，评估数据可以是用于评估训练模型的预设数据。
例如，当在根据评估数据输出的更新的训练模型的识别结果中的不准确识别结果的数量或比率超过预设阈值时，模型评估器1310-5可评估出预设标准未被满足。例如，当预设阈值被定义为2％，并且更新的训练模型在总共1000个评估数据中输出了20个以上的不准确识别结果时，模型评估器1310-5可评估出更新的训练模型不合适。
另外，当存在多个更新的训练模型时，模型评估器1310-5可评估更新的训练模型中的每一个是否满足预设标准，并且可将满足预设标准的训练模型确定为最终训练模型。在这种情况下，当存在满足预设标准的多个训练模型时，模型评估器1310-5可按照评估分数的降序将预设的模型中的一个模型或预设数量的模型确定为最终训练模型。
另外，数据学习器1310的数据获得器1310-1、预处理器1310-2、训练数据选择器1310-3、模型学习器1310-4和模型评估器1310-5中的至少一个可被制造为至少一个硬件芯片并且被构建在装置中。例如，数据获得器1310-1、预处理器1310-2、训练数据选择器1310-3、模型学习器1310-4和模型评估器1310-5中的至少一个可被制造为用于人工智能(AI)的专用硬件芯片或者可被制造为现有通用处理器(例如，中央处理器(CPU)或应用处理器)或图形处理器(例如，GPU)的一部分并且被构建在装置中。
此外，数据获得器1310-1、预处理器1310-2、训练数据选择器1310-3、模型学习器1310-4和模型评估器1310-5可被构建在一个装置1000中，或者可被分别构建在单独的装置中。例如，数据获得器1310-1、预处理器1310-2、训练数据选择器1310-3、模型学习器1310-4和模型评估器1310-5中的一些可被包括在装置中，并且其他可被包括在服务器中。
另外，数据获得器1310-1、预处理器1310-2，训练数据选择器1310-3，模型学习器1310-4和模型评估器1310-5中的至少一个可被实现为软件模块。当数据获得器1310-1、预处理器1310-2、训练数据选择器1310-3、模型学习器1310-4和模型评估器1310-5中的至少一个被实现为软件模块(或包括指令的程序模块)时，软件模块可被存储在非暂时性计算机可读记录介质中。另外，在这种情况下，至少一个软件模块可由操作***(OS)或预设应用来提供。可选地，所述至少一个软件模块的一部分可由OS来提供，并且其余部分可由预设应用来提供。
处理器1300可使用各种训练模型，并且使用训练模型经由各种方法有效地学习用于产生与视频相应的扩展视频的标准。
图21是根据实施例的数据识别器1320的框图。
参照图21，根据实施例的数据识别器1320可包括数据获得器1320-1、预处理器1320-2、识别数据选择器1320-3、识别结果提供器1320-4和模型细化器1320-5。
数据获得器1320-1可获得用于产生与视频相应的扩展视频的数据。例如，数据获得器1320-1可获得例如包括在视频中的参考帧、在参考帧之前播放的至少一个先前帧、在参考帧之后播放的至少一个后续帧、通过调整参考帧的尺寸而获得的尺寸调整后的帧、通过对参考帧的一部分进行裁剪而产生的裁剪图像以及与构成参考帧的图案和颜色中的至少一个相关的图像。
预处理器1320-2可对获得的数据进行预处理，使得数据被用于产生与视频相应的扩展视频。预处理器1320-2可将获得的数据处理成预设格式，使得下面将描述的识别结果提供器1320-4可将获得的数据用于学习以产生与视频相应的扩展视频。
识别数据选择器1320-3可从多条预处理数据中选择产生与视频相应的扩展视频所需的数据。可将选择的数据提供给识别结果提供器1320-4。识别数据选择器1320-3可根据用于产生与视频相应的扩展视频的预设标准从预处理的多条数据中选择一些数据或所有数据。另外，识别数据选择器1320-3可根据通过上面描述的模型学习器1310-4的学习而预先设置的标准来选择数据。
识别结果提供器1320-4可通过将选择的数据应用于扩展视频产生模块来产生与视频相应的扩展视频。识别结果提供器1320-4可根据数据的识别目的提供识别结果。识别结果提供器1320-4可以通过将由识别数据选择器1320-3选择的数据用作输入值来将选择的数据应用于扩展视频产生模块。另外，识别结果可由扩展视频产生模块来确定。
模型细化器1320-5可基于对由识别结果提供器1320-4提供的识别结果的评估来细化扩展视频产生模块。例如，模型细化器1320-5可通过将由识别结果提供器1320-4提供的识别结果提供给模型学习器1310-4，来使得模型学习器1310-4细化训练模型并通过使用细化的训练模型细化扩展视频产生模块。
另外，数据获得器1320-1、预处理器1320-2、识别数据选择器1320-3、识别结果提供器1320-4和模型细化器1320-5中的至少一个可被制造为至少一个硬件芯片并且被构建在装置中。例如，数据获得器1320-1、预处理器1320-2、识别数据选择器1320-3、识别结果提供器1320-4和模型细化器1320-5中的至少一个可被制造为用于人工智能(AI)的专用硬件芯片或者可被制造为现有通用处理器(例如，中央处理器(CPU)或应用处理器)或图形处理器(例如，GPU)的一部分并且被构建在装置中。
另外，数据获得器1320-1、预处理器1320-2、识别数据选择器1320-3、识别结果提供器1320-4和模型细化器1320-5可被构建在一个装置1000中，或者可被分别构建在单独的装置中。例如，数据获得器1320-1、预处理器1320-2、识别数据选择器1320-3、识别结果提供器1320-4和模型细化器1320-5中的一些可被包括在装置1000中，并且其他可被包括在服务器2000中。
此外，数据获得器1320-1、预处理器1320-2、识别数据选择器1320-3、识别结果提供器1320-4和模型细化器1320-5中的至少一个可被实现为软件模块。当数据获得器1320-1、预处理器1320-2、识别数据选择器1320-3、识别结果提供器1320-4和模型细化器1320-5中的至少一个被实现为软件模块(或包括指令的程序模块)时，软件模块可被存储在非暂时性计算机可读记录介质中。另外，在这种情况下，至少一个软件模块可由操作***(OS)或预设应用来提供。可选地，所述至少一个软件模块的一部分可由OS来提供，并且其余部分可由预设应用来提供。
另外，装置1000可通过使用应用了训练结果的扩展视频产生模块来向用户提供与用户的意图相匹配的扩展视频。
图22是示出根据实施例的根据实施例的装置1000和服务器2000进行交互操作以学习和识别数据的示例的示图。
参照图22，服务器2000可学习用于产生与视频相应的扩展视频的标准，并且装置1000可基于服务器2000的学习结果产生与视频相应的扩展视频。
在这种情况下，服务器2000的模型学习器2340可执行图19中所示出的数据学习器1310的功能。服务器2000的模型学习器2340可学习用于选择用于产生与视频相应的扩展视频的数据的标准。另外，服务器的模型学习器2340可学习用于使用数据产生与视频相应的扩展视频的标准。模型学习器2340可通过获得将被用于学习的数据并将获得的数据应用于将在下面描述的训练模型来学习用于产生扩展视频产生模块的标准。
另外，装置1000的识别结果提供器1320-4可通过将由识别数据选择器1320-3选择的数据应用于由服务器2000产生的扩展视频产生模块来产生与视频相应的扩展视频。例如，识别结果提供器1320-4可将由识别数据选择器1320-3选择的数据发送到服务器2000，并且请求服务器2000通过将由识别数据选择器1320-3选择的数据应用于扩展视频产生模块来产生与视频相应的扩展视频。另外，识别结果提供器1320-4可从服务器2000接收关于产生由服务器2000获得的与视频相应的扩展视频的方法的信息。
可选地，装置1000的识别结果提供器1320-4可从服务器2000接收由服务器2000产生的扩展视频产生模块，并且通过使用接收到的扩展视频产生模块产生与视频相应的扩展视频。在这种情况下，装置1000的识别结果提供器1320-4可通过将由识别数据选择器1320-3选择的数据应用于从服务器2000接收的扩展视频产生模块来产生与视频相应的扩展视频。
此外，装置1000和服务器2000可有效地划分并执行用于更新训练模型的操作、用于产生扩展视频产生模块的操作以及用于识别数据的操作。因此，能够有效地进行数据处理并有效地保护用户的隐私，以便提供满足用户意图的服务。
图23是根据实施例的装置的示意性框图。
参照图23，装置1000可包括处理器2360、存储器2362、图形处理器(GPU)(或神经网络处理单元(NPU))2364和显示器2366。处理器2360可包括图16的处理器1300。显示器2366可包括图16的显示器1210。
根据实施例，装置1000还可包括解码器2360a和至少一个缓冲存储器2360b。例如，解码器2360a和缓冲存储器2360b可被包括在处理器2360中。
根据实施例，存储器2362可存储第一视频和/或扩展视频产生模块。第一视频可以是(例如)由包括在处理器2360中的解码器2360a进行解码并被存储在存储器2362中的视频。
根据实施例，处理器2360可获得存储在存储器2362中的第一视频，并且将第一视频发送到缓冲存储器2360b。处理器2360可产生存储在缓冲存储器2360b中的第一视频的副本并且将副本发送到GPU 2364。根据实施例，GPU(或NPU)2364可以是针对人工智能优化的处理器。GPU(或NPU)2364可以是比通用处理器更集成、具有更少延迟、具有更高性能或具有更多资源的处理器。可选地，GPU(或NPU)2364可以是针对人工智能的矩阵计算而优化的处理器。
根据实施例，GPU 2364可基于处理器2360的指令使用第一视频产生扩展视频。处理器2360可识别在显示器2366上显示第一视频时将被加黑边的区域，并且控制GPU 2364产生将在黑边区域中显示的扩展视频。
例如，当第一视频的宽高比是16:9并且显示器2366的播放视频的第一区域的宽高比是18:9时，装置1000的处理器2360可识别位于第一视频的左侧和右侧附近的部分处的黑边区域。处理器2360可获得存储在存储器2362中的扩展视频产生模块，将扩展视频产生模块存储在缓冲存储器2360b中，并且将扩展视频产生模块的副本发送到GPU 2364。GPU 2364可通过使用扩展视频产生模块和第一视频来产生与黑边区域的尺寸相应的扩展视频。
处理器2360可获得与产生的边缘区域相应的扩展视频，并且将扩展视频存储在缓冲存储器2360b中。处理器2360可通过使用存储在缓冲存储器2360b中的扩展视频和第一视频来产生第二视频。第二视频可指例如包括第一视频的至少一部分和扩展视频的视频。
根据各种实施例，GPU 2364可通过使用第一视频来产生第二视频。例如，GPU 2364可基于识别的黑边区域的尺寸来产生扩展视频，并且通过使用所产生的扩展视频和第一视频的至少一部分来产生第二视频。
根据实施例，处理器2360可对产生的第二视频中的第一视频与扩展视频之间的边界区域进行后处理。后处理可以是例如对用户不容易区分的边界区域的处理。例如，可通过对第一视频和扩展视频之间的边界区域进行平滑或彩色处理来执行后处理。
根据各种实施例，处理器2360可通过将去块滤波器应用于第二视频中的第一视频与扩展视频之间的边界区域来执行后处理。
装置1000可获得第二视频，其中，第二视频具有位于第一视频与扩展视频之间的边界区域处的像素之间的减小的像素值差。
处理器2360可将存储在缓冲存储器2360b中的第二视频发送到显示器2366，并且控制显示器2366输出第二视频。
根据各种实施例，当用户从服务器下载第一视频并存储第一视频时，装置1000可在用户观看第一视频之前执行上述产生扩展视频的处理。然而，实施例不限于此。装置1000可在从服务器以流形式下载第一视频的情况下执行上述产生扩展视频的处理。
图24是用于描述根据实施例的由装置执行的产生扩展视频产生模块的处理的示图。
根据实施例，装置1000可将存储在存储器2362或GPU 2364中的训练模型2410和存储在存储器2362中的与第一类别相应的训练数据2420输入到学习器2430。学习器2430可以是例如被设置为通过将训练数据2420输入到训练模型2410来更新训练模型2420以产生扩展视频产生模块2440的算法。
训练模型2410可以是被更新以产生与视频的边缘区域相应的扩展视频的训练模型。当制造装置1000时，训练模型2410可被构建在装置1000中。可选地，训练模型2410可从服务器2000被接收。
第一类别可以是例如SF电影、关于自然的纪录片、现场表演、2D动画、3D动画、增强现实(AR)视频或全息视频。也就是说，与第一类别相应的训练数据可以是被分类为类别中的至少一个(例如：静止图像和视频)的图像。例如，装置1000可将SF电影识别为第一类别，将关于自然的纪录片识别为第二类别，或者将现场表演识别为第三类别。
根据实施例，学习器2430可通过将与输入的第一类别相应的训练数据2420应用于训练模型2410来执行训练。在这种情况下，学习器2430可通过使用与多个第一类别相应的训练数据来更新训练模型2410。
根据实施例，在预设时间期间或使用预设数量的训练数据完成更新训练模型2410时，学习器2430可产生使用与第一类别相应的训练数据更新的训练模型(例如，与第一类别相应的扩展视频产生模块2440)。装置1000可将与第一类别相应的扩展视频产生模块2440存储在存储器2362中。然而，实施例不限于此。装置1000还可将与第一类别相应的扩展视频产生模块存储在以上在图1描述的GPU 2364中。
根据各种实施例，装置1000可使用针对不同类别的训练数据(例如，针对第二类别的训练数据和针对第三类别的训练数据)来重复上述处理。装置1000可将与不同类别相应并作为重复处理的结果而产生的多个扩展视频产生模块存储在GPU 2364中。当输入第一视频时，装置1000可使用与第一视频的类别相应的扩展视频产生模块来产生第一视频的扩展视频，并且产生第二视频。
根据各种实施例，装置1000可通过提供用于在用户请求时删除产生的扩展视频产生模块的用户界面来引导有效使用存储器2362。
图25示出用于描述由根据实施例的装置根据从服务器下载第一视频的方法执行的产生扩展视频的处理的示图。
参照图25的附图标记25-a，装置1000可一次从服务器2000下载第一视频。
根据实施例，装置1000可通过使用解码器2510对下载的第一视频进行解码。
装置1000可通过使用解码的第一视频2520来产生扩展视频或第二视频。装置1000可识别当显示包括在解码的第一视频2520中的多个帧中的每一个时形成的黑边区域，并且通过使用扩展视频产生模块2530来产生将在黑边区域中显示的扩展视频。装置1000可通过使用产生的扩展视频和解码的第一视频的至少一部分来产生第二视频2540。
装置1000可显示产生的第二视频2540。
参照图25的附图标记25-b，装置1000可以以流形式从服务器2000下载第一视频。
根据实施例，装置1000可通过使用解码器2510对以流形式下载的帧进行解码。
装置1000可根据解码帧的特性通过使用多个扩展视频产生模块来产生解码帧的扩展视频。
根据实施例，装置1000可识别解码的帧是帧内帧还是帧间帧。
帧内帧可指例如在帧的解码处理时在没有来自其他参考帧的信息的情况下被解码的帧。
帧间帧可指例如在帧的解码处理时使用已经解码的其他帧被解码的帧。
当解码帧是帧内帧时，装置1000可控制扩展视频产生模块2550通过使用帧的中心区域来产生帧的扩展视频，其中，扩展视频产生模块2550被配置为通过使用输入视频来产生视频的扩展视频。装置1000可产生包括产生的扩展视频和解码的帧内帧的扩展帧。
当解码帧是帧间帧时，装置1000可控制扩展视频产生模块2560通过使用帧的中心区域和已经被解码并用于产生扩展视频的另一帧来产生帧的扩展视频，其中，扩展视频产生模块2560被配置为执行通过使用输入视频产生扩展视频的操作和通过使用另一参考帧产生扩展视频的操作。在这种情况下，装置1000可将先前扩展的帧存储在包括在扩展视频产生模块2560的缓冲存储器2562或解码器2510中，并且将该帧用作参考帧来对另一帧间帧进行扩展。装置1000可产生包括产生的扩展视频和解码的帧间帧的扩展帧。
根据实施例，装置1000可通过使用扩展帧2571和扩展帧2572来产生并显示第二视频。
图26是用于描述根据实施例的由装置执行的产生帧的扩展视频的顺序的示图。
根据实施例，装置1000可根据帧的特性确定解码顺序。装置1000可继续产生针对解码的帧的扩展视频。
根据实施例，装置1000可解码第一帧2611到第九帧2619，并且产生针对解码的帧的扩展视频。装置1000可根据帧的特性使用不同的解码方法。
根据实施例，一种类型的帧可具有在解码处理时不存在其他参考帧的情况下进行解码的帧特性。根据各种实施例，当对帧进行解码时，在不存在其他参考帧的情况下对50％或更多个帧进行解码。根据实施例，具有这样的特性的帧可被称为I帧或帧内帧。
可选地，另一类型的帧可具有当帧被解码时使用在时间上更早的帧进行解码的帧特性。根据实施例，具有这样的特性的帧可被称为P帧。
可选地，另一类型的帧可具有当帧被解码时使用在时间上更早和更晚的帧进行解码的帧特性。根据实施例，具有这样的特性的帧可被称为B帧。
参照图26，第一帧2611可以是I帧。第二帧2612至第八帧2618可以是B帧。此外，第九帧2619可以是P帧。
根据实施例的装置1000可根据帧的特性对第一帧2611进行解码，然后对第九帧2619进行解码。装置1000可通过将解码的第一帧2611应用于扩展视频产生模块来产生第一帧2611的扩展视频，其中，扩展视频产生模块被配置为通过使用输入的视频来产生视频的边缘区域。装置1000可通过将解码的第九帧2619应用于扩展视频产生模块来产生第九帧2619的扩展视频，其中，扩展视频产生模块被配置为执行使用输入的视频来产生视频的边缘区域的操作和通过使用可用作参考的另一帧产生视频的边缘区域的操作。
根据实施例，装置1000可通过使用第一帧2611和第九帧2619来对第五帧2615进行解码。装置1000可通过将解码的第五帧2615应用于扩展视频产生模块来产生第五帧2615的扩展视频，其中，扩展视频产生模块被配置为执行使用输入视频产生视频的边缘区域的操作和通过使用可用作参考的其他帧(例如：第一帧2611和第九帧2619)产生视频的边缘区域的操作。
根据实施例，装置1000可按照第三帧2613、第二帧2612和第四帧2614的顺序对帧进行解码，并且通过使用上述方法产生边缘区域。另外，装置1000可按照第七帧2617、第六帧2616和第八帧2618的顺序对帧进行解码，并且通过使用上述方法产生扩展视频。
根据实施例，装置1000可在完成解码和产生扩展视频时从第一帧2611到第九帧2619顺序显示。然而，实施例不限于此。例如，当直到第四帧2614的扩展视频被产生时，装置1000在从第一帧2611到第五帧2615顺序显示的同时对第七帧2617、第六帧2616和第八帧2618进行解码，并且产生第七帧2617、第六帧2616和第八帧2618的扩展视频。
图27是用于描述根据实施例的由装置执行的调整视频尺寸并产生扩展视频的情况的示图。
参照图27，装置1000可通过使用尺寸调整器或缩放器2730来放大解码的视频的尺寸。例如，装置1000可通过使用尺寸调整器2730将第一视频2710的分辨率从1280×720(宽高比为16:9)修改为2560×1440(宽高比为16:9)。
根据实施例，将在第一区域中显示的第一视频2710的宽高比(例如:16:9)可不同于将显示第一视频2710的第一区域的宽高比(例如:18:9)。在这种情况下，装置1000可显示黑边2711a和黑边2711b。
根据实施例，装置1000可通过将第一视频2710输入到扩展视频产生模块2740来产生包括在第一视频2710中的每一个帧的扩展视频。装置1000可产生包括产生的扩展视频和第一视频2710的至少一部分的第二视频2720。第二视频2720可具有2960×1440的分辨率以及与第一区域的宽高比相同的宽高比18:9。
装置1000可显示产生的第二视频2720。
根据各种实施例，装置1000可使得扩展视频产生模块通过将包括在第二视频2720中的帧输入到扩展视频产生模块2740来产生其他帧的边缘区域。
本公开的实施例可被实施为计算机可读记录介质，例如，将在计算机中执行的包括计算机可读指令的程序模块。计算机可读记录介质可包括可由计算机访问的任何可用介质、易失性和非易失性介质以及可拆卸和不可拆卸介质。此外，计算机可读记录介质可包括计算机存储介质和通信介质。计算机存储介质包括在技术上被实现为存储信息(包括计算机可读指令、数据结构、程序模块或其他数据)的所有易失性和非易失性介质以及可拆卸和不可拆卸介质。通信介质包括计算机可读指令、数据结构或程序模块，并且包括其他信息传输介质。
另外，在整个说明书中，“单元”可以是诸如处理器或电路的硬件组件和/或由诸如处理器的硬件执行的软件组件。
出于说明的目的而提供本公开的以上描述，并且本领域技术人员将理解的是，在不改变本公开的技术构思和必要特征的情况下，可进行各种改变和修改。因此，清楚的是，本公开的上述实施例在所有方面都是示意性的，并且不限制本公开。例如，被描述为单个类型的每个组件可以以分布式方式实现。同样地，被描述为分布式的组件可以以组合的方式来实现。
本公开的范围由权利要求及其等同物限定，而不是由示意性的实施例的详细描述限定。应当理解的是，从权利要求及其等同物的含义和范围构思的所有修改和实施例被包括在本公开的范围中。

Claims (20)

1.一种装置，包括：
显示器；
存储器，存储一个或更多个指令；以及
至少一个处理器，被配置为通过执行所述一个或更多个指令以进行以下操作来在所述显示器的至少一部分上显示第一视频：
将第一视频的宽高比与所述显示器的显示区域的宽高比进行比较，
当第一视频的宽高比不同于所述显示区域的宽高比时，基于包括在第一视频中的至少一个帧来确定第一视频的类别，
选择与第一视频的所述类别相关的训练的人工智能AI模型，
通过将第一视频的至少一个帧应用于所述训练的AI模型来获得扩展视频，其中，所述扩展视频具有与所述显示区域的宽高比相应的宽高比，以及
在所述显示区域中显示所述扩展视频。
2.根据权利要求1所述的装置，其中，所述至少一个处理器还被配置为执行所述一个或更多个指令以进行以下操作：当第一视频的宽高比不同于所述显示区域的宽高比时，识别将在所述显示区域中显示的黑边。
3.根据权利要求1所述的装置，其中，所述至少一个处理器还被配置为执行所述一个或更多个指令以进行以下操作：
提取包括在第一视频中的帧，
基于提取的帧产生将被输入到所述训练的AI模型的训练数据，以及
通过将所述训练数据输入到所述训练的AI模型以更新所述AI模型，来获得所述扩展视频。
4.根据权利要求1所述的装置，其中，所述至少一个处理器还被配置为执行所述一个或更多个指令以进行以下操作：通过将包括在第一视频中的参考帧和通过调整所述参考帧的尺寸而获得的尺寸调整后的帧输入到所述训练的AI模型，来产生所述扩展视频的与所述参考帧相应的帧。
5.根据权利要求4所述的装置，其中，所述至少一个处理器还被配置为执行所述一个或更多个指令以进行以下操作：
提取包括在第一视频中的所述参考帧、至少一个先前帧和至少一个后续帧，以及
将所述参考帧、所述至少一个先前帧和所述至少一个后续帧应用于所述训练的AI模型。
6.根据权利要求1所述的装置，其中，所述装置还包括：通信接口，被配置为将第一视频发送到服务器，并且从所述服务器接收由所述服务器使用第一视频产生的所述训练的AI模型，以及
其中，所述至少一个处理器还被配置为执行所述一个或更多个指令以进行以下操作：通过将第一视频的至少一个帧输入到从所述服务器接收的所述训练的AI模型来获得所述扩展视频。
7.根据权利要求4所述的装置，其中，所述至少一个处理器还被配置为执行所述一个或更多个指令以进行以下操作：通过将所述参考帧、至少一个先前帧和至少一个后续帧输入到所述训练的AI模型以训练所述训练的AI模型，来产生所述扩展视频的与包括在第一视频中的所述参考帧相应的所述帧。
8.根据权利要求4所述的装置，其中，所述装置还包括通信接口，以及
其中，所述至少一个处理器还被配置为执行所述一个或更多个指令以进行以下操作：
检测构成包括在第一视频中的所述参考帧的图案和颜色中的至少一个，
通过使用所述通信接口搜索与检测到的图案和颜色中的所述至少一个相关的图像，以及
通过将所述参考帧和搜索到的图像输入到所述训练的AI模型来产生所述扩展视频的与所述参考帧相应的所述帧。
9.根据权利要求1所述的装置，其中，所述至少一个处理器还被配置为执行所述一个或更多个指令以进行以下操作：
识别包括在第一视频的所述至少一个帧中的对象，以及
根据所述对象确定第一视频的所述类别。
10.根据权利要求1所述的装置，其中，所述类别包括科幻SF电影、纪录片、现场表演、2D动画、3D动画、增强现实AR视频和全息视频中的至少一个。
11.一种显示视频的方法，所述方法包括：
将第一视频的宽高比与将显示第一视频的显示区域的宽高比进行比较；
当第一视频的宽高比不同于所述显示区域的宽高比时，基于包括在第一视频中的至少一个帧来确定第一视频的类别；
选择与第一视频的所述类别相关的训练的人工智能AI模型；
通过将第一视频的至少一个帧应用于所述训练的AI模型来获得扩展视频，其中，所述扩展视频具有与所述显示区域的宽高比相应的宽高比；并且
在所述显示区域中显示所述扩展视频。
12.根据权利要求11所述的方法，其中，将第一视频的宽高比与所述显示区域的宽高比进行比较的步骤包括：当第一视频的宽高比不同于所述显示区域的宽高比时，识别将在所述显示区域中显示的黑边。
13.根据权利要求11所述的方法，其中，获得所述扩展视频的步骤包括：
提取包括在第一视频中的帧；
基于提取的帧产生将被输入到所述训练的AI模型的训练数据；以及
通过将所述训练数据输入到所述训练的AI模型以更新所述AI模型，来获得所述扩展视频。
14.根据权利要求11所述的方法，其中，获得所述扩展视频的步骤包括：通过将包括在第一视频中的参考帧和通过调整所述参考帧的尺寸而获得的尺寸调整后的帧输入到所述训练的AI模型，来产生所述扩展视频的与所述参考帧相应的帧。
15.根据权利要求14所述的方法，其中，获得所述扩展视频的步骤包括：
提取包括在第一视频中的所述参考帧、至少一个先前帧和至少一个后续帧；以及
将所述参考帧、所述至少一个先前帧和所述至少一个后续帧应用于所述训练的AI模型。
16.根据权利要求11所述的方法，其中，获得所述扩展视频的步骤包括：
将第一视频发送到服务器，并且从所述服务器接收由所述服务器使用第一视频产生的所述训练的AI模型，以及
通过将第一视频的至少一个帧输入到从所述服务器接收的所述训练的AI模型来获得所述扩展视频。
17.根据权利要求14所述的方法，其中，获得所述扩展视频的步骤包括：通过将所述参考帧、至少一个先前帧和至少一个后续帧输入到所述训练的AI模型以训练所述训练的AI模型，来产生所述扩展视频的与包括在第一视频中的所述参考帧相应的所述帧。
18.根据权利要求14所述的方法，其中，获得所述扩展视频的步骤包括：
检测构成包括在第一视频中的所述参考帧的图案和颜色中的至少一个；
通过使用通信接口搜索与检测到的图案和颜色中的所述至少一个相关的图像；以及
通过将所述参考帧和搜索到的图像输入到所述训练的AI模型来产生所述扩展视频的与所述参考帧相应的所述帧。
19.根据权利要求11所述的方法，其中，确定第一视频的所述类别的步骤还包括：识别包括在第一视频的所述至少一个帧中的对象，以及根据所述对象确定第一视频的所述类别。
20.根据权利要求11所述的方法，其中，所述类别包括科幻SF电影、纪录片、现场表演、2D动画、3D动画、增强现实AR视频和全息视频中的至少一个。
CN202211213615.3A 2018-01-04 2019-01-03 视频播放装置及其控制方法 Pending CN115460463A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20180001287 2018-01-04
KR10-2018-0001287 2018-01-04
CN201980007493.2A CN111567056B (zh) 2018-01-04 2019-01-03 视频播放装置及其控制方法
PCT/KR2019/000106 WO2019135621A1 (ko) 2018-01-04 2019-01-03 영상 재생 장치 및 그의 제어 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201980007493.2A Division CN111567056B (zh) 2018-01-04 2019-01-03 视频播放装置及其控制方法

Publications (1)

Publication Number Publication Date
CN115460463A true CN115460463A (zh) 2022-12-09

Family

ID=67144242

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202211213615.3A Pending CN115460463A (zh) 2018-01-04 2019-01-03 视频播放装置及其控制方法
CN201980007493.2A Active CN111567056B (zh) 2018-01-04 2019-01-03 视频播放装置及其控制方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201980007493.2A Active CN111567056B (zh) 2018-01-04 2019-01-03 视频播放装置及其控制方法

Country Status (5)

Country Link
US (3) US11457273B2 (zh)
EP (2) EP3709667B1 (zh)
KR (1) KR20190088406A (zh)
CN (2) CN115460463A (zh)
WO (1) WO2019135621A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4286996A3 (en) * 2019-11-27 2024-02-21 Google LLC Detecting a frame-of-reference change in a smart-device-based radar system
CN111476866B (zh) * 2020-04-09 2024-03-12 咪咕文化科技有限公司 视频优化与播放方法、***、电子设备及存储介质
KR102313651B1 (ko) * 2020-05-12 2021-10-15 수니코리아 엘엘씨(한국뉴욕주립대학교) 서버와 클라이언트 장치 간 비디오 스트리밍 방법
KR102556886B1 (ko) * 2020-10-27 2023-07-19 (주)엘컴텍 게임 동화형 조명무드 제어장치 및 그 방법
KR102492430B1 (ko) * 2021-03-17 2023-01-30 한국과학기술연구원 영상 영역 밖의 정보를 생성하는 영상 처리 장치 및 방법
KR102595096B1 (ko) * 2021-07-06 2023-10-27 한국전자기술연구원 지능적 가로-세로 영상 변환을 위한 전자 장치, 시스템 및 방법
KR102596308B1 (ko) * 2021-07-06 2023-10-31 한국전자기술연구원 지능적 영상 변환을 위한 전자 장치 및 방법

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030035482A1 (en) * 2001-08-20 2003-02-20 Klompenhouwer Michiel Adriaanszoon Image size extension
US20100053442A1 (en) * 2008-08-28 2010-03-04 Kabushiki Kaisha Toshiba Video processing apparatus and video processing method
US20120287164A1 (en) * 2011-05-11 2012-11-15 Byunggul Koh Image resizing method, image transmission method, and electronic device
WO2014122798A1 (ja) * 2013-02-05 2014-08-14 株式会社東芝 画像処理装置、及び画像処理方法
US20140314269A1 (en) * 2011-09-14 2014-10-23 Beijing Inforson Technologies Co., Ltd. Device, system and method for recognizing action of detected subject
US9594947B1 (en) * 2014-09-30 2017-03-14 Amazon Technologies, Inc. Aspect ratio validation
US20170185871A1 (en) * 2015-12-29 2017-06-29 Qiang Zhang Method and apparatus of neural network based image signal processor
US20170193362A1 (en) * 2016-01-03 2017-07-06 Gracenote, Inc. Responding to remote media classification queries using classifier models and context parameters
CN107197260A (zh) * 2017-06-12 2017-09-22 清华大学深圳研究生院 基于卷积神经网络的视频编码后置滤波方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6330344B1 (en) 1997-02-14 2001-12-11 Sony Corporation Image processing device and method employing motion detection to generate improved quality image from low resolution image
KR100505516B1 (ko) 1997-02-14 2005-12-16 소니 가부시끼 가이샤 영상신호변환장치및방법
KR100323678B1 (ko) 2000-02-28 2002-02-07 구자홍 화면비 변환 장치
BRPI0709260A2 (pt) * 2006-03-31 2011-06-28 Koninkl Philips Electronics Nv método para renderizar conteúdo de imagem, aplicativo incorporado em um meio legìvel por computador, processador para renderizar conteúdo de imagem, sinal de imagem auxiliar, e, método para gerar dados auxiliares para exibir elementos em um mostrador secundário em uma vizinhança de um mostrador primário
KR101277255B1 (ko) * 2006-06-13 2013-06-26 서강대학교산학협력단 복합 영상 신호에서의 화질 개선 방법 및 그 장치, 복합영상 신호에서의 왜곡 제거 방법 및 그 장치
US20110261255A1 (en) 2008-12-05 2011-10-27 Pioneer Corporation Video display control device, video display device, and recording medium having video display program recorded thereon
US9245191B2 (en) * 2013-09-05 2016-01-26 Ebay, Inc. System and method for scene text recognition
JP6557457B2 (ja) 2014-07-25 2019-08-07 クラリオン株式会社 画像表示システム、画像表示方法、及び表示装置
EP3204888A4 (en) * 2014-10-09 2017-10-04 Microsoft Technology Licensing, LLC Spatial pyramid pooling networks for image processing
KR102288280B1 (ko) 2014-11-05 2021-08-10 삼성전자주식회사 영상 학습 모델을 이용한 영상 생성 방법 및 장치
US9866789B2 (en) 2015-02-25 2018-01-09 Echostar Technologies L.L.C. Automatic program formatting for TV displays
US10242474B2 (en) 2015-07-15 2019-03-26 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10579923B2 (en) 2015-09-15 2020-03-03 International Business Machines Corporation Learning of classification model
CN105354543A (zh) 2015-10-29 2016-02-24 小米科技有限责任公司 视频处理方法及装置
US10303977B2 (en) 2016-06-28 2019-05-28 Conduent Business Services, Llc System and method for expanding and training convolutional neural networks for large size input images
US20180046361A1 (en) * 2016-08-09 2018-02-15 Adobe Systems Incorporated Fitting Content to a Resized Frame
CN107087201B (zh) 2017-05-10 2019-11-08 西安万像电子科技有限公司 图像处理方法和装置
CN107133919A (zh) 2017-05-16 2017-09-05 西安电子科技大学 基于深度学习的时间维视频超分辨率方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030035482A1 (en) * 2001-08-20 2003-02-20 Klompenhouwer Michiel Adriaanszoon Image size extension
US20100053442A1 (en) * 2008-08-28 2010-03-04 Kabushiki Kaisha Toshiba Video processing apparatus and video processing method
US20120287164A1 (en) * 2011-05-11 2012-11-15 Byunggul Koh Image resizing method, image transmission method, and electronic device
US20140314269A1 (en) * 2011-09-14 2014-10-23 Beijing Inforson Technologies Co., Ltd. Device, system and method for recognizing action of detected subject
WO2014122798A1 (ja) * 2013-02-05 2014-08-14 株式会社東芝 画像処理装置、及び画像処理方法
US9594947B1 (en) * 2014-09-30 2017-03-14 Amazon Technologies, Inc. Aspect ratio validation
US20170185871A1 (en) * 2015-12-29 2017-06-29 Qiang Zhang Method and apparatus of neural network based image signal processor
CN106934426A (zh) * 2015-12-29 2017-07-07 三星电子株式会社 基于图像信号处理的神经网络的方法和设备
US20170193362A1 (en) * 2016-01-03 2017-07-06 Gracenote, Inc. Responding to remote media classification queries using classifier models and context parameters
CN107197260A (zh) * 2017-06-12 2017-09-22 清华大学深圳研究生院 基于卷积神经网络的视频编码后置滤波方法

Also Published As

Publication number Publication date
EP4283528A2 (en) 2023-11-29
US20210084372A1 (en) 2021-03-18
US11831948B2 (en) 2023-11-28
CN111567056B (zh) 2022-10-14
KR20190088406A (ko) 2019-07-26
WO2019135621A1 (ko) 2019-07-11
US20220377416A1 (en) 2022-11-24
WO2019135621A9 (ko) 2021-10-14
CN111567056A (zh) 2020-08-21
EP3709667A4 (en) 2020-09-16
EP3709667A1 (en) 2020-09-16
EP3709667B1 (en) 2024-03-06
EP4283528A3 (en) 2024-02-14
US20240031644A1 (en) 2024-01-25
US11457273B2 (en) 2022-09-27
EP3709667C0 (en) 2024-03-06

Similar Documents

Publication Publication Date Title
CN111567056B (zh) 视频播放装置及其控制方法
KR102453169B1 (ko) 디바이스가 이미지를 보정하는 방법 및 그 디바이스
US11482000B2 (en) Image processing apparatus and control method thereof
US20200236425A1 (en) Method and apparatus for filtering video
KR102359391B1 (ko) 디바이스가 이미지를 보정하는 방법 및 그 디바이스
KR102428920B1 (ko) 전자 장치 및 그 동작 방법
KR20190106865A (ko) 동영상 검색방법 및 동영상 검색 단말기
KR20190016367A (ko) 객체를 인식하는 방법 및 장치
US11556302B2 (en) Electronic apparatus, document displaying method thereof and non-transitory computer readable recording medium
KR20180055708A (ko) 이미지를 처리하는 전자 장치 및 방법
US20190066158A1 (en) Method and electronic device for providing advertisement
US11934953B2 (en) Image detection apparatus and operation method thereof
US11895375B2 (en) Display device and operation method thereof
KR20190062030A (ko) 영상 표시 장치 및 그 동작 방법
KR20180072534A (ko) 텍스트와 연관된 이미지 제공 방법 및 이를 위한 전자 장치
CN110291794B (zh) 用于对视频进行过滤的方法和设备
KR20180082950A (ko) 디스플레이 장치 및 그의 서비스 제공 방법
US20230209087A1 (en) Method and device for improving video quality
KR102585244B1 (ko) 전자 장치 및 그 제어 방법
KR20200084428A (ko) 동영상을 제작하는 방법 및 그에 따른 장치
KR102582544B1 (ko) 전자 장치 및 그 동작 방법
CN115086710B (zh) 视频播放方法、终端设备、装置、***及存储介质
KR20190051428A (ko) 디스플레이 장치, 디스플레이 장치의 제어 시스템 및 디스플레이 장치의 제어 방법
KR20240012453A (ko) 영상 편집 장치 및 영상 편집 장치의 동작 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination