CN111311759A - 移动增强现实视频编辑*** - Google Patents

移动增强现实视频编辑*** Download PDF

Info

Publication number
CN111311759A
CN111311759A CN201910071215.5A CN201910071215A CN111311759A CN 111311759 A CN111311759 A CN 111311759A CN 201910071215 A CN201910071215 A CN 201910071215A CN 111311759 A CN111311759 A CN 111311759A
Authority
CN
China
Prior art keywords
video
augmented reality
real image
user
video editing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910071215.5A
Other languages
English (en)
Other versions
CN111311759B (zh
Inventor
李俊昊
高弘植
李正煜
梁尹楹
朴相娟
李世允
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Heisilidi Co Ltd
Original Assignee
Heisilidi Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Heisilidi Co Ltd filed Critical Heisilidi Co Ltd
Publication of CN111311759A publication Critical patent/CN111311759A/zh
Application granted granted Critical
Publication of CN111311759B publication Critical patent/CN111311759B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals
    • H04N9/8715—Regeneration of colour television signals involving the mixing of the reproduced video signal with a non-recorded signal, e.g. a text signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036—Insert-editing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Architecture (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

提供一种移动增强现实视频编辑***，其包括：真实图像输入部分，其被配置为通过图像传感器接收真实图像；空间识别器，其被配置为分别识别真实图像内的空间和地面；对象提取与显示部分，其被配置为在真实图像中提取与显示对象；编辑工具显示部分，其被配置为向用户显示视频编辑工具；视频处理器，其被配置为在真实图像中删除提取与显示的对象之中由用户为删除所触摸的对象，并且通过用在相邻空间中的相同高度的像素值代替构成删除对象的区域的水平线中的每个水平线来校正构成删除对象的区域的水平线；以及屏幕显示部分，其被配置为显示由视频处理器校正的真实图像。

Description

移动增强现实视频编辑***
技术领域
本发明涉及一种用于实现增强现实的***，更具体地，涉及一种移动增强现实视频编辑***。
背景技术
随着移动市场的振兴以及诸如计算机视觉、传感器和视频处理等技术的发展，增强现实技术和虚拟现实技术在被改进，并且采用这些技术的应用程序的分布在加速。另外，随着计算机的数据处理速率的提高，基于机器学习的产品和各种软件逐渐蔓延，因此基于图像识别的产品和服务项目正在大量制作。
然而，现有的增强现实技术是通过拍摄实际环境的图片、将虚拟空间覆盖在该图片上以及然后将虚拟对象合成到对应的空间中来实现。换句话说，由于替换图像叠加在真实空间的拍摄图像上，因此需要高级技能来编辑拍摄的特定对象或形状，并且编辑花费很长时间。此外，在某些情况下，色度键(chroma-key)处理等需要额外的设备。另外，当编辑增强现实视频时，工作者要忍受在视频中选择要编辑的对象或形状以及重复诸如尺寸调整和边界设置的操作的不便。
因此，需要一种新的移动型视频编辑工具或技术，其旨在消除编辑增强现实视频的低效率，使得即使非视频编辑专家也可以方便快速地获取他或她想要的视频。
(相关技术文献)
(专利文献)
(专利文献1)韩国未审查专利公开No.10-2013-0107404。
(专利文献2)韩国专利No.10-1788046。
发明内容
1.技术问题
本发明的技术目的是提供一种移动增强现实视频编辑***，其甚至使非视频编辑专家能够方便快速地在移动设备上编辑他或她想要的视频。
本发明的另一个技术目的是提供一种移动增强现实视频编辑***，其在原始视频中删除对象以编辑增强现实视频时，能够通过将最佳局部视频合成到已删除对象的位置中来获得自然的对象删除视频。
本发明的另一个技术目的是提供一种移动增强现实视频编辑***，其自由地改变视频中对象的位置，使得该对象可以根据改变的位置而调整比例并与周围对象协调。
本发明的另一个技术目的是提供一种移动增强现实视频编辑***，其能够通过用三维(3D)对象替换视频中的对象来实现增强现实，该三维(3D)对象真实且客观地最佳描绘了该对象。
本发明的另一个技术目的是提供一种移动增强现实视频编辑***，其通过合成3D对象并按比例自动调整3D对象使得该3D对象可以与合成视频协调来实现增强现实。
2.技术方案
根据本发明的示例性实施例的移动增强现实视频编辑***可以以应用程序(app)的形式来实现，该应用程序(app)可以在移动设备中被下载并运行，并且移动增强现实视频编辑***包括：真实图像(real image)输入部分，其被配置为通过图像传感器接收真实图像；空间识别器，其被配置为分别识别真实图像内的空间和地面；对象提取与显示部分，其被配置为在所述真实图像中提取与显示对象；编辑工具显示部分，其被配置为向用户显示视频编辑工具；视频处理器，其被配置为在所述真实图像中删除提取与显示的对象之中由用户为删除所触摸的对象，并且通过用与相邻空间中相同高度的像素值代替构成删除对象的区域的水平线中的每个水平线来校正构成删除对象的区域的水平线；以及屏幕显示部分，其被配置为显示由视频处理器校正的真实图像。
在移动增强现实视频编辑***中，视频处理器可以从真实图像中删除提取与显示的对象之中由用户为移动所触摸的对象，通过用与相邻空间中的相同高度的像素值代替构成删除对象的区域的水平线中的每个水平线来校正构成删除对象的区域的水平线，使用与为对象移动所指定的位置相对应的像素的三维(3D)坐标值来调整为移动所触摸的对象的比例，从而产生对象已经被移动的校正视频。
除了上述配置之外，另一个可修改配置的移动增强现实视频编辑***还可以包括对象储存器，其被配置为将提取与显示的对象之中由用户为储存所触摸的对象与输入文件名进行匹配并且将所述对象储存在储存器中。
在这种情况下，视频处理器可以用与为对象合成所指定的位置相对应的像素的3D坐标值来调整由用户从储存器中选择的对象的比例，将选中对象合成到真实图像中，从而产生对象已经被合到其中的校正视频。
作为另一个可修改的实施例，上述移动增强现实视频编辑***还可以包括：对象发送器，其被配置为经由通信网络而将提取与显示的对象之中由用户为增强现实所触摸的对象发送到互操作的外部设备；服务服务器(service server)，其被配置为将为增强现实所触摸的对象的特征点与机器学习对象数据库(DB)进行比较，从机器学习对象DB读取与所述对象具有最高一致率的代表性3D对象，并且将代表性3D对象发送到视频处理器。
在移动增强现实视频编辑***中，视频处理器通过将代表性3D对象合成到真实图像中来产生校正视频，所述校正视频的比例已经根据为增强现实所触摸的对象的比例值来相对于屏幕进行调整。
另外，视频处理器可以根据来自视频编辑工具的用户命令而产生校正视频，所述校正视频中3D对象的大小、位置和颜色已经被调整。
3.有益效果
根据上述技术方案，本发明使得通过简单操纵而方便快速地编辑从移动设备获取的真实图像成为可能。
此外，本发明可以使在从移动设备获取的真实图像中编辑对象时可以从边缘部分感觉到的差异感或不自然感最小化。
另外，本发明在从移动设备获取的真实图像中自动识别对象之中由用户选择的对象的特征，并用标准化、授权或逼真的代表性3D对象替换该对象，从而可以以新形式获得增强现实视频。
此外，当使用根据本发明的示例性实施例的***时，可以获得将标准化代表性3D对象***到真实图像中的视频。因此，可以体验在仅实际存在于真实空间中的对象被自动识别和重新改造时而被感觉到的存在感、3D效果和真实感。另外，可以根据代表性3D对象的特征获得最真实、美观或精彩的编辑视频。
附图说明
图1示出了根据本发明的示例性实施例的移动增强现实视频编辑***的配置的示例；
图2示出了图1的安装在移动设备上的用户端移动增强现实视频编辑***的框图的示例；
图3是根据本发明的示例性实施例的编辑移动增强现实视频的流程图；
图4示出了根据本发明的示例性实施例的分别识别地面和空间的流程图的示例；
图5A和5B示出了根据本发明的示例性实施例的真实图像的示例；
图6A和6B示出了针对对象删除之前的场景与对象删除之后的场景之间的比较的示例视图；
图7A和7B示出了针对对象移动之前的场景与对象移动之后的场景之间的比较的示例视图；以及
图8A和8B示出了针对对象合成处理之前的场景与对象合成处理之后的场景之间的比较的示例视图。
具体实施方式
在下文中，将参考附图来详细描述本发明的示例性实施例。当与本发明相关的已知功能或元件可能不必要地模糊本发明的主旨时，将省略其详细描述。
图1示出了根据本发明的示例性实施例的移动增强现实视频编辑***的配置的示例。根据本发明的示例性实施例的移动增强现实视频编辑***可以被分为用户端移动增强现实视频编辑***100和服务服务器端移动增强现实视频编辑***200，用户端移动增强现实视频编辑***100可以在用户的移动设备中下载并运行，而服务服务器端移动增强现实视频编辑***200结合用户端移动增强现实视频编辑***100提供附加服务。
用户端移动增强现实视频编辑***100在移动设备用户的请求下删除对象、移动对象、合成对象以及将三维(3D)对象合成在通过移动设备中提供的至少一个图像传感器(诸如相机)获取的真实图像中并在其屏幕上显示处理结果。
同时，服务服务器端移动增强现实视频编辑***200结合用户端移动增强现实视频编辑***100提供设备用户(即，服务用户)请求的服务。作为这样的服务，服务服务器端移动增强现实视频编辑***200检测从用户端移动增强现实视频编辑***100发送的对象的特征点，将特征点与机器学习对象数据库(DB)进行比较，通过具有最高一致率的3D对象来识别对象，从机器学习对象DB中读取代表具有最高一致率的3D对象的代表性3D对象，以及将代表性3D对象传送到用户端移动增强现实视频编辑***100。传送的3D对象被合成到从用户的移动设备获取的真实图像中并被显示为增强现实视频。
下面将参考图2更详细地描述用户端移动增强现实视频编辑***100的配置。下面描述的用户端移动增强现实视频编辑***100可以以应用程序(app)的形式来实现，该应用程序(app)可以被下载到移动设备的储存器并运行。app的多个部件彼此互操作，每个部件是用于执行特定功能的一组程序代码数据，从而使得编辑移动增强现实视频成为可能。
图2示出了图1的安装在移动设备中的用户端移动增强现实视频编辑***100的框图的示例。如图所示，用户端移动增强现实视频编辑***100包括：真实图像输入部分105，其用于通过图像传感器100-1接收真实图像；空间识别器110，其用于分别识别真实图像内的空间和地面；对象提取与显示部分115，其用于在真实图像中提取与显示对象；编辑工具显示部分125，其用于向用户显示视频编辑工具；视频处理器120，其用于在真实图像中删除提取与显示的对象之中由用户为删除所触摸的对象，并且通过用相邻空间中相同高度的像素值代替构成删除对象的区域的水平线中的每条水平线来校正构成删除对象的区域的水平线；以及屏幕显示部分130，用于显示由视频处理器120校正的真实图像。
在这些术语中，“为删除所触摸的对象”被解释为在用户通过视频编辑工具输入“删除”命令之后由用户触摸的对象，并且“为移动所触摸的对象”被解释为在用户通过视频编辑工具输入“对象移动”命令之后由用户触摸的对象。此外，“为储存所触摸的对象”被解释为在用户通过视频编辑工具输入“对象保存”命令之后由用户触摸的对象。当对象在通过如上所述的视频编辑工具输入(严格来说，这对应于触摸)命令之后被触摸时，根据输入命令对触摸对象进行后处理。
在图2所示的元件之中的视频处理器120从真实图像中删除提取与显示的对象之中由用户为移动所触摸的对象，通过用相邻空间中相同高度的像素值代替构成删除对象的区域的水平线中的每条水平线来校正构成删除对象的区域的水平线，以及使用与为对象移动所指定的位置相对应的像素的3D坐标值来调整为移动所触摸的对象的比例，从而产生其中的对象已被移动的校正视频。
除了上述***配置之外，根据本发明另一个示例性实施例的用户端移动增强现实视频编辑***100还可以包括对象储存器150，其用于将提取与显示的对象之中由用户为储存所触摸的对象与输入文件名进行匹配，并且将该对象储存在储存器100-3中。在这种情况下，视频处理器120用与为对象合成所指定的位置相对应的像素的3D坐标值来调整由用户从储存器100-3中选择的对象的比例，并将选中的对象合成到真实图像中，从而产生对象已合成到其中的校正视频。
除了上述元件之外，根据本发明另一个示例性实施例的移动增强现实视频编辑***100还包括：对象发送器160，其用于经由通信网络而将提取与显示的对象之中由用户为增强现实所触摸的对象发送到互操作的外部设备(即，服务服务器端移动增强现实视频编辑***200)；以及服务器，其用于将为增强现实所触摸的对象与机器学习对象DB进行比较、从机器学习对象DB读取具有最高一致率的3D对象以及将3D对象发送到视频处理器120。
这意味着根据本发明的示例性实施例的移动增强现实视频编辑***可以被分为用户端移动增强现实视频编辑***100和服务服务器端移动增强现实视频编辑***200。
另外，视频处理器120通过将3D对象合成到真实图像中来产生校正视频，该校正视频的比例已经根据为增强现实所触摸的对象相对于屏幕的比例值来进行了调整。
此外，视频处理器120可以根据来自视频编辑工具的用户命令而产生校正视频，在该校正视频中3D对象的大小、位置和颜色已经被调整。
现在描述图2中未描述的元件。对应于视频输入部分的图像传感器100-1通过扫描和捕获真实空间的视频来产生真实图像。图像传感器100-1包括与构成图像的每个像素相对应的3D坐标。根据本发明的示例性实施例，图像传感器100-1被示出为3D传感器，但是能够获取图像中的每个像素的3D坐标的一个或更多个相机可以用作视频输入部分。
用户界面(UI)100-2可以被实现为触摸屏，其具有用于输入用户命令的操纵器的功能和用于显示各种图像和操作状态的显示部分的功能。
除了用于驱动移动设备的多个应用程序的数据之外，储存器100-3还储存由用户选择的对象、3D对象、真实图像等。通信器100-4包括用于连接到移动通信网络并执行短程通信的技术元件，并且通信器100-4连接到服务服务器或与附近设备交换数据。
在本发明的示例性实施例中，传感器部分100-5包括加速度传感器、陀螺仪传感器等，并且可以用于分别识别地面和空间。
下面将参考图3至图8来更详细地描述包括上述元件的移动增强现实视频编辑***100的操作。
图3是根据本发明的示例性实施例的编辑移动增强现实视频的流程图，图4示出了根据本发明的示例性实施例的分别识别地面和空间的流程图的示例，图5A和5B示出了根据本发明的示例性实施例的真实图像的示例，图6A和6B示出了针对对象删除之前的场景与对象删除之后的场景之间的比较的示例视图，图7A和7B示出了针对对象移动之前的场景与对象移动之后的场景之间的比较的示例视图，并且图8A和8B示出了针对对象合成处理之前的场景与对象合成处理之后的场景之间的比较的示例视图。
参考图3，首先，想要使用他或她的移动设备编辑移动增强现实视频的人下载并运行根据本发明的示例性实施例的用户端移动增强现实视频编辑***100。
当运行移动增强现实视频编辑***100时，图像传感器100-1拍摄真实空间的视频并输出真实图像，并且真实图像被输入到用户端移动增强现实视频编辑***100的真实图像输入部分105(操作S10)。在图5A中示出通过图像传感器100-1产生的真实图像的示例。
通过真实图像输入部分105接收真实图像的空间识别器110运行用于分别识别地面和空间的程序，并且在真实图像中分别识别空间和地面。这个现在参考图4进一步详细描述。
首先，空间识别器110在真实图像中检测边缘(操作S70)。由于在特定图像中检测对象的边缘的方法是视频信号处理领域中公知的技术，因此将省略其详细描述。当边缘检测技术应用于真实图像时，可以从真实图像中提取对象并检测道路、事物等的边界。
当对真实图像执行边缘检测时，空间识别器110基于移动设备的位置(对应于参考点)来产生构成边缘的特征点之间的相对坐标(操作S75)。随后，使用参考点和所产生的相对坐标中的两个来产生平面(操作S80)，并且在所产生的平面之中与地面平行的平面被识别为地面(操作S85)。通过这种方式，地面和空间被分别识别。
同时，对象提取与显示部分115从地面和空间被分别识别的真实图像中提取可以通过边缘检测而具有形状的对象，以及在UI 100-2中显示所提取的对象(操作S20)。如图5B所示，为了增加所提取的对象的可见性，所提取的对象的边缘可以变为粗体，或者可以打开对象区域的可见性。
当在真实图像中对象被提取与显示时，用户调用用于视频编辑的视频编辑工具，并且编辑工具显示部分125响应于该调用而显示视频编辑工具(操作S25)。视频编辑工具包括用于删除对象的“删除”命令、用于移动对象的“对象移动”命令以及用于储存对象的“保存”命令。这些仅是示例，并且可以进一步包括用于视频编辑的各种工具。
当视频编辑工具被显示时，用户输入(或触摸)他或她想要的命令。例如，当用户想要删除对象时，用户输入“删除”命令，然后触摸要删除的对象。当通过视频编辑工具输入删除命令并且触摸相应的对象时(操作S30)，视频处理器120删除如图5B所示的真实图像中所提取与显示的对象之中的由用户为删除所触摸的对象(操作S35)，如图6A所示，并且通过用相邻空间中相同高度(离地面)的像素值代替构成删除对象的区域的水平线中的每条水平线来校正构成删除对象的区域的水平线(操作S40)。
当视频处理器120完成对用户已经请求编辑的对象的处理时，屏幕显示部分130将通过如图6B所示关闭对象区域的可见性而获得的真实图像显示为由视频处理器120校正的真实图像(操作S45)。
比较地参考图6B和图5A，用户可以简单地通过调用他或她的移动设备中的视频编辑工具、用触摸输入删除命令并选择要删除的对象来方便地编辑图5A中所示的真实图像(如图6B所示)。
此外，通过用与对象区域相邻的空间中相同高度(离地面)的像素值代替对象已删除的区域中的水平线中的每条水平线来校正对象已删除的区域中的水平线。因此，删除对象的区域的像素值与相邻空间的像素值协调，并且可以获得自然视频。另外，由于地面和对象的边缘线用相同水平线的像素值来代替，因此可以使可以从边缘部分感觉到的差异感或编辑感最小化。
作为示例，本发明的示例性实施例示出了每个水平线简单地用相邻空间中相同高度的像素值来代替。然而，当相邻空间中相同高度的像素值具有图案时，需要校正所校正的区域以反映图案。
下面将详细描述根据不同于对象删除的视频编辑命令而处理真实图像中的对象的操作。
当在***100运转的同时通过视频编辑工具针对真实图像依次输入对象移动命令、对象触摸和为对象移动所指定的位置时(操作S60)，视频处理器120在真实图像中删除在操作S20中提取与显示的对象之中由用户为移动所触摸的对象，通过用相邻空间中相同高度的像素值代替构成删除对象的区域的水平线中的每条水平线来校正构成删除对象的区域的水平线，使用与为对象移动所指定的位置相对应的像素的3D坐标值来调整为移动所触摸的对象的比例(操作S60)，更具体地，深度坐标(z轴，假设x轴是水平轴而y轴是垂直轴)，其给出了立体性。
在图7A中示出了通过移动存在于真实图像中的对象(图5A)而获得的校正视频。与图5A相比，图7A的校正视频示出了在道路右侧的作为第二对象的树已经向右移动。由于即使在校正视频中也已经根据在为对象移动所指定的位置处的像素的深度坐标而调整了为移动所触摸的对象的比例，因此可以获得其中针对移动所触摸的对象与周围的对象或背景协调的视频已编辑的场景。作为参考，图7B示出了最终显示的场景，该场景由屏幕显示部分130关闭对象区域的可见性而获得。
同时，当通过视频编辑工具依次输入对象复制命令、对象触摸和为对象复制所指定的位置时，视频处理器120产生校正视频，其中在操作S20中提取与显示的对象之中由用户为复制所触摸的对象使用深度坐标而被调整比例并且被粘贴到为对象复制所指定的位置，如图8A所示。图8A是通过将真实图像(图5A)中道路右侧的作为第一对象的树向左复制而获得的场景。
如上所述，根据本发明示例性实施例的用户端移动增强现实视频编辑***100使得用户能够在移动设备上用简单触摸操作方便快速地编辑通过图像传感器100-1获取的真实图像。
另外，根据本发明，使用对象区域的边缘线或附近区域的像素值来校正视频，因此可以获得自然的编辑视频。
除了上述视频编辑之外，用户还可以使用根据本发明的示例性实施例的移动增强现实视频编辑***100而将另外储存的对象合成到一个真实图像中。
例如，对象储存器150将在操作S20中提取与显示的对象之中由用户为储存所触摸的对象(被解释为在输入保存命令之后被触摸的对象)与由用户输入的文件名进行匹配并且将该对象储存在储存器100-3中。随后，根据用户的合成命令，视频处理器120可以通过用与为对象合成所指定的位置相对应的像素的3D坐标值来调整用户从储存器100-3选择的对象的比例并且将对象合成到真实图像中来产生校正图像。如上所述，通过屏幕显示部分130显示这种校正视频。
此外，根据本发明的示例性实施例的移动增强现实视频编辑***100可以将虚拟对象合成到通过图像传感器100-1获取的真实图像中并显示增强现实图像，以及可以将通过机器学习获得的最佳3D对象合成到真实图像中并显示增强现实图像。这里，通过机器学习获得的最佳3D对象可以是通过机器学习创建而被识别为真实客观、标准化的3D对象或授权的3D对象。
由于地点、时间、成本等的限制，普通人可能难以编辑最佳增强现实视频。当可以通过用已经被识别为真实客观、标准化的对象等替换从真实图像获得的对象来编辑增强现实视频时，最真实、美观或精彩的编辑视频可以在不侵犯版权的情况下被创建。
因此，根据本发明的示例性实施例的移动增强现实视频编辑***100的对象发送器160经由通信网络而将在操作S20中提取与显示的对象之中由用户为增强现实所触摸的对象(被解释为在输入增强现实命令之后被触摸的对象)发送到互操作的服务服务器端移动增强现实视频编辑***200。
例如，假设为增强现实所触摸的对象是真实图像中的狮子狗并且真实图像中包括主人带着用皮带拴住的狮子狗走路的场景，则狮子狗的形状或者狮子狗的形状的特征点被传送到服务服务器端移动增强现实视频编辑***200。
然后，服务服务器端移动增强现实视频编辑***200检测为增强现实所触摸的对象(即，狮子狗)的形状的特征点，将检测到的特征点与机器学习对象DB进行比较，以及识别具有最高一致率的3D对象。结果，服务服务器可以将所接收的对象识别为狮子狗，并且将所识别的对象的代表性3D对象发送到用户端移动增强现实视频编辑***100的视频处理器120。
假设从服务服务器接收的代表性3D对象是作为年度狮子狗奖得主的狮子狗的3D形状，视频处理器120通过将所接收的代表性3D对象合成到真实图像中来校正真实图像。在这种情况下，视频处理器120可以通过根据先前真实图像中为增强现实所触摸的对象的比例值而相对于屏幕调整代表性3D对象的比例来产生校正视频，从而可以获得自然的编辑视频。视频处理器120还可以产生已经根据来自视频编辑工具的用户命令而调整了代表性3D对象的大小、位置和颜色的校正视频。
当本发明的用户端移动增强现实视频编辑***100被配置为与位于如上所述的服务服务器端的机器学习对象DB互操作时，服务用户可以获得其中主人伴随狗(其为年度狮子狗奖得主)的被编辑的增强现实视频。
这仅是示例，而可以使用根据本发明的示例性实施例的***来获得将标准化的代表性3D对象***到真实图像中的视频。因此，该***可以用作体验存在感、3D效果和真实感的工具，所述存在感、3D效果和真实感在仅实际存在于真实空间中的对象被自动识别和重新改造时而被感觉到。
尽管上面参照附图中所示的实施例描述了本发明，但是本领域普通技术人员应当理解，这些实施例是示例性的，并且可以从这些实施例进行各种修改和等同。因此，本发明的技术范围应由以下权利要求来确定。

Claims (8)

1.一种移动增强现实视频编辑***，包括：
真实图像输入部分，其被配置为通过图像传感器接收真实图像；
空间识别器，其被配置为分别识别所述真实图像内的空间和地面；
对象提取与显示部分，其被配置为在所述真实图像中提取与显示对象；
编辑工具显示部分，其被配置为向用户显示视频编辑工具；
视频处理器，其被配置为：在所述真实图像中删除提取与显示的对象之中由所述用户为删除所触摸的对象，以及通过用与相邻空间中的水平线的高度相同的高度的像素值代替构成删除对象的区域的水平线中的每个水平线来校正构成删除对象的区域的水平线；以及
屏幕显示部分，其被配置为显示由所述视频处理器校正的所述真实图像。
2.根据权利要求1所述的移动增强现实视频编辑***，
其中，所述视频处理器从所述真实图像中删除所述提取与显示的对象之中由所述用户为移动所触摸的对象，通过用与相邻空间中的水平线的像素值相同的高度的像素值代替构成删除对象的区域的水平线中的每个水平线来校正构成删除对象的区域的水平线，使用与为对象移动所指定的位置相对应的像素的三维3D坐标值来调整为移动所触摸的对象的比例，从而产生对象已经被移动的校正视频。
3.根据权利要求1所述的移动增强现实视频编辑***，
还包括对象储存器，其被配置为将所述提取与显示的对象之中由所述用户为储存所触摸的对象与输入文件名进行匹配并且将对象储存在储存器中，
其中，所述视频处理器用与为对象合成所指定的位置相对应的像素的3D坐标值来调整由所述用户从所述储存器中选择的对象的比例，将选中对象合成到所述真实图像中，从而产生对象已经被合到其中的校正视频。
4.根据权利要求1所述的移动增强现实视频编辑***，还包括：
对象发送器，其被配置为经由通信网络而将所述提取与显示的对象之中由所述用户为增强现实所触摸的对象发送到互操作的外部设备；以及
服务服务器，其被配置为：将为增强现实所触摸的对象的特征点与机器学习对象数据库进行比较，从机器学习对象数据库读取与此对象具有最高一致率的代表性3D对象，以及将所述代表性3D对象发送到所述视频处理器。
5.根据权利要求4所述的移动增强现实视频编辑***，
其中，所述视频处理器通过将所述代表性3D对象合成到所述真实图像中来产生校正视频，所述校正视频的比例已经根据为增强现实所触摸的对象的比例值来相对于屏幕进行调整。
6.根据权利要求5所述的移动增强现实视频编辑***，
其中，所述视频处理器根据来自所述视频编辑工具的用户命令而产生校正视频，所述校正视频中所述代表性3D对象的大小、位置和颜色已经被调整。
7.根据权利要求1至5中任一项所述的移动增强现实视频编辑***，
其中，所述真实图像输入部分、所述空间识别器、所述对象提取与显示部分、所述编辑工具显示部分、所述视频处理器以及所述屏幕显示部分中的每一个是构成应用程序app的一组程序代码数据，所述应用程序app能够被下载到用户移动设备的储存器并运行。
8.根据权利要求3或4所述的移动增强现实视频编辑***，
其中，除了所述真实图像输入部分、所述空间识别器、所述对象提取与显示部分、所述编辑工具显示部分、所述视频处理器以及所述屏幕显示部分之外，所述对象储存器或所述对象发送器也是构成app的一组程序代码数据，所述app能够被下载到用户移动设备的储存器并运行。
CN201910071215.5A 2018-12-12 2019-01-25 移动增强现实视频编辑*** Active CN111311759B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180160189A KR102091217B1 (ko) 2018-12-12 2018-12-12 모바일 증강현실 영상 편집 시스템
KR10-2018-0160189 2018-12-12

Publications (2)

Publication Number Publication Date
CN111311759A true CN111311759A (zh) 2020-06-19
CN111311759B CN111311759B (zh) 2024-02-20

Family

ID=69957244

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910071215.5A Active CN111311759B (zh) 2018-12-12 2019-01-25 移动增强现实视频编辑***

Country Status (3)

Country Link
US (1) US10643662B1 (zh)
KR (1) KR102091217B1 (zh)
CN (1) CN111311759B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11366983B2 (en) * 2020-09-09 2022-06-21 International Business Machines Corporation Study-level multi-view processing system
KR102678078B1 (ko) * 2021-02-08 2024-06-26 한국가스공사 지하 매설물 관리 서비스 제공 장치 및 방법
KR102431890B1 (ko) 2021-12-02 2022-08-12 주식회사 미리디 서버상에서 렌더링된 차등적 품질의 모델링 데이터 기반의 3차원 샘플 뷰를 제공하는 방법 및 장치

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101520904A (zh) * 2009-03-24 2009-09-02 上海水晶石信息技术有限公司 带有现实环境估算的增强现实的方法及其***
KR20100014198A (ko) * 2008-07-31 2010-02-10 (주)지아트 증강 현실 환경에서의 3차원 모델 객체 저작 방법 및 시스템
US20110188780A1 (en) * 2010-02-04 2011-08-04 Sony Corporation 2D to 3D Image Conversion Based on Image Content
CN102867169A (zh) * 2011-04-08 2013-01-09 索尼公司 图像处理设备、显示控制方法及程序
CN103390287A (zh) * 2012-05-11 2013-11-13 索尼电脑娱乐欧洲有限公司 用于增强现实的装置和方法
CN103685728A (zh) * 2012-09-21 2014-03-26 Lg电子株式会社 移动终端及其控制方法
KR20150091798A (ko) * 2014-02-04 2015-08-12 엘지전자 주식회사 단말기 및 상기 단말기에서의 이미지 합성 방법
JP2016099638A (ja) * 2014-11-18 2016-05-30 セイコーエプソン株式会社 画像処理装置、画像処理装置の制御方法、および、コンピュータープログラム
US20170227754A1 (en) * 2016-02-05 2017-08-10 Yu Hsuan Huang Systems and applications for generating augmented reality images
US20170243352A1 (en) * 2016-02-18 2017-08-24 Intel Corporation 3-dimensional scene analysis for augmented reality operations
KR20180000017A (ko) * 2016-06-21 2018-01-02 한양대학교 에리카산학협력단 스마트 글래스를 이용한 증강현실 제공 방법
WO2018039270A1 (en) * 2016-08-22 2018-03-01 Magic Leap, Inc. Virtual, augmented, and mixed reality systems and methods
KR101923507B1 (ko) * 2018-01-11 2018-11-29 김승은 Ar 기반 인터렉티브 스토리텔링 콘텐츠 제공 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8549554B2 (en) * 2006-03-07 2013-10-01 Sony Computer Entertainment America Llc Dynamic replacement of cinematic stage props in program content
KR101788046B1 (ko) 2010-11-03 2017-10-19 엘지전자 주식회사 이동 단말기 및 그 제어방법
US10019962B2 (en) * 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
US9626798B2 (en) * 2011-12-05 2017-04-18 At&T Intellectual Property I, L.P. System and method to digitally replace objects in images or video
KR20130107404A (ko) 2012-03-22 2013-10-02 한남대학교 산학협력단 미디어 콘텐츠 편집을 이용한 증강 객체 융합 시스템 및 그 방법
US9286727B2 (en) * 2013-03-25 2016-03-15 Qualcomm Incorporated System and method for presenting true product dimensions within an augmented real-world setting
KR101876419B1 (ko) * 2016-01-07 2018-07-10 한국전자통신연구원 프로젝션 기반 증강현실 제공장치 및 그 방법
US10816334B2 (en) * 2017-12-04 2020-10-27 Microsoft Technology Licensing, Llc Augmented reality measurement and schematic system including tool having relatively movable fiducial markers
US10002442B1 (en) * 2017-12-21 2018-06-19 Capital One Services, Llc Placement of augmented reality objects using a guide marker

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100014198A (ko) * 2008-07-31 2010-02-10 (주)지아트 증강 현실 환경에서의 3차원 모델 객체 저작 방법 및 시스템
CN101520904A (zh) * 2009-03-24 2009-09-02 上海水晶石信息技术有限公司 带有现实环境估算的增强现实的方法及其***
US20110188780A1 (en) * 2010-02-04 2011-08-04 Sony Corporation 2D to 3D Image Conversion Based on Image Content
CN102867169A (zh) * 2011-04-08 2013-01-09 索尼公司 图像处理设备、显示控制方法及程序
CN103390287A (zh) * 2012-05-11 2013-11-13 索尼电脑娱乐欧洲有限公司 用于增强现实的装置和方法
CN103685728A (zh) * 2012-09-21 2014-03-26 Lg电子株式会社 移动终端及其控制方法
KR20150091798A (ko) * 2014-02-04 2015-08-12 엘지전자 주식회사 단말기 및 상기 단말기에서의 이미지 합성 방법
JP2016099638A (ja) * 2014-11-18 2016-05-30 セイコーエプソン株式会社 画像処理装置、画像処理装置の制御方法、および、コンピュータープログラム
US20170227754A1 (en) * 2016-02-05 2017-08-10 Yu Hsuan Huang Systems and applications for generating augmented reality images
US20170243352A1 (en) * 2016-02-18 2017-08-24 Intel Corporation 3-dimensional scene analysis for augmented reality operations
KR20180000017A (ko) * 2016-06-21 2018-01-02 한양대학교 에리카산학협력단 스마트 글래스를 이용한 증강현실 제공 방법
WO2018039270A1 (en) * 2016-08-22 2018-03-01 Magic Leap, Inc. Virtual, augmented, and mixed reality systems and methods
KR101923507B1 (ko) * 2018-01-11 2018-11-29 김승은 Ar 기반 인터렉티브 스토리텔링 콘텐츠 제공 방법

Also Published As

Publication number Publication date
CN111311759B (zh) 2024-02-20
US10643662B1 (en) 2020-05-05
KR102091217B1 (ko) 2020-03-19

Similar Documents

Publication Publication Date Title
US10964108B2 (en) Augmentation of captured 3D scenes with contextual information
KR102638526B1 (ko) 파라미터를 갖는 마커를 사용한 증강 현실의 장면 수정
JP5093053B2 (ja) 電子カメラ
US8644467B2 (en) Video conferencing system, method, and computer program storage device
US7965304B2 (en) Image processing method and image processing apparatus
AU2016336030B2 (en) Volumetric depth video recording and playback
JP3148045B2 (ja) 三次元物体ｃｇ作成装置
JP4115117B2 (ja) 情報処理装置および方法
CN111311759B (zh) 移动增强现实视频编辑***
KR20190045317A (ko) 화상 처리 장치, 화상 생성 방법 및 컴퓨터 프로그램
US20140181630A1 (en) Method and apparatus for adding annotations to an image
KR20140082610A (ko) 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치
JP7208549B2 (ja) 仮想空間制御装置、その制御方法、及びプログラム
US10810801B2 (en) Method of displaying at least one virtual object in mixed reality, and an associated terminal and system
CN112689854A (zh) 动画合成装置、动画合成方法以及记录介质
US11496661B2 (en) Image processing apparatus and image processing method
KR101875047B1 (ko) 사진측량을 이용한 3d 모델링 시스템 및 방법
US11328436B2 (en) Using camera effect in the generation of custom synthetic data for use in training an artificial intelligence model to produce an image depth map
US11030359B2 (en) Method and system for providing mixed reality service
KR102201285B1 (ko) 모바일 증강현실 영상 편집 지원 시스템
KR102000960B1 (ko) 벡터를 이용한 증강 현실 영상 구현 방법
JP2017084215A (ja) 情報処理システム、その制御方法、及びプログラム
CN114549734A (zh) 修改三维模型的方法及电子设备
JP6859763B2 (ja) プログラム、情報処理装置
JP2020074108A (ja) 情報処理システム、その制御方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant