CN111311759A - 移动增强现实视频编辑*** - Google Patents
移动增强现实视频编辑*** Download PDFInfo
- Publication number
- CN111311759A CN111311759A CN201910071215.5A CN201910071215A CN111311759A CN 111311759 A CN111311759 A CN 111311759A CN 201910071215 A CN201910071215 A CN 201910071215A CN 111311759 A CN111311759 A CN 111311759A
- Authority
- CN
- China
- Prior art keywords
- video
- augmented reality
- real image
- user
- video editing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 94
- 238000012217 deletion Methods 0.000 claims abstract description 22
- 230000037430 deletion Effects 0.000 claims abstract description 22
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 238000012937 correction Methods 0.000 claims description 14
- 238000010801 machine learning Methods 0.000 claims description 14
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 238000003786 synthesis reaction Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 5
- 238000000034 method Methods 0.000 claims description 5
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 description 11
- 241000282320 Panthera leo Species 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/87—Regeneration of colour television signals
- H04N9/8715—Regeneration of colour television signals involving the mixing of the reproduced video signal with a non-recorded signal, e.g. a text signal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/036—Insert-editing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2004—Aligning objects, relative positioning of parts
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Library & Information Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Architecture (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Processing Or Creating Images (AREA)
Abstract
提供一种移动增强现实视频编辑***,其包括:真实图像输入部分,其被配置为通过图像传感器接收真实图像;空间识别器,其被配置为分别识别真实图像内的空间和地面;对象提取与显示部分,其被配置为在真实图像中提取与显示对象;编辑工具显示部分,其被配置为向用户显示视频编辑工具;视频处理器,其被配置为在真实图像中删除提取与显示的对象之中由用户为删除所触摸的对象,并且通过用在相邻空间中的相同高度的像素值代替构成删除对象的区域的水平线中的每个水平线来校正构成删除对象的区域的水平线;以及屏幕显示部分,其被配置为显示由视频处理器校正的真实图像。
Description
技术领域
本发明涉及一种用于实现增强现实的***,更具体地,涉及一种移动增强现实视频编辑***。
背景技术
随着移动市场的振兴以及诸如计算机视觉、传感器和视频处理等技术的发展,增强现实技术和虚拟现实技术在被改进,并且采用这些技术的应用程序的分布在加速。另外,随着计算机的数据处理速率的提高,基于机器学习的产品和各种软件逐渐蔓延,因此基于图像识别的产品和服务项目正在大量制作。
然而,现有的增强现实技术是通过拍摄实际环境的图片、将虚拟空间覆盖在该图片上以及然后将虚拟对象合成到对应的空间中来实现。换句话说,由于替换图像叠加在真实空间的拍摄图像上,因此需要高级技能来编辑拍摄的特定对象或形状,并且编辑花费很长时间。此外,在某些情况下,色度键(chroma-key)处理等需要额外的设备。另外,当编辑增强现实视频时,工作者要忍受在视频中选择要编辑的对象或形状以及重复诸如尺寸调整和边界设置的操作的不便。
因此,需要一种新的移动型视频编辑工具或技术,其旨在消除编辑增强现实视频的低效率,使得即使非视频编辑专家也可以方便快速地获取他或她想要的视频。
(相关技术文献)
(专利文献)
(专利文献1)韩国未审查专利公开No.10-2013-0107404。
(专利文献2)韩国专利No.10-1788046。
发明内容
1.技术问题
本发明的技术目的是提供一种移动增强现实视频编辑***,其甚至使非视频编辑专家能够方便快速地在移动设备上编辑他或她想要的视频。
本发明的另一个技术目的是提供一种移动增强现实视频编辑***,其在原始视频中删除对象以编辑增强现实视频时,能够通过将最佳局部视频合成到已删除对象的位置中来获得自然的对象删除视频。
本发明的另一个技术目的是提供一种移动增强现实视频编辑***,其自由地改变视频中对象的位置,使得该对象可以根据改变的位置而调整比例并与周围对象协调。
本发明的另一个技术目的是提供一种移动增强现实视频编辑***,其能够通过用三维(3D)对象替换视频中的对象来实现增强现实,该三维(3D)对象真实且客观地最佳描绘了该对象。
本发明的另一个技术目的是提供一种移动增强现实视频编辑***,其通过合成3D对象并按比例自动调整3D对象使得该3D对象可以与合成视频协调来实现增强现实。
2.技术方案
根据本发明的示例性实施例的移动增强现实视频编辑***可以以应用程序(app)的形式来实现,该应用程序(app)可以在移动设备中被下载并运行,并且移动增强现实视频编辑***包括:真实图像(real image)输入部分,其被配置为通过图像传感器接收真实图像;空间识别器,其被配置为分别识别真实图像内的空间和地面;对象提取与显示部分,其被配置为在所述真实图像中提取与显示对象;编辑工具显示部分,其被配置为向用户显示视频编辑工具;视频处理器,其被配置为在所述真实图像中删除提取与显示的对象之中由用户为删除所触摸的对象,并且通过用与相邻空间中相同高度的像素值代替构成删除对象的区域的水平线中的每个水平线来校正构成删除对象的区域的水平线;以及屏幕显示部分,其被配置为显示由视频处理器校正的真实图像。
在移动增强现实视频编辑***中,视频处理器可以从真实图像中删除提取与显示的对象之中由用户为移动所触摸的对象,通过用与相邻空间中的相同高度的像素值代替构成删除对象的区域的水平线中的每个水平线来校正构成删除对象的区域的水平线,使用与为对象移动所指定的位置相对应的像素的三维(3D)坐标值来调整为移动所触摸的对象的比例,从而产生对象已经被移动的校正视频。
除了上述配置之外,另一个可修改配置的移动增强现实视频编辑***还可以包括对象储存器,其被配置为将提取与显示的对象之中由用户为储存所触摸的对象与输入文件名进行匹配并且将所述对象储存在储存器中。
在这种情况下,视频处理器可以用与为对象合成所指定的位置相对应的像素的3D坐标值来调整由用户从储存器中选择的对象的比例,将选中对象合成到真实图像中,从而产生对象已经被合到其中的校正视频。
作为另一个可修改的实施例,上述移动增强现实视频编辑***还可以包括:对象发送器,其被配置为经由通信网络而将提取与显示的对象之中由用户为增强现实所触摸的对象发送到互操作的外部设备;服务服务器(service server),其被配置为将为增强现实所触摸的对象的特征点与机器学习对象数据库(DB)进行比较,从机器学习对象DB读取与所述对象具有最高一致率的代表性3D对象,并且将代表性3D对象发送到视频处理器。
在移动增强现实视频编辑***中,视频处理器通过将代表性3D对象合成到真实图像中来产生校正视频,所述校正视频的比例已经根据为增强现实所触摸的对象的比例值来相对于屏幕进行调整。
另外,视频处理器可以根据来自视频编辑工具的用户命令而产生校正视频,所述校正视频中3D对象的大小、位置和颜色已经被调整。
3.有益效果
根据上述技术方案,本发明使得通过简单操纵而方便快速地编辑从移动设备获取的真实图像成为可能。
此外,本发明可以使在从移动设备获取的真实图像中编辑对象时可以从边缘部分感觉到的差异感或不自然感最小化。
另外,本发明在从移动设备获取的真实图像中自动识别对象之中由用户选择的对象的特征,并用标准化、授权或逼真的代表性3D对象替换该对象,从而可以以新形式获得增强现实视频。
此外,当使用根据本发明的示例性实施例的***时,可以获得将标准化代表性3D对象***到真实图像中的视频。因此,可以体验在仅实际存在于真实空间中的对象被自动识别和重新改造时而被感觉到的存在感、3D效果和真实感。另外,可以根据代表性3D对象的特征获得最真实、美观或精彩的编辑视频。
附图说明
图1示出了根据本发明的示例性实施例的移动增强现实视频编辑***的配置的示例;
图2示出了图1的安装在移动设备上的用户端移动增强现实视频编辑***的框图的示例;
图3是根据本发明的示例性实施例的编辑移动增强现实视频的流程图;
图4示出了根据本发明的示例性实施例的分别识别地面和空间的流程图的示例;
图5A和5B示出了根据本发明的示例性实施例的真实图像的示例;
图6A和6B示出了针对对象删除之前的场景与对象删除之后的场景之间的比较的示例视图;
图7A和7B示出了针对对象移动之前的场景与对象移动之后的场景之间的比较的示例视图;以及
图8A和8B示出了针对对象合成处理之前的场景与对象合成处理之后的场景之间的比较的示例视图。
具体实施方式
在下文中,将参考附图来详细描述本发明的示例性实施例。当与本发明相关的已知功能或元件可能不必要地模糊本发明的主旨时,将省略其详细描述。
图1示出了根据本发明的示例性实施例的移动增强现实视频编辑***的配置的示例。根据本发明的示例性实施例的移动增强现实视频编辑***可以被分为用户端移动增强现实视频编辑***100和服务服务器端移动增强现实视频编辑***200,用户端移动增强现实视频编辑***100可以在用户的移动设备中下载并运行,而服务服务器端移动增强现实视频编辑***200结合用户端移动增强现实视频编辑***100提供附加服务。
用户端移动增强现实视频编辑***100在移动设备用户的请求下删除对象、移动对象、合成对象以及将三维(3D)对象合成在通过移动设备中提供的至少一个图像传感器(诸如相机)获取的真实图像中并在其屏幕上显示处理结果。
同时,服务服务器端移动增强现实视频编辑***200结合用户端移动增强现实视频编辑***100提供设备用户(即,服务用户)请求的服务。作为这样的服务,服务服务器端移动增强现实视频编辑***200检测从用户端移动增强现实视频编辑***100发送的对象的特征点,将特征点与机器学习对象数据库(DB)进行比较,通过具有最高一致率的3D对象来识别对象,从机器学习对象DB中读取代表具有最高一致率的3D对象的代表性3D对象,以及将代表性3D对象传送到用户端移动增强现实视频编辑***100。传送的3D对象被合成到从用户的移动设备获取的真实图像中并被显示为增强现实视频。
下面将参考图2更详细地描述用户端移动增强现实视频编辑***100的配置。下面描述的用户端移动增强现实视频编辑***100可以以应用程序(app)的形式来实现,该应用程序(app)可以被下载到移动设备的储存器并运行。app的多个部件彼此互操作,每个部件是用于执行特定功能的一组程序代码数据,从而使得编辑移动增强现实视频成为可能。
图2示出了图1的安装在移动设备中的用户端移动增强现实视频编辑***100的框图的示例。如图所示,用户端移动增强现实视频编辑***100包括:真实图像输入部分105,其用于通过图像传感器100-1接收真实图像;空间识别器110,其用于分别识别真实图像内的空间和地面;对象提取与显示部分115,其用于在真实图像中提取与显示对象;编辑工具显示部分125,其用于向用户显示视频编辑工具;视频处理器120,其用于在真实图像中删除提取与显示的对象之中由用户为删除所触摸的对象,并且通过用相邻空间中相同高度的像素值代替构成删除对象的区域的水平线中的每条水平线来校正构成删除对象的区域的水平线;以及屏幕显示部分130,用于显示由视频处理器120校正的真实图像。
在这些术语中,“为删除所触摸的对象”被解释为在用户通过视频编辑工具输入“删除”命令之后由用户触摸的对象,并且“为移动所触摸的对象”被解释为在用户通过视频编辑工具输入“对象移动”命令之后由用户触摸的对象。此外,“为储存所触摸的对象”被解释为在用户通过视频编辑工具输入“对象保存”命令之后由用户触摸的对象。当对象在通过如上所述的视频编辑工具输入(严格来说,这对应于触摸)命令之后被触摸时,根据输入命令对触摸对象进行后处理。
在图2所示的元件之中的视频处理器120从真实图像中删除提取与显示的对象之中由用户为移动所触摸的对象,通过用相邻空间中相同高度的像素值代替构成删除对象的区域的水平线中的每条水平线来校正构成删除对象的区域的水平线,以及使用与为对象移动所指定的位置相对应的像素的3D坐标值来调整为移动所触摸的对象的比例,从而产生其中的对象已被移动的校正视频。
除了上述***配置之外,根据本发明另一个示例性实施例的用户端移动增强现实视频编辑***100还可以包括对象储存器150,其用于将提取与显示的对象之中由用户为储存所触摸的对象与输入文件名进行匹配,并且将该对象储存在储存器100-3中。在这种情况下,视频处理器120用与为对象合成所指定的位置相对应的像素的3D坐标值来调整由用户从储存器100-3中选择的对象的比例,并将选中的对象合成到真实图像中,从而产生对象已合成到其中的校正视频。
除了上述元件之外,根据本发明另一个示例性实施例的移动增强现实视频编辑***100还包括:对象发送器160,其用于经由通信网络而将提取与显示的对象之中由用户为增强现实所触摸的对象发送到互操作的外部设备(即,服务服务器端移动增强现实视频编辑***200);以及服务器,其用于将为增强现实所触摸的对象与机器学习对象DB进行比较、从机器学习对象DB读取具有最高一致率的3D对象以及将3D对象发送到视频处理器120。
这意味着根据本发明的示例性实施例的移动增强现实视频编辑***可以被分为用户端移动增强现实视频编辑***100和服务服务器端移动增强现实视频编辑***200。
另外,视频处理器120通过将3D对象合成到真实图像中来产生校正视频,该校正视频的比例已经根据为增强现实所触摸的对象相对于屏幕的比例值来进行了调整。
此外,视频处理器120可以根据来自视频编辑工具的用户命令而产生校正视频,在该校正视频中3D对象的大小、位置和颜色已经被调整。
现在描述图2中未描述的元件。对应于视频输入部分的图像传感器100-1通过扫描和捕获真实空间的视频来产生真实图像。图像传感器100-1包括与构成图像的每个像素相对应的3D坐标。根据本发明的示例性实施例,图像传感器100-1被示出为3D传感器,但是能够获取图像中的每个像素的3D坐标的一个或更多个相机可以用作视频输入部分。
用户界面(UI)100-2可以被实现为触摸屏,其具有用于输入用户命令的操纵器的功能和用于显示各种图像和操作状态的显示部分的功能。
除了用于驱动移动设备的多个应用程序的数据之外,储存器100-3还储存由用户选择的对象、3D对象、真实图像等。通信器100-4包括用于连接到移动通信网络并执行短程通信的技术元件,并且通信器100-4连接到服务服务器或与附近设备交换数据。
在本发明的示例性实施例中,传感器部分100-5包括加速度传感器、陀螺仪传感器等,并且可以用于分别识别地面和空间。
下面将参考图3至图8来更详细地描述包括上述元件的移动增强现实视频编辑***100的操作。
图3是根据本发明的示例性实施例的编辑移动增强现实视频的流程图,图4示出了根据本发明的示例性实施例的分别识别地面和空间的流程图的示例,图5A和5B示出了根据本发明的示例性实施例的真实图像的示例,图6A和6B示出了针对对象删除之前的场景与对象删除之后的场景之间的比较的示例视图,图7A和7B示出了针对对象移动之前的场景与对象移动之后的场景之间的比较的示例视图,并且图8A和8B示出了针对对象合成处理之前的场景与对象合成处理之后的场景之间的比较的示例视图。
参考图3,首先,想要使用他或她的移动设备编辑移动增强现实视频的人下载并运行根据本发明的示例性实施例的用户端移动增强现实视频编辑***100。
当运行移动增强现实视频编辑***100时,图像传感器100-1拍摄真实空间的视频并输出真实图像,并且真实图像被输入到用户端移动增强现实视频编辑***100的真实图像输入部分105(操作S10)。在图5A中示出通过图像传感器100-1产生的真实图像的示例。
通过真实图像输入部分105接收真实图像的空间识别器110运行用于分别识别地面和空间的程序,并且在真实图像中分别识别空间和地面。这个现在参考图4进一步详细描述。
首先,空间识别器110在真实图像中检测边缘(操作S70)。由于在特定图像中检测对象的边缘的方法是视频信号处理领域中公知的技术,因此将省略其详细描述。当边缘检测技术应用于真实图像时,可以从真实图像中提取对象并检测道路、事物等的边界。
当对真实图像执行边缘检测时,空间识别器110基于移动设备的位置(对应于参考点)来产生构成边缘的特征点之间的相对坐标(操作S75)。随后,使用参考点和所产生的相对坐标中的两个来产生平面(操作S80),并且在所产生的平面之中与地面平行的平面被识别为地面(操作S85)。通过这种方式,地面和空间被分别识别。
同时,对象提取与显示部分115从地面和空间被分别识别的真实图像中提取可以通过边缘检测而具有形状的对象,以及在UI 100-2中显示所提取的对象(操作S20)。如图5B所示,为了增加所提取的对象的可见性,所提取的对象的边缘可以变为粗体,或者可以打开对象区域的可见性。
当在真实图像中对象被提取与显示时,用户调用用于视频编辑的视频编辑工具,并且编辑工具显示部分125响应于该调用而显示视频编辑工具(操作S25)。视频编辑工具包括用于删除对象的“删除”命令、用于移动对象的“对象移动”命令以及用于储存对象的“保存”命令。这些仅是示例,并且可以进一步包括用于视频编辑的各种工具。
当视频编辑工具被显示时,用户输入(或触摸)他或她想要的命令。例如,当用户想要删除对象时,用户输入“删除”命令,然后触摸要删除的对象。当通过视频编辑工具输入删除命令并且触摸相应的对象时(操作S30),视频处理器120删除如图5B所示的真实图像中所提取与显示的对象之中的由用户为删除所触摸的对象(操作S35),如图6A所示,并且通过用相邻空间中相同高度(离地面)的像素值代替构成删除对象的区域的水平线中的每条水平线来校正构成删除对象的区域的水平线(操作S40)。
当视频处理器120完成对用户已经请求编辑的对象的处理时,屏幕显示部分130将通过如图6B所示关闭对象区域的可见性而获得的真实图像显示为由视频处理器120校正的真实图像(操作S45)。
比较地参考图6B和图5A,用户可以简单地通过调用他或她的移动设备中的视频编辑工具、用触摸输入删除命令并选择要删除的对象来方便地编辑图5A中所示的真实图像(如图6B所示)。
此外,通过用与对象区域相邻的空间中相同高度(离地面)的像素值代替对象已删除的区域中的水平线中的每条水平线来校正对象已删除的区域中的水平线。因此,删除对象的区域的像素值与相邻空间的像素值协调,并且可以获得自然视频。另外,由于地面和对象的边缘线用相同水平线的像素值来代替,因此可以使可以从边缘部分感觉到的差异感或编辑感最小化。
作为示例,本发明的示例性实施例示出了每个水平线简单地用相邻空间中相同高度的像素值来代替。然而,当相邻空间中相同高度的像素值具有图案时,需要校正所校正的区域以反映图案。
下面将详细描述根据不同于对象删除的视频编辑命令而处理真实图像中的对象的操作。
当在***100运转的同时通过视频编辑工具针对真实图像依次输入对象移动命令、对象触摸和为对象移动所指定的位置时(操作S60),视频处理器120在真实图像中删除在操作S20中提取与显示的对象之中由用户为移动所触摸的对象,通过用相邻空间中相同高度的像素值代替构成删除对象的区域的水平线中的每条水平线来校正构成删除对象的区域的水平线,使用与为对象移动所指定的位置相对应的像素的3D坐标值来调整为移动所触摸的对象的比例(操作S60),更具体地,深度坐标(z轴,假设x轴是水平轴而y轴是垂直轴),其给出了立体性。
在图7A中示出了通过移动存在于真实图像中的对象(图5A)而获得的校正视频。与图5A相比,图7A的校正视频示出了在道路右侧的作为第二对象的树已经向右移动。由于即使在校正视频中也已经根据在为对象移动所指定的位置处的像素的深度坐标而调整了为移动所触摸的对象的比例,因此可以获得其中针对移动所触摸的对象与周围的对象或背景协调的视频已编辑的场景。作为参考,图7B示出了最终显示的场景,该场景由屏幕显示部分130关闭对象区域的可见性而获得。
同时,当通过视频编辑工具依次输入对象复制命令、对象触摸和为对象复制所指定的位置时,视频处理器120产生校正视频,其中在操作S20中提取与显示的对象之中由用户为复制所触摸的对象使用深度坐标而被调整比例并且被粘贴到为对象复制所指定的位置,如图8A所示。图8A是通过将真实图像(图5A)中道路右侧的作为第一对象的树向左复制而获得的场景。
如上所述,根据本发明示例性实施例的用户端移动增强现实视频编辑***100使得用户能够在移动设备上用简单触摸操作方便快速地编辑通过图像传感器100-1获取的真实图像。
另外,根据本发明,使用对象区域的边缘线或附近区域的像素值来校正视频,因此可以获得自然的编辑视频。
除了上述视频编辑之外,用户还可以使用根据本发明的示例性实施例的移动增强现实视频编辑***100而将另外储存的对象合成到一个真实图像中。
例如,对象储存器150将在操作S20中提取与显示的对象之中由用户为储存所触摸的对象(被解释为在输入保存命令之后被触摸的对象)与由用户输入的文件名进行匹配并且将该对象储存在储存器100-3中。随后,根据用户的合成命令,视频处理器120可以通过用与为对象合成所指定的位置相对应的像素的3D坐标值来调整用户从储存器100-3选择的对象的比例并且将对象合成到真实图像中来产生校正图像。如上所述,通过屏幕显示部分130显示这种校正视频。
此外,根据本发明的示例性实施例的移动增强现实视频编辑***100可以将虚拟对象合成到通过图像传感器100-1获取的真实图像中并显示增强现实图像,以及可以将通过机器学习获得的最佳3D对象合成到真实图像中并显示增强现实图像。这里,通过机器学习获得的最佳3D对象可以是通过机器学习创建而被识别为真实客观、标准化的3D对象或授权的3D对象。
由于地点、时间、成本等的限制,普通人可能难以编辑最佳增强现实视频。当可以通过用已经被识别为真实客观、标准化的对象等替换从真实图像获得的对象来编辑增强现实视频时,最真实、美观或精彩的编辑视频可以在不侵犯版权的情况下被创建。
因此,根据本发明的示例性实施例的移动增强现实视频编辑***100的对象发送器160经由通信网络而将在操作S20中提取与显示的对象之中由用户为增强现实所触摸的对象(被解释为在输入增强现实命令之后被触摸的对象)发送到互操作的服务服务器端移动增强现实视频编辑***200。
例如,假设为增强现实所触摸的对象是真实图像中的狮子狗并且真实图像中包括主人带着用皮带拴住的狮子狗走路的场景,则狮子狗的形状或者狮子狗的形状的特征点被传送到服务服务器端移动增强现实视频编辑***200。
然后,服务服务器端移动增强现实视频编辑***200检测为增强现实所触摸的对象(即,狮子狗)的形状的特征点,将检测到的特征点与机器学习对象DB进行比较,以及识别具有最高一致率的3D对象。结果,服务服务器可以将所接收的对象识别为狮子狗,并且将所识别的对象的代表性3D对象发送到用户端移动增强现实视频编辑***100的视频处理器120。
假设从服务服务器接收的代表性3D对象是作为年度狮子狗奖得主的狮子狗的3D形状,视频处理器120通过将所接收的代表性3D对象合成到真实图像中来校正真实图像。在这种情况下,视频处理器120可以通过根据先前真实图像中为增强现实所触摸的对象的比例值而相对于屏幕调整代表性3D对象的比例来产生校正视频,从而可以获得自然的编辑视频。视频处理器120还可以产生已经根据来自视频编辑工具的用户命令而调整了代表性3D对象的大小、位置和颜色的校正视频。
当本发明的用户端移动增强现实视频编辑***100被配置为与位于如上所述的服务服务器端的机器学习对象DB互操作时,服务用户可以获得其中主人伴随狗(其为年度狮子狗奖得主)的被编辑的增强现实视频。
这仅是示例,而可以使用根据本发明的示例性实施例的***来获得将标准化的代表性3D对象***到真实图像中的视频。因此,该***可以用作体验存在感、3D效果和真实感的工具,所述存在感、3D效果和真实感在仅实际存在于真实空间中的对象被自动识别和重新改造时而被感觉到。
尽管上面参照附图中所示的实施例描述了本发明,但是本领域普通技术人员应当理解,这些实施例是示例性的,并且可以从这些实施例进行各种修改和等同。因此,本发明的技术范围应由以下权利要求来确定。
Claims (8)
1.一种移动增强现实视频编辑***,包括:
真实图像输入部分,其被配置为通过图像传感器接收真实图像;
空间识别器,其被配置为分别识别所述真实图像内的空间和地面;
对象提取与显示部分,其被配置为在所述真实图像中提取与显示对象;
编辑工具显示部分,其被配置为向用户显示视频编辑工具;
视频处理器,其被配置为:在所述真实图像中删除提取与显示的对象之中由所述用户为删除所触摸的对象,以及通过用与相邻空间中的水平线的高度相同的高度的像素值代替构成删除对象的区域的水平线中的每个水平线来校正构成删除对象的区域的水平线;以及
屏幕显示部分,其被配置为显示由所述视频处理器校正的所述真实图像。
2.根据权利要求1所述的移动增强现实视频编辑***,
其中,所述视频处理器从所述真实图像中删除所述提取与显示的对象之中由所述用户为移动所触摸的对象,通过用与相邻空间中的水平线的像素值相同的高度的像素值代替构成删除对象的区域的水平线中的每个水平线来校正构成删除对象的区域的水平线,使用与为对象移动所指定的位置相对应的像素的三维3D坐标值来调整为移动所触摸的对象的比例,从而产生对象已经被移动的校正视频。
3.根据权利要求1所述的移动增强现实视频编辑***,
还包括对象储存器,其被配置为将所述提取与显示的对象之中由所述用户为储存所触摸的对象与输入文件名进行匹配并且将对象储存在储存器中,
其中,所述视频处理器用与为对象合成所指定的位置相对应的像素的3D坐标值来调整由所述用户从所述储存器中选择的对象的比例,将选中对象合成到所述真实图像中,从而产生对象已经被合到其中的校正视频。
4.根据权利要求1所述的移动增强现实视频编辑***,还包括:
对象发送器,其被配置为经由通信网络而将所述提取与显示的对象之中由所述用户为增强现实所触摸的对象发送到互操作的外部设备;以及
服务服务器,其被配置为:将为增强现实所触摸的对象的特征点与机器学习对象数据库进行比较,从机器学习对象数据库读取与此对象具有最高一致率的代表性3D对象,以及将所述代表性3D对象发送到所述视频处理器。
5.根据权利要求4所述的移动增强现实视频编辑***,
其中,所述视频处理器通过将所述代表性3D对象合成到所述真实图像中来产生校正视频,所述校正视频的比例已经根据为增强现实所触摸的对象的比例值来相对于屏幕进行调整。
6.根据权利要求5所述的移动增强现实视频编辑***,
其中,所述视频处理器根据来自所述视频编辑工具的用户命令而产生校正视频,所述校正视频中所述代表性3D对象的大小、位置和颜色已经被调整。
7.根据权利要求1至5中任一项所述的移动增强现实视频编辑***,
其中,所述真实图像输入部分、所述空间识别器、所述对象提取与显示部分、所述编辑工具显示部分、所述视频处理器以及所述屏幕显示部分中的每一个是构成应用程序app的一组程序代码数据,所述应用程序app能够被下载到用户移动设备的储存器并运行。
8.根据权利要求3或4所述的移动增强现实视频编辑***,
其中,除了所述真实图像输入部分、所述空间识别器、所述对象提取与显示部分、所述编辑工具显示部分、所述视频处理器以及所述屏幕显示部分之外,所述对象储存器或所述对象发送器也是构成app的一组程序代码数据,所述app能够被下载到用户移动设备的储存器并运行。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180160189A KR102091217B1 (ko) | 2018-12-12 | 2018-12-12 | 모바일 증강현실 영상 편집 시스템 |
KR10-2018-0160189 | 2018-12-12 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111311759A true CN111311759A (zh) | 2020-06-19 |
CN111311759B CN111311759B (zh) | 2024-02-20 |
Family
ID=69957244
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910071215.5A Active CN111311759B (zh) | 2018-12-12 | 2019-01-25 | 移动增强现实视频编辑*** |
Country Status (3)
Country | Link |
---|---|
US (1) | US10643662B1 (zh) |
KR (1) | KR102091217B1 (zh) |
CN (1) | CN111311759B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11366983B2 (en) * | 2020-09-09 | 2022-06-21 | International Business Machines Corporation | Study-level multi-view processing system |
KR102678078B1 (ko) * | 2021-02-08 | 2024-06-26 | 한국가스공사 | 지하 매설물 관리 서비스 제공 장치 및 방법 |
KR102431890B1 (ko) | 2021-12-02 | 2022-08-12 | 주식회사 미리디 | 서버상에서 렌더링된 차등적 품질의 모델링 데이터 기반의 3차원 샘플 뷰를 제공하는 방법 및 장치 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101520904A (zh) * | 2009-03-24 | 2009-09-02 | 上海水晶石信息技术有限公司 | 带有现实环境估算的增强现实的方法及其*** |
KR20100014198A (ko) * | 2008-07-31 | 2010-02-10 | (주)지아트 | 증강 현실 환경에서의 3차원 모델 객체 저작 방법 및 시스템 |
US20110188780A1 (en) * | 2010-02-04 | 2011-08-04 | Sony Corporation | 2D to 3D Image Conversion Based on Image Content |
CN102867169A (zh) * | 2011-04-08 | 2013-01-09 | 索尼公司 | 图像处理设备、显示控制方法及程序 |
CN103390287A (zh) * | 2012-05-11 | 2013-11-13 | 索尼电脑娱乐欧洲有限公司 | 用于增强现实的装置和方法 |
CN103685728A (zh) * | 2012-09-21 | 2014-03-26 | Lg电子株式会社 | 移动终端及其控制方法 |
KR20150091798A (ko) * | 2014-02-04 | 2015-08-12 | 엘지전자 주식회사 | 단말기 및 상기 단말기에서의 이미지 합성 방법 |
JP2016099638A (ja) * | 2014-11-18 | 2016-05-30 | セイコーエプソン株式会社 | 画像処理装置、画像処理装置の制御方法、および、コンピュータープログラム |
US20170227754A1 (en) * | 2016-02-05 | 2017-08-10 | Yu Hsuan Huang | Systems and applications for generating augmented reality images |
US20170243352A1 (en) * | 2016-02-18 | 2017-08-24 | Intel Corporation | 3-dimensional scene analysis for augmented reality operations |
KR20180000017A (ko) * | 2016-06-21 | 2018-01-02 | 한양대학교 에리카산학협력단 | 스마트 글래스를 이용한 증강현실 제공 방법 |
WO2018039270A1 (en) * | 2016-08-22 | 2018-03-01 | Magic Leap, Inc. | Virtual, augmented, and mixed reality systems and methods |
KR101923507B1 (ko) * | 2018-01-11 | 2018-11-29 | 김승은 | Ar 기반 인터렉티브 스토리텔링 콘텐츠 제공 방법 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8549554B2 (en) * | 2006-03-07 | 2013-10-01 | Sony Computer Entertainment America Llc | Dynamic replacement of cinematic stage props in program content |
KR101788046B1 (ko) | 2010-11-03 | 2017-10-19 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
US10019962B2 (en) * | 2011-08-17 | 2018-07-10 | Microsoft Technology Licensing, Llc | Context adaptive user interface for augmented reality display |
US9626798B2 (en) * | 2011-12-05 | 2017-04-18 | At&T Intellectual Property I, L.P. | System and method to digitally replace objects in images or video |
KR20130107404A (ko) | 2012-03-22 | 2013-10-02 | 한남대학교 산학협력단 | 미디어 콘텐츠 편집을 이용한 증강 객체 융합 시스템 및 그 방법 |
US9286727B2 (en) * | 2013-03-25 | 2016-03-15 | Qualcomm Incorporated | System and method for presenting true product dimensions within an augmented real-world setting |
KR101876419B1 (ko) * | 2016-01-07 | 2018-07-10 | 한국전자통신연구원 | 프로젝션 기반 증강현실 제공장치 및 그 방법 |
US10816334B2 (en) * | 2017-12-04 | 2020-10-27 | Microsoft Technology Licensing, Llc | Augmented reality measurement and schematic system including tool having relatively movable fiducial markers |
US10002442B1 (en) * | 2017-12-21 | 2018-06-19 | Capital One Services, Llc | Placement of augmented reality objects using a guide marker |
-
2018
- 2018-12-12 KR KR1020180160189A patent/KR102091217B1/ko active IP Right Grant
-
2019
- 2019-01-16 US US16/249,227 patent/US10643662B1/en active Active
- 2019-01-25 CN CN201910071215.5A patent/CN111311759B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100014198A (ko) * | 2008-07-31 | 2010-02-10 | (주)지아트 | 증강 현실 환경에서의 3차원 모델 객체 저작 방법 및 시스템 |
CN101520904A (zh) * | 2009-03-24 | 2009-09-02 | 上海水晶石信息技术有限公司 | 带有现实环境估算的增强现实的方法及其*** |
US20110188780A1 (en) * | 2010-02-04 | 2011-08-04 | Sony Corporation | 2D to 3D Image Conversion Based on Image Content |
CN102867169A (zh) * | 2011-04-08 | 2013-01-09 | 索尼公司 | 图像处理设备、显示控制方法及程序 |
CN103390287A (zh) * | 2012-05-11 | 2013-11-13 | 索尼电脑娱乐欧洲有限公司 | 用于增强现实的装置和方法 |
CN103685728A (zh) * | 2012-09-21 | 2014-03-26 | Lg电子株式会社 | 移动终端及其控制方法 |
KR20150091798A (ko) * | 2014-02-04 | 2015-08-12 | 엘지전자 주식회사 | 단말기 및 상기 단말기에서의 이미지 합성 방법 |
JP2016099638A (ja) * | 2014-11-18 | 2016-05-30 | セイコーエプソン株式会社 | 画像処理装置、画像処理装置の制御方法、および、コンピュータープログラム |
US20170227754A1 (en) * | 2016-02-05 | 2017-08-10 | Yu Hsuan Huang | Systems and applications for generating augmented reality images |
US20170243352A1 (en) * | 2016-02-18 | 2017-08-24 | Intel Corporation | 3-dimensional scene analysis for augmented reality operations |
KR20180000017A (ko) * | 2016-06-21 | 2018-01-02 | 한양대학교 에리카산학협력단 | 스마트 글래스를 이용한 증강현실 제공 방법 |
WO2018039270A1 (en) * | 2016-08-22 | 2018-03-01 | Magic Leap, Inc. | Virtual, augmented, and mixed reality systems and methods |
KR101923507B1 (ko) * | 2018-01-11 | 2018-11-29 | 김승은 | Ar 기반 인터렉티브 스토리텔링 콘텐츠 제공 방법 |
Also Published As
Publication number | Publication date |
---|---|
CN111311759B (zh) | 2024-02-20 |
US10643662B1 (en) | 2020-05-05 |
KR102091217B1 (ko) | 2020-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10964108B2 (en) | Augmentation of captured 3D scenes with contextual information | |
KR102638526B1 (ko) | 파라미터를 갖는 마커를 사용한 증강 현실의 장면 수정 | |
JP5093053B2 (ja) | 電子カメラ | |
US8644467B2 (en) | Video conferencing system, method, and computer program storage device | |
US7965304B2 (en) | Image processing method and image processing apparatus | |
AU2016336030B2 (en) | Volumetric depth video recording and playback | |
JP3148045B2 (ja) | 三次元物体cg作成装置 | |
JP4115117B2 (ja) | 情報処理装置および方法 | |
CN111311759B (zh) | 移动增强现实视频编辑*** | |
KR20190045317A (ko) | 화상 처리 장치, 화상 생성 방법 및 컴퓨터 프로그램 | |
US20140181630A1 (en) | Method and apparatus for adding annotations to an image | |
KR20140082610A (ko) | 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치 | |
JP7208549B2 (ja) | 仮想空間制御装置、その制御方法、及びプログラム | |
US10810801B2 (en) | Method of displaying at least one virtual object in mixed reality, and an associated terminal and system | |
CN112689854A (zh) | 动画合成装置、动画合成方法以及记录介质 | |
US11496661B2 (en) | Image processing apparatus and image processing method | |
KR101875047B1 (ko) | 사진측량을 이용한 3d 모델링 시스템 및 방법 | |
US11328436B2 (en) | Using camera effect in the generation of custom synthetic data for use in training an artificial intelligence model to produce an image depth map | |
US11030359B2 (en) | Method and system for providing mixed reality service | |
KR102201285B1 (ko) | 모바일 증강현실 영상 편집 지원 시스템 | |
KR102000960B1 (ko) | 벡터를 이용한 증강 현실 영상 구현 방법 | |
JP2017084215A (ja) | 情報処理システム、その制御方法、及びプログラム | |
CN114549734A (zh) | 修改三维模型的方法及电子设备 | |
JP6859763B2 (ja) | プログラム、情報処理装置 | |
JP2020074108A (ja) | 情報処理システム、その制御方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |