CN112740284A - 动画合成装置、动画合成方法以及记录介质 - Google Patents

动画合成装置、动画合成方法以及记录介质 Download PDF

Info

Publication number
CN112740284A
CN112740284A CN201880097687.1A CN201880097687A CN112740284A CN 112740284 A CN112740284 A CN 112740284A CN 201880097687 A CN201880097687 A CN 201880097687A CN 112740284 A CN112740284 A CN 112740284A
Authority
CN
China
Prior art keywords
avatar
animation
unit
live
publisher
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880097687.1A
Other languages
English (en)
Inventor
川上量生
岩城进之介
小岛尚
清水俊博
齐藤宽明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dwango Co Ltd
Original Assignee
Dwango Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dwango Co Ltd filed Critical Dwango Co Ltd
Publication of CN112740284A publication Critical patent/CN112740284A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Circuits (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明通过外侧照相机(17)拍摄实拍动画，并且通过内侧照相机(16)拍摄发布者，化身控制部(13)根据由内侧照相机(16)拍摄到的发布者的图像来控制化身，合成部(14)将化身配置在实际空间坐标系的规定位置，将化身合成到实拍动画中。对由内侧照相机(16)拍摄到的发布者的脸进行面部追踪而反映到化身。

Description

动画合成装置、动画合成方法以及记录介质
技术领域
本公开涉及生成增强现实动画的技术。
背景技术
近年来，个人能够经由网络发布影像的动画发布服务正在普及。在动画发布服务中，已知具有能够代替用户而使计算机图形(CG)角色出现在影像内并发布影像的应用。此外，已知具有对由智能手机自拍到的脸进行面部追踪，将用户的表情反映到CG角色的技术。
现有技术文献
专利文献
专利文献1：日本特开2017-188787号公报
发明内容
在使用面部追踪技术将CG角色合成到自拍动画中时，能够将实时地反映了用户自身的表情的CG角色简单地合成到实拍影像中。
但是，所拍摄的实拍影像是用户背后的风景。在以在用户的眼前扩展的风景为背景来合成反映了用户自身的表情的CG角色的情况下，用户需要使用自拍棒以想要拍摄的风景为背景并包含用户自身来进行拍摄。
实施方式是鉴于上述情况而完成的，其目的在于，更简单地生成合成了表情丰富的计算机图形角色的动画。
实施方式的第一方式的动画合成装置生成将化身合成到实拍动画中的增强现实动画，具有：第一摄像部，其拍摄实拍动画；第二摄像部，其拍摄操作者；位置检测部，其对所述第一摄像部或者所述动画合成装置的与实际空间对应的坐标系中的位置以及朝向进行检测；控制部，其根据所述第二摄像部拍摄到的图像来控制化身；以及合成部，其将所述化身配置在所述坐标系的规定位置，将所述化身合成到所述第一摄像部拍摄到的所述实拍动画中。
实施方式的第二方式的动画合成方法生成将化身合成到实拍动画中的增强现实动画，所述动画合成方法具有由计算机进行的以下步骤：对拍摄实拍动画的第一摄像部的与实际空间对应的坐标系中的位置以及朝向进行检测的步骤；根据拍摄操作者的第二摄像部拍摄到的图像来控制化身的步骤；以及将所述化身配置在所述坐标系的规定位置，将所述化身合成到所述第一摄像部拍摄到的所述实拍动画中的步骤。
实施方式的第三方式的记录介质能够由计算机读取，其记录有使处理器执行以下处理的程序：对拍摄实拍动画的第一摄像部的与实际空间对应的坐标系中的位置以及朝向进行检测的处理；根据拍摄操作者的第二摄像部拍摄到的图像来控制化身的处理；以及将所述化身配置在所述坐标系的规定位置，将所述化身合成到所述第一摄像部拍摄到的所述实拍动画中的处理。
根据实施方式，能够更简单地生成合成了表情丰富的计算机图形角色的动画。
附图说明
图1是表示包含本实施方式的动画合成装置的动画发布***的整体结构的整体结构图。
图2是用于对发布者发布AR动画的情况进行说明的图。
图3是示出向右平移拍摄方向时的AR动画的例子的图。
图4是表示本实施方式的动画合成装置的结构例的功能框图。
图5是表示化身的初始配置处理的流程的流程图。
图6是表示在拍摄到的影像上重叠显示了检测出的地面部分的例子的图。
图7是表示使化身站立在图6的地面部分的例子的图。
图8是表示从图7的状态起使拍摄方向向上方倾斜的例子的图。
图9是表示AR动画的生成处理的流程的流程图。
图10是表示化身的表情和姿势的控制处理的流程的流程图。
图11是表示在触摸面板上显示了操作按钮的例子的图。
图12是表示在发布者的移动中，朝向后方显示了化身的例子的图。
具体实施方式
以下，使用附图对实施方式进行说明。
参照图1，对包含本实施方式的动画合成装置的动画发布***的整体结构进行说明。本动画发布***由动画合成装置1和动画发布服务器3构成。
动画合成装置1将三维的计算机图形角色(化身)合成到动画合成装置1拍摄到的实拍影像中，生成增强现实动画(以下，称为“AR动画”)。
动画发布服务器3从动画合成装置1接收AR动画，将AR动画发布到观看者终端9。动画发布服务器3可以实时地发布(所谓的现场直播)接收到的AR动画，或者也可以预先蓄积AR动画，根据来自观看者终端9的请求来发布AR动画。
动画发布***也可以具有化身管理服务器5以及注释管理服务器7。
化身管理服务器5对化身的三维数据进行管理。动画合成装置1也可以将化身管理服务器5提供的化身的部件组合，生成自己用的化身。
注释管理服务器7从观看者终端9接收针对AR动画的注释，将该注释传送到动画合成装置1以及其他观看者终端9。
动画合成装置1、动画发布服务器3、化身管理服务器5、注释管理服务器7、以及观看者终端9经由网络可通信地连接。
参照图2和图3，对动画合成装置1生成的AR动画进行说明。
动画合成装置1具有：拍摄方向彼此反向的外侧照相机与内侧照相机、麦克风、触摸面板以及用于检测自己位置的各种传感器(例如，加速度传感器、陀螺仪传感器等)。作为动画合成装置1，能够利用具有外侧照相机以及内侧照相机的智能手机以及平板电脑等便携终端。
如图2所示，发布者200具有动画合成装置1，利用外侧照相机对发布者200所观看的风景进行拍摄，利用内侧照相机对发布者200自身进行拍摄。动画合成装置1生成将化身100合成到由外侧照相机拍摄到的实拍影像中而得到的AR动画。动画合成装置1将由内侧照相机拍摄到的发布者200的表情反映到化身100的表情。例如，当发布者200说话时，动画合成装置1对由内侧照相机拍摄到的发布者200的脸进行面部追踪，使化身100的口与发布者200的口一致地活动。动画合成装置1也可以将发布者200头部的活动反映到化身100，还可以将发布者200的手势反映到化身100。由此，发布者200能够一边拍摄在自身眼前扩展的风景，一边控制化身100。
动画合成装置1将化身100固定在与实际空间对应的坐标系中，将化身100合成到影像中。如图3所示，在将外侧照相机的拍摄方向右平移时，化身100与存在于实际空间内的物体同样地，也向影像的左方向移动。
[动画合成装置的结构]
参照图4，对动画合成装置1的结构例进行说明。该图所示的动画合成装置1具有：空间测量部11、初始配置部12、化身控制部13、合成部14、位置检测部15、内侧照相机16、外侧照相机17、输入部18、显示部19、通信控制部20以及存储部21。动画合成装置1具有的各部可以设为由具有运算处理装置、存储装置等的计算机构成，由程序执行各部的处理。该程序存储在动画合成装置1具有的存储装置中，也能够记录在磁盘、光盘、半导体存储器等记录介质中，还能够通过网络进行提供。例如，也可以在智能手机中安装应用，使智能手机作为动画合成装置1发挥作用。
空间测量部11对配置化身的实际空间的三维空间信息进行测量，设定与实际空间对应的实际空间坐标系，对能够配置化身的区域(以下，称为“化身可配置区域”)进行检测。例如，利用外侧照相机17拍摄实际空间的动画，通过使用了单眼照相机的无标记AR的技术，能够对拍摄场所的实际空间的三维空间信息进行测量。空间测量部11将通过测量而得到的三维空间信息中的、例如地面等平坦部分检测为化身可配置区域。空间测量部11检测为化身可配置区域的部位如果是即使配置化身也不自然的场所，则可以相对于地面倾斜，也可以是有凸凹的场所。
在动画合成装置1具有深度照相机或立体照相机的情况下，空间测量部11也可以根据深度照相机的测量结果或立体图像获得三维空间信息。空间测量部11将测量出的三维空间信息存储在存储部21中。
初始配置部12决定化身的初始位置，以使化身存在于空间测量部11检测出的化身可配置区域内。例如，在由外侧照相机17拍摄到的实际空间的影像中，显示重叠了表示化身可配置区域的图形(例如，表示地面的范围的边框等)的图像，促使发布者指定化身的初始位置。当发布者在化身可配置区域内敲击时，初始配置部12计算敲击的位置的实际空间坐标系的坐标，决定为化身的初始位置。初始配置部12也可以在化身可配置区域的任意位置配置化身。在发布者摇晃了动画合成装置1时，也可以随机变更化身的位置。
化身控制部13对由内侧照相机16拍摄到的发布者的脸进行面部追踪，将发布者的表情反映到化身的表情。化身控制部13也可以按照发布者利用菜单等输入的操作来控制化身。化身控制部13也可以根据动画合成装置1的移动来控制化身的姿势及位置。例如，在发布者一边拍摄风景一边向前方移动时，使化身朝向前方，并使化身行走。
合成部14将化身配置在实际空间坐标系中，将化身合成到由外侧照相机17拍摄到的影像中，生成AR动画。AR动画显示在显示部19，并且从通信控制部20发送到动画发布服务器3。合成部14也可以将AR动画蓄积在存储部21中。另外，化身的渲染所需的数据预先从化身管理服务器5接收，并存储在存储部21中。也可以使用事先存储在存储部21中的化身的数据。
位置检测部15对实际空间坐标系中的动画合成装置1自身的位置以及朝向(也是外侧照相机17的位置以及朝向)进行检测。合成部14根据位置检测部15检测出的位置以及朝向来绘制化身。
内侧照相机16拍摄发布者(也是动画合成装置1的操作者)。
外侧照相机17拍摄作为AR动画想要发出的风景和被拍摄体。
输入部18受理来自动画合成装置1具有的触摸面板的操作。
显示部19在触摸面板上显示将化身合成到由外侧照相机17拍摄到的实拍影像中而得的AR动画。也可以显示用于操作化身的各种按钮。
通信控制部20将AR动画发送到动画发布服务器3。
[化身的初始配置]
参照图5，对化身的初始配置处理的一例进行说明。
在发布者生成AR动画之前，在决定实际空间坐标系中的化身的位置时执行图5所示的处理。
发布者启动动画合成装置1，利用外侧照相机17对配置化身的场所的动画进行拍摄，取得配置化身的场所的三维空间信息(步骤S11)。具体而言，启动应用而使智能手机作为动画合成装置1进行动作，利用外侧照相机17对配置化身的平坦的场所进行拍摄。发布者一边稍微移动动画合成装置1一边对配置场所进行拍摄。从动画合成装置1的活动以及能够从拍摄到的动画中检测出的特征点的活动中，取得三维空间信息，对允许化身的配置的化身可配置区域进行检测。这里，将平坦的“地面”检测为化身可配置区域。
当空间测量部11取得三维空间信息，检测到地面时，显示部19在由外侧照相机17拍摄到的影像中重叠显示表示地面的区域的图形(步骤S12)。例如，如图6所示，在由外侧照相机17拍摄到的影像中重叠显示表示地面的区域的边框110。
发布者在边框110内敲击时，如图7所示，化身控制部13在敲击的位置配置化身100(步骤S13)。将所敲击的位置的实际空间坐标系中的坐标设为化身的站立位置的坐标。在重新敲击边框110内的其他场所时，将新敲击的位置设为化身的站立位置。在确定实际空间坐标系中的化身的坐标时，合成部14在由外侧照相机17拍摄到的实拍影像中重叠显示化身。以后，以化身是否存在于实际空间内的方式，将化身重叠显示于实拍影像中。例如，从图7的状态起使外侧照相机17的拍摄方向向上倾斜时，如图8所示，在化身100的站立位置固定于实际空间内保持不变的状态下显示化身100的上半身。在将外侧照相机17的拍摄方向左右平移时，在化身100的站立位置也固定于实际空间内保持不变的状态下，化身100重叠显示于实拍影像中。
在显示化身100时，也可以拖动化身100来调整化身100的站立位置。例如，如图8所示，在显示化身100时，若发布者敲击化身100而沿着画面左右移动手指，则使化身100的站立位置左右移动。若发布者上下移动手指，则使化身100的站立位置向深度方向或近前方向移动。若使化身100前后左右移动，则停止化身100的移动以便不超过识别为地面的范围。
在发布者摇晃了动画合成装置1时，初始配置部12可以随机地决定化身的站立位置。在发布者使动画合成装置1倾斜时，初始配置部12可以与动画合成装置1的倾斜对应地移动化身的站立位置。例如，当发布者使动画合成装置1向右倾斜时，使化身100向右方移动，当使动画合成装置1向近前倾倒时，使化身100向近前方向移动。
也可以根据由内侧照相机16拍摄到的发布者的图像来调整化身的站立位置。例如，当发布者朝向右方时，使化身的站立位置向右移动。当发布者朝向下方时，使化身的站立位置向近前方向移动。
当发布者决定化身的位置时，初始配置部12根据发布者的操作，决定化身的尺寸及朝向(步骤S14)。例如，当发布者上下滑动触摸面板时，放大、缩小化身的尺寸。当发布者左右滑动触摸面板时，使化身的朝向旋转。当发布者用两根手指敲击触摸面板时，将化身的尺寸以及朝向重置为最初的大小以及朝向。
也可以在化身的站立位置的地面处配置榻榻米、地毯、台阶等目标对象。在作为脚下的对象而配置了有高度的平台的情况下，使化身的站立位置上升平台的高度。
也可以以化身的初始位置为中心，使化身在规定范围内的地面部分能够自由地移动。例如，也可以控制成在发布者的沉默持续一段时间时，化身在规定的范围内走动。
[AR动画的生成]
当发布者结束化身的初始配置时，动画合成装置1开始内侧照相机16进行的发布者的拍摄，开始AR动画的生成。
参照图9，对AR动画的生成处理的一例进行说明。
在与外侧照相机17拍摄风景的同时(步骤S21)，内侧照相机16拍摄发布者(步骤S22)。麦克风对动画所附带的声音进行收集。
位置检测部15对动画合成装置1的位置以及朝向进行检测(步骤S23)。
化身控制部13根据内侧照相机16拍摄到的发布者的影像，控制化身的表情和姿势(步骤S24)。化身控制部13的处理的详细情况将在后面进行叙述。
合成部14将化身合成到由外侧照相机17拍摄到的实拍影像中而生成AR动画(步骤S25)。
[化身的控制]
参照图10，对由化身控制部13进行的化身的表情和姿势的控制处理的一例进行说明。
化身控制部13判定发布者是否正在移动(步骤S31)。能够根据由位置检测部15检测出的动画合成装置1的动作来判定发布者是否正在移动。
在发布者正在移动的情况下(步骤S31是)，判定化身是否是位置固定状态(步骤S32)。所谓化身是位置固定状态是指使实际空间坐标系中的化身的位置不移动的状态。即使发布者移动，化身的站立位置也不移动。在化身不是位置固定状态时，将实际空间坐标系中的动画合成装置1与化身之间保持为规定的距离，配合动画合成装置1的移动而使化身的位置移动。当发布者即动画合成装置1移动时，化身控制部13配合发布者的移动而使化身的位置移动。关于化身的移动将在后面进行叙述。
化身的位置固定状态的解除能够通过对图11所示的触摸面板所显示的位置固定按钮130进行操作来变更。在化身为位置固定状态时，若操作位置固定按钮130，则解除化身的位置固定。在化身并非位置固定时，若操作位置固定按钮130，则将化身设为位置固定状态。
在发布者并非正在移动的情况下(步骤S31否)，或者化身的位置固定的情况下(步骤S32是)，化身控制部13判定是否操作了表情按钮(步骤S33)。在本实施方式中，如图11所示，在触摸面板中显示表情按钮120A、120B、120C。表情按钮120A、120B、120C分别对应于大笑、哭泣、愤怒的表情。
在操作了表情按钮120A、120B、120C的情况下(步骤S33是)，化身控制部13将化身的表情变更为与所操作的表情按钮120A、120B、120C对应的表情(步骤S34)。通过预先准备夸张的表情的动画，根据表情按钮的操作使化身成为动画，从而能够更明确地表现感情。不只是变更化身的表情，还可以使化身摆手势。例如，在操作了哭泣的表情按钮时，使化身摆出用手擦拭眼泪的手势。
也可以在触摸面板中显示用于控制化身的姿势(包括化身的朝向)的按钮。例如，也可以在触摸面板中显示用于使化身转向的按钮、用于使化身的脸或上半身朝向右或左的按钮等。若对这些按钮进行操作，则化身控制部13将化身的姿势变更为与操作的按钮对应的姿势。
也可以从菜单中控制化身的表情及姿势。例如，滑动触摸面板的端部而使菜单栏出现，选择与想要使化身成为的表情或姿势对应的项目。
也可以通过由内侧照相机16拍摄的手标志来控制化身。化身控制部13预先将手标志与化身的控制内容(表情及姿势等)关联起来，在从由内侧照相机16拍摄到的动画中检测出特定的手标志的情况下，根据检测出的手标志来控制化身。例如，在利用内侧照相机16拍摄到握拳时，使化身做出愤怒的表情。
也可以通过由内侧照相机16拍摄到的文字或图形来控制化身。化身控制部13在从由内侧照相机16拍摄到的动画中检测出特定的文字或图形的情况下，根据检测出的文字等来控制化身。例如，在纸上预先记载为“微笑”，利用内侧照相机16拍摄该纸，使化身做出微笑的表情。
也可以通过动画合成装置1的动作来控制化身。化身控制部13预先将动画合成装置1的动作与化身的控制内容关联起来，根据位置检测部15检测出的动画合成装置1的动作来控制化身。例如，在动画合成装置1倾斜时，使化身鞠躬。若动画合成装置1倾斜则由外侧照相机17拍摄的风景也倾斜，因此，可以以刚刚检测出倾斜之前拍摄到的动画的1帧作为背景，合成在静态画面中鞠躬的化身。也可以代替静态画面，以刚刚检测出倾斜之前的数秒左右的动画为背景。
化身控制部13可以根据来自安装在发布者的传感器的信息来控制化身，也可以通过键盘等外部输入装置来控制化身。传感器以及输入装置与动画合成装置1以无线方式进行通信。
在未操作表情按钮的情况下(步骤S33是)，化身控制部13对由内侧照相机16拍摄到的发布者的脸进行面部追踪，将发布者的表情反映到化身(步骤S35)。通过使化身反映由内侧照相机16拍摄到的发布者的表情，能够不麻烦发布者的手而表情丰富地控制化身。
化身控制部13也可以根据由麦克风收集到的发布者的声音，使化身进行说话的动作。
在发布者正在移动(步骤S31是)，化身并非位置固定状态的情况下(步骤S32否)，化身控制部13使化身100朝向发布者的行进方向(步骤S36)，使化身100的站立位置向行进方向移动(步骤S37)。具体而言，化身控制部13移动化身的位置，以使实际空间坐标系中的动画合成装置1的位置与化身的站立位置之间的距离保持为规定的间隔。化身控制部13在发布者(动画合成装置1)前进时，以远离发布者的方式移动化身，当发布者后退时，以靠近发布者的方式移动化身，当发布者停止时，使化身停止。另外，也可以与化身的移动独立地进行步骤S33～步骤S35的处理。具体而言，可以在步骤S37的处理之后，执行步骤S33的处理。
化身控制部13可以固定化身的朝向，也可以使化身的朝向朝向化身的行进方向。例如，在未固定化身的位置而固定了化身的朝向的情况下，若发布者以图11的状态前进，则化身控制部13在使化身的朝向朝向动画合成装置1的方向保持不变的状态下，使化身后退。在未固定化身的位置且化身的朝向也未固定的情况下，若发布者以图11的状态前进，则化身控制部13如图12所示，使化身的朝向朝向行进方向，使化身前进。
在麦克风收集到发布者以外的人的声音的情况下，化身控制部13也可以使化身朝向该声音的方向。
在化身的移动目的地不是地面时，例如移动目的地是墙壁时，化身控制部13也可以不使化身移动而在地面的端部停止。在发布者一边在道路上步行一边发布AR动画时，空间测量部11从外侧照相机17的影像中检测行进方向的平坦部分，化身控制部13使化身向行进方向的平坦部分移动。由此，在发布者一边在道路上步行一边发布AR动画时，能够生成化身在道路上步行那样的AR动画。
在化身并非位置固定状态的情况下，即使发布者并非正在移动，在将外侧照相机17的拍摄方向左右平移时，化身控制部13也可以与拍摄方向相应地使化身向左右移动。
如以上说明那样，根据本实施方式，由外侧照相机17拍摄实拍动画，并且由内侧照相机16拍摄发布者，化身控制部13根据由内侧照相机16拍摄到的发布者的图像来控制化身，合成部14将化身配置在实际空间坐标系的预定位置而将化身合成到实拍动作中，由此，发布者能够一边拍摄眼前的风景，一边生成AR动画，所述AR动画是合成了反映自身的表情的化身所得的动画。通过对由内侧照相机16拍摄到的发布者的脸进行面部追踪而反映到化身，能够合成表情丰富的化身。
根据本实施方式，空间测量部11取得拍摄场所的三维空间信息而对允许化身的配置的化身可配置区域进行检测，初始配置部12将化身配置在化身可配置区域而决定实际空间坐标系中的所述化身的位置，由此，能够不设置用于决定化身的站立位置的标记，能够将化身固定于实际空间中。
根据本实施方式，化身控制部13根据动画合成装置1的实际空间坐标系中的位置来移动化身的实际空间坐标系中的位置，由此，当发布者一边拿着动画合成装置1步行一边进行拍摄时，能够生成合成了与发布者的移动相配合地移动的化身所得的AR动画。
另外，在本实施方式中，动画合成装置1进行了AR动画的生成，但也可以是，就服务器而言，动画合成装置1发送生成外侧照相机17拍摄到的实拍动画和内侧照相机16拍摄到的图像等的AR动画所需的数据，通过服务器或云端生成AR动画。
本申请的公开与在2018年11月30日提出申请的日本特愿2018-225022号中记载的主题关联，这些全部的公开内容通过引用而援引于此。

Claims (8)

1.一种动画合成装置，其生成将化身合成到实拍动画中的增强现实动画，其特征在于，所述动画合成装置具有：
第一摄像部，其拍摄实拍动画；
第二摄像部，其拍摄操作者；
位置检测部，其对所述第一摄像部或者所述动画合成装置的与实际空间对应的坐标系中的位置以及朝向进行检测；
控制部，其根据所述第二摄像部拍摄到的图像来控制化身；以及
合成部，其将所述化身配置在所述坐标系的规定位置，将所述化身合成到所述第一摄像部拍摄到的所述实拍动画中。
2.根据权利要求1所述的动画合成装置，其特征在于，
所述动画合成装置具有：
空间测量部，其取得拍摄场所的三维空间信息，对允许配置所述化身的区域进行检测；以及
配置部，其将所述化身配置于所述区域并决定所述坐标系中的所述化身的位置。
3.根据权利要求2所述的动画合成装置，其特征在于，
所述配置部按照所述操作者的操作在所述区域内对合成到所述实拍动画中的所述化身的位置进行移动，并决定所述化身的位置。
4.根据权利要求1所述的动画合成装置，其特征在于，
所述控制部对所述第二摄像部拍摄到的所述操作者的脸进行面部追踪，反映到所述化身的脸。
5.根据权利要求1所述的动画合成装置，其特征在于，
所述控制部固定所述坐标系中的所述化身的位置和朝向。
6.根据权利要求1所述的动画合成装置，其特征在于，
所述第一摄像部和所述第二摄像部的拍摄方向彼此反向。
7.一种动画合成方法，其生成将化身合成到实拍动画中的增强现实动画，其特征在于，
所述动画合成方法具有由计算机进行的以下步骤：
对拍摄实拍动画的第一摄像部的与实际空间对应的坐标系中的位置以及朝向进行检测的步骤；
根据拍摄操作者的第二摄像部拍摄到的图像来控制化身的步骤；以及
将所述化身配置在所述坐标系的规定位置，并将所述化身合成到所述第一摄像部拍摄到的所述实拍动画中的步骤。
8.一种记录介质，其能够由计算机读取，其特征在于，
所述记录介质记录有使处理器执行以下处理的程序：
对拍摄实拍动画的第一摄像部的与实际空间对应的坐标系中的位置以及朝向进行检测的处理；
根据拍摄操作者的第二摄像部拍摄到的图像来控制化身的处理；以及
将所述化身配置在所述坐标系的规定位置，并将所述化身合成到所述第一摄像部拍摄到的所述实拍动画中的处理。
CN201880097687.1A 2018-11-30 2018-12-25 动画合成装置、动画合成方法以及记录介质 Pending CN112740284A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018225022A JP6559870B1 (ja) 2018-11-30 2018-11-30 動画合成装置、動画合成方法及び動画合成プログラム
JP2018-225022 2018-11-30
PCT/JP2018/047435 WO2020110322A1 (ja) 2018-11-30 2018-12-25 動画合成装置、動画合成方法及び記録媒体

Publications (1)

Publication Number Publication Date
CN112740284A true CN112740284A (zh) 2021-04-30

Family

ID=67614832

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880097687.1A Pending CN112740284A (zh) 2018-11-30 2018-12-25 动画合成装置、动画合成方法以及记录介质

Country Status (4)

Country Link
US (2) US11195302B2 (zh)
JP (1) JP6559870B1 (zh)
CN (1) CN112740284A (zh)
WO (1) WO2020110322A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6559871B1 (ja) 2018-11-30 2019-08-14 株式会社ドワンゴ 動画合成装置、動画合成方法及び動画合成プログラム
JP6559870B1 (ja) * 2018-11-30 2019-08-14 株式会社ドワンゴ 動画合成装置、動画合成方法及び動画合成プログラム
JP7083380B2 (ja) * 2020-09-28 2022-06-10 グリー株式会社 コンピュータプログラム、方法及びサーバ装置
JP7072706B1 (ja) * 2021-06-22 2022-05-20 ヤフー株式会社 表示制御装置、表示制御方法および表示制御プログラム
WO2024034396A1 (ja) * 2022-08-10 2024-02-15 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1497504A (zh) * 2002-09-30 2004-05-19 佳能株式会社 视频图像合成设备及视频图像合成方法
JP2012108923A (ja) * 2011-12-22 2012-06-07 Casio Comput Co Ltd 合成画像出力装置および合成画像出力処理プログラム
WO2014064990A1 (ja) * 2012-10-25 2014-05-01 シャープ株式会社 平面検出装置、平面検出装置を備えた自律移動装置、路面段差検出方法、路面段差検出装置、および路面段差検出装置を備えた車両
CN103970268A (zh) * 2013-02-01 2014-08-06 索尼公司 信息处理设备、客户端设备、信息处理方法以及程序
JP2015064868A (ja) * 2013-08-29 2015-04-09 キヤノンマーケティングジャパン株式会社 情報処理システムとその処理方法及びプログラム
CN105612552A (zh) * 2013-10-11 2016-05-25 富士通天株式会社 图像显示装置、图像显示***、图像显示方法、以及程序
WO2016159165A1 (ja) * 2015-03-31 2016-10-06 大和ハウス工業株式会社 映像表示システム及び映像表示方法
JP2017123536A (ja) * 2016-01-06 2017-07-13 大日本印刷株式会社 印画物作製装置、サーバ装置、及び動画データ配信システム
CN107037876A (zh) * 2015-10-26 2017-08-11 Lg电子株式会社 ***及控制其的方法
CN107209564A (zh) * 2015-01-20 2017-09-26 微软技术许可有限责任公司 将现实世界比例应用于虚拟内容
CN107426502A (zh) * 2017-09-19 2017-12-01 北京小米移动软件有限公司 拍摄方法及装置、电子设备
WO2018207046A1 (en) * 2017-05-09 2018-11-15 Within Unlimited, Inc. Methods, systems and devices supporting real-time interactions in augmented reality environments

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60132711A (ja) 1983-12-22 1985-07-15 Toyo Tire & Rubber Co Ltd 未加硫ゴムの高周波予熱方法
US20040085334A1 (en) * 2002-10-30 2004-05-06 Mark Reaney System and method for creating and displaying interactive computer charcters on stadium video screens
US8542907B2 (en) * 2007-12-17 2013-09-24 Sony Computer Entertainment America Llc Dynamic three-dimensional object mapping for user-defined control device
US8717411B2 (en) * 2008-02-05 2014-05-06 Olympus Imaging Corp. Virtual image generating apparatus, virtual image generating method, and recording medium storing virtual image generating program
CN102077582B (zh) * 2008-06-26 2014-04-16 日本电气株式会社 高品质内容生成***及其方法和程序
US9024972B1 (en) 2009-04-01 2015-05-05 Microsoft Technology Licensing, Llc Augmented reality computing with inertial sensors
US9377857B2 (en) 2009-05-01 2016-06-28 Microsoft Technology Licensing, Llc Show body position
KR101101114B1 (ko) * 2009-09-10 2011-12-30 (주)트라이디커뮤니케이션 배경 이미지를 이용한 3차원 아바타 서비스 제공 시스템 및 방법
CN101958976A (zh) 2010-09-29 2011-01-26 华为终端有限公司 一种图像处理方法及无线终端设备
US8949717B2 (en) * 2010-10-18 2015-02-03 Yehonatan Rafael Maor Method of controlling avatars
US20130249947A1 (en) * 2011-08-26 2013-09-26 Reincloud Corporation Communication using augmented reality
JP5963256B2 (ja) * 2012-08-17 2016-08-03 Kddi株式会社 画像生成装置
JP2014160982A (ja) 2013-02-20 2014-09-04 Sony Corp 画像処理装置および撮影制御方法、並びにプログラム
DE102013203667B4 (de) 2013-03-04 2024-02-22 Adidas Ag Kabine zum Ausprobieren eines oder mehrerer Bekleidungsstücke
JP2015116336A (ja) * 2013-12-18 2015-06-25 マイクロソフト コーポレーション 複合現実感アリーナ
US9672416B2 (en) 2014-04-29 2017-06-06 Microsoft Technology Licensing, Llc Facial expression tracking
JP2017188787A (ja) 2016-04-06 2017-10-12 シャープ株式会社 撮像装置、画像合成方法、および画像合成プログラム
US10699461B2 (en) * 2016-12-20 2020-06-30 Sony Interactive Entertainment LLC Telepresence of multiple users in interactive virtual space
US20190355179A1 (en) * 2017-01-19 2019-11-21 Hewlett-Packard Development Company, L.P. Telepresence
JP6266814B1 (ja) 2017-01-27 2018-01-24 株式会社コロプラ 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
CN110192386B (zh) * 2017-01-31 2021-06-11 株式会社Ntt都科摩 信息处理设备和信息处理方法
JP2018187298A (ja) * 2017-05-11 2018-11-29 グリー株式会社 ゲーム処理プログラム、ゲーム処理方法及びゲーム処理装置
US10861210B2 (en) 2017-05-16 2020-12-08 Apple Inc. Techniques for providing audio and video effects
JP6367450B1 (ja) 2017-10-31 2018-08-01 株式会社テクテック 位置ゲーム用インターフェースシステム、プログラム及び制御方法
US10846902B2 (en) * 2018-03-02 2020-11-24 Imvu, Inc. Preserving the state of an avatar associated with a physical location in an augmented reality environment
US11107281B2 (en) * 2018-05-18 2021-08-31 Valeo Comfort And Driving Assistance Shared environment for vehicle occupant and remote user
US11103773B2 (en) * 2018-07-27 2021-08-31 Yogesh Rathod Displaying virtual objects based on recognition of real world object and identification of real world object associated location or geofence
JP6559871B1 (ja) * 2018-11-30 2019-08-14 株式会社ドワンゴ 動画合成装置、動画合成方法及び動画合成プログラム
JP6559870B1 (ja) * 2018-11-30 2019-08-14 株式会社ドワンゴ 動画合成装置、動画合成方法及び動画合成プログラム
JP7168757B2 (ja) * 2019-02-26 2022-11-09 マクセル株式会社 映像表示装置及び映像表示方法
US11462000B2 (en) * 2019-08-26 2022-10-04 Apple Inc. Image-based detection of surfaces that provide specular reflections and reflection modification

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1497504A (zh) * 2002-09-30 2004-05-19 佳能株式会社 视频图像合成设备及视频图像合成方法
JP2012108923A (ja) * 2011-12-22 2012-06-07 Casio Comput Co Ltd 合成画像出力装置および合成画像出力処理プログラム
WO2014064990A1 (ja) * 2012-10-25 2014-05-01 シャープ株式会社 平面検出装置、平面検出装置を備えた自律移動装置、路面段差検出方法、路面段差検出装置、および路面段差検出装置を備えた車両
CN103970268A (zh) * 2013-02-01 2014-08-06 索尼公司 信息处理设备、客户端设备、信息处理方法以及程序
JP2015064868A (ja) * 2013-08-29 2015-04-09 キヤノンマーケティングジャパン株式会社 情報処理システムとその処理方法及びプログラム
CN105612552A (zh) * 2013-10-11 2016-05-25 富士通天株式会社 图像显示装置、图像显示***、图像显示方法、以及程序
CN107209564A (zh) * 2015-01-20 2017-09-26 微软技术许可有限责任公司 将现实世界比例应用于虚拟内容
WO2016159165A1 (ja) * 2015-03-31 2016-10-06 大和ハウス工業株式会社 映像表示システム及び映像表示方法
CN107037876A (zh) * 2015-10-26 2017-08-11 Lg电子株式会社 ***及控制其的方法
JP2017123536A (ja) * 2016-01-06 2017-07-13 大日本印刷株式会社 印画物作製装置、サーバ装置、及び動画データ配信システム
WO2018207046A1 (en) * 2017-05-09 2018-11-15 Within Unlimited, Inc. Methods, systems and devices supporting real-time interactions in augmented reality environments
CN107426502A (zh) * 2017-09-19 2017-12-01 北京小米移动软件有限公司 拍摄方法及装置、电子设备

Also Published As

Publication number Publication date
US20220084243A1 (en) 2022-03-17
US20210174544A1 (en) 2021-06-10
WO2020110322A1 (ja) 2020-06-04
US11195302B2 (en) 2021-12-07
JP2020087277A (ja) 2020-06-04
US11625858B2 (en) 2023-04-11
JP6559870B1 (ja) 2019-08-14

Similar Documents

Publication Publication Date Title
CN112689854A (zh) 动画合成装置、动画合成方法以及记录介质
CN112740284A (zh) 动画合成装置、动画合成方法以及记录介质
KR102581453B1 (ko) 헤드 마운티드 디스플레이(Head Mounted Display: HMD) 디바이스를 위한 이미지 처리
KR102664688B1 (ko) 가상 캐릭터 기반 촬영 모드를 제공하는 전자 장치 및 이의 동작 방법
JP5174908B2 (ja) 携帯型ゲーム装置及び携帯型ゲーム装置の制御方法
JP6470356B2 (ja) 仮想空間を提供するコンピュータで実行されるプログラム、方法、および当該プログラムを実行する情報処理装置
JP5769813B2 (ja) 画像生成装置および画像生成方法
KR20210113333A (ko) 다수의 가상 캐릭터를 제어하는 방법, 기기, 장치 및 저장 매체
JP6843164B2 (ja) プログラム、方法、および情報処理装置
JP6470859B1 (ja) ユーザの動きをアバタに反映するためのプログラム、当該プログラムを実行するための情報処理装置、およびアバタを含む映像を配信するための方法
JP2019021122A (ja) 仮想空間を提供するコンピュータで実行されるプログラム、方法、および当該プログラムを実行する情報処理装置
JP2022183213A (ja) ヘッドマウントディスプレイ
JP6454883B1 (ja) コンテンツ配信システム、コンテンツ配信方法およびコンテンツ配信プログラム
JP5831764B2 (ja) 画像表示装置及びプログラム
JP2020087429A (ja) 動画合成装置、動画合成方法及び動画合成プログラム
JP2019021324A (ja) 仮想空間を提供するコンピュータで実行されるプログラム、方法、および当該プログラムを実行する情報処理装置
JP7241628B2 (ja) 動画合成装置、動画合成方法、および動画合成プログラム
JP2002271694A (ja) 画像処理方法、画像処理装置、スタジオ装置、記憶媒体及びプログラム
CN118334188A (zh) 动画合成装置、动画合成方法以及记录介质
KR101860215B1 (ko) 프로젝터 자세에 연동하는 콘텐츠 디스플레이 시스템 및 방법
JP2019146148A (ja) コンテンツ配信システム、コンテンツ配信方法およびコンテンツ配信プログラム
JP2019160295A (ja) ユーザの動きをアバタに反映するためのプログラム、当該プログラムを実行するための情報処理装置、およびアバタを含む映像を配信するための方法
KR102581380B1 (ko) 3rd party AR/MR 촬영 장치 및 방법
KR101263881B1 (ko) 무인 방송 제어 시스템
KR102635477B1 (ko) 증강현실 기반의 공연 콘텐츠 제공장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination