CN110402578B - 图像处理装置、方法和记录介质 - Google Patents

图像处理装置、方法和记录介质 Download PDF

Info

Publication number
CN110402578B
CN110402578B CN201880017796.8A CN201880017796A CN110402578B CN 110402578 B CN110402578 B CN 110402578B CN 201880017796 A CN201880017796 A CN 201880017796A CN 110402578 B CN110402578 B CN 110402578B
Authority
CN
China
Prior art keywords
image
immersive
presentation
unit
editing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880017796.8A
Other languages
English (en)
Other versions
CN110402578A (zh
Inventor
田中健司
井原敏
C·普里蒂尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN110402578A publication Critical patent/CN110402578A/zh
Application granted granted Critical
Publication of CN110402578B publication Critical patent/CN110402578B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本技术涉及一种图像处理装置、方法和用于能够实现更容易的编辑的程序。所述图像处理装置具有：操作检测单元，检测通过操作单元而执行的操作输入；和显示控制单元，使沉浸式呈现装置输出和显示叠加有操作单元的图像的整个球面图像的一部分或全部作为呈现的图像，并且在检测到操作输入时，所述显示控制单元控制呈现的图像的显示以反映所述操作输入。本技术可被应用在编辑***中。

Description

图像处理装置、方法和记录介质
技术领域
本技术涉及一种图像处理设备和方法以及程序，并且具体地讲，涉及一种能够更加促进编辑的图像处理设备和方法以及程序。
背景技术
传统上，已知作为360度全朝向图像的全朝向图像(参见例如专利文件1)。这种全朝向图像包括球面图像，所述球面图像是在360 度方向(也就是说，水平和垂直方向)上的全朝向图像。用户能够利用例如使用虚拟现实(VR)技术的头戴式显示器观看球面图像的内容。
另外，利用拼接处理产生球面图像，在拼接处理中，通过利用多个照相机的图像捕获而获得的多个广角图像被拼接在一起。然后，利用拼接处理而获得的球面图像被编辑以产生最终球面图像的内容。
引用列表
专利文件
专利文件1：日本专利申请提前公开No.2003-143579
发明内容
本发明解决的问题
然而，球面图像的编辑并不容易。
换句话说，在显示器上显示通过等距圆柱投影而获得的等距圆柱 (等矩形(equirectangular))二维球面图像的同时，编辑者执行编辑工作。其后，编辑者实际上在头戴式显示器上显示通过编辑而获得的球面图像，以核查编辑细节等。
此时，在需要编辑细节的校正或另外的编辑的情况下，编辑者从编辑者自己的头上移除头戴式显示器，并且进一步在显示器上显示等矩形二维球面图像以执行编辑工作。
如上所述，在编辑球面图像时，每次核查编辑的球面图像时，编辑者必须移除头戴式显示器，从而所述移除很麻烦。
考虑到这种情况而提出本技术，并且本技术使得可实现更加方便的编辑。
问题的解决方案
根据本技术的一个方面的图像处理设备包括：操作检测单元，被配置为检测操作单元的操作输入；和显示控制单元，被配置为向沉浸式呈现装置输出叠加有操作单元的图像的球面图像的一部分或全部作为呈现图像，以使沉浸式呈现装置显示所述呈现图像，所述显示控制单元被配置为在所述操作输入已被检测到的情况下控制所述呈现图像的显示，以使得反映所述操作输入。
所述操作检测单元被允许检测关于球面图像的编辑的操作输入。
所述图像处理设备还能够具有：图像处理单元，被配置为基于作为被摄体捕获的操作单元的捕获图像产生操作单元的图像。
所述显示控制单元被允许使操作单元的图像被显示在由沉浸式呈现装置的位置和朝向定义的球面图像上的位置。
所述图像处理设备还能够具有：图像处理单元，被配置为产生操作单元的模型的图像作为操作单元的图像。
所述显示控制单元被允许使操作单元的图像被显示在由操作单元的位置和朝向定义的球面图像上的位置。
用于编辑球面图像的辅助画面被允许进一步显示在呈现图像上。
所述辅助画面被允许显示在呈现图像上的定义的位置。
所述辅助画面被允许显示在由沉浸式呈现装置的位置和朝向定义的呈现图像上的位置。
所述图像处理设备还能够具有：通信单元，被配置为将呈现图像输出给多个沉浸式呈现装置。
根据本技术的一个方面的图像处理方法或程序包括下述步骤：检测操作单元的操作输入；以及向沉浸式呈现装置输出叠加有操作单元的图像的球面图像的一部分或全部作为呈现图像，以使沉浸式呈现装置显示所述呈现图像，并且在所述操作输入已被检测到的情况下控制所述呈现图像的显示，以使得反映所述操作输入。
在本技术的一个方面，检测操作单元的操作输入；以及叠加有操作单元的图像的球面图像的一部分或全部被作为呈现图像输出给沉浸式呈现装置，并且所述呈现图像被显示在沉浸式呈现装置上，并且在所述操作输入已被检测到的情况下，所述呈现图像的显示被控制，以使得反映所述操作输入。
本发明的效果
根据本技术的一个方面，编辑能够被更容易地执行。
需要注意的是，这里描述的效果不必受到限制，并且在本公开中描述的任何效果可被应用。
附图说明
图1是编辑***的示例性结构的方框图。
图2是沉浸式操作单元模型图像的解释示图。
图3是透视窗口的解释示图。
图4是菜单图像的解释示图。
图5是示例性辅助窗口的示图。
图6是用于描述内容编辑处理的流程图。
图7是编辑示例的解释示图。
图8是编辑示例的解释示图。
图9是控制器的结构的解释示图。
图10是控制器上的区域的解释示图。
图11是引导显示的解释示图。
图12是菜单的显示的解释示图。
图13是透视窗口的示例性显示的示图。
图14是用于描述关于实时更新的处理的流程图。
图15是用于描述关于移动的处理的流程图。
图16是计算机的示例性结构的方框图。
具体实施方式
以下，将参照附图描述应用本技术的实施例。
<第一实施例>
<编辑***的示例性结构>
本技术特别地涉及球面图像的VR内容的编辑和创作，并且涉及编辑利用拼接处理而获得的球面图像以产生完成的内容(称为所谓的完整封装)的技术。需要注意的是，球面图像可以是静止图像或运动图像；然而，在下面，将在假设球面图像是运动图像的情况下继续进行描述。
图1是应用本技术的编辑***的一个实施例的示例性结构的方框图。
图1中示出的编辑***包括沉浸式呈现装置11、显示器12、输入装置13、沉浸式操作单元14和图像处理设备15。
对于这个编辑***，用户在头上穿戴沉浸式呈现装置11，在实时地核查由沉浸式呈现装置11呈现(显示)的球面图像的同时操作输入装置13和沉浸式操作单元14，并且编辑球面图像。
此时，例如，作为编辑者的用户在头上穿戴沉浸式呈现装置11 以预览并且编辑球面图像，并且显示器12被布置，以使得不同于编辑者的用户也能够核查球面图像的编辑。换句话说，显示器12合适地显示关于球面图像的编辑的画面，并且因此，不同于编辑者的用户能够通过观看显示器12的显示来核查编辑。
沉浸式呈现装置11包括例如头戴式显示器，并且显示从图像处理设备15提供的球面图像。
需要注意的是，将在以下作为示例描述这样的情况：沉浸式呈现装置11是可在用户的头上穿戴的头戴式显示器。然而，沉浸式呈现装置11可以是可再现球面图像的任何装置。
作为沉浸式呈现装置11的示例，还能够采用包围用户的沉浸式显示器，诸如包括多个平面显示单元的洞穴式自动虚拟环境(CAVE) 类型显示器或包括具有例如穹形的曲面显示单元的显示器。此外，沉浸式呈现装置11的显示单元可以是半透明透射显示单元或非透射显示单元。
沉浸式呈现装置11包括图像捕获单元21，并且图像捕获单元21 捕获沉浸式呈现装置11的前面的图像。由图像捕获单元21通过图像捕获而获得的捕获图像是这样的图像：包括穿戴沉浸式呈现装置11 的用户的前面的部分(特别地，在输入装置13所在的用户的手边的部分)作为被摄体。
沉浸式呈现装置11向图像处理设备15提供由图像捕获单元21 获得的捕获图像以及指示沉浸式呈现装置11在三维空间中(换句话说，在真实空间中)的位置和朝向的位置和朝向信息。
显示器12包括例如液晶显示装置，并且合适地显示从图像处理设备15提供的图像。
输入装置13包括例如键盘、鼠标和手写平板计算机，并且向图像处理设备15提供响应于作为编辑者的用户的操作的信号。
沉浸式操作单元14包括例如用于再现和编辑球面图像的专用控制器、游戏控制台的控制器或笔型输入装置(诸如，手写平板计算机的笔)。例如，作为沉浸式操作单元14的专用控制器具有按钮、触摸垫等。另外，用户自己的手也能够被用作沉浸式操作单元14。
沉浸式操作单元14接收作为编辑者的用户的操作，并且向图像处理设备15提供响应于所述操作的信号。
图像处理设备15控制整个编辑***。图像处理设备15包括位置和朝向检测单元31、操作检测单元32、保留单元33、编辑反映处理单元34、渲染器单元35和通信单元36。
位置和朝向检测单元31至通信单元36的至少一部分被利用编辑软件实现，所述编辑软件能够编辑和预览球面图像，并且按照预期格式输出通过编辑而获得的球面图像。
位置和朝向检测单元31检测沉浸式操作单元14在三维空间中 (换句话说，在真实空间中)的位置和朝向，并且向操作检测单元32、编辑反映处理单元34和渲染器单元35提供指示检测的结果的位置和朝向信息。
例如，对于作为沉浸式操作单元14的专用控制器，沉浸式操作单元14包括多个传感器，并且检测单元(未示出)从沉浸式操作单元 14的每个传感器接收输出以检测沉浸式操作单元14的位置和朝向。在这种情况下，位置和朝向检测单元31从所述检测单元获取指示沉浸式操作单元14的位置和朝向的信息，以检测沉浸式操作单元14的位置和朝向。
此外，例如，位置和朝向检测单元31中所包括的多个照相机等可被用于检测作为沉浸式操作单元14的用户的手或笔型输入装置的位置和朝向。此外，例如，位置和朝向检测单元31可基于附着于用户的手的传感器的输出检测作为沉浸式操作单元14的用户的手的位置和朝向。
操作检测单元32基于从输入装置13和沉浸式操作单元14提供的信号以及从位置和朝向检测单元31提供的位置和朝向信息检测用户的操作输入。操作检测单元32向编辑反映处理单元34提供指示由用户输入的操作的检测的结果的操作检测信息。
保留单元33保留待编辑球面图像，并且向编辑反映处理单元34 提供保留的球面图像以及保留从编辑反映处理单元34提供的球面图像。
这里，由保留单元33保留的球面图像是例如通过在3D模型中将等距圆柱(等矩形)二维球面图像映射在球的内面或立方体的内面上而获得的图像。
需要注意的是，由保留单元33保留的球面图像能够是包括互相具有视差的用于左眼的图像和用于右眼的图像的立体3D图像，也就是说，3D立体图像。
编辑反映处理单元34从保留单元33读取球面图像，并且根据从操作检测单元32提供的操作检测信息对读取的球面图像执行编辑处理，并且向渲染器单元35提供所获得的编辑的球面图像。
另外，编辑反映处理单元34基于从位置和朝向检测单元31提供的位置和朝向信息产生模拟沉浸式操作单元14的沉浸式操作单元模型图像，并且向渲染器单元35提供该图像。
例如，沉浸式操作单元模型图像是通过3D建模而产生的沉浸式操作单元14的图像，也就是说，沉浸式操作单元14的模型的图像。由沉浸式操作单元模型图像表示的沉浸式操作单元14的模型在朝向方面与实际沉浸式操作单元14相同。
此外，编辑反映处理单元34基于从操作检测单元32提供的操作检测信息或通过通信单元36从沉浸式呈现装置11提供的捕获图像产生用于编辑和再现球面图像的用户界面(UI)图像，并且向渲染器单元 35提供产生的图像。
UI图像的一部分也根据需要被从编辑反映处理单元34提供给显示器12，并且由显示器12显示。
渲染器单元35基于通过通信单元36从沉浸式呈现装置11提供的位置和朝向信息以及从位置和朝向检测单元31提供的位置和朝向信息执行渲染处理。
换句话说，渲染器单元35基于来自沉浸式呈现装置11的位置和朝向信息以及来自沉浸式操作单元14的位置和朝向信息、从编辑反映处理单元34提供的球面图像、沉浸式操作单元模型图像和UI图像产生作为用于呈现的图像的用于呈现的球面图像。
在渲染处理中，渲染器单元35基于来自沉浸式呈现装置11的位置和朝向信息以及来自沉浸式操作单元14的位置和朝向信息在球面图像上在合适的位置叠加沉浸式操作单元模型图像和UI图像，以产生用于呈现的球面图像。
需要注意的是，用于呈现的球面图像不限于通过在球面图像上叠加沉浸式操作单元模型图像和UI图像而获得的图像，并且可以是通过在球面图像的部分区域的图像上叠加沉浸式操作单元模型图像和 UI图像而获得的图像。也就是说，其上叠加有沉浸式操作单元模型图像和UI图像的球面图像的部分或整个区域的图像能够被视为用于呈现的球面图像。
另外，渲染器单元35根据需要将用于呈现的球面图像转换成具有能够由沉浸式呈现装置11处理的格式(诸如，等矩形图像数据格式) 的图像数据，并且向通信单元36提供所获得的用于呈现的球面图像。
通信单元36以有线方式或以无线方式与沉浸式呈现装置11通信。例如，通信单元36向沉浸式呈现装置11输出从渲染器单元35 提供的用于呈现的球面图像，向渲染器单元35提供从沉浸式呈现装置11提供的位置和朝向信息，并且向编辑反映处理单元34提供从沉浸式呈现装置11提供的捕获图像。
另外，通信单元36能够向与沉浸式呈现装置21不同的沉浸式呈现装置输出用于呈现的球面图像。
例如，假设：与穿戴沉浸式呈现装置11的作为编辑者的用户不同的一个或多个用户存在于该用户所在的同一地方或者远离该用户的地方，并且所述一个或多个用户中的每一个也穿戴沉浸式呈现装置。
在这种情况下，如果与由通信单元36输出给沉浸式呈现装置11 的用于呈现的球面图像相同的用于呈现的球面图像也被输出给由不同于所述编辑者的所述一个或多个用户穿戴的沉浸式呈现装置，则所述一个或多个用户和所述编辑者能够同时观看相同的用于呈现的球面图像。
对于图1中示出的编辑***，从渲染器单元35输出的用于呈现的球面图像通过通信单元36被提供给沉浸式呈现装置11，并且被显示。另外，在执行用户的关于球面图像的编辑的操作输入之后，从渲染器单元35输出立即(实时地)反映所述操作输入的用于呈现的球面图像。
因此，渲染器单元35向沉浸式呈现装置11输出(提供)用于呈现的球面图像，从而渲染器单元35能够用作显示控制单元，所述显示控制单元控制在沉浸式呈现装置11的用于呈现的球面图像的显示。
另外，编辑反映处理单元34能够用作图像处理单元，所述图像处理单元产生实时地反映用户的关于编辑的操作的球面图像、UI图像和沉浸式操作单元模型图像。
<沉浸式操作单元模型图像和UI图像的显示>
上述编辑***允许穿戴沉浸式呈现装置11的用户(编辑者)执行所有基本工作(诸如，球面图像的预览和编辑)，而不从头上移除沉浸式呈现装置11。
例如，在用户在穿戴沉浸式呈现装置11的情况下再现用于呈现的球面图像的状态下，当用户移动用户的头时，根据用户自己的头的朝向的用于呈现的球面图像中的区域被呈现给用户。作为结果，用户能够感觉到好像用户处于用于呈现的球面图像上显示的空间中。
除了作为待编辑内容本身的球面图像之外，上述沉浸式操作单元模型图像和UI图像被叠加并且显示在用于呈现的球面图像上。
另外，例如，作为UI图像，通过切出捕获图像的一部分而获得的透视窗口、包括用于再现和编辑球面图像的菜单项的菜单图像以及作为用于再现和编辑球面图像的窗口(画面)并且也被显示在显示器12 上的辅助窗口被显示在用于呈现的球面图像上。
这里，将描述沉浸式操作单元模型图像、透视窗口、菜单图像和辅助窗口。
首先，将描述沉浸式操作单元模型图像。
例如，诸如图2中所示，专用控制器或笔型输入装置可被用作沉浸式操作单元14。
换句话说，如图2中箭头A11所指示，用户可用手握住作为沉浸式操作单元14的专用控制器CT11以执行各种操作，或者如箭头 A12所指示，用户可用手握住作为沉浸式操作单元14的笔型输入装置PN11以执行各种操作。
例如，如箭头A11所指示，针对用户使用控制器CT11作为沉浸式操作单元14，在图像处理设备15中，位置和朝向检测单元31 跟踪控制器CT11的位置和朝向。
然后，模拟控制器CT11的图像被作为沉浸式操作单元模型图像显示在用于呈现的球面图像上。
此时，由沉浸式操作单元模型图像表示的控制器CT11的模型被显示在与实际控制器CT11的位置和朝向完全相同的位置和朝向。
换句话说，在由用户穿戴沉浸式呈现装置11的情况下，如从用户所观察到的显示为沉浸式操作单元模型图像的控制器CT11的模型所在的位置被称为模型呈现位置。在这个示例中，沉浸式操作单元模型图像被呈现给用户，就好像控制器CT11的模型存在于模型呈现位置。
如果用户从这种状态移除沉浸式呈现装置11，则用户可在模型呈现位置看见实际控制器CT11。
以这种方式，在与实际控制器CT11的朝向完全相同的朝向以及在与实际控制器CT11的位置完全相同的位置的控制器CT11的沉浸式操作单元模型图像的显示允许用户容易地并且直观地利用沉浸式操作单元14执行操作。作为结果，工作(诸如，编辑)能够被更容易地执行。
编辑反映处理单元34基于由位置和朝向检测单元31获得的控制器CT11的位置和朝向的检测的结果产生沉浸式操作单元模型图像。另外，如果渲染器单元35参照从位置和朝向检测单元31提供的关于控制器CT11的位置和朝向信息，则控制器CT11的沉浸式操作单元模型图像能够在与实际控制器CT11的位置对应的位置被叠加在球面图像上。也就是说，渲染器单元35能够在球面图像上在由关于控制器CT11的位置和朝向信息定义的位置显示沉浸式操作单元模型图像。
例如，为了使用控制器CT11作为沉浸式操作单元14，在用于呈现的球面图像上从由沉浸式操作单元模型图像表示的控制器CT11 的模型显示线性指示器。
当用户移动实际控制器CT11时，这个指示器在用于呈现的球面图像上与控制器CT11的模型一起移动。因此，由用户执行的控制器 CT11的移动允许该指示器指示用于呈现的球面图像上的任何位置。因此，例如，用户利用该指示器指定球面图像上的预期位置，并且在指定所述预期位置的情况下操作实际控制器CT11的按钮等，由此用户能够执行操作输入(诸如，针对在球面图像中指定的区域的效果应用)。
此外，例如，用户能够利用该指示器指定球面图像上的UI(诸如，菜单图像)的按钮以指示执行等，由此用户也能够执行关于球面图像的再现或编辑的操作。
需要注意的是，如果操作检测单元32参照关于实际控制器 CT11的位置和朝向信息，则能够指定该指示器和用于呈现的球面图像交叉的位置，也就是说，由该指示器指定的用于呈现的球面图像上的位置。
另外，如图2中箭头A12所指示，即使在输入装置PN11被用作沉浸式操作单元14的情况下，也与控制器CT11的情况类似地跟踪输入装置PN11的位置和朝向。
然后，在用于呈现的球面图像上，输入装置PN11的模型被作为沉浸式操作单元模型图像显示在与实际输入装置PN11的位置相同的位置并且显示在与输入装置PN11的朝向相同的朝向。
在这种情况下，用户不仅能够通过利用输入装置PN11操作作为输入装置13的手写平板计算机来执行预期操作输入，还能够移动输入装置PN11以利用输入装置PN11的模型指定用于呈现的球面图像上的任何位置。
因此，例如，用户能够利用输入装置PN11的模型指定用于呈现的球面图像上的UI(诸如，菜单图像)的按钮等，由此用户也能够执行关于球面图像的再现或编辑的操作。类似地，用户能够利用输入装置 PN11的模型指定球面图像上的任何位置，由此用户也能够执行操作输入(诸如，针对包括该位置的区域的效果应用)。
类似于控制器CT11的情况，操作检测单元32参照关于输入装置PN11的位置和朝向信息，由此允许由输入装置PN11指定的空间中的位置(也就是说，用于呈现的球面图像上的位置)的指定。
另外，即使在用户自己的手被用作沉浸式操作单元14的情况下，沉浸式操作单元模型图像也被类似于输入装置PN11而显示，由此允许用于呈现的球面图像上的任何位置的指定。
此外，作为沉浸式操作单元14的示例的鼠标、键盘等的位置和朝向可被跟踪，并且鼠标或键盘的模型可被作为沉浸式操作单元模型图像显示在用于呈现的球面图像上。即使在这种情况下，鼠标或键盘的模型也被显示在与作为实际沉浸式操作单元14的鼠标或键盘的位置和朝向相同的位置和朝向。
如上所述的沉浸式操作单元模型图像是实际沉浸式操作单元14 被投影在用于呈现的球面图像上的与所述位置和朝向相同的位置和朝向的自投影图形。
接下来，将描述作为由编辑反映处理单元34产生的UI图像之一的透视窗口。
例如，在用户的头上穿戴沉浸式呈现装置11的情况下，基本上，用户不能以视觉方式核查位于用户自己手边的输入装置13(诸如，鼠标、键盘或手写平板计算机)。如上所述用户看不见输入装置 13引起用户的不便，因为用户必须通过在例如编辑球面图像时摸索来发现或操作输入装置13。
因此，对于编辑***，透视窗口被叠加在球面图像上并且显示在球面图像上，以使得即使在由用户穿戴沉浸式呈现装置11的情况下用户也能够核查包括输入装置13的用户自己手边的区域。
例如，透视窗口是由编辑反映处理单元34产生的图像，编辑反映处理单元34切出由图像捕获单元21获得的捕获图像的特定区域。在捕获图像上作为透视窗口切出的区域是预先定义的在用户附近的区域，并且被视为例如在用户基本上面向前方的情况下的用户手边的一部分的区域。因此，可以说，透视窗口是包括作为被摄***于用户手边的输入装置13的图像。需要注意的是，按照原样的捕获图像可被视为透视窗口。
作为特定示例，图3中示出的透视窗口被例如显示在用于呈现的球面图像上。
换句话说，在图3中由箭头A21指示的示例中，存在于真实空间中的作为输入装置13的鼠标ID11和键盘ID12以及用来操作输入装置13的用户的两只手被显示在透视窗口SW11中。
这里，透视窗口SW11中的被摄体分别被显示在与如从用户所观察所述被摄体在真实空间中的位置相同的位置。
例如，在由用户穿戴沉浸式呈现装置11的情况下，如从用户所观察鼠标ID11被显示在透视窗口SW11上的位置被称为模型呈现位置。如果用户从这种状态移除沉浸式呈现装置11，则用户可在模型呈现位置看见实际鼠标ID11。
如上所述，在透视窗口SW11中，显示可通过图像捕获单元21 的视野的一部分在与实际位置完全相同的位置看见的物体(特别地，位于用户手边的物体)。
因此，在穿戴沉浸式呈现装置11的情况下，在核查用户的手或者位于用户手边的鼠标ID11、键盘ID12等的同时，用户能够执行操作。作为结果，能够提高编辑***的可用性。换句话说，工作(诸如，编辑)能够被更容易地执行。
需要注意的是，如果渲染器单元35参照从通信单元36提供的关于沉浸式呈现装置11的位置和朝向信息，则透视窗口SW11能够在与实际图像捕获单元21的视野对应的位置被叠加并且显示在球面图像上。换句话说，渲染器单元35在由浸式呈现装置11的位置和朝向定义的球面图像上的位置叠加透视窗口SW11。
因此，例如，如果用户移动头，则用于呈现的球面图像上的透视窗口SW11的位置也随头的移动而移动，并且用户总是能够利用透视窗口SW11核查在用户自己手边的区域。
特别地，由用户合适地调整用户自己的头的朝向能够实现透视窗口SW11上的用户希望观看的被摄体(诸如，鼠标ID11或键盘ID12) 的显示。
另外，例如，在图3中由箭头A22指示的示例中，存在于真实空间中的作为输入装置13的手写平板计算机ID21、用户自己的手和作为用手握着的沉浸式操作单元14的笔型输入装置PN21被显示在透视窗口SW12中。因此，用户能够在观看透视窗口SW12的同时利用输入装置PN21执行针对手写平板计算机ID21的输入操作。
如上所述的透视窗口是自投影图形：在该自投影图形中，将会在用户未穿戴沉浸式呈现装置11的情况下可见的用户的视野的部分区域被投影在用于呈现的球面图像上的与所述位置相同的位置。
用于呈现的球面图像上的透视窗口的显示允许用户即使在穿戴沉浸式呈现装置11的情况下也在操作输入装置13的同时促进执行工作 (诸如，编辑)。
随后，将描述作为由编辑反映处理单元34产生的UI图像之一的菜单图像。
例如，由用户使用用户自己的手作为沉浸式操作单元14能够在移动用户自己的手的同时实现用于呈现的球面图像上的任何位置(区域)的指定。
在这种情况下，例如，如图4中所示，如果链接到用户的手的菜单图像MN11(诸如，再现控制器)被显示在作为沉浸式操作单元模型图像显示在用于呈现的球面图像的用户的手模型HD11附近，则能够提高可操作性。
在这个示例中，例如，在菜单图像MN11上，提供用于关于球面图像的再现或编辑的操作的指令(诸如，作为内容的球面图像的再现或再现停止)的按钮。
另外，菜单图像MN11被显示在针对手模型HD11预先定义的位置。当用户移动用户自己的手时，菜单图像MN11也随手的移动而移动。换句话说，手模型HD11和菜单图像MN11之间的相对位置关系总是相同的。用户移动与与手模型HD11对应的手相对的手，并且操作菜单图像MN11上的按钮，由此用户能够执行关于球面图像的再现或编辑的操作。
如果渲染器单元35参照从位置和朝向检测单元31提供的关于作为沉浸式操作单元14的用户的手的位置和朝向信息，则菜单图像 MN11能够在与实际用户的手对应的位置附近的位置被叠加并且显示在球面图像上。
如上所述的用户的手模型和显示在手模型附近的菜单图像是自投影图形：在该自投影图形中，实际沉浸式操作单元14和虚拟菜单图像被投影在用于呈现的球面图像上。用于呈现的球面图像上的菜单图像的显示允许用户即使在穿戴沉浸式呈现装置11的情况下也利用菜单图像的操作促进执行工作(诸如，编辑)。
此外，将描述作为由编辑反映处理单元34产生的UI图像之一的辅助窗口。
辅助窗口是显示在用于呈现的球面图像上并且用于在由用户穿戴沉浸式呈现装置11的情况下再现和编辑球面图像的辅助画面。
图5是作为UI图像之一的示例性辅助窗口的示图。
在这个示例中，媒体箱区域WR11、时间线区域WR12、图像显示区域WR13和再现相关按钮显示区域WR14被布置在辅助窗口 WD11中。
例如，媒体箱区域WR11是这样的区域：在该区域中，由编辑反映处理单元34导入并且将要被编辑的球面图像的缩略图图像(也就是说，材料剪辑的缩略图图像)被放置并且显示。
用户指定显示在媒体箱区域WR11中的缩略图图像，由此与指定的缩略图图像对应的材料剪辑能够被并排布置在时间线区域WR12 中的时间线上。
在时间线区域WR12中，显示时间线，在该时间线上，按照时间顺序放置在媒体箱区域WR11中指定的剪辑材料的缩略图图像。用于时间的标度也被显示在该时间线上，并且分别与时间对应的剪辑材料的缩略图图像被显示在由所述标度指示的时间的各部分上。
另外，在时间线区域WR12中，叠加在时间线上并且指示待处理时间的光标CR11也被显示。在编辑期间的材料剪辑(球面图像图像)中，由光标CR11指示的时间的图像(帧)被显示在图像显示区域 WR13中。
需要注意的是，在图像显示区域WR13中，等矩形二维图像被显示为材料剪辑(球面图像)。在编辑期间的材料剪辑不仅被显示在用于呈现的球面图像上的辅助窗口WD11中的图像显示区域WR13 中，还被显示为用于呈现的球面图像中所包括的球面图像。在这种情况下，显示为用于呈现的球面图像中所包括的球面图像的材料剪辑是通过在3D模型中映射等矩形图像而获得的图像。
在再现相关按钮显示区域WR14中，显示用于在编辑期间的材料剪辑的再现、再现停止、快进、快退等的指令的按钮(以下，也被称为再现相关按钮)。再现相关按钮的操作使用户能够再现和核查在编辑期间的材料剪辑，或者使用户能够在预期位置(时间)停止再现。
此外，当在由箭头A41指示的部分的按钮***作时，显示用于按照预定风格(诸如，下拉风格)指定编辑工具的工具箱。
用户显示工具箱并且指定预期编辑工具等，由此用户能够执行各种类型的编辑工作，例如入点或出点的指定、效果的添加、球面图像的前点(front point)的指定和文本数据(诸如，标题)的***。
具体地讲，例如，伴随信息被添加到作为材料剪辑的球面图像，并且球面图像的前点能够被利用伴随信息设置。
这里，前点表示当由沉浸式呈现装置11开始球面图像(材料剪辑) 的显示时在穿戴沉浸式呈现装置11的情况下如从用户所观察到的沿向前方向的球面图像上的位置。
例如，伴随信息被预先添加到每个材料剪辑，并且在编辑材料剪辑之前由伴随信息指示的前点是在图像捕获时的前点。在编辑材料剪辑时，用户利用例如编辑工具编辑关于材料剪辑的伴随信息，由此使由伴随信息指示的前点能够被改变为预期位置。
例如，通过指定显示在辅助窗口WD11中的图像显示区域 WR13中的材料剪辑(球面图像)上的位置，或者通过直接指定显示在沉浸式呈现装置11上的用于呈现的球面图像上的位置，可执行在编辑伴随信息时的作为前点的位置的指定。
需要注意的是，这里，前点可编辑的示例被描述为关于材料剪辑的伴随信息的示例。然而，除了该示例之外，任何其它信息可被作为伴随信息编辑。
另外，材料剪辑的入点和出点能够在辅助窗口WD11中被指定。例如，假设：用户利用编辑工具指定布置在时间线上的每个材料剪辑的作为入点的时间和作为出点的时间。
在这种情况下，编辑反映处理单元34针对时间线上的材料剪辑切出从每个材料剪辑的入点到出点的片段，并且切出的那些材料剪辑的片段被拼接在一起以形成一个完整的球面图像。此时，例如利用溶解处理的过渡效果被应用于材料剪辑之间的接缝的部分(也就是说，边界位置)，从而视频图像能够被无缝地从一个材料剪辑转换到下一个材料剪辑。
此外，在辅助窗口WD11中，例如，用户还能够指定材料剪辑 (球面图像)的预期区域以利用编辑工具对指定的区域执行效果处理或将标题等***到指定的区域中。能够执行的效果处理的示例包括白平衡调整和亮度调整、噪声减小处理以及软滤波处理。
需要注意的是，通过指定显示在辅助窗口WD11中的图像显示区域WR13中的材料剪辑(球面图像)上的区域，或者通过直接指定显示在沉浸式呈现装置11上的用于呈现的球面图像上的区域，可执行将要被应用效果的区域和标题***位置的指定。
对于编辑***，如上所述的辅助窗口WD11被显示在显示器12 上以及显示在用于呈现的球面图像上。需要注意的是，描述了显示辅助窗口WD11的示例；然而，可仅显示辅助窗口WD11的一部分，例如，仅时间线被显示在用于呈现的球面图像和显示器12上。
替代地，辅助窗口WD11可在穿戴沉浸式呈现装置11的情况下如从用户所观察总是显示在相同的位置和相同的朝向，或者可在用于呈现的球面图像中总是显示在相同的位置和相同的朝向。
例如，假设：辅助窗口WD11在穿戴沉浸式呈现装置11的情况下如从用户所观察总是显示在相同的位置和相同的朝向。也就是说，假设：辅助窗口WD11的位置和朝向相对于沉浸式呈现装置11是固定的。
在这种情况下，即使穿戴沉浸式呈现装置11的用户移动头，在用于呈现的球面图像上，如从用户所观察，辅助窗口WD11也总是显示在相同的位置和相同的朝向。换句话说，即使用户移动头，用户和辅助窗口WD11之间的相对位置关系也不变。
在这个示例中，如果渲染器单元35参照从通信单元36提供的关于沉浸式呈现装置11的位置和朝向信息，则在球面图像上，如从用户所观察，辅助窗口WD11能够被叠加并且显示在预先定义的位置和预先定义的朝向。也就是说，渲染器单元35在由沉浸式呈现装置 11的位置和朝向定义的球面图像上的位置叠加辅助窗口WD11的图像。
另一方面，在辅助窗口WD11总是显示在用于呈现的球面图像上的相同的位置和相同的朝向的情况下，渲染器单元35将辅助窗口 WD11叠加并且显示在球面图像上的预先定义的位置和预先定义的朝向，而不取决于用户的头的朝向。也就是说，辅助窗口WD11被固定并且显示在世界坐标系中的预先定义的位置，在世界坐标系中，原点是在真实空间中预先定义的位置。
因此，在这种情况下，当穿戴沉浸式呈现装置11的用户移动头时，如从用户所观察的辅助窗口WD11的显示位置根据头的移动而变化。也就是说，用户和辅助窗口WD11之间的相对位置关系根据用户的头的移动而变化。
需要注意的是，例如，用户能够操作沉浸式操作单元14以在用于呈现的球面图像上移动辅助窗口WD11的位置，或改变辅助窗口 WD11的大小。
具体地讲，例如，假设：用户操作作为沉浸式操作单元14的图 2中示出的控制器CT11。
在这种情况下，例如，假设：用户移动控制器CT11以在用于呈现的球面图像上移动控制器CT11的模型并且通过从该模型延伸的指示器来指定辅助窗口WD11。
作为示例，由指示器指定辅助窗口WD11的状态是例如这样的状态：指示器位于指示器与辅助窗口WD11交叉的位置，并且控制器CT11的预定按钮被按压等。
用户在由指示器指定辅助窗口WD11的情况下进一步移动控制器CT11并且执行拖动操作等，以移动辅助窗口WD11的显示位置，以及放大或缩小辅助窗口WD11。
换句话说，例如，用户在由指示器指定辅助窗口WD11的情况下移动控制器CT11，以移动辅助窗口WD11。此时，指示器的移动目的地的位置被视为辅助窗口WD11的移动目的地的位置。
另外，例如，从辅助窗口WD11由两个控制器CT11中的每一个指定的状态，用户将所述两个控制器CT11移动为互相靠近或互相离开，以放大或缩小辅助窗口WD11。
此外，例如，假设：在弯曲状态下的辅助窗口WD11被显示，以使得在用于呈现的球面图像上，如从用户所观察，辅助窗口WD11 具有凹弯曲形状。在这种情况下，用户可操作沉浸式操作单元14等以调整辅助窗口WD11的弯曲的程度，也就是说，所述凹弯曲形状的曲率度数。
<编辑工作的示例>
随后，将描述由用户执行的关于球面图像的编辑工作的示例，也就是说，编辑***的特定使用场景的示例。
这里，作为示例，将描述这样的情况：多个材料剪辑被拼接在一起以产生大约五分钟的纪录片视频图像。
首先，用户操作沉浸式操作单元14和输入装置13以便依次指定例如大约10个材料剪辑(球面图像)，并且发出关于再现那些材料剪辑的指令以预览每个材料剪辑。
在这种情况下，操作检测单元32根据从沉浸式操作单元14和输入装置13提供的信号以及从位置和朝向检测单元31提供的位置和朝向信息产生用于关于再现指定的材料剪辑的指令的操作检测信息，并且向编辑反映处理单元34提供操作检测信息。
编辑反映处理单元34根据来自操作检测单元32的操作检测信息向渲染器单元35提供指定的材料剪辑。另外，渲染器单元35通过通信单元36向沉浸式呈现装置11提供包括从编辑反映处理单元34提供的作为球面图像的材料剪辑的用于呈现的球面图像以用于再现材料剪辑。
在材料剪辑被再现并且材料剪辑的预览结束之后，用户操作沉浸式操作单元14和输入装置13以指定想要的材料剪辑，并且发出关于指定的材料剪辑的导入的指令。
其后，操作检测单元32响应于用户的操作而产生关于材料剪辑的导入的操作检测信息，并且向编辑反映处理单元34提供操作检测信息。
编辑反映处理单元34根据来自操作检测单元32的操作检测信息导入指定的材料剪辑。在导入材料剪辑时，编辑反映处理单元34根据需要将材料剪辑从等矩形图像数据转换成具有通过在3D模型中映射图像数据而获得的格式的图像数据。其后，编辑反映处理单元34 向保留单元33提供转换的图像数据以用于保留转换的图像数据。
在如上所述导入材料剪辑之后，在显示在沉浸式呈现装置11和显示器12上的每个辅助窗口WD11中，材料剪辑的缩略图图像被放置并且显示在媒体箱区域WR11中。
用户操作沉浸式操作单元14和输入装置13以便例如指定媒体箱区域WR11中的缩略图图像，并且将每个材料剪辑放置在时间线区域WR12中的时间线上。
编辑反映处理单元34根据从操作检测单元32提供的操作检测信息产生在时间线上显示指定的材料剪辑的缩略图图像的辅助窗口WD11的图像(也就是说，反映用户的操作的辅助窗口WD11的图像)，然后向渲染器单元35和显示器12提供产生的图像。
渲染器单元35将从编辑反映处理单元34提供的辅助窗口WD11 的图像叠加在球面图像上以产生用于呈现的球面图像，并且通过通信单元36向沉浸式呈现装置11提供用于呈现的球面图像以用于显示用于呈现的球面图像。
例如，当指定的材料剪辑的缩略图图像被放置在时间线上时，材料剪辑上的在由光标CR11指示的时间的帧被作为在编辑期间的帧显示在沉浸式呈现装置11上。也就是说，其上叠加有辅助窗口WD11 和不同UI图像的作为球面图像的在编辑期间的材料剪辑的帧被作为用于呈现的球面图像显示在沉浸式呈现装置11上。
用户操作沉浸式操作单元14和输入装置13以指定布置在时间线中的每个材料剪辑的入点和出点，然后发出关于将叙述添加到球面图像的指令。其后，操作检测单元32基于来自沉浸式操作单元14和输入装置13的信号以及从位置和朝向检测单元31提供的位置和朝向信息检测用户的操作，并且向编辑反映处理单元34提供指示检测的结果的操作检测信息。
编辑反映处理单元34根据从操作检测单元32提供的操作检测信息切出从每个材料剪辑的入点到出点的片段并且拼接在一起，并且材料剪辑被拼接在一起的部分(也就是说，边界部分)经受处理(诸如，溶解)。另外，编辑反映处理单元34将指定的叙述的语音数据添加到包括拼接的材料剪辑的一个球面图像。
此外，用户操作沉浸式操作单元14和输入装置13以指定用于每个材料剪辑的前点，并且在材料剪辑的预期位置***标题。在***标题时，如果用户操作沉浸式操作单元14等以指定显示在沉浸式呈现装置11上的用于呈现的球面图像上的位置作为标题的标题***位置，则用户能够直观地指定待***的标题的大小和***位置。
当执行这种操作时，操作检测单元32基于来自沉浸式操作单元 14和输入装置13的信号以及从位置和朝向检测单元31提供的位置和朝向信息检测用户的操作，并且向编辑反映处理单元34提供指示检测的结果的操作检测信息。
根据从操作检测单元32提供的操作检测信息，编辑反映处理单元34编辑关于材料剪辑的伴随信息，并且将标题***到材料剪辑中，以使得材料剪辑的前点位于由用户指定的位置。
编辑反映处理单元34实时地反映由用户对在编辑期间的材料剪辑(球面图像)执行的编辑操作，并且反映编辑操作的材料剪辑被从编辑反映处理单元34提供给渲染器单元35。
然后，渲染器单元35对在反映编辑操作之后的材料剪辑(球面图像)执行渲染处理，并且用于呈现的球面图像被产生并且由沉浸式呈现装置11显示。因此，在穿戴沉浸式呈现装置11的同时，用户能够立即核查反映由用户自己执行的编辑操作的材料剪辑。
在完成用户的编辑工作并且获得作为最终一个内容的球面图像之后，用户操作沉浸式操作单元14和输入装置13以发出关于再现通过编辑而获得的球面图像的指令，并且预览球面图像。
在这种情况下，操作检测单元32根据从沉浸式操作单元14和输入装置13提供的信号以及从位置和朝向检测单元31提供的位置和朝向信息产生用于关于再现球面图像的指令的操作检测信息，并且向编辑反映处理单元34提供操作检测信息。
编辑反映处理单元34根据来自操作检测单元32的操作检测信息向渲染器单元35提供通过编辑而获得的球面图像。另外，渲染器单元35基于从编辑反映处理单元34提供的球面图像执行渲染处理，并且通过通信单元36向沉浸式呈现装置11提供用于呈现的球面图像以用于再现用于呈现的球面图像。
在用户利用沉浸式呈现装置11再现并且核查通过编辑而获得的球面图像之后，用户操作沉浸式操作单元14和输入装置13以发出关于球面图像的存储的指令。其后，响应于用户的操作，渲染器单元 35将通过编辑而获得的球面图像转换成具有合适的格式的图像数据 (诸如，等矩形图像数据(例如，mp4文件))，并且输出和记录获得的球面图像。
如上所述，所述编辑***允许用户在穿戴沉浸式呈现装置11的同时促进从材料剪辑的预览、编辑到完成的球面图像的预览的所有工作。
特别地，对于编辑工作(诸如，前点指定或标题***)，用户能够在沉浸式呈现装置11上显示球面图像的情况下(也就是说，在显示实际再现中的球面图像的情况下)在核查球面图像的每个部分的同时执行这种工作。因此，如用户自己所期待，编辑工作能够被更容易地执行。
<内容编辑处理的描述>
接下来，将描述在编辑***中执行的处理的流程。
换句话说，将在以下参照图6的流程图描述由编辑***执行的内容编辑处理。
在步骤S11中，位置和朝向检测单元31检测沉浸式操作单元14 的位置和朝向，并且向操作检测单元32、编辑反映处理单元34和渲染器单元35提供指示检测的结果的位置和朝向信息。
另外，通信单元36从沉浸式呈现装置11获取沉浸式呈现装置 11的位置和朝向信息以及捕获图像，向渲染器单元35提供位置和朝向信息，并且向编辑反映处理单元34提供捕获图像。
在步骤S12中，操作检测单元32基于从位置和朝向检测单元31 提供的位置和朝向信息、从输入装置13提供的信号和从沉浸式操作单元14提供的信号检测用户的操作输入，并且向编辑反映处理单元 34提供指示检测的结果的操作检测信息。
例如，在基于关于沉浸式操作单元14的位置和朝向信息以及从沉浸式操作单元14提供的信号检测到由用户执行的辅助窗口上的特定按钮的操作的情况下，操作检测单元32产生指示检测的结果的操作检测信息以向编辑反映处理单元34提供操作检测信息。
在步骤S13中，编辑反映处理单元34基于从操作检测单元32提供的操作检测信息确定用户是否已发出关于编辑的指令。
例如，在步骤S13中，在操作检测信息指示关于编辑的操作(诸如，标题的***、前点的指定、效果的添加或入点和出点的指定)的情况下，确定关于编辑的指令已被发出。
在步骤S13中确定关于编辑的指令已被发出的情况下，在步骤 S14中，根据由从操作检测单元32提供的操作检测信息指示的关于编辑的操作输入，编辑反映处理单元34执行编辑处理。
例如，作为编辑处理，编辑反映处理单元34例如读取保留在保留单元33中的球面图像以将标题***到球面图像，编辑关于球面图像的伴随信息，并且将效果应用于球面图像。
在执行编辑处理之后，编辑反映处理单元34向渲染器单元35提供通过编辑处理而获得的球面图像，并且内容编辑处理前进至步骤 S15。
另一方面，在步骤S13中确定未发出关于编辑的指令的情况下，不执行步骤S14中的处理，并且内容编辑处理前进至步骤S15。
在确定已执行步骤S14中的处理或者在步骤S13中未发出编辑指令之后，在步骤S15中，编辑反映处理单元34产生UI图像。
在步骤S15中，例如，上述透视窗口图像、辅助窗口图像或菜单图像被产生作为UI图像。
换句话说，例如，编辑反映处理单元34切出从通信单元36提供的捕获图像的一部分以产生透视窗口图像，或基于操作检测信息产生反映用户的操作的辅助窗口图像。
在步骤S16中，编辑反映处理单元34基于从位置和朝向检测单元31提供的位置和朝向信息产生沉浸式操作单元模型图像。
编辑反映处理单元34向渲染器单元35提供分别在步骤S15和步骤S16中的处理中产生的UI图像和沉浸式操作单元模型图像。另外，作为在步骤S15中产生的UI图像的辅助窗口也被从编辑反映处理单元34提供给显示器12，并且辅助窗口被显示在显示器12上。
在步骤S17中，渲染器单元35基于从通信单元36提供的沉浸式呈现装置11的位置和朝向信息以及从位置和朝向检测单元31提供的沉浸式操作单元14的位置和朝向信息执行渲染处理。
换句话说，渲染器单元35基于沉浸式呈现装置11的位置和朝向信息以及沉浸式操作单元14的位置和朝向信息将沉浸式操作单元模型图像和UI图像叠加在从编辑反映处理单元34提供的球面图像的合适的位置上，并且产生用于呈现的球面图像。另外，渲染器单元35合适地将用于呈现的球面图像转换成具有能够由沉浸式呈现装置 11处理的格式的图像数据，并且向通信单元36提供图像数据。
在步骤S18中，通信单元36将从渲染器单元35提供的用于呈现的球面图像输出给沉浸式呈现装置11。另外，沉浸式呈现装置11显示从通信单元36提供的用于呈现的球面图像。
也就是说，渲染器单元35通过通信单元36向沉浸式呈现装置 11提供用于呈现的球面图像以用于显示用于呈现的球面图像。特别地，在步骤S14中执行根据关于编辑的操作输入的编辑处理的情况下，渲染器单元35控制在沉浸式呈现装置11的显示，以使得显示实时地反映关于编辑的操作输入的用于呈现的球面图像。
在用于呈现的球面图像由沉浸式呈现装置11显示之后，穿戴沉浸式呈现装置11的用户能够在利用沉浸式呈现装置11核查在编辑期间的球面图像的同时操作沉浸式操作单元14和输入装置13以执行编辑工作。
需要注意的是，在步骤S18中，通信单元36还可将用于呈现的球面图像输出给不同于沉浸式呈现装置11的沉浸式呈现装置。换句话说，相同的用于呈现的球面图像可被同时输出给沉浸式呈现装置 11和所述不同的沉浸式呈现装置。利用这种布置，能够在包括沉浸式呈现装置11的所述多个沉浸式呈现装置同时观看相同的用于呈现的球面图像。
在步骤S19中，图像处理设备15确定内容编辑处理是否将要结束。例如，在步骤S19中，在用户已发出关于编辑的结束的指令的情况下，确定内容编辑处理将要结束。
在步骤S19中确定内容编辑处理还未结束的情况下，内容编辑处理返回到步骤S11，并且重复上述处理。
另一方面，在步骤S19中确定内容编辑处理将要结束的情况下，内容编辑处理结束。在这种情况下，通过编辑而获得的球面图像被合适地存储和输出到外部设备。
如上所述，编辑***响应于用户的操作而将UI图像和沉浸式操作单元模型图像叠加在球面图像上，并且产生用于呈现的球面图像以由沉浸式呈现装置11显示用于呈现的球面图像。这种布置允许用户在穿戴沉浸式呈现装置11的情况下在核查球面图像的同时更加促进编辑工作。
<特定编辑示例>
如上所述，根据本实施例，在核查球面图像的同时，编辑工作能够被更容易地执行。这里，将描述编辑的示例。
图7表示显示在沉浸式呈现装置11上的示例性画面。用于呈现的球面图像被显示在沉浸式呈现装置11的整个画面上。
在画面的下中心侧，控制器CT11被显示为沉浸式操作单元模型图像。以下，显示在画面上的控制器CT11的沉浸式操作单元模型图像将会被表示为沉浸式操作单元模型图像CT11。
从沉浸式操作单元模型图像CT11的前端投影指示器101。指示器101是像激光指示器的复制品一样的实例，并且由预定颜色的直线显示。在图7中示出的示例中，指示器101的末端指向文本102(诸如，“demo”)。
这个文本102是叠加(覆盖)在用于呈现的球面图像上的文本。这里，以这种文本作为示例进行描述；然而，可使用标记等。文本102 是叠加在用于呈现的球面图像上的示例性图像。
假设：在时间T1，文本102被显示在附图中左侧的位置P1。另外，在时间T1，沉浸式操作单元模型图像CT11的前端指向位置 P1，并且来自沉浸式操作单元模型图像CT11的指示器101指向文本 102。
在时间T1，用户操作控制器CT11的按钮(例如，图9中示出的按钮122)以向右移动控制器CT11。利用这个操作，文本102被抓住 (拖动)并且移动到位置P2。
也就是说，在诸如在时间T1到时间T2期间在控制器CT11的按钮仍然被按下的情况下前端部分从左到右的移动的操作(也就是说，诸如在按钮仍然***作的情况下指示器101的末端从位置P1到位置P2的移动的操作)的情况下，文本102从位置P1移动到位置 P2。
换句话说，利用控制器CT11的所谓拖放操作的执行允许用户将文本102移动到用于呈现的球面图像中的预期位置。
用户能够在穿戴沉浸式呈现装置11的情况下执行这种操作，并且还能够在观看呈现在沉浸式呈现装置11上的用于呈现的球面图像的同时执行这种操作。因此，诸如文本102从由于背景而不太容易看见的位置到可见位置的移动的操作例如能够被容易地执行。
作为另一操作示例，用户还能够在观看用于呈现的球面图像的同时执行将文本102改变为预期大小的操作。
例如，如图8中所示，在时间T11，文本102被按照预定大小显示，并且如果用户希望放大文本102，则用户执行诸如控制器CT11 的相互分离的操作，并且文本102能够被放大。
在时间T11，代表由用户的左手握住的控制器CT11(被称为控制器CT11L)的沉浸式操作单元模型图像CT11L和代表由用户的右手握住的另一控制器CT11(被称为控制器CT11R)的沉浸式操作单元模型图像CT11R被叠加在用于呈现的球面图像上，并且显示在用于呈现的球面图像上。
在用户希望放大文本102的情况下，用户操作控制器CT11L或控制器CT11R的预定按钮以选择文本102，然后执行诸如控制器 CT11L和控制器CT11L左右互相分离的操作。
如时间T12所示，诸如控制器CT11L和控制器CT11L左右互相分离的操作的执行导致文本102的放大。需要注意的是，虽然未示出，但在执行诸如控制器CT11L和控制器CT11L左右相互移动靠近的情况下，文本102被缩小。
如上所述，诸如文本102的放大或缩小的大小的变化能够被利用简单的操作执行，诸如所述两个控制器CT11左右相互分离或相互移动靠近。
另外，还能够在用于呈现的球面图像中执行文本102的这种大小的变化，由此能够在核查实际上呈现的球面图像上的大小的同时实现预期大小。
<控制器的结构>
将添加关于用来执行这种操作的控制器CT11的描述。
控制器CT11包括触摸垫121、按钮122和按钮123，如图9中所示。触摸垫121是平板传感器，并且允许通过追踪或利用手指轻敲传感器来执行与利用鼠标指针的操作类似的操作。
按钮122和按钮123中的每一个具有分配给其的预定处理，并且当被按下时，能够发出用于分配的操作的指令。例如，如上所述，当选择(拖动)叠加在球面图像上的文本102时，操作按钮122。
需要注意的是，图9中示出的控制器CT11的结构和形状中的每一个是示例，并且不指示限制。例如，图9中示出的控制器CT11具有两个按钮122和123；然而，多个按钮可被进一步提供，或者可被布置在与图9中示出的部分不同的部分(诸如，控制器CT11的侧面或背面)。
如参照图7和8所述，用户在穿戴沉浸式呈现装置11的情况下在观看呈现在沉浸式呈现装置11上的图像的同时操作控制器 CT11。也就是说，在直接以视觉方式识别控制器CT11的同时，用户不操作。控制器CT11可优选地具有简单结构，从而控制器CT11 可在没有直接视觉识别的情况下操作。
因此，多种操作被分配给触摸垫121。换句话说，触摸垫121用作促进操作(诸如，即使在相对不准确地核查位置的情况下也追踪或利用手指轻敲)的设备；而且，将多种操作预分配给这种触摸垫121 使得可简单地发出用于操作的指令。
例如，如图10中所示，触摸垫121被划分为五个区域。假设：触摸垫121的上部是区域121A，触摸垫121的右侧部分是区域 121B，触摸垫121的下部是区域121C，触摸垫121的上部是区域 121D，并且触摸垫121的中心部分是区域121E。
例如，区域121A的轻敲能够发出关于标记的添加或移动的指令，区域121B的轻敲能够发出关于移动至前一剪辑的指令，并且区域121C的轻敲能够发出关于再现停止的指令，区域121D的轻敲能够发出关于移动至下一个剪辑的指令，并且区域121E的轻敲能够发出关于再现或暂停的指令。
替代地，可通过追踪多个区域121来发出指令。例如，利用手指追踪区域121D至区域121B(手指从左到右移动)可以能够发出关于快进的指令，并且利用手指追踪区域121B至区域121D(手指从右到左移动)可以能够发出关于后退的指令。
这种操作中的每一个是能够在不直接以视觉方式识别控制器 CT11的情况下执行的简单操作。通过划分成各区域，这种操作被分配给控制器CT11的触摸垫121。可提供用于可由用户设置(定制)这种分配的机构。
另外，按钮122和123以及触摸垫121的操作的组合可以能够发出新的操作指令。例如，指令可被预分配，例如，当在按下按钮122 的同时操作触摸垫121的区域121A时，发出关于删除附加的标记的指令，并且当在按下按钮122的同时操作触摸垫121的区域121B 时，发出关于按照三倍速度快进的指令。
另外，为了使用户识别分配给触摸垫121的预定区域的操作，可如图11中所示显示引导。图11中示出的引导显示151具有显示在复制触摸垫121的形状的圆形中与各区域121A至121E对应的位置的标记，每个标记与内容再现相关。
暂停标记被显示在与区域121A对应的位置；用于移至下一个标记(章节)的标记被显示在与区域121B对应的位置；用于再现停止的标志被显示在与区域121C对应的位置；用于移至前一个标记(章节) 的标记被显示在与区域121D对应的位置；并且再现标记被显示在与区域121E对应的位置。
这种引导显示151可总是显示，或者可例如当触摸垫121被触摸时显示。另外，在引导显示151的显示期间，例如，在按钮122***作的情况下，引导显示151中的引导可被改变。
另外，例如，关于内容再现的每个标记被显示在图11中示出的引导显示151上；然而，当按钮122***作时，标记可切换为用于内容编辑的标记。
换句话说，可通过操作按钮122来实现模式(诸如，再现模式和编辑模式)之间的切换，并且与这种模式对应的引导可被显示在引导显示151上。
需要注意的是，这里例示显示在引导显示151中的标记；然而，除标记之外的词语(例如，“再现”和“停止”)可被显示。
作为另一显示示例，当被分配显示触摸垫121、按钮122或按钮 123的菜单的操作的操作单元***作时，可显示菜单画面。
例如，如图12中所示，在预定操作被执行之后，菜单171被显示在代表控制器CT11L的沉浸式操作单元模型图像CT11L的右侧。在图12中示出的示例中，“项A”、“项B”和“项C”被显示为菜单 171。
用户能够利用控制器CT11R从菜单171中显示的的项A、项B 和项C选择想要的项。在用户例如想要选择项B的情况下，用户将从控制器CT11R(沉浸式操作单元模型图像CT11R)的前端投影的指示器101的末端调整到项B上。仅通过调整，项B可被选择，或者通过在调整之后的按钮122或按钮123的操作，项B可被选择。
在从菜单171选择用户想要的项之后，子菜单172被显示在菜单 171的右侧。子菜单172显示在菜单171中选择的更详细的选择项。在图12中，显示“项a”、“项b”和“项c”。与用于从菜单171中的项选择想要的项的操作类似，执行用于由用户从子菜单172中的项选择想要的项的操作。
菜单171和子菜单172被沿水平方向布置。菜单171中的项被沿垂直方向布置，并且子菜单172中的项也被沿垂直方向布置。如上所述，菜单展开的方向(在这种情况下，沿水平方向)和菜单中的项被布置的方向(在这种情况下，沿垂直方向)是不同方向。
如上所述使菜单展开的方向不同于菜单中的项被布置的方向允许减小例如选择错误项的可能性。例如，假设菜单展开的方向和菜单中的项被布置的方向是相同的，菜单171、子菜单172和子菜单中的项被沿水平方向放置。
如上所述，菜单171、子菜单172和子菜单中的项的水平布置导致控制器CT11R的(前端的)顺序水平移动。然而，当控制器CT11R 沿所述相同的方向移动时，例如，非常可能发生这样的情况：控制器 CT11R从菜单171移动到子菜单172并且由于动量而越过待选择项，从而不同的项可能被错误地选择。
然而，如上所述，使菜单展开的方向不同于菜单中的项被布置的方向导致控制器CT11R从菜单171移动到子菜单172的方向和控制器CT11R在子菜单172中移动的方向之间的差异。因此，能够防止发生这样的情况：例如，从菜单171移动到子菜单172并且由于动量而越过待选择项。
此外，利用控制器CT11的操作的示例包括上述利用控制器 CT11的透视窗口SW11的显示和不显示(图3)。
例如，在不显示透视窗口SW11的情况下，对于用于显示指令的操作，例如，在按钮123是用于关于透视窗口SW11的显示的指令的按钮的情况下，当按钮123***作时，透视窗口SW11被显示在用于呈现的球面图像上。例如，如图13中所示，透视窗口SW11被显示在用于呈现的球面图像上的预定位置。
用户能够在观看透视窗口SW11的同时操作键盘和鼠标。在如上所述透视窗口SW11被显示在用于呈现的球面图像上的同时操作按钮 123的情况下，透视窗口SW11可关闭。
因此，根据本技术，在核查球面图像的同时，编辑工作能够被更容易地执行。另外，能够提供适合在核查球面图像的同时执行的这种编辑的控制器和用户界面。
<编辑处理>
同时，如上所述，例如，如参照图7所述，在移动显示在球面图像上的文本102的情况下，需要指定文本102被显示在球面图像上的哪个位置并且指定指示为移动目的地的球面图像上的位置。
将参照图14和15的流程图描述这种处理。另外，这里，通过引用例如如参照图7所述移动显示在球面图像上的文本102的情况作为示例，将会继续进行描述。另外，这里，将参照图14描述关于实时更新的处理(总是执行的处理)，并且将参照图15描述当选择文本102等并且指示移动时的处理。
通过来自沉浸式操作单元14的操作的接收、由操作检测单元32 执行的操作的细节的决定和由编辑反映处理单元34执行的处理，执行图14和15中的每个附图中示出的流程图中的处理。
参照图14中示出的流程图，在步骤S101中，检测指示器和用于呈现的球面图像之间的交叉点的位置。例如，在诸如图7中示出的用于呈现的球面图像的显示期间，在时间T1，来自控制器CT11的指示器101指向位置P1。因此，检测位置P1的坐标。
在步骤S102中，球面坐标的交叉点被变换成等距圆柱投影中的坐标(以下，被称为等距圆柱坐标)。球面坐标是用于呈现的球面图像中的坐标，也就是说，360度图像中的坐标。等距圆柱投影是一种类型的地图投影，并且由于纬度线和子午线按照直角并且按照相等间隔相交，所以等距圆柱投影是也被称为网格投影、方格投影等的投影。等距圆柱坐标是这种投影中的坐标。
步骤S102中的坐标变换也能够被称为将三维坐标变换为二维坐标的处理。因此，可执行不同变换，只要执行这种将三个维度变换为两个维度的处理即可。另外，并不总是必须将三维坐标变换为二维坐标以执行处理，并且能够在没有这种变换的情况下利用三维坐标执行该处理。
例如，用户还能够利用显示在显示器12上的通过等距圆柱投影而获得的等距圆柱(等矩形)二维球面图像执行编辑工作。为了能够按照与在显示在显示器12上的二维图像上执行编辑工作的情况相同的方式执行处理，这里，将在假设球面坐标被变换为等距圆柱坐标的情况下继续进行描述。
也就是说，在甚至能够利用传统软件作为用于编辑球面图像的软件来执行处理的情况下，球面坐标至等距圆柱坐标的变换允许获得甚至能够利用该软件处理的坐标。因此，如上所述，对于可利用三维坐标处理的软件的使用，步骤S102中的处理能够被省略，并且能够利用球面坐标继续执行实时更新处理。
需要注意的是，将在假设坐标被变换为等距圆柱投影中的坐标的情况下继续进行描述；然而，坐标可被变换为不同类型的投影中的坐标。
在步骤S101和S102中的每个步骤的处理中，获得由指示器在那个时间点指向的位置的坐标。如上所述，在使用控制器CT11并且出现指示器101的情况下，总是掌握由指示器101指向的位置。
在步骤S103中，覆盖的物体的坐标被重写。例如，在图7中示出的用于呈现的球面图像的示例中，文本102被覆盖。获得文本102 的坐标，并且文本102的坐标被重写在获得的坐标上。对于覆盖的物体(例如，文本102、标记或图像)的坐标，球面坐标能够被变换为等距圆柱坐标以便重写在变换的等距圆柱坐标上。
因此，覆盖的物体的坐标也总是被管理。需要注意的是，在下面的描述中，假设：覆盖的物体是文本102。
这种处理的重复允许由指示器101指向的位置和覆盖的物体的位置的实时管理。
将参照图15描述在执行这种管理的同时当执行来自控制器 CT11的操作时(这里，当按钮122***作并且指示器101在那个时间点所在的覆盖的文本102移动时)执行的处理。
在步骤S141中，确定控制器CT11的按钮122是否已***作。维持待机状态，直至确定按钮122已***作(图14中示出的流程图的处理的执行维持实时更新的处理)。另一方面，在确定按钮122已***作的情况下，该移动处理前进至步骤S142。
在步骤S142中，检测指示器和球面图像的交叉点的位置。另外，在步骤S143中，球面坐标的交叉点被变换为等距圆柱坐标。类似于图14中示出的流程图的步骤S101和S102中的每个步骤中的处理，执行步骤S142和S143中的每个步骤中的处理。
在步骤S144中，确定是否存在覆盖的物体。在图14中的步骤 S103中的处理中，覆盖的物体(例如，文本102)的坐标被按照预定的间隔更新。通过确定在至步骤S143的各条处理中获得的由指示器 101指向的位置的坐标是否与管理的覆盖的物体的坐标匹配，执行步骤S144中的确定处理。
在步骤S144中确定不存在覆盖的物体的情况下，该移动该处理返回到步骤S141，并且重复随后的处理。需要注意的是，即使在确定不存在覆盖的物体的情况下，因为按钮正***作，也执行由于按钮操作而将要执行的处理。
另一方面，在步骤S144中确定存在覆盖的物体的情况下，该移动处理前进至步骤S145，并且确定按钮操作是否被维持。
例如，如参照图7所述，在文本102利用控制器CT11的操作移动的情况下，执行拖放的操作。因此，在按钮操作被维持的同时，能够确定覆盖的文本102未移动到预期位置。
作为结果，重复步骤S145中的确定处理，直至在步骤S145中确定按钮操作被维持。在步骤S145中，在确定按钮操作未被维持的情况下，也就是说，在确定用户已释放按钮并且文本102已被放下的情况下，进一步也就是说，在确定用户已将文本102移动至预期位置的情况下，该移动处理前进至步骤S146。
在步骤S146中，检测当按钮操作结束时由指示器指向的位置和球面图像的交叉点的位置。在步骤S147中，球面坐标的交叉点被变换为等距圆柱坐标。基本上类似于步骤S142和S143中的每个步骤的处理，执行步骤S146和S147中的每个步骤的处理。此时，文本 102已移动到用户想要的位置(也就是说，图7中的位置P2)，并且已被显示。
在步骤S148中，感兴趣的覆盖的物体的坐标被重写。换句话说，在这种情况下，文本102的坐标被重写到移动目的地的坐标。以这种方式，管理诸如覆盖的文本或标记的位置(坐标)。
如上所述，通过复制真实空间中的控制器CT11而获得的沉浸式操作单元模型图像被显示在虚拟空间中的用于呈现的球面图像上，并且来自控制器CT11的指示器在用于呈现的球面图像中指向的位置被检测，从而来自用户的操作被接收并且处理。
因此，在核查球面图像的同时，编辑工作能够被更容易地执行。另外，能够提供适合在核查球面图像的同时执行的这种编辑的控制器和用户界面。
<计算机的示例性结构>
同时，上述一系列处理能够由硬件或软件执行。为了由软件执行所述一系列处理，软件中所包括的程序被安装在计算机中。这里，计算机的示例包括嵌入在专用硬件中的计算机和可利用各种程序的安装执行各种功能的通用计算机。
图16是根据程序执行上述一系列处理的计算机的示例性硬件结构的方框图。
在该计算机中，中央处理单元(CPU)501、只读存储器(ROM) 502和随机存取存储器(RAM)503通过总线504而互相连接。
此外，输入/输出接口505被连接到总线504。输入单元506、输出单元507、记录单元508、通信单元509和驱动器510中的每一个连接到输入/输出接口505。
输入单元506包括键盘、鼠标、麦克风、成像元件等。输出单元 507包括显示器、扬声器等。记录单元508包括硬盘、非易失性存储器等。通信单元509包括例如网络接口。驱动器510驱动可移动记录介质511，诸如磁盘、光盘、磁光盘或半导体存储器。
对于具有如上所述的结构的计算机，CPU 501通过输入/输出接口505和总线504将例如记录在记录单元508中的程序加载到RAM 503中，并且执行该程序，由此执行所述一系列处理。
通过记录在例如作为封装介质等的可移动记录介质511上，能够提供由计算机(CPU 501)执行的程序。另外，能够通过有线或无线传输介质(诸如，局域网、互联网或数字卫星广播)提供该程序。
在该计算机中，通过将可移动记录介质511连接到驱动器510，该程序能够通过输入/输出接口505被安装在记录单元508中。另外，该程序能够由通信单元509通过有线或无线传输介质接收，并且被安装在记录单元508中。此外，该程序能够被预安装在ROM 502 或记录单元508中。
需要注意的是，由计算机执行的程序可以是用于根据在本说明书中描述的次序按照时间顺序执行处理的程序，可以是用于执行并行处理的程序或用于在需要的定时(例如，当执行呼叫时)执行处理的程序。
另外，本公开的实施例不限于上述实施例，并且能够在不脱离本技术的主旨的情况下做出各种变型。
例如，本技术能够具有一个功能由多个设备通过网络共享并且处理的云计算结构。
另外，在上述流程图中描述的每个步骤能够由一个设备执行，并且能够由多个设备共享和执行。
此外，在多个处理被包括在一个步骤中的情况下，所述一个步骤中所包括的所述多个处理能够由一个设备执行，并且能够由多个设备共享和执行。
另外，在本说明书中描述的效果仅被例示并且不应该是限制性的，并且可具有另外的效果。
此外，本技术也能够具有下面的结构。
(1)一种图像处理设备，包括：
操作检测单元，被配置为检测操作单元的操作输入；和
显示控制单元，被配置为向沉浸式呈现装置输出叠加有操作单元的图像的球面图像的一部分或全部作为呈现图像，以使沉浸式呈现装置显示所述呈现图像，所述显示控制单元被配置为在所述操作输入已被检测到的情况下控制所述呈现图像的显示，以使得反映所述操作输入。
(2)如(1)所述的图像处理设备，其中所述操作检测单元检测关于球面图像的编辑的操作输入。
(3)如(1)或(2)所述的图像处理设备，还包括：
图像处理单元，被配置为基于作为被摄体捕获的操作单元的捕获图像产生操作单元的图像。
(4)如(3)所述的图像处理设备，其中所述显示控制单元使操作单元的图像被显示在由沉浸式呈现装置的位置和朝向定义的球面图像上的位置。
(5)如(1)或(2)所述的图像处理设备，还包括：
图像处理单元，被配置为产生操作单元的模型的图像作为操作单元的图像。
(6)如(5)所述的图像处理设备，其中所述显示控制单元使操作单元的图像被显示在由操作单元的位置和朝向定义的球面图像上的位置。
(7)如(1)至(6)中任何一项所述的图像处理设备，其中用于编辑球面图像的辅助画面被进一步显示在呈现图像上。
(8)如(7)所述的图像处理设备，其中所述辅助画面被显示在呈现图像上的定义的位置。
(9)如(7)所述的图像处理设备，其中所述辅助画面被显示在由沉浸式呈现装置的位置和朝向定义的呈现图像上的位置。
(10)如(1)至(9)中任何一项所述的图像处理设备，还包括：
通信单元，被配置为将呈现图像输出给多个沉浸式呈现装置。
(11)一种图像处理方法，包括下述步骤：
检测操作单元的操作输入；以及
向沉浸式呈现装置输出叠加有操作单元的图像的球面图像的一部分或全部作为呈现图像，以使沉浸式呈现装置显示所述呈现图像，并且在所述操作输入已被检测到的情况下控制所述呈现图像的显示，以使得反映所述操作输入。
(12)一种程序，用于使计算机执行处理，所述处理包括下述步骤：
检测操作单元的操作输入；以及
向沉浸式呈现装置输出叠加有操作单元的图像的球面图像的一部分或全部作为呈现图像，以使沉浸式呈现装置显示所述呈现图像，并且在所述操作输入已被检测到的情况下控制所述呈现图像的显示，以使得反映所述操作输入。
标号列表
11 沉浸式呈现装置
12 显示器
13 输入装置
14 沉浸式操作单元
15 图像处理设备
32 操作检测单元
33 保留单元
34 编辑反映处理单元
35 渲染器单元
36 通信单元
121 触摸垫
122、123 按钮

Claims (6)

1.一种图像处理设备，包括：
操作检测单元，被配置为检测操作单元的关于球面图像的编辑的操作输入，其中所述球面图像显示在沉浸式呈现装置上，所述沉浸式呈现装置包括捕获所述沉浸式呈现装置的前面的图像的图像捕获单元；
显示控制单元，被配置为向所述沉浸式呈现装置输出叠加有操作单元的图像的球面图像的一部分或全部作为呈现图像，以使沉浸式呈现装置显示所述呈现图像，所述显示控制单元被配置为在所述操作输入已被检测到的情况下控制所述呈现图像的显示，以使得反映所述操作输入，所述呈现图像包括包含多个按钮的辅助画面，所述辅助画面是用于在由用户穿戴所述沉浸式呈现装置的情况下再现和编辑球面图像的辅助画面并且被显示在由沉浸式呈现装置的位置和朝向定义的呈现图像上的位置；
编辑反映处理单元，被配置为生成所述辅助画面，并基于检测到的关于球面图像的编辑的与由所述用户选中的按钮对应的操作输入，编辑在所述沉浸式呈现装置上显示的呈现图像中的球面图像；以及
图像处理单元，被配置为基于作为被摄体由所述图像捕获单元捕获的操作单元的捕获图像产生操作单元的图像，
其中所述显示控制单元使操作单元的图像被显示在由沉浸式呈现装置的位置和朝向定义的球面图像上的位置。
2.如权利要求1所述的图像处理设备，还包括：
图像处理单元，被配置为产生操作单元的模型的图像作为操作单元的图像。
3.如权利要求2所述的图像处理设备，其中所述显示控制单元使操作单元的图像被显示在由操作单元的位置和朝向定义的球面图像上的位置。
4.如权利要求1所述的图像处理设备，还包括：
通信单元，被配置为将呈现图像输出给多个沉浸式呈现装置。
5.一种图像处理方法，包括下述步骤：
检测操作单元的关于球面图像的编辑的操作输入，其中所述球面图像显示在沉浸式呈现装置上，所述沉浸式呈现装置包括捕获所述沉浸式呈现装置的前面的图像的图像捕获单元；
向所述沉浸式呈现装置输出叠加有操作单元的图像的球面图像的一部分或全部作为呈现图像，以使沉浸式呈现装置显示所述呈现图像，并且在所述操作输入已被检测到的情况下控制所述呈现图像的显示，以使得反映所述操作输入，所述呈现图像包括包含多个按钮的辅助画面，所述辅助画面是用于在由用户穿戴所述沉浸式呈现装置的情况下再现和编辑球面图像的辅助画面并且被显示在由沉浸式呈现装置的位置和朝向定义的呈现图像上的位置；
生成所述辅助画面，并基于检测到的关于球面图像的编辑的与由所述用户选中的按钮对应的操作输入，编辑在所述沉浸式呈现装置上显示的呈现图像中的球面图像；以及
基于作为被摄体由所述图像捕获单元捕获的操作单元的捕获图像产生操作单元的图像，
其中操作单元的图像被显示在由沉浸式呈现装置的位置和朝向定义的球面图像上的位置。
6.一种记录有程序的记录介质，该程序用于使计算机执行处理，所述处理包括下述步骤：
检测操作单元的关于球面图像的编辑的操作输入，其中所述球面图像显示在沉浸式呈现装置上，所述沉浸式呈现装置包括捕获所述沉浸式呈现装置的前面的图像的图像捕获单元；
向所述沉浸式呈现装置输出叠加有操作单元的图像的球面图像的一部分或全部作为呈现图像，以使沉浸式呈现装置显示所述呈现图像，并且在所述操作输入已被检测到的情况下控制所述呈现图像的显示，以使得反映所述操作输入，所述呈现图像包括包含多个按钮的辅助画面，所述辅助画面是用于在由用户穿戴所述沉浸式呈现装置的情况下再现和编辑球面图像的辅助画面并且被显示在由沉浸式呈现装置的位置和朝向定义的呈现图像上的位置；
生成所述辅助画面，并基于检测到的关于球面图像的编辑的与由所述用户选中的按钮对应的操作输入，编辑在所述沉浸式呈现装置上显示的呈现图像中的球面图像；以及
基于作为被摄体由所述图像捕获单元捕获的操作单元的捕获图像产生操作单元的图像，
其中操作单元的图像被显示在由沉浸式呈现装置的位置和朝向定义的球面图像上的位置。
CN201880017796.8A 2017-03-22 2018-03-09 图像处理装置、方法和记录介质 Active CN110402578B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017055995 2017-03-22
JP2017-055995 2017-03-22
PCT/JP2018/009146 WO2018173790A1 (ja) 2017-03-22 2018-03-09 画像処理装置および方法、並びにプログラム

Publications (2)

Publication Number Publication Date
CN110402578A CN110402578A (zh) 2019-11-01
CN110402578B true CN110402578B (zh) 2022-05-03

Family

ID=63584412

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880017796.8A Active CN110402578B (zh) 2017-03-22 2018-03-09 图像处理装置、方法和记录介质

Country Status (5)

Country Link
US (1) US11308670B2 (zh)
EP (1) EP3606049B1 (zh)
JP (1) JP7070547B2 (zh)
CN (1) CN110402578B (zh)
WO (1) WO2018173790A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11914835B2 (en) * 2020-11-16 2024-02-27 Samsung Electronics Co., Ltd. Method for displaying user interface and electronic device therefor

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6037882A (en) * 1997-09-30 2000-03-14 Levy; David H. Method and apparatus for inputting data to an electronic system
JP2016139375A (ja) * 2015-01-29 2016-08-04 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
CN106023241A (zh) * 2012-06-29 2016-10-12 索尼电脑娱乐公司 影像处理装置、影像处理方法及影像处理***
JP2016201777A (ja) * 2015-04-14 2016-12-01 株式会社ナチュラレーザ・ワン ヘッドマウントディスプレイ
CN205845105U (zh) * 2016-05-27 2016-12-28 杭州映墨科技有限公司 一种用于虚拟看房的虚拟现实空间移动定位装置
CN106291930A (zh) * 2015-06-24 2017-01-04 联发科技股份有限公司 头戴式显示器
WO2017014359A1 (ko) * 2015-07-20 2017-01-26 한국원자력연구원 원자력 시설의 해체 작업 시뮬레이션 장치 및 그 방법
CN106484085A (zh) * 2015-08-31 2017-03-08 北京三星通信技术研究有限公司 在头戴式显示器中显示真实物体的方法及其头戴式显示器
JP2017054201A (ja) * 2015-09-07 2017-03-16 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像生成方法
JP2018028834A (ja) * 2016-08-19 2018-02-22 株式会社コロプラ 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003143579A (ja) 2001-11-01 2003-05-16 Sony Corp 全方位映像の有料配信システム，有料配信方法及び有料視聴システム
JP4917664B1 (ja) * 2010-10-27 2012-04-18 株式会社コナミデジタルエンタテインメント 画像表示装置、ゲームプログラム、ゲーム制御方法
US9282321B2 (en) * 2011-02-17 2016-03-08 Legend3D, Inc. 3D model multi-reviewer system
JP6079297B2 (ja) 2013-02-26 2017-02-15 株式会社リコー 編集装置、編集方法、及び編集プログラム
US20160054565A1 (en) * 2013-03-29 2016-02-25 Sony Corporation Information processing device, presentation state control method, and program
JP6439788B2 (ja) * 2014-02-18 2018-12-19 ソニー株式会社 情報処理装置、制御方法、プログラム、およびシステム
CN105301771B (zh) * 2014-06-06 2020-06-09 精工爱普生株式会社 头部佩戴型显示装置、检测装置、控制方法以及计算机程序
US10389992B2 (en) * 2014-08-05 2019-08-20 Utherverse Digital Inc. Immersive display and method of operating immersive display for real-world object alert
US9779633B2 (en) * 2014-08-08 2017-10-03 Greg Van Curen Virtual reality system enabling compatibility of sense of immersion in virtual space and movement in real space, and battle training system using same
JP6705124B2 (ja) 2015-04-23 2020-06-03 セイコーエプソン株式会社 頭部装着型表示装置、情報システム、頭部装着型表示装置の制御方法、および、コンピュータープログラム
US9798143B2 (en) * 2014-08-11 2017-10-24 Seiko Epson Corporation Head mounted display, information system, control method for head mounted display, and computer program
KR102243656B1 (ko) * 2014-09-26 2021-04-23 엘지전자 주식회사 모바일 디바이스, hmd 및 시스템
JP5927515B2 (ja) * 2014-11-06 2016-06-01 株式会社アクセル 画像編集方法、画像編集システム、及び画像編集プログラム
JP6788327B2 (ja) * 2015-02-27 2020-11-25 株式会社ソニー・インタラクティブエンタテインメント 表示制御プログラム、表示制御装置、及び表示制御方法
US20160321940A1 (en) * 2015-04-29 2016-11-03 Ivan Banga Driver Education and Training System and Method for Training Drivers in Simulated Emergencies
JP2016218366A (ja) * 2015-05-25 2016-12-22 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、出力制御装置、情報処理システム、および動画データ出力方法
US11022545B2 (en) * 2015-08-10 2021-06-01 Konica Minolta Business Solutions U.S.A., Inc. Multi-spectral gas analyzer system with multiple sets of spectral sensitivity
US9703102B2 (en) * 2015-08-28 2017-07-11 Tomy Company Ltd. Information processing device including head mounted display
EP3156110A4 (en) * 2015-08-28 2017-07-05 Tomy Company, Ltd. Information processing device provided with head-mounted display
US10217189B2 (en) * 2015-09-16 2019-02-26 Google Llc General spherical capture methods
JP6598617B2 (ja) * 2015-09-17 2019-10-30 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP2016225967A (ja) * 2016-02-02 2016-12-28 株式会社コロプラ ヘッドマウント・ディスプレイを用いたコンテンツ視聴システム
US10338392B2 (en) * 2016-06-13 2019-07-02 Microsoft Technology Licensing, Llc Identification of augmented reality image display position
US10636156B2 (en) * 2016-09-12 2020-04-28 Deepixel Inc. Apparatus and method for analyzing three-dimensional information of image based on single camera and computer-readable medium storing program for analyzing three-dimensional information of image
KR102560029B1 (ko) * 2016-09-12 2023-07-26 삼성전자주식회사 가상 현실 콘텐트를 송수신하는 방법 및 장치
US10600150B2 (en) * 2016-10-31 2020-03-24 Adobe Inc. Utilizing an inertial measurement device to adjust orientation of panorama digital images
US20180130264A1 (en) * 2016-11-04 2018-05-10 Arnoovo Inc. Virtual reality editor
KR20180060236A (ko) * 2016-11-28 2018-06-07 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
US10147243B2 (en) * 2016-12-05 2018-12-04 Google Llc Generating virtual notation surfaces with gestures in an augmented and/or virtual reality environment
US10055028B2 (en) * 2016-12-05 2018-08-21 Google Llc End of session detection in an augmented and/or virtual reality environment
US10409080B2 (en) * 2017-02-01 2019-09-10 Facebook Technologies, Llc Spherical display using flexible substrates
US10338675B2 (en) * 2017-02-14 2019-07-02 Facebook Technologies, Llc Selective color sensing for motion tracking
KR20180099182A (ko) * 2017-02-28 2018-09-05 엘지전자 주식회사 헤드 마운티드 디스플레이를 포함하는 시스템 및 그 제어 방법
EP3605300A4 (en) * 2017-03-22 2020-02-26 Sony Corporation IMAGE PROCESSING DEVICE AND METHOD AND PROGRAM

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6037882A (en) * 1997-09-30 2000-03-14 Levy; David H. Method and apparatus for inputting data to an electronic system
CN106023241A (zh) * 2012-06-29 2016-10-12 索尼电脑娱乐公司 影像处理装置、影像处理方法及影像处理***
JP2016139375A (ja) * 2015-01-29 2016-08-04 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
JP2016201777A (ja) * 2015-04-14 2016-12-01 株式会社ナチュラレーザ・ワン ヘッドマウントディスプレイ
CN106291930A (zh) * 2015-06-24 2017-01-04 联发科技股份有限公司 头戴式显示器
WO2017014359A1 (ko) * 2015-07-20 2017-01-26 한국원자력연구원 원자력 시설의 해체 작업 시뮬레이션 장치 및 그 방법
CN106484085A (zh) * 2015-08-31 2017-03-08 北京三星通信技术研究有限公司 在头戴式显示器中显示真实物体的方法及其头戴式显示器
JP2017054201A (ja) * 2015-09-07 2017-03-16 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像生成方法
CN205845105U (zh) * 2016-05-27 2016-12-28 杭州映墨科技有限公司 一种用于虚拟看房的虚拟现实空间移动定位装置
JP2018028834A (ja) * 2016-08-19 2018-02-22 株式会社コロプラ 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
增强现实技术综述;侯颖等;《计算机测量与控制》;20170225(第02期);全文 *

Also Published As

Publication number Publication date
US20210125388A1 (en) 2021-04-29
JPWO2018173790A1 (ja) 2020-01-30
JP7070547B2 (ja) 2022-05-18
EP3606049A1 (en) 2020-02-05
WO2018173790A1 (ja) 2018-09-27
US11308670B2 (en) 2022-04-19
CN110402578A (zh) 2019-11-01
EP3606049A4 (en) 2020-04-22
EP3606049B1 (en) 2024-06-26

Similar Documents

Publication Publication Date Title
US11070724B2 (en) Image processing apparatus and method
US11227446B2 (en) Systems, methods, and graphical user interfaces for modeling, measuring, and drawing using augmented reality
KR101860313B1 (ko) 3차원 공간에서의 장면 편집 방법 및 시스템
KR101052805B1 (ko) 증강 현실 환경에서의 3차원 모델 객체 저작 방법 및 시스템
TWI606384B (zh) 透過自由形式描繪之吸引人的顯示
CN105378594A (zh) 显示装置及其控制方法
CN111064999B (zh) 用于处理虚拟现实输入的方法和***
KR20090056760A (ko) 증강현실 저작 방법 및 시스템과 그 프로그램을 기록한컴퓨터로 읽을 수 있는 기록 매체
JP5868044B2 (ja) 情報処理装置及びその制御方法、プログラム、コンピュータが読み取り可能なプログラム記憶媒体
Whitlock et al. AuthAR: concurrent authoring of tutorials for AR assembly guidance
JP4458886B2 (ja) 複合現実感画像の記録装置及び記録方法
CN110402578B (zh) 图像处理装置、方法和记录介质
JP2007060028A (ja) 映像処理装置及びオブジェクト処理方法
US10637905B2 (en) Method for processing data and electronic apparatus
KR101743624B1 (ko) 강의 동영상에 북마크를 부가하는 방법 및 컴퓨터 프로그램
JP3413145B2 (ja) 仮想空間の編集方法及び仮想空間の編集装置
JP2018036942A (ja) ３次元ユーザインタフェース装置および３次元操作用プログラム
JP4786486B2 (ja) 情報処理装置および情報処理装置の制御方法およびプログラム
KR101263881B1 (ko) 무인 방송 제어 시스템
CN112020719A (zh) 三维环境中的数字标记

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant