WO2023095642A1 - 画像処理装置、画像処理方法、プログラム - Google Patents

画像処理装置、画像処理方法、プログラム Download PDF

Info

Publication number
WO2023095642A1
WO2023095642A1 PCT/JP2022/042051 JP2022042051W WO2023095642A1 WO 2023095642 A1 WO2023095642 A1 WO 2023095642A1 JP 2022042051 W JP2022042051 W JP 2022042051W WO 2023095642 A1 WO2023095642 A1 WO 2023095642A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
image
display area
unit
image processing
Prior art date
Application number
PCT/JP2022/042051
Other languages
English (en)
French (fr)
Inventor
翔 小倉
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023095642A1 publication Critical patent/WO2023095642A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/373—Details of the operation on graphic patterns for modifying the size of the graphic pattern
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present technology relates to an image processing device, an image processing method, and a program, and particularly to the technical field of confirming an input image.
  • VR Virtual Reality
  • a spherical unfolded image which is an example of an input image, is generated by stitching together multiple captured images obtained by shooting with multiple cameras. Then, the omnidirectional unfolded image obtained by the stitching process is edited to generate a final input image (see Patent Document 1, for example).
  • the omnidirectional unfolded image is represented by, for example, an equirectangular two-dimensional image. Therefore, when the user confirms the omnidirectional unfolded image on the head-mounted display, the user can confirm only a part of the omnidirectional unfolded image, but cannot confirm the other area.
  • This technology has been developed in view of such problems, and aims to facilitate confirmation of the input image.
  • An image processing apparatus includes a display area determination unit that determines a first display area and a second display area different from the first display area from an input image; and a display control section for displaying the images of the first display area and the second display area as partial images on the edit status confirmation display section.
  • the image processing device causes the display unit to display, for example, the partial image that the wearer is confirming on the head-mounted display and the other partial images.
  • FIG. 1 is a diagram showing the configuration of an image processing system;
  • FIG. It is a figure explaining the structure of VR conversion apparatus. It is a figure explaining the functional structure of a VR conversion apparatus. It is a figure explaining the structure of a plane conversion apparatus. It is a figure explaining the functional structure of a plane conversion apparatus.
  • 4 is a flow chart showing an overview of the flow of processing in a plane conversion device; It is a figure explaining the image displayed on a display part and a head mounted display. It is a figure explaining a 1st display mode. It is a figure explaining a 2nd display mode. It is a figure explaining a 3rd display mode. It is a figure explaining a 4th display mode. It is a figure explaining a 5th display mode.
  • FIG. 10 is a diagram illustrating an example of displaying parallax images as partial images; It is a figure explaining the modification of a display frame.
  • FIG. 1 is a diagram showing the configuration of an image processing system 1.
  • an image processing system 1 as an embodiment of the present technology includes an omnidirectional camera device 2, a VR conversion device 3, a plane conversion device 4, a controller 5, an external monitor 6, a head mounted display (HMD : Head Mounted Display) 7 and a tracking device 8 .
  • HMD Head Mounted Display
  • the omnidirectional camera device 2 has two fish-eye cameras 2a, each of which employs a fish-eye lens with an omnidirectional viewing angle of, for example, 220 degrees or more, arranged back-to-back. Surrounding photography is possible.
  • two fisheye cameras 2a are connected to a VR conversion device 3 via SDI (Serial Digital Interface) standard cables (hereinafter referred to as SDI cables).
  • SDI cables Serial Digital Interface
  • the omnidirectional camera device 2 encodes the fisheye images captured by the two fisheye cameras 2a in a predetermined format and outputs them as VR image signals to the VR conversion device 3 via the SDI cable.
  • the fisheye image omnidirectional image
  • the VR conversion device 3 generates a 360-degree omnidirectional VR image by stitching two fisheye images captured by the two fisheye cameras 2a of the omnidirectional camera device 2. do.
  • the VR conversion device 3 is connected to the plane conversion device 4 by wire or wirelessly, and outputs the omnidirectional unfolded image to the plane conversion device 4 .
  • a plane conversion device 4 as an image processing device is connected to a controller 5, an external monitor 6, a head-mounted display 7 (shown as HMD in the figure), and a tracking device 8 by wire or wirelessly.
  • the flat conversion device 4 is connected to the external monitor 6 via an HDMI (High-Definition Multimedia Interface (registered trademark)) cable or an SDI cable.
  • the planar conversion device 4 cuts out all or part of the omnidirectional unfolded image input from the VR conversion device 3 based on a user operation on the controller 5, performs predetermined signal processing on the cut out image, and converts it into a partial image. By outputting to the external monitor 6, the partial image is displayed on the external monitor 6. - ⁇ The flat conversion device 4 can also display the partial image on the head-mounted display 7 . The flat conversion device 4 can generate different images for the external monitor 6 and the head mounted display 7 .
  • the controller 5 has a plurality of operators that accept user operations, and outputs signals corresponding to the operated operators to the plane conversion device 4 .
  • the operators are keyboards, mice, buttons, dials, touch pads, remote controllers, and the like.
  • the external monitor 6 is a liquid crystal display, an organic EL (Electroluminescence) display, or the like.
  • the external monitor 6 displays a partial image or the like input from the flat conversion device 4 .
  • the head-mounted display 7 is a head-mounted display that is worn on the wearer's head.
  • a liquid crystal display, an organic EL display, or the like is used as the display portion of the head-mounted display 7 .
  • the head-mounted display 7 displays the partial image input from the flat conversion device 4 .
  • the head-mounted display 7 includes an eye sensor for detecting the line-of-sight position of the wearer, a 6 DoF gyro sensor for detecting the movement and rotation of the head-mounted display 7, that is, the posture of the head-mounted display 7, and the like. , and the signals detected by these sensors can be output to the plane conversion device 4 .
  • the tracking device 8 is a device that tracks (follows) the position of a specific person or object. For example, the tracking device 8 tracks the position of the target by having a specific person to be tracked hold a sensor and tracking the position of the sensor. The tracking device 8 then outputs information indicating the position of the object to be tracked to the plane conversion device 4 .
  • the image processing system 1 a user who uses the input unit 47 of the controller 5 and the plane conversion device 4 to convert the omnidirectional development image captured by the omnidirectional camera device 2 and generated by the VR conversion device 3 .
  • the producer is made to check the display section 48 of the flat conversion device 4, the external monitor 6, the head mounted display 7, or the like.
  • the image processing system 1 is a system that generates an omnidirectional unfolded image and allows the creator to check the omnidirectional unfolded image.
  • the confirmation means confirming how the generated omnidirectional unfolded image is displayed on the head-mounted display 7 before providing the omnidirectional unfolded image as the input image. and confirmation in order to edit the omnidirectional unfolded image provided as an input image.
  • the producer includes various persons who provide content, such as a director, cameraman, engineer, lighting staff, performer's manager, make-up staff, production instructor, performer, and the like. These producers will confirm the area to be confirmed in the omnidirectional image according to their respective roles.
  • FIG. 2 is a diagram for explaining the configuration of the VR conversion device 3.
  • the VR conversion device 3 is a computer including a CPU (Central Processing Unit) 11 , a ROM (Read Only Memory) 12 , a RAM (Random Access Memory) 13 and a GPU (Graphics Processing Unit) 14 .
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • GPU Graphics Processing Unit
  • the CPU 11 executes various processes according to programs stored in the ROM 12 or the storage unit 16.
  • the RAM 13 also stores data necessary for the CPU 11 to execute various processes.
  • the GPU 14 has the function of a geometry engine and the function of a rendering processor, performs image processing according to drawing commands from the CPU 11, and stores the processed image in a frame buffer (not shown). Then, the GPU 14 outputs the image stored in the frame buffer to the plane conversion device 4 as a VR image (omnidirectional image).
  • the CPU 11, ROM 12, RAM 13 and GPU 14 are interconnected via a bus 15.
  • a storage unit 16 , a communication unit 17 and a connection unit 18 are also connected to the bus 15 .
  • the storage unit 16 is composed of a storage medium such as a solid-state memory.
  • the storage unit 16 can store, for example, various types of information to be described later.
  • the storage unit 16 can also be used to store program data for the CPU 11 to execute various processes.
  • the communication unit 17 performs wired or wireless communication with another device (for example, the planar conversion device 4).
  • connection unit 18 is a port for connecting other devices such as a USB (Universal Serial Bus) port, IEEE1394 port, SDI port, HDMI port, and the like.
  • USB Universal Serial Bus
  • the connection unit 18 is connected to two fisheye cameras 2a of the omnidirectional camera device 2 via two SDI cables.
  • FIG. 3 is a diagram explaining the functional configuration of the VR conversion device 3.
  • the VR conversion device 3 functions as an EOTF (Electro-Optical Transfer Function) unit 31, a VR conversion unit 32, a rendering unit 33, and an encoder unit 34 by a CPU 11 and a GPU 15, which are mainly arithmetic processing units. do.
  • these functional units may function only with one of the CPU 11 and the GPU 14, or may function with both the CPU 11 and the GPU 14 working together.
  • the VR conversion device 3 only needs to be able to generate an omnidirectional unfolded image from the fisheye image captured by the omnidirectional camera device 2, and the functional unit described here is an example.
  • the EOTF unit 31 performs LUT processing using a LUT (lookup table) and EOTF processing using an EOTF (electro-optical transfer characteristic) for each of the two fisheye images input from the omnidirectional camera device 2. , luminance correction, color gamut correction, and the like are performed.
  • the VR conversion unit 32 performs distortion correction processing for correcting distortion due to the fisheye lens of the omnidirectional camera device 2 on the two fisheye images after the correction processing by the EOTF unit 31, and converts them to ERP (EquiRectangular Projection: An equirectangular image is generated by projective transformation using equirectangular projection.
  • ERP EquiRectangular Projection
  • the rendering unit 33 synthesizes two equirectangular images by performing stitch processing on the two equirectangular images after projective transformation. Then, the rendering unit 33 performs rendering processing such as color gamut conversion processing, OETF processing using OETF (Optical-Electro Transfer Function: photoelectric conversion characteristics), LUT processing, etc. on the combined image, thereby performing omnidirectional expansion. Generate an image.
  • the encoder unit 34 converts the rendered omnidirectional image into a format such as HDMI or SDI, and outputs the converted image data to the plane conversion device 4 .
  • FIG. 4 is a diagram for explaining the configuration of the plane conversion device 4.
  • the plane conversion device 4 is a computer having a CPU 41, a ROM 42, a RAM 43, and a GPU 44.
  • the plane conversion device 4 is a computer having a CPU 41, a ROM 42, a RAM 43, and a GPU 44.
  • the CPU 41 executes various processes according to programs stored in the ROM 42 or the storage unit 50 .
  • the RAM 43 also stores data necessary for the CPU 41 to execute various processes.
  • the GPU 44 has the function of a geometry engine and the function of a rendering processor, performs image processing according to drawing commands from the CPU 11, and stores the processed image in a frame buffer (not shown). Then, the GPU 44 outputs the image stored in the frame buffer to the display unit 48, the external monitor 6, or the head mounted display 7 for display.
  • the CPU 41 , ROM 42 , RAM 43 and GPU 44 are interconnected via a bus 45 .
  • An input/output interface 46 is also connected to the bus 45 .
  • the input/output interface 46 includes an input unit 47 for a user to perform an input operation, a display unit 48 such as a liquid crystal display or an organic EL display, an audio output unit 49 such as a speaker, a storage unit 50, a communication unit 51, a connection 52 or the like can be connected.
  • the input unit 47 means an input device used by the user who uses the plane conversion device 4 .
  • the input unit 47 may be a keyboard, a mouse, a button, a dial, a touch pad, a remote controller, or any other operator or operation device.
  • a user operation is detected by the input unit 47 and a signal corresponding to the input operation is input to the CPU 41 .
  • the display unit 48 displays various images based on instructions from the CPU 41 or GPU 44 .
  • the display unit 48 can also display various operation menus, icons, messages, etc., that is, GUI (Graphical User Interface) based on instructions from the CPU 41 or GPU 44 .
  • GUI Graphic User Interface
  • the storage unit 50 is composed of a storage medium such as a solid-state memory.
  • the storage unit 50 can store, for example, various types of information to be described later.
  • the storage unit 50 can also be used to store program data for the CPU 41 to execute various processes.
  • the communication unit 51 performs wired or wireless communication with another device (for example, the VR conversion device 3).
  • the connection unit 52 is a port for connecting other devices such as a USB (Universal Serial Bus) port, IEEE1394 port, SDI port, HDMI port, and the like.
  • the connection section 52 is connected to the external monitor 6 via four SDI cables and one HDMI cable.
  • the connection unit 52 is connected to the head mounted display 7 via one HDMI cable.
  • various images are output from the connection unit 52 and displayed on the display units of the external monitor 6 and the head mounted display 7 . That is, the connection unit 52 functions as an output unit that outputs various image signals.
  • FIG. 5 is a diagram for explaining the functional configuration of the plane conversion device 4.
  • FIG. 6 is a flow chart showing an overview of the flow of processing in the plane conversion device 4. As shown in FIG.
  • the plane conversion device 4 functions as a display mode setting section 61, a display area determination section 62, a plane conversion section 63, and a display control section 64 mainly by a CPU 41 and a GPU 44, which are arithmetic processing units. Note that these functional units may function only with one of the CPU 41 and the GPU 44, or may function with both the CPU 41 and the GPU 44 working together.
  • the plane conversion device 4 is provided with a plurality of modes for cutting out all or part of the omnidirectional developed image and displaying it on the external monitor 6 as a partial image, as will be described later in detail.
  • the display mode setting unit 61 determines one mode selected by the user from among a plurality of modes.
  • the display area determining unit 62 determines the omnidirectional image based on the selected mode, the user's operation on the controller 5 and the input unit 47, etc., in step S3.
  • a region of a partial image to be displayed on the external monitor 6 or the head mounted display 7 is determined as a display region from the spherical developed image.
  • step S4 the plane conversion unit 63 cuts out the image portion of the display area determined by the display area determination unit 62 from the omnidirectional unfolded image, and performs distortion correction processing (planar projection) to correct distortion of the cut-out image portion. correction processing), etc., to generate a partial image that is a planar image.
  • distortion correction processing plane projection
  • step S5 the display control unit 64 controls image display on the external monitor 6, the head mounted display 7 and the display unit 48.
  • the display control unit 64 causes the external monitor 6 and the head mounted display 7 to display the partial image generated by the plane conversion unit 63 .
  • the display mode setting unit 61 a person who visually recognizes (confirms) the external monitor 6 and the display unit 48 is referred to as a user, and a person wearing the head mounted display 7 is referred to as a wearer.
  • Mode> 7A and 7B are diagrams for explaining images displayed on the display unit 48 and the head mounted display 7.
  • FIG. First a case where an omnidirectional unfolded image generated from a fisheye image captured by the omnidirectional camera device 2 is displayed on the head mounted display 7 will be described.
  • the omnidirectional unfolded image 100 captured by the omnidirectional camera device 2 and generated by the VR conversion device 3 is displayed on the display unit 48 , and the head mounted display 7 A part of the omnidirectional unfolded image 100 is displayed on the head mounted display 7 as a partial image (here, HMD partial image 105) based on the posture of .
  • the display area determination unit 62 determines the display area 101 according to the posture of the wearer from the omnidirectional unfolded image 100 based on the posture information transmitted from the head-mounted display 7 . Then, the plane conversion unit 63 cuts out the determined image portion of the display area 101 from the omnidirectional unfolded image 100 and performs distortion correction processing on the cut out image to generate the HMD partial image 105 . Then, the display control unit 64 outputs the generated image signal of the HMD partial image 105 to the head mounted display 7 to display the HMD partial image 105 on the display unit of the head mounted display 7 .
  • the creator confirms the entire omnidirectional unfolded image 100 using the head mounted display 7. is difficult. It is also possible to display the omnidirectional unfolded image 100 on the external monitor 6 or the display unit 48 for confirmation. It is difficult to confirm all areas using the developed image 100 .
  • the planar conversion device 4 is provided with a plurality of modes, and all or part of the omnidirectional unfolded image 100 is displayed on the external monitor 6 and the display unit 48 in the mode selected by the user.
  • the flat conversion device 4 is provided with six modes, ie, a first display mode to a sixth display mode.
  • the image displayed on the display unit 48 is set to the omnidirectional unfolded image 100 in common from the first display mode to the sixth display mode.
  • a part of the omnidirectional unfolded image 100 can be displayed as the HMD partial image 105 on the head mounted display 7. ing.
  • FIG. 8 is a diagram explaining the first display mode.
  • the first display mode is a mode in which the entire omnidirectional unfolded image 100 is displayed on the display unit 48 and the entire omnidirectional unfolded image 100 is mirror-displayed on the external monitor 6 as well. .
  • the display control unit 64 When the display mode setting unit 61 sets the first display mode according to the user operation on the controller 5, the display control unit 64 outputs the image signal of the omnidirectional unfolded image 100 to the external monitor 6 so that the external monitor 6 displays the omnidirectional unfolded image 100 .
  • the external monitor 6 which has more pixels and a larger screen than the display unit 48, displays the omnidirectional unfolded image 100, thereby allowing the user to confirm the omnidirectional unfolded image 100 as a whole. becomes possible.
  • FIG. 9 is a diagram explaining the second display mode. As shown in FIG. 9, in the second display mode, the entire omnidirectional unfolded image 100 is displayed on the display unit 48, and a partial image 110 ( 110a to 110d) are displayed side by side.
  • the display area determining unit 62 determines four display areas 101 (101a to 101d) from the omnidirectional unfolded image 100. .
  • the angle of view of the display area 101 is preset to 60 degrees in the vertical direction and 90 degrees in the horizontal direction. Further, the display area determination unit 62 determines the display area 101a centered on the preset central position in the omnidirectional unfolded image 100, the display area 101b adjacent to the right side of the display area 101a, and the display area 101b adjacent to the left side of the display area 101a. A display area 101c, a display area 101b, and a display area 101d adjacent to the display area 101c are determined.
  • the display area 101d is an area that is exactly opposite (180 degrees opposite) in the horizontal direction of the omnidirectional unfolded image 100 from the display area 101a.
  • the central position of the omnidirectional unfolded image 100 may be the center of the fisheye image captured by one of the fisheye cameras 2a of the omnidirectional camera device 2. It may be specified by the user.
  • the display ranges (angles of view) of the display areas 101a to 101d and the set positions can be changed as appropriate.
  • the display areas 101a to 101d may be determined according to the resolution (the number of pixels) of the display section of the head mounted display 7, or according to the display angle of view of the display section of the head mounted display 7. may be set.
  • the display areas 101a to 101d may be determined as display areas specified by the user.
  • the plane conversion unit 63 cuts out image portions of the determined display areas 101a to 101d from the omnidirectional unfolded image 100, performs distortion correction processing on the cut out image portions, and generates partial images 110a to 110d. Then, the display control unit 64 outputs the image signals of the partial images 110a to 110d to the external monitor 6 so that the external monitor 6 displays the partial images 110a to 110d of the display areas 101a to 101d side by side. At this time, the plane conversion device 4 may separately output the image signals of the partial images 110a to 110d to the external monitor 6 through four SDI cables, or convert the partial images 110a to 110d into one image. They may be synthesized and output to the external monitor 6 through one SDI cable.
  • the display control unit 64 superimposes display frames 102a to 102d indicating the display areas 101a to 101d on the omnidirectional unfolded image 100 displayed on the display unit 48 in different display modes. Further, the display control unit 64 selects the display frames 111a to 111d having the same display mode as the display frames 102a to 102d of the corresponding display areas 101a to 101d for the partial images 110a to 110d displayed on the external monitor 6. Display superimposed.
  • the different display mode means a display mode in which the user can identify that each is different, such as different frame colors, different frame widths, different line types, and the like. be.
  • the user can see the display area 101 in the omnidirectional unfolded image 100 and the external monitor. 6, the correspondence relationship with the partial image 110 displayed in 6 can be easily and instantly grasped.
  • FIGS. 10 to 13 are diagrams for explaining the third to sixth display modes.
  • the entire omnidirectional unfolded image 100 is displayed on the display unit 48, and a portion of the omnidirectional unfolded image 100 is displayed on the external monitor 6.
  • this mode one or a plurality of partial images 110 obtained by cutting out a portion are displayed, and a panorama image 120 having an aspect ratio that is longer than the display area 101 is displayed below the external monitor 6 .
  • the display area determination unit 62 converts the omnidirectional unfolded image 100 into the omnidirectional unfolded image 100.
  • a panorama display area is set with a central position set in advance in the image 100 as the center and an angle of view of, for example, 60 degrees in the vertical direction and 360 degrees in the horizontal direction.
  • the display area determining unit 62 determines one display area 101 (display area 101a) from the omnidirectional unfolded image 100 in the case of the third display mode, and determines the omnidirectional unfolded image 101a in the case of the fourth display mode. Two display areas 101 (display areas 101 a and 101 b ) are determined from the image 100 . In addition, the display area determination unit 62 determines three display areas (display areas 101a to 101c) from the omnidirectional unfolded image 100 in the case of the fifth display mode, and determines the omnidirectional display area in the case of the sixth display mode. Four display areas (display areas 101a to 101d) are determined from the developed image 100. FIG. These display areas 101a to 10d are determined in the same manner as in the second display mode.
  • the plane conversion unit 63 cuts out one or more of the display areas 101a to 101d determined according to the mode and the image portion of the panorama display area from the omnidirectional unfolded image 100, and distorts the cutout image portion. Perform correction processing. Thereby, the plane conversion unit 63 generates a partial image (one or more of 110a to 110d) and a panorama image 120.
  • FIG. 1 A partial image (one or more of 110a to 110d) and a panorama image 120.
  • Display control unit 64 outputs image signals of partial images (one or more of 110a to 110d) determined according to the mode and panorama image 120 to external monitor 6, so that external monitor 6 displays
  • the generated partial images 110 are displayed side by side in the upper part, and the panoramic image 120 is displayed in the lower part.
  • the display control unit 64 also controls the display frame 102 (102a) indicating the display area 101 (one or more of the display areas 101a to 101d) according to the mode for the omnidirectional unfolded image 100 displayed on the display unit 48. 102d) are superimposed and displayed.
  • the display control unit 64 causes the partial images 110 (one or more of the partial images 110a to 100d) displayed on the external monitor 6 to display the same images as the display frames 102a to 102d of the corresponding display areas 101a to 101d, respectively.
  • a display frame 111 (one or more of 111a to 111d) of the display mode is superimposed and displayed.
  • the display control unit 64 controls the display frames 112 (112a to 112d) of the same display mode as the display frames 102a to 102d of the corresponding display areas 101a to 101d for the panorama image 120 displayed on the external monitor 6. 1 or more) are superimposed and displayed.
  • the number of partial images 110 specified by the user is displayed on the external monitor 6, and the panorama image 120 is displayed on the external monitor 6.
  • the panorama image 120 is displayed on the external monitor 6.
  • the display control unit 64 may superimpose the view angle information 113 indicating the view angle of the partial image 110 on the partial image 110 .
  • “FOV (Field Of View) H: 90” indicates that the horizontal angle of view is 90 degrees
  • “FOV V: 60” indicates that the vertical angle of view is 60 degrees. is shown. Note that the view angle information 113 can be displayed on the partial image 110 in all modes.
  • the position and size of the display area 101 in the omnidirectional unfolded image 100 can be changed according to the user's operation via the controller 5 . Specifically, the display area 101 can be moved vertically (vertically) and horizontally (horizontally), and can be enlarged and reduced. Note that these changes can be made in any of the second to sixth display modes.
  • FIG. 14 is a diagram explaining a case where the display area 101 is moved rightward.
  • FIG. 15 is a diagram illustrating a case where the display area 101 is moved upward. 14 and 15 show the case of the third display mode.
  • the controller 5 is provided with operators (buttons) to which upward movement, downward movement, leftward movement, and rightward movement are assigned. Then, when these operators provided on the controller 5 are operated, the display area determination unit 62 moves the display area 101 according to the operation of the operators. For example, as shown in FIG. 14, when an operator assigned to move rightward is operated, the display area determination unit 62 moves the display area 101a rightward.
  • the plane conversion unit 63 cuts out the image portion of the moved display area 101a from the omnidirectional unfolded image 100, performs distortion correction processing on the cut out image portion, and generates a partial image 110a.
  • the display control unit 64 outputs the generated image signal of the partial image 110a to the external monitor 6, so that the external monitor 6 displays the partial image 110a of the moved display area 101a.
  • the display control unit 64 moves and displays the display frame 102a of the omnidirectional unfolded image 100 displayed on the display unit 48 and the display frame 112a of the panoramic image 120 displayed on the external monitor 6 .
  • the display control unit 64 displays the display frame 112a as an octagon as a whole, with the right side being larger than the left side, in order to facilitate confirmation that the movement is being performed in the right direction.
  • the display area determination unit 62 moves the display area 101a upward as shown in FIG.
  • the plane conversion unit 63 cuts out the image portion of the moved display area 101a from the omnidirectional unfolded image 100, performs distortion correction processing on the cut out image portion, and generates a partial image 110a.
  • the display control unit 64 outputs the generated image signal of the partial image 110a to the external monitor 6, so that the external monitor 6 displays the partial image 110a of the moved display area 101a.
  • the display control unit 64 moves and displays the display frame 102a of the omnidirectional unfolded image 100 displayed on the display unit 48 and the display frame 112a of the panoramic image 120 displayed on the external monitor 6 .
  • the display control unit 64 displays, for example, the lower side of the display frame 112a of the panorama image 120 in a substantially trapezoidal shape contracted in the horizontal direction in order to easily confirm that the movement is being performed in the upward direction. .
  • FIG. 16 is a diagram illustrating a case where the display area 101 is enlarged. Note that FIG. 16 shows the case of the third display mode.
  • the controller 5 is provided with operators (buttons) to which enlarged display and reduced display are respectively assigned. Then, when these operators provided on the controller 5 are operated, the display area determination unit 62 enlarges or reduces the display area 101 according to the operation of the operators.
  • the display area determination unit 62 reduces the display area 101a in order to enlarge and display the partial image 110a.
  • the plane conversion unit 63 cuts out an image portion of the reduced display area 101a from the omnidirectional unfolded image 100, performs distortion correction processing on the cut out image portion, and generates a partial image 110a.
  • the display control unit 64 outputs the image signal of the generated partial image 110a to the external monitor 6, thereby causing the external monitor 6 to display the enlarged partial image 110a.
  • the display control unit 64 also reduces the display frame 102a of the omnidirectional unfolded image 100 displayed on the display unit 48 and the display frame 112a of the panoramic image 120 displayed on the external monitor 6 .
  • FIG. 17 is a diagram for explaining a case of moving the plurality of display areas 101 to the right. Note that FIG. 17 shows the case of the fourth display mode.
  • the controller 5 is provided with operators (buttons) for selecting a plurality of display areas 101 . For example, after the two display areas 101a and 101b are selected, when an operator assigned to move rightward is operated, the display area determination unit 62 selects the two display areas 101a and 101b as shown in FIG. The two display areas 101a and 101b are moved in conjunction with each other in the right direction.
  • the plane conversion unit 63 cuts out image portions of the two display areas 101a and 101b that have been moved from the omnidirectional unfolded image 100, and performs distortion correction processing on the cut out image portions to generate partial images 110a and 110b. .
  • the display control unit 64 transmits image signals of the generated partial images 110a and 110b to the external monitor 6 so that the external monitor 6 displays the moved two partial images 110a and 110b.
  • the display control unit 64 controls the display frames 102a and 102b of the omnidirectional unfolded image 100 displayed on the display unit 48 and the display frames 112a and 112b of the panorama image 120 displayed on the external monitor 6 as shown in FIG. Move and display in the same way as in the example of .
  • the display area determining unit 62 expands the selected plurality of display areas 101 in conjunction with each other. Or it can be reduced.
  • FIG. 18 is a diagram for explaining the relationship with the partial image 110 on the head mounted display 7. As shown in FIG. FIG. 18 shows the case of the second display mode. Further, the lower part of FIG. 18 shows the display areas 101a to 101d as viewed from above.
  • one partial image 110a out of the four partial images 110a to 110d is the same as the HMD partial image 105 displayed on the head-mounted display .
  • the display region determination unit 62 determines the display region 101 (display region 101a) according to the posture.
  • the plane conversion unit 63 cuts out the image portion of the display area 101 from the omnidirectional unfolded image 100, performs distortion correction processing on the cut out image portion, and generates a partial image (HMD partial image 105, partial image 110a). do.
  • the display control unit 64 outputs the image signal of the partial image to the external monitor 6 and the head mounted display 7 to display the partial image 110 a on the external monitor 6 and display the HMD partial image 105 on the head mounted display 7 .
  • the plane conversion device 4 allows the user to confirm the HMD partial image 105 that the wearer is confirming on the head-mounted display 7 as the partial image 110a on the external monitor 6 .
  • the display area determination unit 62 displays the omnidirectional unfolded image 100 at the same angle of view in the vertical direction as the display area 101a corresponding to the attitude of the head mounted display 7 and in the horizontal direction.
  • Three display areas 101b to 101d having angles of view obtained by equally dividing the range excluding the angle of view of the display area 101a by the number of other display areas (three) are determined.
  • the plane conversion unit 63 cuts out image portions of the display areas 101b to 101d from the omnidirectional unfolded image 100, performs distortion correction processing on the cut out image portions, and generates partial images 110b to 110d.
  • the display control unit 64 outputs the image signals of the partial images 110b to 110d to the external monitor 6, thereby causing the external monitor 6 to display the partial images 110b to 110d.
  • the display area determination unit 62 determines the display area 101a displayed on the head mounted display 7 in the omnidirectional unfolded image 100 and the display areas 101b to 101d of the omnidirectional unfolded image 100 different from the display area 101a. to determine. Then, the display control unit 64 causes the external monitor 6 to display the partial images 110a to 110d of the display area 101a and the display areas 101b to 101d.
  • the HMD partial image 105 that the wearer is confirming on the head mounted display 7 can be the partial image 110a, and the other partial images 110b to 110d can be confirmed by the user.
  • the plane conversion device 4 can allow the user to check the region in the omnidirectional unfolded image 100 that is difficult for the wearer of the head mounted display 7 to check.
  • the display control unit 64 superimposes the display frames 111a to 111d of the display areas 101a to 101d displayed on the external monitor 6.
  • FIG. 19 is a diagram for explaining the relationship between the head mounted display 7 and the HMD partial image 105. As shown in FIG. FIG. 19 shows the case of the fourth display mode. The lower part of FIG. 19 shows the display areas 101a and 101b as viewed from above.
  • one partial image 110a of the two partial images 110a and 110b is the same as the HMD partial image 105 displayed on the head mounted display 7.
  • the display region determination unit 62 determines the display region 101 (display region 101a) according to the posture.
  • the plane conversion unit 63 cuts out the image portion of the display area 101a from the omnidirectionally developed image 100, performs distortion correction processing on the cut out image portion, and generates a partial image (HMD partial image 105, partial image 110a). do.
  • the display control unit 64 outputs the image signal of the partial image to the external monitor 6 and the head mounted display 7 to display the partial image 110 a on the external monitor 6 and display the HMD partial image 105 on the head mounted display 7 .
  • the display area determining unit 62 displays the omnidirectional unfolded image 100 at the same angle of view in the vertical direction as the display area 101a corresponding to the attitude of the head mounted display 7 and in the horizontal direction.
  • a display area 101b diametrically opposite (180 degrees opposite) is determined.
  • the plane conversion unit 63 cuts out the image portion of the display area 101b from the omnidirectional unfolded image 100, performs distortion correction processing on the cut out image portion, and generates a partial image 110b. 19, the display control unit 64 outputs the image signal of the partial image 110b to the external monitor 6, thereby causing the external monitor 6 to display the partial image 110b.
  • planar conversion device 4 can allow the user to check the diametrically opposite region in the omnidirectional unfolded image 100 that is most difficult for the wearer of the head mounted display 7 to check.
  • the display control unit 64 superimposes the display frames 111a to 111d of the display areas 101a to 101d displayed on the external monitor 6, and superimposes the display frames 112a and 112b on the panorama image 120.
  • FIG. 20 is a diagram illustrating an example of tracking display. Note that FIG. 20 shows the case of the third display mode.
  • display control is performed so that the tracking target being tracked by the tracking device 8 is displayed in the partial image 110 .
  • the tracking device 8 is following an object to be tracked, such as vocals, at a concert. It is assumed that the target to be tracked is moving leftward from the left side of FIG. 20 to the right side of FIG.
  • the display area determination unit 62 performs tracking based on information indicating the position of the tracking target from the tracking device 8 each time the omnidirectional unfolded image 100 is input from the VR conversion device 3 (each frame). A display area 101a containing (centered on) the target position is determined.
  • the plane conversion unit 63 cuts out the image portion of the display area 101a from the omnidirectional unfolded image 100, performs distortion correction processing on the cut out image portion, and generates a partial image 110a. Then, the display control unit 64 outputs the image signal of the partial image 110a to the external monitor 6 so that the external monitor 6 displays the partial image 110a in which the tracking target is displayed in the center.
  • FIG. 21 is a diagram for explaining the display area according to the resolution of the head-mounted display 7. As shown in FIG. Note that FIG. 21 shows an example in which the resolution of the head mounted display 7 is low resolution, medium resolution, and high resolution in order from the left. Also, FIG. 21 shows the case of the third display mode.
  • the display area 101 corresponding to the resolution of the head-mounted display 7 is determined, and the partial image 110 of the determined display area 101 is displayed on the external monitor 6 .
  • the head mounted display 7 has different display resolutions depending on the type.
  • Various resolutions such as VGA (Video Graphics Array), FHD (Full High Definition), and QHD (Quarter High Definition) are used for the head mounted display 7 .
  • the storage unit 50 of the flat conversion device 4 stores resolution information for each type of the head mounted display 7 . Then, when one of the head mounted displays 7 is selected via the controller 5, the display area 101a is determined from the omnidirectional unfolded image 100 so as to have the resolution of the selected head mounted display 7. FIG.
  • the display area 101a when the low-resolution head-mounted display 7 is selected, the display area 101a also becomes smaller, and a relatively enlarged partial image 110a is displayed on the external monitor 6. .
  • the display area 101a becomes larger than when the low-resolution head-mounted display 7 is selected, and a zoomed-out partial image 110a is displayed on the external monitor 6. become.
  • the display area 101a becomes larger than that of the middle-resolution, and the zoomed-out partial image 110a is displayed on the external monitor 6.
  • Display example 5 22 and 23 are diagrams for explaining an example of superimposed display of a mark corresponding to a predetermined position. 22 and 23 show the case of the third display mode.
  • a mark corresponding to a predetermined position such as the central position set in the omnidirectionally developed image 100 or a position selected by the user is superimposed on the omnidirectionally developed image 100 and the partial image 110.
  • the display control unit 64 causes the display unit 48 to: A mark 130 corresponding to that position is superimposed on the omnidirectional unfolded image 100 .
  • the display control unit 64 superimposes a mark 131 corresponding to the predetermined position on the partial image 110a displayed on the external monitor 6 as shown in the lower part of FIG.
  • the display control unit 64 displays a mark such as an arrow indicating the direction of the predetermined position on the partial image 110 displayed on the external monitor 6, as shown in the lower part of FIG. 132 is superimposed and displayed.
  • the position selected by the user and the center position set in the omnidirectional unfolded image 100 are superimposed on the marks 130 and 131, and the mark 132 indicating the direction of the predetermined position is superimposed on the display. , the user can easily grasp the predetermined position.
  • [6-6. Display example 6] 24A and 24B are diagrams for explaining an example in which a mark corresponding to a predetermined position is superimposed and displayed on the head mounted display 7.
  • the display control unit 64 causes the display unit 48 to superimpose and display the mark 130 corresponding to the position on the omnidirectional unfolded image 100 in the same manner as in the display example 5. .
  • the display control unit 64 also controls the display area 101 of the head-mounted display 7 so that the predetermined position is the display area 101 . If it is within, as shown in the upper part of FIG. 24, a mark 140 indicating the predetermined position is superimposed on the partial image 110 displayed on the head-mounted display 7 .
  • the display control unit 64 displays the partial image 110 displayed on the head-mounted display 7 in the direction of the predetermined position, as shown in the lower part of FIG. A mark 141 such as an arrow indicating is superimposed.
  • the wearer wearing the head mounted display 7 can easily grasp the predetermined position designated by the user. This allows the wearer to move the head-mounted display 7 to check the predetermined position specified by the user, and display the partial image 110 corresponding to that position on the head-mounted display 7 .
  • the display control unit 64 controls the omnidirectional unfolded image 100 displayed on the display unit 48 in the same manner as in the display examples 5 and 6. , the mark 130 corresponding to the line-of-sight position is superimposed on the omnidirectional unfolded image 100 (see FIGS. 22 and 23).
  • the display control unit 64 If the line-of-sight position is within the display area 101, the display control unit 64 superimposes a mark 131 corresponding to the line-of-sight position on the partial image 110 displayed on the external monitor 6 (see FIG. 22). .
  • the display control unit 64 If the line-of-sight position is outside the display area 101, the display control unit 64 superimposes a mark 132 such as an arrow indicating the direction of the line-of-sight position on the partial image 110 displayed on the external monitor 6 ( See Figure 23).
  • the user can easily grasp the line-of-sight position of the wearer.
  • the user can perform operations such as displaying the partial image 110 corresponding to the line-of-sight position of the wearer on the external monitor 6, and confirm the partial image 110 corresponding to the line-of-sight position.
  • FIG. 25 is a diagram illustrating an example of display according to the line-of-sight position of the wearer.
  • a partial image 110 centered on the line-of-sight position of the wearer wearing the head-mounted display 7 is displayed on the external monitor 6 .
  • the display control unit 64 receives information indicating the line-of-sight position of the wearer (indicated by a cross in the figure) from the head-mounted display 7, the display area determination unit 62 A display area 101 centered on the line-of-sight position is determined from the celestial unfolded image 100 .
  • the plane conversion unit 63 cuts out the image portion of the determined display area 101 from the omnidirectional unfolded image 100 and performs distortion correction processing on the cut out image portion to generate a partial image 110 . Then, the display control unit 64 outputs the image signal of the partial image 110 to the external monitor 6 so that the external monitor 6 displays the partial image 110 corresponding to the line-of-sight position of the wearer.
  • FIG. 26 is a diagram illustrating an example of superimposed display of the grid 150. As shown in FIG. Note that FIG. 26 shows the case of the second display mode. In display example 7, a grid 150 is superimposed on the partial image 110 displayed on the external monitor 6 .
  • the display control unit 64 superimposes grids 150 at predetermined intervals in the horizontal and vertical directions on the partial images 110a to 110d.
  • FIG. 27 is a diagram illustrating an example of displaying a parallax image as the partial image 110.
  • a parallax image 160 is displayed as the partial image 110 displayed on the external monitor 6 .
  • the VR conversion device 3 When the omnidirectional camera device 2 can capture a parallax image, the VR conversion device 3 generates a omnidirectional unfolded image 100 as a parallax image. Then, the display control unit 64 causes the external monitor 6 to display the parallax image 160 as the partial image 110 .
  • the parallax image 160 is displayed in different display modes depending on the distance.
  • the external monitor 6 has been described as an example of the editing status confirmation display unit.
  • the edit status confirmation display section may be the display section 48 of the flat conversion device 4, or may be another display section.
  • the display control unit 64 may switch and display partial images with different dynamic ranges.
  • the display control unit 64 may be configured to be able to switch between and display an SDR (Standard Dynamic Range) partial image 110 and an HDR (High Dynamic Range) partial image 110 .
  • the display control unit 64 may display the SDR partial image 110 and the HDR partial image 110 side by side on the external monitor 6 .
  • the display frame 102 may have a shape that accurately represents the area displayed as the partial image 110 in consideration of correction by distortion correction processing. Further, the display control unit 64 may switch between the display frame 102 having a shape that accurately represents the area displayed as the partial image 110 and the rectangular display frame 102 .
  • the VR conversion device 3 and the plane conversion device 4 may be configured by one computer.
  • the planar conversion device 4 also functions as the EOTF unit 31, the VR conversion unit 32, the rendering unit 33, and the encoder unit 34 of the VR conversion device 3, and performs the process of generating the omnidirectional unfolded image 100 performed by the VR conversion device 3. You can do it.
  • the input image is the omnidirectional unfolded image.
  • the input image preferably has an angle of view of at least 360 degrees in the horizontal direction, and may be a half-celestial unfolded image captured by one fisheye camera 2a, or may be a panoramic image. .
  • the image processing apparatus (planar conversion apparatus 4) of the embodiment converts an input image (omnidirectional unfolded image 100) into a first display area (display area 101a) and a second display area (display area 101b to 101d), and the images of the first display area and the second display area determined by the display area determination unit are displayed as partial images 110 on the edit status confirmation display unit (external monitor 6). and a display control unit 64 for displaying.
  • the planar conversion device 4 allows the user to check the partial image 110 other than the HMD partial image 105 (partial image 110a) that the wearer is checking on the head mounted display 7 .
  • the planar conversion device 4 can allow the wearer of the head mounted display 7 to check the region in the omnidirectional unfolded image 100 that is difficult to check.
  • the plane conversion device 4 can easily confirm the input image.
  • the input image is at least a part of the fisheye image
  • the image processing device includes a VR conversion unit 32 that converts the input image into an equirectangular image, and at least a first display area of the equirectangular image.
  • a plane conversion section 63 for converting an image into a plane image is provided, and the display control section displays the plane image as a partial image on the edit status confirmation display section.
  • the plane conversion device 4 can confirm the distorted equirectangular image with the partial image 110 corrected for distortion.
  • the plane conversion device 4 can display a partial image of the area that the user wants to check on the external monitor 6, and can easily check the area that the user wants to check.
  • the input image has an angle of view of at least 360 degrees in the horizontal direction.
  • the angle of view is obtained by equally dividing the range excluding the angle of view of the area by the number of the second display areas.
  • the plane conversion device 4 can allow the user to check all horizontal angles of view of the omnidirectional unfolded image.
  • the input image has an angle of view of at least 360 degrees in the horizontal direction
  • the display area determination unit 62 determines the second display area in the area exactly opposite to the first display area in the horizontal direction.
  • the display control unit 64 causes the editing status confirmation display unit to display a panorama image having an aspect ratio that is longer in the horizontal direction than the first display area and the second display area in the input image together with the partial image. This makes it possible for the user to easily grasp which region of the partial image 110 of the omnidirectional unfolded image 100 is being checked on the external monitor 6 .
  • the display control unit 64 causes the display unit of the head mounted display 7 to display the partial image of the first display area.
  • the partial image 110 in an area that is difficult to confirm on the head-mounted display 7 with a narrow viewing angle can be confirmed through the external monitor 6 .
  • the display control unit 64 also superimposes a mark indicating a predetermined position on the partial image. This allows the user to easily grasp, for example, the position specified by the user, the line-of-sight position of the wearer wearing the head-mounted display 7, and the like.
  • the display control unit 64 also superimposes a grid on the partial image. This allows the user to easily confirm the distortion of the partial image 110 .
  • the display control unit 64 displays angle-of-view information 113 indicating the angle of view of the partial image on the partial image. This allows the user to easily grasp what kind of display area 101 is determined in the omnidirectional unfolded image 100 and whether the partial image 110 of the display area 101 is displayed on the external monitor 6. ⁇
  • the display area determination unit 62 determines the display area including the tracking target based on the information input from the tracking device 8 that tracks the predetermined tracking target. As a result, by following the target to be tracked and displaying it on the partial image 110, the user can check the target to be tracked at any time.
  • the display control unit 64 displays parallax images as partial images. This allows the user to confirm the distance to the three-dimensional object.
  • the display control unit 64 displays the mark 131 indicating the line-of-sight position of the wearer of the head mounted display on the partial image.
  • the user can easily grasp the line-of-sight position of the wearer.
  • the user can perform an operation such as displaying the partial image 110 corresponding to the line-of-sight position of the wearer on the external monitor 6 , thereby allowing the external monitor 6 to display the partial image corresponding to the line-of-sight position.
  • the display control unit 64 causes the display unit of the head mounted display to display a mark 140 corresponding to the position indicated by the operation unit in the input image. This allows the wearer wearing the head-mounted display 7 to easily grasp the predetermined position specified by the user. This allows the wearer to move the head-mounted display 7 to check the predetermined position specified by the user, and display the partial image 110 corresponding to that position on the head-mounted display 7 .
  • the display area determining section 62 determines a display area according to the resolution of the display section of the head mounted display. This allows the user to confirm the partial images 110 displayed on the head mounted display 7 with different resolutions.
  • the display area determination unit 62 moves the first display area and the plurality of second display areas in conjunction with the operation of the operation unit. As a result, the plurality of partial images 110 can be moved in conjunction with each other, and the troublesome operation can be saved.
  • the display area determination unit 62 expands or reduces the plurality of first display areas and second display areas in conjunction with operation of the operation unit. As a result, the plurality of partial images 110 can be enlarged or reduced in tandem, and the troublesome operation can be saved.
  • the display control section 64 can display a plurality of partial images on the editing status confirmation display section, and outputs the signals of the plurality of partial images to the editing status confirmation display section using different output sections. As a result, even when the data amount of the image signal is large, by individually outputting each of the partial images 110 to the external monitor 6 and displaying them, it is possible to prevent the occurrence of image display delay or the like. It is also possible to perform a harding check on each partial image 110 .
  • the display control unit switches between and displays a plurality of types of partial images with different dynamic ranges. As a result, partial images 110 with various dynamic ranges can be confirmed.
  • the image processing device determines a first display area and a second display area different from the first display area from the input image, and the determined first display area and second display area The image is displayed as a partial image on the edit status confirmation display section.
  • the program determines a first display area and a second display area different from the first display area from the input image, and uses the images of the determined first display area and the second display area as partial images to display the editing status.
  • the image processing apparatus is caused to execute the processing for displaying on the confirmation display section.
  • Such a program can be recorded in advance in an HDD as a storage medium built in equipment such as a computer device, or in a ROM or the like in a microcomputer having a CPU.
  • a flexible disc a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto Optical) disc, a DVD (Digital Versatile Disc), a Blu-ray disc (Blu-ray Disc (registered trademark)), a magnetic disc, a semiconductor memory
  • It can be temporarily or permanently stored (recorded) in a removable storage medium such as a memory card.
  • Such removable storage media can be provided as so-called package software.
  • it can also be downloaded from a download site via a network such as a LAN (Local Area Network) or the Internet.
  • LAN Local Area Network
  • Such a program is suitable for widely providing the image processing apparatus of the embodiment.
  • a program is suitable for widely providing the image processing apparatus of the embodiment.
  • a mobile terminal device such as a smartphone or tablet, a mobile phone, a personal computer, a game device, a video device, a PDA (Personal Digital Assistant), etc.
  • the information processing device of the present technology can be made to function.
  • a display area determination unit that determines a first display area from an input image and a second display area different from the first display area; a display control unit for displaying images of the first display area and the second display area determined by the display area determination unit as partial images on an editing status confirmation display unit;
  • An image processing device comprising: (2) The input image is at least a partial image of a fisheye image, The image processing device is a VR conversion unit that converts the input image into an equirectangular image; a plane conversion unit that converts at least the image of the first display area of the equirectangular image into a plane image,
  • the image processing apparatus according to (1), wherein the display control unit causes the editing status confirmation display unit to display the planar image as the partial image.
  • the input image has an angle of view of at least 360 degrees in the horizontal direction;
  • the display area determining unit, The angle of view in the horizontal direction of the second display area is an angle of view obtained by equally dividing the range from the angle of view in the horizontal direction of the input image excluding the angle of view of the first display area by the number of the second display areas.
  • the input image has an angle of view of at least 360 degrees in the horizontal direction;
  • the display area determining unit The image processing device according to any one of (1) to (4), wherein the second display area is determined in an area exactly opposite to the first display area in the horizontal direction.
  • the display control unit (1) to (5) displaying a panorama image having an aspect ratio horizontally longer than the first display area and the second display area in the input image together with the partial image on the edit status confirmation display unit;
  • the image processing device according to any one of .
  • the display control unit The image processing device according to any one of (1) to (6), wherein the partial image in the first display area is displayed on a display section of a head mounted display.
  • the display control unit The image processing device according to any one of (1) to (7), wherein a mark indicating a predetermined position is superimposed on the partial image.
  • the display control unit The image processing device according to any one of (1) to (8), wherein a grid is superimposed on the partial image.
  • the display control unit The image processing apparatus according to any one of (1) to (9), wherein angle-of-view information indicating the angle of view of the partial image is superimposed on the partial image.
  • the display area determining unit The image processing device according to any one of (1) to (10), wherein a display area including the target to be tracked is determined based on information input from a tracking device that tracks the target to be tracked.
  • the display control unit The image processing device according to any one of (1) to (11), wherein parallax images are displayed as the partial images.
  • the display control unit The image processing device according to (7), wherein a mark corresponding to the line-of-sight position of the wearer of the head-mounted display is superimposed on the partial image.
  • the display control unit The image processing device according to (7) or (13), wherein a mark corresponding to a position designated by an operation unit in the input image is displayed on the display unit of the head mounted display.
  • the display area determining unit The image processing device according to (7), (13) or (14), wherein the display area is determined according to the resolution of the display section of the head mounted display.
  • the display area determining unit The image processing device according to any one of (1) to (15), wherein the first display area and the plurality of second display areas are moved in conjunction with each other according to an operation of an operation unit.
  • the display area determining unit The image processing device according to any one of (1) to (16), wherein a plurality of the first display area and the second display area are synchronously enlarged or reduced according to an operation of an operation unit.
  • the display control unit a plurality of the partial images can be displayed on the editing status confirmation display section;
  • the image processing apparatus according to any one of (1) to (17), wherein signals of the plurality of partial images are output to the editing status confirmation display section using different output sections.
  • the display control unit The image processing device according to any one of (1) to (18), wherein the partial images with different dynamic ranges are switched and displayed.
  • the image processing device determining a first display area from the input image and a second display area different from the first display area; A display control method for displaying the determined images of the first display area and the second display area as partial images on an edit status confirmation display section.
  • (21) determining a first display area from the input image and a second display area different from the first display area; A program for causing an image processing apparatus to execute a process of displaying the determined images of the first display area and the second display area as partial images on an edit status confirmation display section.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

画像処理装置は、入力画像から第１表示領域と、前記第１表示領域とは異なる第２表示領域とを決定する表示領域決定部と、表示領域決定部により決定された第１表示領域および第２表示領域の画像を部分画像として編集状況確認表示部に表示させる表示制御部と、を備える。

Description

画像処理装置、画像処理方法、プログラム
　本技術は、画像処理装置、画像処理方法、プログラムに関し、特に、入力画像を確認させる技術分野に関する。
　従来、３６０度の全方位の画像である全天球展開画像等の入力画像をヘッドマウントディスプレイ等で視聴させるＶＲ（Virtual Reality）技術が提案されている。
　入力画像の一例である全天球展開画像は、複数のカメラで撮影することで得られた複数の撮像画像をスティッチ処理により繋ぎ合わせることで生成される。そして、スティッチ処理により得られた全天球展開画像に対して編集が行われ、最終的な入力画像が生成される（例えば、特許文献１参照）。
国際公開第２０１８／１７３７９１号
　ところで、全天球展開画像は、例えば正距円筒形式の２次元の画像で表現されることになる。そのため、ユーザは、ヘッドマウントディスプレイで全天球展開画像を確認する場合、全天球展開画像の一部のみを確認することは可能であるが、それ以外の領域を確認することができない。
　本技術はこのような問題に鑑みて為されたものであり、入力画像を容易に確認させることを目的とする。
　本技術に係る画像処理装置は、入力画像から第１表示領域と、前記第１表示領域とは異なる第２表示領域とを決定する表示領域決定部と、前記表示領域決定部により決定された前記第１表示領域および前記第２表示領域の画像を部分画像として編集状況確認表示部に表示させる表示制御部と、を備える。
　これにより、画像処理装置は、例えば、ヘッドマウントディスプレイにおいて装着者が確認している部分画像と、それ以外の部分画像とを表示部に表示させることになる。
画像処理システムの構成を示した図である。 ＶＲ変換装置の構成を説明する図である。 ＶＲ変換装置の機能的構成を説明する図である。 平面変換装置の構成を説明する図である。 平面変換装置の機能的構成を説明する図である。 平面変換装置における処理の流れの概要を示すフローチャートである。 表示部およびヘッドマウントディスプレイに表示される画像を説明する図である。 第１表示モードを説明する図である。 第２表示モードを説明する図である。 第３表示モードを説明する図である。 第４表示モードを説明する図である。 第５表示モードを説明する図である。 第６表示モードを説明する図である。 表示領域を右方向へ移動させる場合を説明する図である。 表示領域を上方向へ移動させる場合を説明する図である。 表示領域を拡大させる場合を説明する図である。 複数の表示領域を右方向へ移動させる場合を説明する図である。 ヘッドマウントディスプレイの部分画像との関係を説明する図である。 ヘッドマウントディスプレイの部分画像との関係を説明する図である。 トラッキング表示の一例を説明する図である。 ヘッドマウントディスプレイの解像度に応じた表示領域を説明する図である。 所定位置に対応するマークを重畳表示する例を説明する図である。 所定位置に対応するマークを重畳表示する例を説明する図である。 所定位置に対応するマークをヘッドマウントディスプレイに重畳表示する例を説明する図である。 装着者の視線位置に応じた表示の例を説明する図である。 グリッドを重畳表示する例を説明する図である。 部分画像として視差画像を表示する例を説明する図である。 表示枠の変形例を説明する図である。
　以下、添付図面を参照し、本技術に係る実施形態を次の順序で説明する。
＜１．画像処理システムの構成＞
＜２．ＶＲ変換装置の構成＞
＜３．平面変換装置の構成＞
＜４．モード＞
＜５．変更表示＞
＜６．表示例＞
＜７．変形例＞
＜８．まとめ＞
＜９．本技術＞
＜１．画像処理システムの構成＞
　図１は、画像処理システム１の構成を示した図である。図１に示すように、本技術に係る実施形態としての画像処理システム１は、全天球カメラ装置２、ＶＲ変換装置３、平面変換装置４、コントローラ５、外部モニタ６、ヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）７、トラッキング装置８を備える。
　全天球カメラ装置２は、全方位の視野角が例えば２２０度以上の魚眼レンズが採用された２つの魚眼カメラ２ａが背面合わせに配置され、２つの魚眼カメラ２ａによってバックツーバック方式で全周囲撮影が可能である。
　全天球カメラ装置２は、２つの魚眼カメラ２ａがそれぞれＳＤＩ（Serial Digital Interface）規格のケーブル（以下、ＳＤＩケーブルと表記する）でＶＲ変換装置３に接続されている。全天球カメラ装置２は、２つの魚眼カメラ２ａで撮像された魚眼画像を所定フォーマットで符号化してＶＲ画像信号としてＶＲ変換装置３にＳＤＩケーブルを介して出力する。なお、魚眼画像（全天球展開画像）は、動画像であっても静止画像であってもよいが、ここでは動画像である場合を例に挙げて説明する。
　ＶＲ変換装置３は、全天球カメラ装置２の２つの魚眼カメラ２ａで撮像された２つの魚眼画像に対してスティッチ処理を施すことにより、３６０度の全方位のＶＲ画像であるを生成する。ＶＲ変換装置３は、有線または無線によって平面変換装置４と接続されており、全天球展開画像を平面変換装置４に出力する。
　画像処理装置としての平面変換装置４は、コントローラ５、外部モニタ６、ヘッドマウントディスプレイ７（図中、ＨＭＤと示す）、トラッキング装置８が有線または無線によって接続されている。例えば、平面変換装置４は、ＨＤＭＩ（High-Definition Multimedia Interface（登録商標））ケーブルまたはＳＤＩケーブルによって外部モニタ６と接続されている。
　平面変換装置４は、コントローラ５に対するユーザ操作に基づいて、ＶＲ変換装置３から入力される全天球展開画像の全部または一部を切り出し、切り出した画像に所定の信号処理を行って部分画像として外部モニタ６に出力することで、部分画像を外部モニタ６に表示させる。また、平面変換装置４は、部分画像をヘッドマウントディスプレイ７に表示させることも可能である。平面変換装置４は、外部モニタ６用とヘッドマウントディスプレイ７用とで異なる画像を生成することができる。
　コントローラ５は、ユーザ操作を受け付ける複数の操作子を有しており、操作された操作子に応じた信号を平面変換装置４に出力する。なお、操作子は、キーボード、マウス、ボタン、ダイヤル、タッチパッド、リモートコントローラ等である。
　外部モニタ６は、液晶ディスプレイ、有機ＥＬ（Electroluminescence）ディスプレイ等である。外部モニタ６は、平面変換装置４から入力される部分画像等を表示する。
　ヘッドマウントディスプレイ７は、装着者の頭部に装着されて使用されるヘッドマウント型のディスプレイである。ヘッドマウントディスプレイ７の表示部としては、液晶ディスプレイ、有機ＥＬディスプレイ等が用いられる。ヘッドマウントディスプレイ７は、平面変換装置４から入力される部分画像を表示する。
　ヘッドマウントディスプレイ７は、表示部の他に、装着者の視線位置を検出するアイセンサ、ヘッドマウントディスプレイ７の移動および回転、すなわち、ヘッドマウントディスプレイ７の姿勢を検出する６ＤｏＦのジャイロセンサ等が設けられており、これらのセンサで検出された信号を平面変換装置４に出力可能である。
　トラッキング装置８は、特定の人または物の位置をトラッキング（追従）する装置である。例えば、トラッキング装置８は、追従対象となる特定の人にセンサを保持させ、センサの位置を追従することにより、追従対象の位置を追従する。そして、トラッキング装置８は、追従対象の位置を示す情報を平面変換装置４に出力する。
　このような画像処理システム１では、全天球カメラ装置２で撮像されＶＲ変換装置３で生成された全天球展開画像を、コントローラ５や平面変換装置４の入力部４７を用いて行われるユーザ操作に応じて、平面変換装置４の表示部４８、外部モニタ６、ヘッドマウントディスプレイ７等で製作者に確認させる。つまり、画像処理システム１は、全天球展開画像を生成するとともに、その全天球展開画像を製作者に確認させるシステムである。
　なお、ここでの確認とは、入力画像としての全天球展開画像を提供する前に、生成される全天球展開画像がどのようにヘッドマウントディスプレイ７に表示されるか等を確認することや、入力画像として提供する全天球展開画像を編集するために確認することを含むものである。
　また、製作者としては、コンテンツを提供する様々な人物を含むものであり、例えば監督、カメラマン、エンジニア、照明スタッフ、出演者のマネージャー、メイクスタッフ、演出指導者、出演者等である。
　これらの製作者は、それぞれの役割に応じて、全天球展開画像において確認すべき領域を確認することになる。
＜２．ＶＲ変換装置の構成＞
　図２は、ＶＲ変換装置３の構成を説明する図である。図２に示すように、ＶＲ変換装置３は、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３、ＧＰＵ（Graphics Processing Unit）１４を備えるコンピュータである。
　ＣＰＵ１１は、ＲＯＭ１２または記憶部１６に記憶されているプログラムに従って各種の処理を実行する。ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　ＧＰＵ１４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ１１からの描画命令に従って画像処理を行い、画像処理後の画像を図示しないフレームバッファに格納する。そして、ＧＰＵ１４は、フレームバッファに格納された画像をＶＲ画像（全天球展開画像）として平面変換装置４に出力する。
　ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３およびＧＰＵ１４は、バス１５を介して相互に接続されている。バス１５には、記憶部１６、通信部１７および接続部１８も接続されている。
　記憶部１６は、例えば固体メモリなどの記憶媒体より構成される。記憶部１６には、例えば後述する各種情報を記憶可能とされる。また、記憶部１６は、ＣＰＵ１１が各種処理を実行するためのプログラムデータの格納にも用いることが可能とされる。
　通信部１７は、他の装置（例えば、平面変換装置４）との間の有線または無線による通信を行う。
　接続部１８は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＤＩポート、ＨＤＭＩポート等のような他の装置を接続するためのポートである。例えば、接続部１８は、２本のＳＤＩケーブルを介して、全天球カメラ装置２の２つの魚眼カメラ２ａとそれぞれ接続される。
　図３は、ＶＲ変換装置３の機能的構成を説明する図である。図３に示すように、ＶＲ変換装置３は、主に演算処理装置であるＣＰＵ１１およびＧＰＵ１５によって、ＥＯＴＦ（Electro-Optical Transfer Function）部３１、ＶＲ変換部３２、レンダリング部３３およびエンコーダ部３４として機能する。なお、これらの機能部は、ＣＰＵ１１およびＧＰＵ１４の一方のみで機能するようにしてもよく、また、ＣＰＵ１１およびＧＰＵ１４の双方が協働することで機能するようにしてもよい。また、ＶＲ変換装置３は、全天球カメラ装置２で撮像された魚眼画像から全天球展開画像を生成することができればよく、ここで説明する機能部は一例である。
　ＥＯＴＦ部３１は、全天球カメラ装置２から入力される２つの魚眼画像に対して、それぞれＬＵＴ（ルックアップテーブル）を用いたＬＵＴ処理、および、ＥＯＴＦ（電光変換特性）を用いたＥＯＴＦ処理を行うことにより、輝度補正や色域補正等を行う。
　ＶＲ変換部３２は、ＥＯＴＦ部３１による補正処理後の２つの魚眼画像に対して、それぞれ全天球カメラ装置２の魚眼レンズによる歪を補正する歪補正処理を行った後、ＥＲＰ(EquiRectangular Projection：正距円筒図法)による射影変換により正距円筒画像を生成する。
　レンダリング部３３は、射影変換後の２つの正距円筒画像に対してスティッチ処理を行うことにより２つの正距円筒画像を合成する。そして、レンダリング部３３は、合成した画像に対して色域変換処理、ＯＥＴＦ（Optical-Electro Transfer Function：光電変換特性）を用いたＯＥＴＦ処理、ＬＵＴ処理等のレンダリング処理を行うことにより全天球展開画像を生成する。
　エンコーダ部３４は、レンダリング処理後の全天球展開画像を例えばＨＤＭＩ、ＳＤＩ等のフォーマットに変換し、変換した画像データを平面変換装置４に出力する。
＜３．平面変換装置の構成＞
　図４は、平面変換装置４の構成を説明する図である。図４に示すように、平面変換装置４は、ＣＰＵ４１、ＲＯＭ４２、ＲＡＭ４３、ＧＰＵ４４を備えるコンピュータである。
　ＣＰＵ４１は、ＲＯＭ４２または記憶部５０に記憶されているプログラムに従って各種の処理を実行する。ＲＡＭ４３には、ＣＰＵ４１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　ＧＰＵ４４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ１１からの描画命令に従って画像処理を行い、画像処理後の画像を図示しないフレームバッファに格納する。そして、ＧＰＵ４４は、フレームバッファに格納された画像を表示部４８、外部モニタ６またはヘッドマウントディスプレイ７に出力することで表示させる。
　ＣＰＵ４１、ＲＯＭ４２、ＲＡＭ４３およびＧＰＵ４４は、バス４５を介して相互に接続されている。バス４５には、入出力インタフェース４６も接続されている。
　入出力インタフェース４６には、ユーザが入力操作を行うための入力部４７、液晶ディスプレイ、有機ＥＬディスプレイ等でなる表示部４８、スピーカなどよりなる音声出力部４９、記憶部５０、通信部５１、接続部５２などが接続可能である。
　入力部４７は、平面変換装置４を使用するユーザが用いる入力デバイスを意味する。例えば、入力部４７としては、キーボード、マウス、ボタン、ダイヤル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスであってもよい。入力部４７によりユーザ操作が検知され、入力された操作に応じた信号がＣＰＵ４１に入力される。
　表示部４８は、ＣＰＵ４１またはＧＰＵ４４の指示に基づいて各種画像を表示する。また、表示部４８はＣＰＵ４１またはＧＰＵ４４の指示に基づき、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を行うことも可能とされる。
　記憶部５０は、例えば固体メモリなどの記憶媒体より構成される。記憶部５０には、例えば後述する各種情報を記憶可能とされる。また、記憶部５０は、ＣＰＵ４１が各種処理を実行するためのプログラムデータの格納にも用いることが可能とされる。
　通信部５１は、他の装置（例えば、ＶＲ変換装置３）との間の有線または無線による通信を行う。
　接続部５２は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＤＩポート、ＨＤＭＩポート等のような他の装置を接続するためのポートである。例えば、接続部５２は、４本のＳＤＩケーブルおよび１本のＨＤＭＩケーブルを介して外部モニタ６と接続される。また、接続部５２は、１本のＨＤＭＩケーブルを介してヘッドマウントディスプレイ７と接続される。これにより接続部５２から、各種画像が出力され、外部モニタ６やヘッドマウントディスプレイ７の表示部に各種画像が表示される。すなわち、接続部５２は、各種画像の信号を出力する出力部として機能する。
　図５は、平面変換装置４の機能的構成を説明する図である。図６は、平面変換装置４における処理の流れの概要を示すフローチャートである。
　図５に示すように、平面変換装置４は、主に演算処理装置であるＣＰＵ４１およびＧＰＵ４４によって、表示モード設定部６１、表示領域決定部６２、平面変換部６３、表示制御部６４として機能する。なお、これらの機能部は、ＣＰＵ４１およびＧＰＵ４４の一方のみで機能するようにしてもよく、また、ＣＰＵ４１およびＧＰＵ４４の双方が協働することで機能するようにしてもよい。
　平面変換装置４では、詳しくは後述するように、全天球展開画像の全部または一部を切り出して外部モニタ６に部分画像として表示させる複数のモードが設けられている。図６に示すように、ステップＳ１で表示モード設定部６１は、複数のモードの中から、ユーザに選択された１つのモードを決定する。
　そして、ステップＳ２で全天球展開画像の画像データが入力されると、ステップＳ３で表示領域決定部６２は、選択されたモード、コントローラ５や入力部４７に対するユーザ操作等に基づいて、全天球展開画像から外部モニタ６やヘッドマウントディスプレイ７に表示させる部分画像の領域を表示領域として決定する。
　続いて、ステップＳ４で平面変換部６３は、表示領域決定部６２により決定された表示領域の画像部分を全天球展開画像から切り出し、切り出した画像部分の歪みを補正する歪補正処理（平面投影補正処理）等を行うことで平面画像である部分画像を生成する。
　ステップＳ５で表示制御部６４は、外部モニタ６、ヘッドマウントディスプレイ７および表示部４８への画像表示を制御する。例えば、表示制御部６４は、平面変換部６３によって生成された部分画像を外部モニタ６、ヘッドマウントディスプレイ７に表示させる。
　以下で、表示モード設定部６１、表示領域決定部６２、平面変換部６３および表示制御部６４の具体的な処理を説明する。なお、以下では、外部モニタ６および表示部４８を視認（確認）する人物をユーザと表記し、ヘッドマウントディスプレイ７を装着している人物を装着者と表記する。
＜４．モード＞
　図７は、表示部４８およびヘッドマウントディスプレイ７に表示される画像を説明する図である。まずは、全天球カメラ装置２によって撮像された魚眼画像から生成された全天球展開画像をヘッドマウントディスプレイ７に表示する場合について説明する。
　図７に示すように、平面変換装置４では、全天球カメラ装置２で撮像されＶＲ変換装置３で生成された全天球展開画像１００を表示部４８に表示し、また、ヘッドマウントディスプレイ７の姿勢に基づいて全天球展開画像１００の一部を部分画像（ここでは、ＨＭＤ部分画像１０５）としてヘッドマウントディスプレイ７に表示させる。
　具体的には、表示領域決定部６２は、ヘッドマウントディスプレイ７から送信される姿勢情報に基づいて、全天球展開画像１００から、装着者の姿勢に応じた表示領域１０１を決定する。そして、平面変換部６３は、決定された表示領域１０１の画像部分を全天球展開画像１００から切り出し、切り出した画像に対して歪補正処理を行ってＨＭＤ部分画像１０５を生成する。そして、表示制御部６４は、生成されたＨＭＤ部分画像１０５の画像信号をヘッドマウントディスプレイ７に出力することで、ヘッドマウントディスプレイ７の表示部にＨＭＤ部分画像１０５を表示させる。
　ここで、ヘッドマウントディスプレイ７では、全天球展開画像１００の一部のみが表示されることになるため、制作者は、ヘッドマウントディスプレイ７を用いて全天球展開画像１００の全てを確認することが困難である。また、全天球展開画像１００を外部モニタ６または表示部４８に表示させて確認することも可能であるが、その場合、全天球展開画像１００が中央以外では歪んでいるため、全天球展開画像１００を用いて全ての領域を確認することが困難である。
　そこで、平面変換装置４では、複数のモードが設けられ、ユーザによって選択されたモードで全天球展開画像１００の全部または一部を外部モニタ６および表示部４８に表示させる。平面変換装置４では、一例として、第１表示モードから第６表示モードの６つのモードが設けられている。なお、表示部４８に表示する画像は、第１表示モードから第６表示モードまで共通して、全天球展開画像１００に設定されている。また、第１表示モードから第６表示モードまでのいずれのモードであっても、ヘッドマウントディスプレイ７には、全天球展開画像１００の一部をＨＭＤ部分画像１０５として表示することが可能となっている。
　図８は、第１表示モードを説明する図である。図８に示すように、第１表示モードは、表示部４８に全天球展開画像１００の全体を表示するとともに、外部モニタ６にも全天球展開画像１００の全体をミラー表示するモードである。
　コントローラ５に対するユーザ操作に応じて表示モード設定部６１が第１表示モードに設定した場合、表示制御部６４は、全天球展開画像１００の画像信号を外部モニタ６に出力することで、外部モニタ６に全天球展開画像１００を表示させる。
　第１表示モードでは、例えば表示部４８よりも画素数が多く画面が大きい外部モニタ６に全天球展開画像１００を表示させることで、全天球展開画像１００を全体的にユーザに確認させることが可能となる。
　図９は、第２表示モードを説明する図である。図９に示すように、第２表示モードは、表示部４８に全天球展開画像１００の全体を表示するとともに、外部モニタ６には全天球展開画像１００の一部である部分画像１１０（１１０ａ～１１０ｄ）を４つ並べて表示するモードである。
　コントローラ５に対するユーザ操作に応じて表示モード設定部６１が第２表示モードに設定した場合、表示領域決定部６２は、全天球展開画像１００から４つの表示領域１０１（１０１ａ～１０１ｄ）を決定する。
　第２表示モードでは、例えば、表示領域１０１の画角が垂直方向に６０度、水平方向に９０度に予め設定されている。また、表示領域決定部６２は、全天球展開画像１００における予め設定された中心位置を中心とした表示領域１０１ａ、表示領域１０１ａの右側に隣接した表示領域１０１ｂ、表示領域１０１ａの左側に隣接した表示領域１０１ｃ、表示領域１０１ｂおよび表示領域１０１ｃに隣接した表示領域１０１ｄを決定する。
　なお、表示領域１０１ｄは、表示領域１０１ａとは全天球展開画像１００の水平方向において正反対（１８０度反対）の領域である。また、全天球展開画像１００の中心位置は、全天球カメラ装置２の一方の魚眼カメラ２ａで撮像される魚眼画像の中央としてもよく、また、全天球展開画像１００のなかからユーザが指定するようにしてもよい。
　また、表示領域１０１ａ～１０１ｄの表示範囲（画角）、および、設定される位置は適宜変更可能である。例えば、表示領域１０１ａ～１０１ｄは、ヘッドマウントディスプレイ７の表示部の解像度（画素数）に合わせて決定されるようにしてもよく、また、ヘッドマウントディスプレイ７の表示部の表示画角に合わせて設定されるようにしてもよい。また、表示領域１０１ａ～１０１ｄは、ユーザが指定した表示領域にそれぞれ決定されるようにしてもよい。
　平面変換部６３は、全天球展開画像１００から、決定された表示領域１０１ａ～１０１ｄの画像部分を切り出し、切り出した画像部分に対して歪補正処理を施して部分画像１１０ａ～１１０ｄを生成する。そして、表示制御部６４は、部分画像１１０ａ～１１０ｄの画像信号を外部モニタ６に出力することで、外部モニタ６において表示領域１０１ａ～１０１ｄの部分画像１１０ａ～１１０ｄを並べて表示させる。このとき、平面変換装置４は、部分画像１１０ａ～１１０ｄの画像信号を４本のＳＤＩケーブルで別々に外部モニタ６に出力するようにしてもよく、また、部分画像１１０a～１１０dを1つの画像に合成して1本のＳＤＩケーブルで外部モニタ６に出力するようにしてもよい。
　また、表示制御部６４は、表示部４８に表示される全天球展開画像１００に対して、表示領域１０１ａ～１０１ｄを示す表示枠１０２ａ～１０２ｄを、それぞれ異なる表示態様で重畳表示させる。また、表示制御部６４は、外部モニタ６に表示される部分画像１１０ａ～１１０ｄに対して、対応する表示領域１０１ａ～１０１ｄの表示枠１０２ａ～１０２ｄとそれぞれ同一の表示態様の表示枠１１１ａ～１１１ｄを重畳表示させる。
　ここで、異なる表示態様とは、枠の色を異ならせたり、枠の幅を異ならせたり、異なる線種で表示したりするなど、ユーザがそれぞれ異なっていることを識別可能である表示態様である。
　このように、表示枠１０２ａ～１０２ｄ、１１１ａ～１１１ｄを表示部４８および外部モニタ６にそれぞれ同一の表示態様で表示することにより、ユーザは、全天球展開画像１００における表示領域１０１と、外部モニタ６に表示される部分画像１１０との対応関係を容易かつ瞬時に把握することが可能となる。
　図１０～図１３は、第３表示モード～第６表示モードを説明する図である。図１０～図１３に示すように、第３表示モード～第６表示モードは、表示部４８に全天球展開画像１００の全体を表示するとともに、外部モニタ６に全天球展開画像１００の一部を切り出した部分画像１１０を１または複数表示し、かつ、表示領域１０１よりも横長のアスペクト比であるパノラマ画像１２０を外部モニタ６の下方に表示するモードである。
　コントローラ５に対するユーザ操作に応じて表示モード設定部６１が第３表示モード～第６表示モードのいずれかに設定した場合、表示領域決定部６２は、全天球展開画像１００から、全天球展開画像１００における予め設定された中心位置を中心とし、画角が垂直方向に例えば６０度、水平方向に３６０度となるパノラマ表示領域を設定する。
　また、表示領域決定部６２は、第３表示モードの場合には全天球展開画像１００から１つの表示領域１０１（表示領域１０１ａ）を決定し、第４表示モードの場合には全天球展開画像１００から２つの表示領域１０１（表示領域１０１ａ、１０１ｂ）を決定する。また、表示領域決定部６２は、第５表示モードの場合には全天球展開画像１００から３つの表示領域（表示領域１０１ａ～１０１ｃ）を決定し、第６表示モードの場合には全天球展開画像１００から４つの表示領域（表示領域１０１ａ～１０１ｄ）を決定する。これらの表示領域１０１ａ～１０ｄは、第２表示モードと同様に決定される。
　平面変換部６３は、全天球展開画像１００から、モードに応じて決定された表示領域１０１ａ～１０１ｄの１または複数、および、パノラマ表示領域の画像部分を切り出し、切り出した画像部分に対して歪補正処理を施す。これにより、平面変換部６３は、部分画像（１１０ａ～１１０ｄの１または複数）およびパノラマ画像１２０を生成する。
　表示制御部６４は、モードに応じて決定された部分画像（１１０ａ～１１０ｄの１または複数）およびパノラマ画像１２０の画像信号を外部モニタ６に出力することで、外部モニタ６において、モードに応じて生成された部分画像１１０を上部に並べて表示させるとともに、パノラマ画像１２０を下部に表示させる。
　また、表示制御部６４は、表示部４８に表示される全天球展開画像１００に対して、モードに応じた表示領域１０１（表示領域１０１ａ～１０１ｄの１または複数）を示す表示枠１０２（１０２ａ～１０２ｄの１または複数）を重畳表示させる。
　さらに、表示制御部６４は、外部モニタ６に表示される部分画像１１０（部分画像１１０ａ～１００ｄの１または複数）に対して、対応する表示領域１０１ａ～１０１ｄの表示枠１０２ａ～１０２ｄとそれぞれ同一の表示態様の表示枠１１１（１１１ａ～１１１ｄの１または複数）を重畳表示させる。
　さらに、表示制御部６４は、外部モニタ６に表示されるパノラマ画像１２０に対して、対応する表示領域１０１ａ～１０１ｄの表示枠１０２ａ～１０２ｄとそれぞれ同一の表示態様の表示枠１１２（１１２ａ～１１２ｄの１または複数）を重畳表示させる。
　このように、第３表示モードから第６表示モードでは、ユーザが指定した数の部分画像１１０を外部モニタ６に表示するとともに、パノラマ画像１２０を外部モニタ６に表示することで、主に外部モニタ６のみを確認することで、全天球展開画像１００と部分画像１１０との対応関係を容易かつ瞬時に把握することが可能となる。
　また、図１０に示すように、表示制御部６４は、部分画像１１０の画角を示す画角情報１１３を部分画像１１０に重畳表示するようにしてもよい。図１０の例では、「ＦＯＶ（Field Of View）　Ｈ：９０」によって水平方向の画角が９０度であることを示し、「ＦＯＶ　Ｖ：６０」によって垂直方向の画角が６０度であることを示している。なお、全てのモードにおいて部分画像１１０に画角情報１１３を表示することが可能である。
＜５．変更表示＞
　平面変換装置４では、コントローラ５を介したユーザ操作に応じて、全天球展開画像１００における表示領域１０１の位置および大きさを変更可能となっている。具体的には、表示領域１０１を上下方向（垂直方向）および左右方向（水平方向）に移動可能であるとともに、拡大および縮小が可能である。なお、これらの変更は、第２表示モード～第６表示モードのいずれであっても行うことができる。
　図１４は、表示領域１０１を右方向へ移動させる場合を説明する図である。図１５は、表示領域１０１を上方向へ移動させる場合を説明する図である。なお、図１４および図１５では、第３表示モードである場合について示している。
　コントローラ５には、上方向への移動、下方向への移動、左方向への移動、および、右方向への移動が割り当てられた操作子（ボタン）が設けられている。そして、コントローラ５に設けられたこれらの操作子が操作されると、表示領域決定部６２は、操作子の操作に応じて、表示領域１０１を移動させる。例えば、図１４に示すように、右方向への移動が割り当てられた操作子が操作されると、表示領域決定部６２は、表示領域１０１ａを右方向に移動させる。
　平面変換部６３は、全天球展開画像１００から、移動された表示領域１０１ａの画像部分を切り出し、切り出した画像部分に対して歪補正処理を施して部分画像１１０ａを生成する。
　そして、表示制御部６４は、生成された部分画像１１０ａの画像信号を外部モニタ６に出力することで、外部モニタ６において、移動された表示領域１０１ａの部分画像１１０ａを表示させる。
　また、表示制御部６４は、表示部４８に表示された全天球展開画像１００の表示枠１０２ａ、および、外部モニタ６に表示されたパノラマ画像１２０の表示枠１１２ａを移動表示させる。このとき、表示制御部６４は、右方向への移動が行われていることを確認容易にするため、表示枠１１２ａを全体としては八角形で、かつ、右側が左側よりも大きくなるように表示させる。
　また、上方向への移動が割り当てられた操作子が操作されると、図１５に示すように、表示領域決定部６２は、表示領域１０１ａを上方向に移動させる。
　平面変換部６３は、全天球展開画像１００から、移動された表示領域１０１ａの画像部分を切り出し、切り出した画像部分に対して歪補正処理を施して部分画像１１０ａを生成する。
　そして、表示制御部６４は、生成された部分画像１１０ａの画像信号を外部モニタ６に出力することで、外部モニタ６において、移動された表示領域１０１ａの部分画像１１０ａを表示させる。
　また、表示制御部６４は、表示部４８に表示された全天球展開画像１００の表示枠１０２ａ、および、外部モニタ６に表示されたパノラマ画像１２０の表示枠１１２ａを移動表示させる。このとき、表示制御部６４は、上方向への移動が行われていることを確認容易にするため、例えば、パノラマ画像１２０の表示枠１１２ａの下側が左右方向に縮んだ略台形形状に表示させる。
　図１６は、表示領域１０１を拡大する場合を説明する図である。なお、図１６では、第３表示モードである場合について示している。
　コントローラ５には、拡大表示および縮小表示がそれぞれ割り当てられた操作子（ボタン）が設けられている。そして、コントローラ５に設けられたこれらの操作子が操作されると、表示領域決定部６２は、操作子の操作に応じて、表示領域１０１を拡大または縮小させる。
　例えば、拡大表示が割り当てられた操作子が操作されると、図１６に示すように、表示領域決定部６２は、部分画像１１０ａを拡大表示させるために、表示領域１０１ａを縮小させる。
　平面変換部６３は、全天球展開画像１００から、縮小された表示領域１０１ａの画像部分を切り出し、切り出した画像部分に対して歪補正処理を施して部分画像１１０ａを生成する。
　そして、表示制御部６４は、生成された部分画像１１０ａの画像信号を外部モニタ６に出力することで、外部モニタ６において、拡大された部分画像１１０ａを表示させる。
　また、表示制御部６４は、表示部４８に表示された全天球展開画像１００の表示枠１０２ａ、および、外部モニタ６に表示されたパノラマ画像１２０の表示枠１１２ａを縮小表示させる。
　図１７は、複数の表示領域１０１を右方向へ移動させる場合を説明する図である。なお、図１７では、第４表示モードである場合について示している。
　コントローラ５には、複数の表示領域１０１を選択するための操作子（ボタン）が設けられている。例えば、２つの表示領域１０１ａ、１０１ｂが選択された後、右方向への移動が割り当てられた操作子が操作されると、図１７に示すように、表示領域決定部６２は、選択された２つの表示領域１０１ａ、１０１ｂを右方向に連動して移動させる。
　平面変換部６３は、全天球展開画像１００から、移動された２つの表示領域１０１ａ、１０１ｂの画像部分を切り出し、切り出した画像部分に対し歪補正処理を施して部分画像１１０ａ、１１０ｂを生成する。
　そして、表示制御部６４は、生成された部分画像１１０ａ、１１０ｂの画像信号を外部モニタ６に送信することで、外部モニタ６において、移動された２つの部分画像１１０ａ、１１０ｂを表示させる。
　また、表示制御部６４は、表示部４８に表示された全天球展開画像１００の表示枠１０２ａ、１０２ｂ、および、外部モニタ６に表示されたパノラマ画像１２０の表示枠１１２ａ、１１２ｂを、図１４の例と同様に移動表示させる。
　なお、例えば、複数の表示領域１０１が選択された後、拡大または縮小が割り当てられた操作子が操作されると、表示領域決定部６２は、選択された複数の表示領域１０１を連動して拡大または縮小させることも可能である。
＜６．表示例＞
　次に、外部モニタ６に表示される部分画像１１０の表示例について説明する。ここで説明する表示例は、上記した第１表示モード～第６表示モードのいずれのモードでも表示することが可能である。また、複数の表示例が組み合わされるようにしてもよい。
［６－１．表示例１］
　図１８は、ヘッドマウントディスプレイ７の部分画像１１０との関係を説明する図である。図１８では、第２表示モードである場合について示している。また、図１８下段には、表示領域１０１ａ～１０１ｄを上方からの視点で示している。
　表示例１では、４つの部分画像１１０ａ～１１０ｄのうち、１つの部分画像１１０ａが、ヘッドマウントディスプレイ７に表示されているＨＭＤ部分画像１０５と同一である。
　具体的には、表示領域決定部６２は、ヘッドマウントディスプレイ７から姿勢を示す情報が入力されると、その姿勢に応じた表示領域１０１（表示領域１０１ａ）を決定する。平面変換部６３は、全天球展開画像１００から、表示領域１０１の画像部分を切り出し、切り出した画像部分に対して歪補正処理を施して部分画像（ＨＭＤ部分画像１０５、部分画像１１０ａ）を生成する。そして、表示制御部６４は、部分画像の画像信号を外部モニタ６およびヘッドマウントディスプレイ７に出力することで、外部モニタ６において部分画像１１０ａを表示させ、ヘッドマウントディスプレイ７においてＨＭＤ部分画像１０５を表示させる。
　これにより、平面変換装置４は、ヘッドマウントディスプレイ７において装着者が確認しているＨＭＤ部分画像１０５を、外部モニタ６において部分画像１１０ａとしてユーザに確認させることができる。
　また、表示領域決定部６２は、図１８下段に示すように、全天球展開画像１００において、ヘッドマウントディスプレイ７の姿勢に応じた表示領域１０１ａと垂直方向に同一の画角で、かつ、水平方向において表示領域１０１ａの画角を除く範囲を他の表示領域の数（３つ）で等分した画角とする３つの表示領域１０１ｂ～１０１ｄを決定する。
　平面変換部６３は、全天球展開画像１００から、表示領域１０１ｂ～１０１ｄの画像部分を切り出し、切り出した画像部分に対して歪補正処理を施し、部分画像１１０ｂ～１１０ｄを生成する。そして、表示制御部６４は、図１８上段に示すように、部分画像１１０ｂ～１１０ｄの画像信号を外部モニタ６に出力することで、外部モニタ６において部分画像１１０ｂ～１１０ｄを表示させる。
　このように、表示領域決定部６２は、全天球展開画像１００においてヘッドマウントディスプレイ７に表示される表示領域１０１ａと、全天球展開画像１００のうち表示領域１０１ａとは異なる表示領域１０１ｂ～１０１ｄとを決定する。そして、表示制御部６４は、表示領域１０１ａおよび表示領域１０１ｂ～１０１ｄの部分画像１１０ａ～１１０ｄを外部モニタ６に表示させる。
　これにより、ヘッドマウントディスプレイ７において装着者が確認しているＨＭＤ部分画像１０５を部分画像１１０ａとし、また、それ以外の部分画像１１０ｂ～１１０ｄをユーザに確認させることができる。すなわち、平面変換装置４は、全天球展開画像１００においてヘッドマウントディスプレイ７の装着者が確認困難な領域をユーザに確認させることができる。
　また、表示制御部６４は、外部モニタ６に表示される表示領域１０１ａ～１０１ｄの表示枠１１１ａ～１１１ｄを重畳表示させる。
［６－２．表示例２］
　図１９は、ヘッドマウントディスプレイ７のＨＭＤ部分画像１０５との関係を説明する図である。図１９では、第４表示モードである場合について示している。また、図１９下段には、表示領域１０１ａ、１０１ｂを上方からの視点で示している。
　表示例２では、２つの部分画像１１０ａ、１１０ｂのうち、１つの部分画像１１０ａが、ヘッドマウントディスプレイ７に表示されているＨＭＤ部分画像１０５と同一である。
　具体的には、表示領域決定部６２は、ヘッドマウントディスプレイ７から姿勢を示す情報が入力されると、その姿勢に応じた表示領域１０１（表示領域１０１ａ）を決定する。平面変換部６３は、全天球展開画像１００から、表示領域１０１ａの画像部分を切り出し、切り出した画像部分に対して歪補正処理を施して部分画像（ＨＭＤ部分画像１０５、部分画像１１０ａ）を生成する。そして、表示制御部６４は、部分画像の画像信号を外部モニタ６およびヘッドマウントディスプレイ７に出力することで、外部モニタ６において部分画像１１０ａを表示させ、ヘッドマウントディスプレイ７においてＨＭＤ部分画像１０５を表示させる。
　これにより、ヘッドマウントディスプレイ７において装着者が確認しているＨＭＤ部分画像１０５を部分画像１１０ａとしてユーザに確認させることができる。
　また、表示領域決定部６２は、図１９下段に示すように、全天球展開画像１００において、ヘッドマウントディスプレイ７の姿勢に応じた表示領域１０１ａと垂直方向に同一の画角で、かつ、水平方向に正反対（１８０度反対）の表示領域１０１ｂを決定する。
　平面変換部６３は、全天球展開画像１００から、表示領域１０１ｂの画像部分を切り出し、切り出した画像部分に対して歪補正処理を施して部分画像１１０ｂを生成する。そして、表示制御部６４は、図１９上段に示すように、部分画像１１０ｂの画像信号を外部モニタ６に出力することで、外部モニタ６において部分画像１１０ｂを表示させる。
　これにより、ヘッドマウントディスプレイ７において装着者が確認している部分画像１１０ａと正反対の部分画像１１０ｂをユーザに確認させることができる。すなわち、平面変換装置４は、全天球展開画像１００においてヘッドマウントディスプレイ７の装着者が最も確認困難な正反対の領域をユーザに確認させることができる。
　また、表示制御部６４は、外部モニタ６に表示される表示領域１０１ａ～１０１ｄの表示枠１１１ａ～１１１ｄを重畳表示させ、パノラマ画像１２０に表示枠１１２ａ、１１２ｂを重畳表示させる。
［６－３．表示例３］
　図２０は、トラッキング表示の一例を説明する図である。なお、図２０では、第３表示モードである場合について示している。
　表示例３では、トラッキング装置８によって追従している追従対象が部分画像１１０に表示されるように表示制御がなされる。
　例えば、コンサートにおいてボーカル等の追従対象をトラッキング装置８によって追従しているとする。そして、追従対象が、図２０左側から図２０右側に示すように、左側に移動しているとする。このような場合、表示領域決定部６２は、ＶＲ変換装置３から全天球展開画像１００が入力される度（フレーム毎）に、トラッキング装置８から追従対象の位置を示す情報に基づいて、追従対象の位置を含む（中央とする）表示領域１０１ａを決定する。
　平面変換部６３は、全天球展開画像１００から、表示領域１０１ａの画像部分を切り出し、切り出した画像部分に対して歪補正処理を施して部分画像１１０ａを生成する。そして、表示制御部６４は、部分画像１１０ａの画像信号を外部モニタ６に出力することで、外部モニタ６において、追従対象が中央に表示される部分画像１１０ａを表示させる。
　このように、追従対象を追従して部分画像１１０ａに表示させることで、追従対象をユーザに随時確認させることが可能となる。
［６－４．表示例４］
　図２１は、ヘッドマウントディスプレイ７の解像度に応じた表示領域を説明する図である。なお、図２１では、ヘッドマウントディスプレイ７の解像度が低解像度、中解像度、高解像度である例を左から順に示している。また、図２１では、第３表示モードである場合について示している。
　表示例４では、ヘッドマウントディスプレイ７の解像度に応じた表示領域１０１が決定され、決定された表示領域１０１の部分画像１１０を外部モニタ６に表示させる。
　ここで、ヘッドマウントディスプレイ７は、種類によってディスプレイの解像度が異なる。ヘッドマウントディスプレイ７は、例えばVGA（Video Graphics Array）、ＦＨＤ（Full High Definition）、ＱＨＤ（Quarter High Definition）等の様々な解像度が用いられている。
　そこで、平面変換装置４の記憶部５０には、ヘッドマウントディスプレイ７の種類ごとの解像度の情報が記憶されている。そして、コントローラ５を介して、ヘッドマウントディスプレイ７のいずれかが選択されると、選択されたヘッドマウントディスプレイ７の解像度となるように、全天球展開画像１００から表示領域１０１ａを決定する。
　例えば、図２１左側に示すように、低解像度のヘッドマウントディスプレイ７が選択された場合、表示領域１０１ａも小さくなり、相対的に拡大された部分画像１１０ａが外部モニタ６に表示されることになる。
　また、図２１中央に示すように、中解像度のヘッドマウントディスプレイ７が選択された場合、低解像度と比べ、表示領域１０１ａが大きくなりズームアウトされた部分画像１１０ａが外部モニタ６に表示されることになる。
　また、図２１右側に示すように、高解像度のヘッドマウントディスプレイ７が選択された場合、中解像度と比べ、表示領域１０１ａがさらに大きくなり、さらにズームアウトされた部分画像１１０ａが外部モニタ６に表示されることになる。
　これにより、異なる解像度のヘッドマウントディスプレイ７において表示される部分画像１１０をユーザに確認させることが可能となる。
［６－５．表示例５］
　図２２および図２３は、所定位置に対応するマークを重畳表示する例を説明する図である。なお、図２２および図２３では、第３表示モードである場合について示している。
　表示例５では、全天球展開画像１００に設定された中心位置、または、ユーザによって選択された位置等の所定位置を対応するマークを、全天球展開画像１００および部分画像１１０に重畳表示する。
　例えば、図２２に示すように、表示制御部６４は、表示部４８に表示されている全天球展開画像１００において、コントローラ５に対するユーザ操作によって所定位置が選択されると、表示部４８において、その位置に対応するマーク１３０を全天球展開画像１００に重畳表示させる。
　また、表示制御部６４は、所定位置が表示領域１０１ａ内であれば、図２２下段に示すように、外部モニタ６に表示される部分画像１１０ａに所定位置に対応するマーク１３１を重畳表示させる。
　また、表示制御部６４は、所定位置が表示領域１０１ａ外であれば、図２３下段に示すように、外部モニタ６に表示される部分画像１１０に、その所定位置の方向を示す矢印等のマーク１３２を重畳表示させる。
　このように、ユーザによって選択された位置や、全天球展開画像１００に設定された中心位置をマーク１３０、１３１で重畳表示させたり、その所定位置の方向を示すマーク１３２を重畳表示させることで、所定位置をユーザに容易に把握させることができる。
［６－６．表示例６］
　図２４は、所定位置に対応するマークをヘッドマウントディスプレイ７に重畳表示する例を説明する図である。表示例６では、ユーザによって選択された位置を対応するマークを、ヘッドマウントディスプレイ７の部分画像１１０に重畳表示する。
　コントローラ５に対するユーザ操作によって所定位置が選択されると、表示制御部６４は、表示例５と同様に、表示部４８において、その位置に対応するマーク１３０を全天球展開画像１００に重畳表示させる。
　また、表示制御部６４は、所定位置がヘッドマウントディスプレイ７の表示領域１０１
内であれば、図２４上段に示すように、ヘッドマウントディスプレイ７に表示される部分画像１１０に、その所定位置を示すマーク１４０を重畳表示させる。
　また、表示制御部６４は、所定位置がヘッドマウントディスプレイ７の表示領域１０１外であれば、図２４下段に示すように、ヘッドマウントディスプレイ７に表示される部分画像１１０に、その所定位置の方向を示す矢印等のマーク１４１を重畳表示させる。
　このようにすることで、ユーザが指定した所定位置を、ヘッドマウントディスプレイ７を装着した装着者に容易に把握させることができる。これにより、装着者は、ユーザが指定した所定位置を確認するためにヘッドマウントディスプレイ７を移動させ、その位置に対応する部分画像１１０をヘッドマウントディスプレイ７に表示させることが可能となる。
［６－７．表示例７］
　表示例７では、ヘッドマウントディスプレイ７を装着した装着者の視線位置に対応するマークを、全天球展開画像１００および部分画像１１０に重畳表示する。
　ヘッドマウントディスプレイ７から装着者の視線位置を示す情報が入力されると、表示制御部６４は、表示例５および表示例６と同様に、表示部４８に表示されている全天球展開画像１００において、その視線位置に対応するマーク１３０を全天球展開画像１００に重畳表示させる（図２２、図２３参照）。
　また、表示制御部６４は、視線位置が表示領域１０１内であれば、外部モニタ６に表示される部分画像１１０に対して、その視線位置に対応するマーク１３１を重畳表示させる（図２２参照）。
　また、表示制御部６４は、視線位置が表示領域１０１外であれば、外部モニタ６に表示される部分画像１１０に対して、その視線位置の方向を示す矢印等のマーク１３２を重畳表示させる（図２３参照）。
　このようにすることで、装着者の視線位置を、ユーザに容易に把握させることができる。これにより、ユーザは、装着者の視線位置に対応する部分画像１１０を外部モニタ６に表示させる等の操作を行い、視線位置に対応する部分画像１１０を確認することが可能となる。
［６－８．表示例８］
　図２５は、装着者の視線位置に応じた表示の例を説明する図である。表示例８では、ヘッドマウントディスプレイ７を装着した装着者の視線位置を中心とする部分画像１１０を外部モニタ６に表示する。
　例えば、図２５に示すように、表示制御部６４は、ヘッドマウントディスプレイ７から装着者の視線位置（図中バツ印で示す）を示す情報が入力されると、表示領域決定部６２は、全天球展開画像１００から視線位置を中央とする表示領域１０１を決定する。
　平面変換部６３は、全天球展開画像１００から、決定された表示領域１０１の画像部分を切り出し、切り出した画像部分に対して歪補正処理を施して部分画像１１０を生成する。そして、表示制御部６４は、部分画像１１０の画像信号を外部モニタ６に出力することで、外部モニタ６において、装着者の視線位置に対応する部分画像１１０を表示させる。
　このように、装着者の視線位置に対応する部分画像１１０を表示させることで、装着者が確認している画像部分をユーザに容易に確認させることが可能となる。
［６－９．表示例９］
　図２６は、グリッド１５０を重畳表示する例を説明する図である。なお、図２６では、第２表示モードである場合について示している。表示例７では、外部モニタ６に表示されている部分画像１１０にグリッド１５０を重畳表示する。
　例えば、図２６に示すように、表示制御部６４は、部分画像１１０ａ～１１０ｄに対して、水平方向および垂直方向に所定間隔のグリッド１５０を重畳表示させる。
　このようにすることで、部分画像１１０の歪みをユーザに容易に確認させることが可能となる。
［６－１０．表示例１０］
　図２７は、部分画像１１０として視差画像を表示する例を説明する図である。表示例１０では、外部モニタ６に表示されている部分画像１１０として視差画像１６０を表示する。
　全天球カメラ装置２が視差画像を撮像可能である場合、ＶＲ変換装置３は、視差画像としての全天球展開画像１００を生成する。そして、表示制御部６４は、外部モニタ６に部分画像１１０として視差画像１６０を表示させる。
　このとき、例えば、図２７に示すように、距離に応じて異なる表示態様で視差画像１６０を表示する。
　これにより、立体物までの距離もユーザに確認させることができる。
＜７．変形例＞
　なお、実施形態としては上記により説明した具体例に限定されるものではなく、多様な変形例としての構成を採り得るものである。
　また、編集状況確認表示部の一例として外部モニタ６を例に挙げて説明した。しかしながら、編集状況確認表示部は、平面変換装置４の表示部４８であってもよく、また、他の表示部であってもよい。
　また、表示制御部６４は、異なるダイナミックレンジの部分画像を切り替えて表示するようにしてもよい。例えば、表示制御部６４は、ＳＤＲ（Standard Dynamic Range）の部分画像１１０と、ＨＤＲ（High Dynamic Range）の部分画像１１０とを切り替えて表示可能なようにしてもよい。また、表示制御部６４は、ＳＤＲの部分画像１１０と、ＨＤＲの部分画像１１０とを並べて外部モニタ６に表示させるようにしてもよい。
　また、表示枠１０２が四角である場合について説明した。しかしながら、図２８に示すように、表示枠１０２は、歪補正処理により補正されることを考慮して、部分画像１１０として表示される領域を正確に表した形状となるようにしてもよい。また、表示制御部６４は、部分画像１１０として表示される領域を正確に表した形状の表示枠１０２と、四角の表示枠１０２を切替可能としてもよい。
　また、ＶＲ変換装置３と平面変換装置４とが別体である場合について説明したが、ＶＲ変換装置３と平面変換装置４とは、１つのコンピュータにより構成されるようにしてもよい。例えば、平面変換装置４は、ＶＲ変換装置３のＥＯＴＦ部３１、ＶＲ変換部３２、レンダリング部３３、エンコーダ部３４としても機能し、ＶＲ変換装置３が行う全天球展開画像１００の生成処理を行うようにしてもよい。
　また、入力画像が全天球展開画像である場合について説明した。しかしながら、入力画像は、少なくとも水平方向に３６０度の画角を有することが望ましく、１つの魚眼カメラ２ａで撮像される半天球展開画像であってもよく、また、パノラマ画像であってもよい。
＜８．まとめ＞
　以上の実施形態によれば次のような効果が得られる。
　実施形態の画像処理装置（平面変換装置４）は、入力画像（全天球展開画像１００）から第１表示領域（表示領域１０１ａ）と、第１表示領域とは異なる第２表示領域（表示領域１０１ｂ～１０１ｄ）とを決定する表示領域決定部６２と、表示領域決定部により決定された第１表示領域および第２表示領域の画像を部分画像１１０として編集状況確認表示部（外部モニタ６）に表示させる表示制御部６４と、を備える。
　これにより、平面変換装置４は、ヘッドマウントディスプレイ７において装着者が確認しているＨＭＤ部分画像１０５（部分画像１１０ａ）以外の部分画像１１０をユーザに確認させることができる。すなわち、平面変換装置４は、全天球展開画像１００においてヘッドマウントディスプレイ７の装着者が確認困難な領域を確認させることができる。かくして、平面変換装置４は、入力画像を容易に確認させることができる。
　また、入力画像は魚眼画像の少なくとも一部の画像であり、画像処理装置は、入力画像を正距円筒画像に変換するＶＲ変換部３２と、正距円筒画像のうち少なくとも第１表示領域の画像を平面画像に変換する平面変換部６３とを備え、表示制御部は、平面画像を部分画像として編集状況確認表示部に表示させる。
　これにより、平面変換装置４は、歪がある正距円筒画像について、歪を補正した部分画像１１０で確認させることができる。
　また、編集状況確認表示部に表示された画像を対象とするユーザ操作に基づいて、第１表示領域または第２表示領域に含まれる領域を変更する。
　これにより、平面変換装置４は、ユーザが確認したい領域についての部分画像を外部モニタ６に表示することが可能となり、確認したい領域を容易に確認させることができる。
　また、入力画像は、少なくとも水平方向に３６０度の画角を有し、表示領域決定部６２は、第２表示領域の水平方向の画角として、入力画像の水平方向の画角から第１表示領域の画角を除く範囲を前記第２表示領域の数で等分した画角とする。
　これにより、平面変換装置４は、全天球展開画像の水平方向の全ての画角について、ユーザに確認させることができる。
　また、入力画像は、少なくとも水平方向に３６０度の画角を有し、表示領域決定部６２は、第１表示領域とは水平方向において正反対の領域に第２表示領域を決定する。
　これにより、平面変換装置４は、ヘッドマウントディスプレイ７を装着している装着者によって確認することが最も困難な表示領域１０１の部分画像１１０をユーザに確認させることができる。
　また、表示制御部６４は、入力画像における水平方向に第１表示領域および第２表示領域よりも横長のアスペクト比であるパノラマ画像を、部分画像とともに前記編集状況確認表示部に表示させる。
　これにより、外部モニタ６において全天球展開画像１００のどの領域の部分画像１１０を確認しているかをユーザに容易に把握させることができる。
　また、表示制御部６４は、第１表示領域の部分画像をヘッドマウントディスプレイ７の表示部に表示させる。
　これにより、視野角が狭いヘッドマウントディスプレイ７では確認困難な領域の部分画像１１０を、外部モニタ６を介して確認させることができる。
　また、表示制御部６４は、部分画像に所定位置を示すマークを重畳表示する。
　これにより、例えばユーザに指定された位置や、ヘッドマウントディスプレイ７を装着している装着者の視線位置などをユーザに容易に把握させることができる。
　また、表示制御部６４は、部分画像にグリッドを重畳表示する。
　これにより、部分画像１１０の歪みをユーザに容易に確認させることができる。
　また、表示制御部６４は、部分画像の画角を示す画角情報１１３を部分画像に表示する。
　これにより、全天球展開画像１００においてどのような表示領域１０１が決定されており、その表示領域１０１の部分画像１１０が外部モニタ６に表示されているかをユーザに容易に把握させることができる。
　また、表示領域決定部６２は、所定の追従対象を追尾するトラッキング装置８から入力される情報に基づいて、追従対象を含む表示領域を決定する。
　これにより、追従対象を追従して部分画像１１０に表示させることで、追従対象をユーザに随時確認させることができる。
　また、表示制御部６４は、部分画像として視差画像を表示する。
　これにより、立体物までの距離もユーザに確認させることができる。
　また、表示制御部６４は、ヘッドマウントディスプレイの装着者の視線位置を示すマーク１３１を部分画像に表示する。
　このようにすることで、装着者の視線位置を、ユーザに容易に把握させることができる。これにより、ユーザは、装着者の視線位置に対応する部分画像１１０を外部モニタ６に表示させる等の操作を行い、視線位置に対応する部分画像を外部モニタ６に表示させることが可能となる。
　また、表示制御部６４は、入力画像のうち操作部が指示した位置に対応するマーク１４０をヘッドマウントディスプレイの表示部に表示させる。
　これにより、ユーザが指定した所定位置を、ヘッドマウントディスプレイ７を装着した装着者に容易に把握させることができる。これにより、装着者は、ユーザが指定した所定位置を確認するためにヘッドマウントディスプレイ７を移動させ、その位置に対応する部分画像１１０をヘッドマウントディスプレイ７に表示させることが可能となる。
　表示領域決定部６２は、ヘッドマウントディスプレイの表示部の解像度に応じた表示領域を決定する。
　これにより、異なる解像度のヘッドマウントディスプレイ７において表示される部分画像１１０をユーザに確認させることができる。
　表示領域決定部６２は、第１表示領域および第２表示領域の複数を操作部の操作に応じて、連動して移動させる。
　これにより、複数の部分画像１１０を連動して移動させることができ、操作の手間を省略させることができる。
　表示領域決定部６２は、第１表示領域および第２表示領域の複数を操作部の操作に応じて、連動して拡大または縮小させる。
　これにより、複数の部分画像１１０を連動して拡大または縮小させることができ、操作の手間を省略させることができる。
　表示制御部６４は、複数の部分画像を編集状況確認表示部に表示可能であり、複数の部分画像の信号を異なる出力部を用いて編集状況確認表示部に出力する。
　これにより、画像信号のデータ量が多い場合でも、それぞれの部分画像１１０を個別で外部モニタ６に出力して表示させることで、画像表示の遅延等を発生させにくくすることができる。また、それぞれの部分画像１１０について、ハーディングチェックを行わせることも可能となる。
　表示制御部は、互いに異なる複数種類のダイナミックレンジの部分画像を切り替えて表示する。
　これにより、様々なダイナミックレンジの部分画像１１０を確認させることができる。
　また、画像処理方法は、画像処理装置が、入力画像から第１表示領域と、第１表示領域とは異なる第２表示領域とを決定し、決定された第１表示領域および第２表示領域の画像を部分画像として編集状況確認表示部に表示させる。
　また、プログラムは、入力画像から第１表示領域と、第１表示領域とは異なる第２表示領域とを決定し、決定された第１表示領域および第２表示領域の画像を部分画像として編集状況確認表示部に表示させる処理を画像処理装置に実行させる。
　このようなプログラムはコンピュータ装置等の機器に内蔵されている記憶媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
　あるいはまた、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magneto Optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記憶媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記憶媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、このようなプログラムは、リムーバブル記憶媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
　またこのようなプログラムによれば、実施形態の画像処理装置の広範な提供に適している。例えばスマートフォンやタブレット等の携帯端末装置、携帯電話機、パーソナルコンピュータ、ゲーム機器、ビデオ機器、ＰＤＡ（Personal Digital Assistant）等にプログラムをダウンロードすることで、本技術の情報処理装置として機能させることができる。
　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
＜９．本技術＞
　なお本技術は以下のような構成も採ることができる。
（１）
　入力画像から第１表示領域と、前記第１表示領域とは異なる第２表示領域とを決定する表示領域決定部と、
　前記表示領域決定部により決定された前記第１表示領域および前記第２表示領域の画像を部分画像として編集状況確認表示部に表示させる表示制御部と、
　を備える画像処理装置。
（２）
　前記入力画像は魚眼画像の少なくとも一部の画像であり、
　前記画像処理装置は、
　前記入力画像を正距円筒画像に変換するＶＲ変換部と、
　前記正距円筒画像のうち少なくとも前記第１表示領域の画像を平面画像に変換する平面変換部とを備え、
　前記表示制御部は、前記平面画像を前記部分画像として前記編集状況確認表示部に表示させる
（１）に記載の画像処理装置。
（３）
　前記編集状況確認表示部に表示された画像を対象とするユーザ操作に基づいて、前記第１表示領域または前記第２表示領域に含まれる領域を変更する
（１）または（２）に記載の画像処理装置。
（４）
　前記入力画像は、少なくとも水平方向に３６０度の画角を有し、
　前記表示領域決定部は、
　前記第２表示領域の水平方向の画角として、前記入力画像の水平方向の画角から前記第１表示領域の画角を除く範囲を前記第２表示領域の数で等分した画角とする
　（１）から（３）のいずれかに記載の画像処理装置。
（５）
　前記入力画像は、少なくとも水平方向に３６０度の画角を有し、
　前記表示領域決定部は、
　前記第１表示領域とは水平方向において正反対の領域に前記第２表示領域を決定する
　（１）から（４）のいずれかに記載の画像処理装置。
（６）
　前記表示制御部は、
　前記入力画像における水平方向に前記第１表示領域および前記第２表示領域よりも横長のアスペクト比であるパノラマ画像を、前記部分画像とともに前記編集状況確認表示部に表示させる
　（１）から（５）のいずれかに記載の画像処理装置。
（７）
　前記表示制御部は、
　前記第１表示領域の前記部分画像をヘッドマウントディスプレイの表示部に表示させる
　（１）から（６）のいずれかに記載の画像処理装置。
（８）
　前記表示制御部は、
　前記部分画像に所定位置を示すマークを重畳表示する
　（１）から（７）のいずれかに記載の画像処理装置。
（９）
　前記表示制御部は、
　前記部分画像にグリッドを重畳表示する
　（１）から（８）のいずれかに記載の画像処理装置。
（１０）
　前記表示制御部は、
　前記部分画像の画角を示す画角情報を前記部分画像に重畳表示する
　（１）から（９）のいずれかに記載の画像処理装置。
（１１）
　前記表示領域決定部は、
　所定の追従対象を追尾するトラッキング装置から入力される情報に基づいて、前記追従対象を含む表示領域を決定する
　（１）から（１０）のいずれかに記載の画像処理装置。
（１２）
　前記表示制御部は、
　前記部分画像として視差画像を表示する
　（１）から（１１）のいずれかに記載の画像処理装置。
（１３）
　前記表示制御部は、
　前記ヘッドマウントディスプレイの装着者の視線位置に対応するマークを前記部分画像に重畳表示する
　（７）に記載の画像処理装置。
（１４）
　前記表示制御部は、
　前記入力画像のうち操作部が指示した位置に対応するマークを前記ヘッドマウントディスプレイの表示部に表示させる
　（７）または（１３）に記載の画像処理装置。
（１５）
　前記表示領域決定部は、
　前記ヘッドマウントディスプレイの表示部の解像度に応じた表示領域を決定する
　（７）、（１３）または（１４）に記載の画像処理装置。
（１６）
　前記表示領域決定部は、
　前記第１表示領域および前記第２表示領域の複数を操作部の操作に応じて、連動して移動させる
　（１）から（１５）のいずれかに記載の画像処理装置。
（１７）
　前記表示領域決定部は、
　前記第１表示領域および前記第２表示領域の複数を操作部の操作に応じて、連動して拡大または縮小させる
　（１）から（１６）のいずれかに記載の画像処理装置。
（１８）
　前記表示制御部は、
　複数の前記部分画像を前記編集状況確認表示部に表示可能であり、
　複数の前記部分画像の信号を異なる出力部を用いて前記編集状況確認表示部に出力する
　（１）から（１７）のいずれかに記載の画像処理装置。
（１９）
　前記表示制御部は、
　互いに異なる複数種類のダイナミックレンジの前記部分画像を切り替えて表示する
　（１）から（１８）のいずれかに記載の画像処理装置。
（２０）
　画像処理装置が、
　入力画像から第１表示領域と、前記第１表示領域とは異なる第２表示領域とを決定し、
　決定された前記第１表示領域および前記第２表示領域の画像を部分画像として編集状況確認表示部に表示させる
　表示制御方法。
（２１）
　入力画像から第１表示領域と、前記第１表示領域とは異なる第２表示領域とを決定し、
　決定された前記第１表示領域および前記第２表示領域の画像を部分画像として編集状況確認表示部に表示させる
　処理を画像処理装置に実行させるプログラム。
１　画像処理システム
３　ＶＲ変換装置
４　平面変換装置
６　外部モニタ
７　ヘッドマウントディスプレイ
３２　ＶＲ変換部
４８　表示部
６２　表示領域決定部
６３　平面変換部
６４　表示制御部

Claims (21)

  1. 　入力画像から第１表示領域と、前記第１表示領域とは異なる第２表示領域とを決定する表示領域決定部と、
    　前記表示領域決定部により決定された前記第１表示領域および前記第２表示領域の画像を部分画像として編集状況確認表示部に表示させる表示制御部と、
    　を備える画像処理装置。
  2. 　前記入力画像は魚眼画像の少なくとも一部の画像であり、
    　前記画像処理装置は、
    　前記入力画像を正距円筒画像に変換するＶＲ変換部と、
    　前記正距円筒画像のうち少なくとも前記第１表示領域の画像を平面画像に変換する平面変換部とを備え、
    　前記表示制御部は、前記平面画像を前記部分画像として前記編集状況確認表示部に表示させる
    請求項１に記載の画像処理装置。
  3. 　前記編集状況確認表示部に表示された画像を対象とするユーザ操作に基づいて、前記第１表示領域または前記第２表示領域に含まれる領域を変更する
    請求項１に記載の画像処理装置。
  4. 　前記入力画像は、少なくとも水平方向に３６０度の画角を有し、
    　前記表示領域決定部は、
    　前記第２表示領域の水平方向の画角として、前記入力画像の水平方向の画角から前記第１表示領域の画角を除く範囲を前記第２表示領域の数で等分した画角とする
    　請求項１に記載の画像処理装置。
  5. 　前記入力画像は、少なくとも水平方向に３６０度の画角を有し、
    　前記表示領域決定部は、
    　前記第１表示領域とは水平方向において正反対の領域に前記第２表示領域を決定する
    　請求項１に記載の画像処理装置。
  6. 　前記表示制御部は、
    　前記入力画像における水平方向に前記第１表示領域および前記第２表示領域よりも横長のアスペクト比であるパノラマ画像を、前記部分画像とともに前記編集状況確認表示部に表示させる
    　請求項１に記載の画像処理装置。
  7. 　前記表示制御部は、
    　前記第１表示領域の前記部分画像をヘッドマウントディスプレイの表示部に表示させる
    　請求項１に記載の画像処理装置。
  8. 　前記表示制御部は、
    　前記部分画像に所定位置を示すマークを重畳表示する
    　請求項１に記載の画像処理装置。
  9. 　前記表示制御部は、
    　前記部分画像にグリッドを重畳表示する
    　請求項１に記載の画像処理装置。
  10. 　前記表示制御部は、
    　前記部分画像の画角を示す画角情報を前記部分画像に重畳表示する
    　請求項１に記載の画像処理装置。
  11. 　前記表示領域決定部は、
    　所定の追従対象を追尾するトラッキング装置から入力される情報に基づいて、前記追従対象を含む表示領域を決定する
    　請求項１に記載の画像処理装置。
  12. 　前記表示制御部は、
    　前記部分画像として視差画像を表示する
    　請求項１に記載の画像処理装置。
  13. 　前記表示制御部は、
    　前記ヘッドマウントディスプレイの装着者の視線位置に対応するマークを前記部分画像に重畳表示する
    　請求項７に記載の画像処理装置。
  14. 　前記表示制御部は、
    　前記入力画像のうち操作部が指示した位置に対応するマークを前記ヘッドマウントディスプレイの表示部に表示させる
    　請求項７に記載の画像処理装置。
  15. 　前記表示領域決定部は、
    　前記ヘッドマウントディスプレイの表示部の解像度に応じた表示領域を決定する
    　請求項７に記載の画像処理装置。
  16. 　前記表示領域決定部は、
    　前記第１表示領域および前記第２表示領域の複数を操作部の操作に応じて、連動して移動させる
    　請求項１に記載の画像処理装置。
  17. 　前記表示領域決定部は、
    　前記第１表示領域および前記第２表示領域の複数を操作部の操作に応じて、連動して拡大または縮小させる
    　請求項１に記載の画像処理装置。
  18. 　前記表示制御部は、
    　複数の前記部分画像を前記編集状況確認表示部に表示可能であり、
    　複数の前記部分画像の信号を異なる出力部を用いて前記編集状況確認表示部に出力する
    　請求項１に記載の画像処理装置。
  19. 　前記表示制御部は、
    　互いに異なる複数種類のダイナミックレンジの前記部分画像を切り替えて表示する
    　請求項１に記載の画像処理装置。
  20. 　画像処理装置が、
    　入力画像から第１表示領域と、前記第１表示領域とは異なる第２表示領域とを決定し、
    　決定された前記第１表示領域および前記第２表示領域の画像を部分画像として編集状況確認表示部に表示させる
    　画像処理方法。
  21. 　入力画像から第１表示領域と、前記第１表示領域とは異なる第２表示領域とを決定し、
    　決定された前記第１表示領域および前記第２表示領域の画像を部分画像として編集状況確認表示部に表示させる
    　処理を画像処理装置に実行させるプログラム。
PCT/JP2022/042051 2021-11-26 2022-11-11 画像処理装置、画像処理方法、プログラム WO2023095642A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-192470 2021-11-26
JP2021192470 2021-11-26

Publications (1)

Publication Number Publication Date
WO2023095642A1 true WO2023095642A1 (ja) 2023-06-01

Family

ID=86539454

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/042051 WO2023095642A1 (ja) 2021-11-26 2022-11-11 画像処理装置、画像処理方法、プログラム

Country Status (1)

Country Link
WO (1) WO2023095642A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014165763A (ja) * 2013-02-26 2014-09-08 Ricoh Co Ltd 編集装置、編集方法、及び編集プログラム
US20180152636A1 (en) * 2016-11-28 2018-05-31 Lg Electronics Inc. Mobile terminal and operating method thereof
WO2018173791A1 (ja) * 2017-03-22 2018-09-27 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2020005202A (ja) * 2018-06-29 2020-01-09 日本放送協会 映像処理装置
WO2020059327A1 (ja) * 2018-09-18 2020-03-26 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014165763A (ja) * 2013-02-26 2014-09-08 Ricoh Co Ltd 編集装置、編集方法、及び編集プログラム
US20180152636A1 (en) * 2016-11-28 2018-05-31 Lg Electronics Inc. Mobile terminal and operating method thereof
WO2018173791A1 (ja) * 2017-03-22 2018-09-27 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2020005202A (ja) * 2018-06-29 2020-01-09 日本放送協会 映像処理装置
WO2020059327A1 (ja) * 2018-09-18 2020-03-26 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Similar Documents

Publication Publication Date Title
US9858643B2 (en) Image generating device, image generating method, and program
JP6167703B2 (ja) 表示制御装置、プログラム及び記録媒体
JP5406813B2 (ja) パノラマ画像表示装置およびパノラマ画像表示方法
JP5136059B2 (ja) 画像処理装置、画像処理方法、そのプログラム及びそのプログラムを記録した記録媒体
JP5464955B2 (ja) パノラマ画像表示装置
JP4931055B2 (ja) 画像処理装置及び画像処理方法
US11627251B2 (en) Image processing apparatus and control method thereof, computer-readable storage medium
JP2001008232A (ja) 全方位映像出力方法と装置
US20190289203A1 (en) Image processing apparatus, image capturing system, image processing method, and recording medium
WO2012032996A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2007119712A1 (ja) カメラ装置、画像処理装置および画像処理方法
JP2012095195A (ja) 映像処理装置、撮像装置、映像処理方法及びプログラム
JP2020042064A (ja) 表示制御装置、撮像装置、制御方法、プログラム、及び、記憶媒体
WO2023095642A1 (ja) 画像処理装置、画像処理方法、プログラム
JP7190594B1 (ja) 撮像装置およびその制御方法、画像処理装置および画像処理システム
JP6443505B2 (ja) プログラム、表示制御装置及び表示制御方法
JP2981408B2 (ja) カメラ画像内の目的とする被写体の高速導入制御方法および装置
JP6122991B2 (ja) 画像表示装置および画像表示方法
JP5646033B2 (ja) 画像表示装置および画像表示方法
JP5920857B2 (ja) 画像表示装置および画像表示方法
WO2024084943A1 (ja) 情報処理装置、情報処理方法、プログラム
US20240036791A1 (en) Information processing apparatus, information processing method, and non-transitory recording medium
JP2013143709A (ja) 画像表示装置
EP4016464A1 (en) Apparatus, system, method, and carrier means
KR101228319B1 (ko) 임베디드 ｏｓ를 탑재한 실물화상 시스템에서 영상을오버레이하는 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22898426

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023563618

Country of ref document: JP

Kind code of ref document: A