WO2019163385A1 - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
WO2019163385A1
WO2019163385A1 PCT/JP2019/002199 JP2019002199W WO2019163385A1 WO 2019163385 A1 WO2019163385 A1 WO 2019163385A1 JP 2019002199 W JP2019002199 W JP 2019002199W WO 2019163385 A1 WO2019163385 A1 WO 2019163385A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
display
image processing
display unit
processing apparatus
Prior art date
Application number
PCT/JP2019/002199
Other languages
English (en)
French (fr)
Inventor
正俊 石井
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2018210844A external-priority patent/JP7391502B2/ja
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Publication of WO2019163385A1 publication Critical patent/WO2019163385A1/ja
Priority to US16/940,655 priority Critical patent/US20200358964A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor

Definitions

  • the present invention relates to an image processing technique for assisting imaging by an imaging apparatus.
  • Patent Document 1 discloses a technique of superimposing a marker indicating a region that is supposed to be displayed on a display device on an image obtained by imaging at the time of imaging.
  • Patent Document 1 a region that is supposed to be displayed on a display device is only indicated by a marker.
  • the marker may not indicate the display area.
  • a marker for indicating a region where an image is displayed on the display device cannot always be generated appropriately.
  • an object of the present invention is to provide information for generating a marker suitable for a display device that displays a part of an image obtained by imaging.
  • an image processing apparatus for notifying a range to be displayed in an input image by an apparatus or system including a display unit that displays an image. Based on the first acquisition means for acquiring information representing the display form of the apparatus or system including the section, the second acquisition means for acquiring input image data representing the input image, the input image data, and the information And a specifying means for specifying a range to be displayed by the display unit in the input image, and an output means for outputting information representing the specified range.
  • the shape of the specified range is a curved screen. And a shape corresponding to the display unit which is at least one of a plurality of flat screens.
  • a diagram showing a configuration example of a display system Flowchart showing the flow of processing for generating an image with a marker Diagram showing 3D spatial coordinate system Diagram showing 3D spatial coordinate system Diagram showing a two-dimensional UV coordinate system Diagram showing an example of an image with markers Diagram showing an example of an image with markers Diagram showing an example of an image with markers Diagram showing an example of an image with markers Diagram showing an example of an image with markers Diagram showing an example of an image with markers Diagram showing an example of an image with markers Diagram showing an example of an image with markers Flowchart showing the flow of processing performed in the image processing apparatus Flowchart showing the flow of processing for generating an image with a marker Diagram showing an example of an image with markers Diagram showing an example of an image with markers Diagram showing an example of an image with markers A diagram showing a configuration example of a display system Diagram showing an example of an image with markers Diagram showing an example of
  • FIG. 15A shows a captured image 1501 including a subject 1502 to be displayed on the screen of the display system described above.
  • the display ranges 1503 to 1505 are all rectangles of the same size.
  • the display range 1503 is rectangular, whereas the display range 1504 and the display range 1505 are trapezoidal.
  • the shapes of the display ranges 1503 to 1505 also change depending on the lens projection method when the captured image 1501 is captured.
  • the display range shown in FIG. 15B shows a case of a general center projection lens. However, when an equidistant projection fisheye lens is used, for example, as shown in FIG. 8B, the shape of the display range is that of the center projection. Compared to the case of a lens, the shape is slightly rounded.
  • FIG. 15C shows an example in which the captured image 1501 shown in FIG. 15A and the screen display ranges 1503 to 1505 shown in FIG.
  • the display range of the screen does not include the entire subject 1502 to be originally displayed.
  • the fact that the entire subject does not fit within the display range of the screen and is partially cut is referred to as “out of sight”.
  • the imager takes an image while checking a display unit such as an electronic viewfinder (EVF) or a monitor of the image pickup apparatus. Therefore, the photographer can confirm the range of the captured image that is currently captured.
  • EMF electronic viewfinder
  • the photographer does not know which range in the captured image 1501 is displayed on the screen.
  • the discontinuity occurs because the photographer does not recognize which range is displayed on the screen in the captured image 1501 at the time of imaging. Therefore, in the present embodiment, at the time of imaging, the photographer is notified of which range of the image obtained by imaging is displayed on the display device. Specifically, at the time of imaging, a marker corresponding to the display form of the display device is generated, and the generated marker is displayed superimposed on the image. Thereby, the photographer can know the range that the display device can display in the image obtained by the imaging.
  • a display device or a display system that displays a part of a captured image after imaging is referred to as a first display device or a first display system.
  • a device that displays an image on which a marker is superimposed at the time of imaging is referred to as a second display device.
  • the display unit included in the imaging device is used as the second display device, the display unit is referred to as a second display unit.
  • the image processing apparatus 1 is, for example, a computer, and includes a CPU 101, a RAM 102, a ROM 103, an HDD interface (I / F) 104, an input I / F 106, an output I / F 108, an imaging device I / F 110, Have
  • the CPU 101 uses the RAM 102 as a work memory, executes programs stored in the ROM 103 and the hard disk drive (HDD) 105, and controls each configuration via the system bus 100.
  • the HDD I / F 104 is an interface such as serial ATA (SATA).
  • a secondary storage device such as an HDD 105 or an optical disk drive is connected to the HDD I / F 104.
  • the CPU 101 can read data from the HDD 105 and write data to the HDD 105 via the HDD I / F 104. Further, the CPU 101 can expand the data stored in the HDD 105 in the RAM 102 and can store the data expanded in the RAM 102 in the HDD 105. The CPU 101 can execute the data expanded in the RAM 102 as a program.
  • the input I / F 106 is a serial bus interface such as USB or IEEE1394.
  • An input device 107 such as a keyboard or a mouse is connected to the input I / F 106. The CPU 101 can read data from the input device 107 via the input I / F 106.
  • the output I / F 108 is a video output interface such as DVI or HDMI (registered trademark).
  • An output device 109 such as a liquid crystal display is connected to the output I / F 108.
  • the output device 109 corresponds to the second display device or the second display unit described above.
  • the CPU 101 can send data to the output device 109 via the output I / F 108 and execute processing such as display.
  • the imaging device I / F 110 is a serial bus interface such as a USB.
  • An imaging device 111 such as a video camera is connected to the imaging device I / F 110.
  • the CPU 101 can acquire imaging data such as moving image frame data from the imaging device 111 via the imaging device I / F 110.
  • the image processing apparatus 1 does not have to include the imaging device I / F 110.
  • an imaging device is connected to the input I / F 106 instead of the imaging device I / F 110.
  • an imaging device in which the imaging device 111 and the output device 109 are integrated may be connected to the imaging device I / F 110.
  • a video camera having a display unit such as an EVF or a monitor can be used as the imaging device 111.
  • the CPU 101 can send data to the display unit via the imaging device I / F 110 to execute display.
  • the image processing apparatus 1 may be included in the output device 109 or the imaging apparatus 111.
  • FIG. 1600 A block diagram showing an example of the imaging system 1600 is shown in FIG.
  • the imaging system 1600 is a digital camera, for example, and includes a CPU 101, a RAM 102, a ROM 103, an HDD interface (I / F) 104, an input unit 1601, a display unit 1602, and an imaging unit 1603.
  • the input unit 1601 is an input unit such as a button.
  • a display unit 1602 is a display unit such as an EVF or a monitor.
  • the imaging unit 1603 is an imaging unit that includes an optical system such as a lens and generates an image via the optical system.
  • the imaging system 1600 does not have to include the input unit 1601 and the display unit 1602 separately, and may include a touch panel display in which the input unit 1601 and the display unit 1602 are integrated.
  • the imaging system is not limited to a digital camera, and may be a portable information terminal such as a smartphone.
  • FIG. 2 is a block diagram illustrating a functional configuration of the image processing apparatus 1.
  • the CPU 101 functions as the functional configuration shown in FIG. 2 by reading a program stored in the ROM 103 or the HDD 105 and executing the RAM 102 as a work area. Note that it is not necessary for the CPU 101 to execute all of the processes described below, and the image processing apparatus 1 may be configured such that part or all of the processes are performed by one or a plurality of processing circuits other than the CPU 101. Good.
  • the image processing apparatus 1 includes a display form acquisition unit 201, an input image acquisition unit 202, a viewpoint information acquisition unit 203, an imaging condition acquisition unit 204, an output image generation unit 205, and an output unit 206.
  • the display form acquisition unit 201 acquires display form information representing the display form of the first display system that displays an image.
  • the display form information of the first display system is information configured by arrangement information indicating the number of screens included in the first display system, the size of each screen, the resolution of each screen, the position and orientation of each screen.
  • the input image acquisition unit 202 acquires input image data representing the input image.
  • the input image is an image to be displayed with a marker superimposed.
  • the viewpoint information acquisition unit 203 acquires viewpoint information representing the position of the viewpoint when observing an image displayed by the first display system.
  • the imaging condition acquisition unit 204 acquires imaging information representing imaging conditions.
  • the imaging information includes the sensor size of the imaging device 111, the focal length of the lens, the angle of view, the projection method, and the resolution of the input image.
  • the output image generation unit 205 generates image data with a marker that represents an image with a marker in which a marker is superimposed on the input image.
  • an image with a marker is also called an output image
  • image data with a marker is also called output image data.
  • the output unit 206 outputs the marker-added image data to the output device 109.
  • FIG. 3 is a flowchart showing a flow of processing performed in the image processing apparatus 1.
  • each step (process) is represented by adding S before the reference numeral.
  • the display form acquisition unit 201 acquires display form information representing the display form of the first display system that displays an image.
  • the process in S301 is performed based on a user instruction via the input device 107.
  • the display form information is acquired by selecting one of a plurality of display form information stored in advance in the HDD 105 based on a user instruction.
  • the first display system in the present embodiment is the display system shown in FIG.
  • the first display system includes three screens and three projectors, and a left side screen 402 and a right side screen 403 are arranged at an opening angle ⁇ with respect to the center screen 401. Each screen has a width W mm and a height H mm , and the three screens have the same size.
  • the screen arrangement information represents the position (x, y, z) of the center of the screen in the three-dimensional XYZ coordinate system and a normal vector N representing the direction of the normal on the surface of the screen.
  • This normal is the normal of the surface on the side where the viewpoint for observing the screen is located.
  • the origin of the XYZ coordinate system is the viewpoint position represented by the viewpoint information.
  • the resolution of the screen described above may be the resolution of a projector that projects an image on each screen instead of the resolution of the image on the screen.
  • the imaging condition acquisition unit 204 acquires imaging information representing the imaging conditions.
  • the processing in S302 is performed based on a user instruction via the input device 107.
  • imaging information is acquired by selecting one for each item from a plurality of imaging conditions stored in advance in the HDD 105 based on a user instruction.
  • the sensor size of the imaging device 111 is width SW mm and height SH mm
  • the focal length of the lens is f
  • the angle of view is ⁇ max
  • the resolution of the input image is SW pix ⁇ SH pix .
  • the lens of the imaging device 111 in this embodiment is a fisheye lens of equidistant projection
  • the projection method is equidistant projection.
  • step S303 the viewpoint information acquisition unit 203 acquires viewpoint information indicating the position of the viewpoint when observing an image displayed by the first display system.
  • the process in S303 is performed based on a user instruction via the input device 107.
  • viewpoint information is acquired by selecting one of viewpoint information representing viewpoint positions stored in advance in the HDD 105 based on a user instruction.
  • the viewpoint information represents the position (0, 0, 0) of the viewpoint in the XYZ coordinate system described above.
  • the viewpoint position is not limited to the above example.
  • the input image acquisition unit 202 acquires input image data obtained via the imaging device 111. Specifically, input image data is acquired to the RAM 102 via the imaging device I / F 110. In the present embodiment, since the imaging device 111 is a video camera, the subsequent processing is performed using image data corresponding to each frame of the moving image as input image data.
  • step S ⁇ b> 305 the output image generation unit 205 generates marker-added image data representing a marker-added image in which a marker representing a range cut out by the cut-out process, that is, a range displayed by the first display system, is superimposed on the input image. .
  • the marker-added image data is generated by superimposing the marker image data generated in this step on the input image data acquired in S304. Details of the processing in this step will be described later.
  • the output unit 206 outputs the marker-added image data generated in S305 to the output device 109 via the output I / F 108.
  • FIG. 5 is a flowchart showing details of the processing for generating image data with markers in S305.
  • S305 in order to display images on the three screens constituting the first display system shown in FIG. 4, cutout ranges corresponding to the respective screens are sequentially calculated in the input image.
  • Image data with a marker is generated by superimposing the calculated cutout range as input image data as marker image data.
  • a display image cut out from the input image is displayed on each screen.
  • the output image generation unit 205 sets a screen that has not been processed in S502 to S509 as a processing target.
  • the three screens shown in FIG. 4 are sequentially set as processing targets in this step.
  • the output image generation unit 205 generates marker image data having the same resolution as the input image data in the RAM 102 based on the resolution of the input image, and initializes all pixel values in white.
  • the marker image data in this embodiment is binary data whose pixel value can take one of 0 (white) and 1 (black).
  • multi-value data in which the pixel value is expressed by 8 bits or 16 bits may be used.
  • step S ⁇ b> 503 the output image generation unit 205 specifies positions corresponding to the edge portions of the image display area on the screen at predetermined intervals based on the screen size and the screen arrangement information, and determines the three-dimensional coordinates of each position P. calculate.
  • the output image generation unit 205 generates the three-dimensional coordinates (x, y, z) of each position P as point cloud data.
  • the three-dimensional coordinates used here are three-dimensional coordinates with the viewpoint position where the screen is observed as the origin.
  • the processing time increases accordingly. Therefore, the interval between the points depends on the marker shape accuracy and the processing time required in advance. May be set.
  • the interval between the points P in this embodiment is determined based on the screen resolution.
  • the screen size is W mm and height H mm and the screen resolution is W pix ⁇ H pix
  • the three-dimensional coordinates of the center point of each pixel on the screen are calculated based on these. To do.
  • all the three-dimensional coordinates of the pixels corresponding to the edge portion of the image display area are set as point group data to be processed.
  • FIG. 17 is a diagram for explaining the position of the edge of the image display area on the screen.
  • FIG. 17A is a view when the three screens shown in FIG. 4 are observed from the viewpoint position with the center screen 401 in front.
  • the entire screen is used as an image display area, and therefore the position of the edge of the image display area on the screen is as indicated by a thick line 1701 in FIG. 17B.
  • the entire screen does not necessarily have to be an image display area.
  • an edge of the image display area may exist inside the edge of the screen as indicated by a thick line 1702 in FIG. 17C.
  • the output image generation unit 205 When an image is displayed as shown in FIG. 17C, the output image generation unit 205 generates point cloud data based on screen layout information and information that can calculate the size of the image display area on the screen. For information that can calculate the size of the image display area on the screen, for example, the size of the image display area may be further acquired as display form information.
  • step S ⁇ b> 504 the output image generation unit 205 extracts one point P (x, y, z) from the point cloud data, and for the extracted point P, the vector OP and the Z axis when the viewpoint position is the origin O. Is calculated by the equation (1).
  • FIG. 6A is a diagram showing the positional relationship between the three screens on three-dimensional coordinates with the viewpoint position as the origin.
  • a point P (x, y, z) indicates the three-dimensional coordinates of the point on the screen to be processed.
  • FIG. 6B is a view of FIG. 6A viewed from another angle.
  • an angle between the vector OP and the Z axis is defined as ⁇ .
  • a perpendicular line drawn from the point P on the XY plane is defined as a point Q (x, y, 0), and an angle formed by the vector OQ and the X axis is defined as ⁇ .
  • step S ⁇ b> 505 the output image generation unit 205 sets the point corresponding to the point P (x, y, z) in the input image as I (u, v), and sets the image height r on the input image at the point I to Expression (2).
  • the image height r can be represented by the ratio of ⁇ and ⁇ max .
  • FIG. 7 is a diagram showing a point I (u, v) of the input image in the two-dimensional UV coordinate system. Normalization is performed such that the center of the input image is the origin, the lower left coordinates of the image are ( ⁇ 1, ⁇ 1), and the upper right coordinates are (1, 1).
  • the angle ⁇ formed by the vector OI and the U axis is equal to ⁇ shown in FIG. Since the lens used in the present embodiment is a fisheye lens, the range in which an image is actually shown is an area in the image circle 601 shown in FIG.
  • step S506 the output image generation unit 205 calculates the coordinates (u, v) of the point I on the input image using the equations (3) and (4).
  • step S507 the output image generation unit 205 changes the pixel value corresponding to the coordinates (u, v) calculated in step S506 to black in the marker image data. That is, the pixel value is converted from 0 (white) to 1 (black). Specifically, since (u, v) is a decimal value between ⁇ 1.0 and 1.0, 1 is added to each of u and v, and then divided by 2, (u, v ) Is normalized to take a value from 0 to 1.0. Further, information indicating the pixel position on the marker image is calculated by multiplying u by the width SW pix of the marker image and v by the height SH pix .
  • a process of changing the pixel value to black is performed on the pixel having the shortest distance among the four neighboring pixels in (u, v). If the marker image data has multiple values, the color of each pixel may be determined by weighting the four neighboring pixels with a distance.
  • the output image generation unit 205 determines whether processing has been performed for all points P of the point cloud data corresponding to the screen to be processed. If all points P have been processed, the process proceeds to S510. If all points P have not been processed, the process proceeds to S509.
  • step S509 the output image generation unit 205 updates the coordinates of the point P with points that have not been processed in the point cloud data, and the process returns to step S504.
  • step S510 the output image generation unit 205 determines whether all the screens constituting the first display system have been set as processing targets. In the present embodiment, it is determined whether or not the three screens of the center screen 401, the left side screen 402, and the right side screen 403 are set as processing targets. If all the screens are set as processing targets, the process proceeds to S511. If all the screens are not set as processing targets, the process returns to S501.
  • step S511 the output image generation unit 205 performs a process of superimposing the marker image data on the input image data. Specifically, in the input image, the pixel value at the pixel position corresponding to the black pixel of the marker image is converted into a pixel value representing a preset marker color.
  • 8A shows an input image
  • FIG. 8B shows a marker image
  • FIG. 8C shows an image with a marker.
  • a frame indicating a cutout range corresponding to each screen is added as a marker.
  • the marker does not have to be a frame indicating the cutout range corresponding to each screen.
  • an area in which the color, brightness, or the like within the cutout range is changed may be used as the marker.
  • the color or brightness within the cutout range is changed.
  • 9A shows an input image
  • FIG. 9B shows a marker image
  • FIG. 9C shows an image with a marker.
  • the cutout range may be indicated by performing processing on each pixel outside the region indicated by the marker, such as lowering the luminance of each pixel outside the rectangle indicated by the marker.
  • a color or luminance outside the cutout range is changed by subtracting a predetermined pixel value from a pixel value outside the cutout range.
  • the color or brightness outside the cutout range may be changed by converting a pixel value outside the cutout range into a predetermined pixel value.
  • the image processing apparatus acquires information indicating a display form of an apparatus or system including a display unit, and input image data indicating an input image. Based on the input image data and the information indicating the display form, a range displayed by the display unit in the input image is specified, and information indicating the specified range is output.
  • the shape of the specified range is a shape corresponding to a display unit that is at least one of a curved screen and a plurality of flat screens.
  • a marker image is generated, and an image with a marker is generated by superimposing the generated marker image on the input image.
  • a table in which the display form information of the first display system and the marker image are associated one-to-one is generated and held in advance, and an image with a marker is generated by referring to this table. How to do will be described. Note that the hardware configuration of the system including the image processing apparatus 1 and the functional configuration of the image processing apparatus 1 in the present embodiment are the same as those in the first embodiment, and a description thereof will be omitted. In the following, differences between the present embodiment and the first embodiment will be mainly described.
  • FIG. 10 is a flowchart showing the flow of processing performed in the image processing apparatus 1.
  • the display form acquisition unit 201 acquires display form information. Details of the processing are the same as S301 in FIG.
  • the input image acquisition unit 202 acquires input image data. Details of the processing are the same as S302 in FIG.
  • the output image generation unit 205 generates marker-added image data that represents a marker-added image in which a marker that represents a range that is cut out by the clipping process, that is, a range that is displayed by the first display system, is superimposed on the input image. . Details of the processing in S1003 will be described later.
  • the output unit 206 outputs the marker-added image data generated in S1003 to the output device 109 via the output I / F 108.
  • step S ⁇ b> 1101 the output image generation unit 205 acquires corresponding marker image data from the marker image data stored in advance in the HDD 105 based on the display form information acquired by the display form acquisition unit 201, and develops it in the RAM 102.
  • the marker image data is acquired by referring to a table that holds the correspondence relationship between the display form information of the first display system and the marker image. This table holds the correspondence relationship between the display form information of the first display system and the marker image under specific conditions including the viewpoint position and the angle of view at the time of imaging. In order to cope with a situation where the viewpoint position is frequently switched, a table in which marker images are associated with combinations of display form information and viewpoint positions of the first display system may be used.
  • the table may be switched for each angle of view in order to cope with the change of the angle of view.
  • the marker image data is generated by the method shown in the first embodiment and is held in the HDD 105.
  • the output image generation unit 205 performs a process of superimposing the marker image data on the input image data. The details of the process are the same as S511 in FIG.
  • the image processing apparatus acquires the marker image data by referring to the table that holds the correspondence relationship between the display form information of the display device and the marker image.
  • Image data with a marker is generated by superimposing the acquired marker image data on the input image data.
  • the marker generated by the above-described method can cause the photographer to recognize the display range of the display device at the time of imaging.
  • the marker-added image data corresponding to the display form of the display device can be generated by a relatively fast process of referring to the table.
  • marker image data is generated, but it is not always necessary to generate this. For example, only the coordinates of a frame indicating a cutout range corresponding to each screen as a marker is calculated and held, and the marker-added image data is generated by drawing the marker on the input image based on the coordinate value. good.
  • the timing of generating and displaying the marker is not limited to at the time of imaging.
  • the marker may be generated and displayed before imaging, and the photographer may be notified of the display range of the first display system.
  • the generation and display of the marker may be continued during or after imaging, or the marker may not be generated and displayed during or after imaging.
  • a marker may be generated using the captured image obtained by imaging as the input image described above and displayed on the second display device. In this case, the photographer can check whether or not the subject to be displayed in the input image is included in the display range of the first display system.
  • the marker is generated at the time of imaging and the image with the marker is displayed on the second display device.
  • the usage of the image with the marker is not limited to the above example.
  • the marker image generated at the time of capturing may be associated with the captured image and stored together as a file. Any method may be used for the association.
  • the association can be performed by assigning a file name that can uniquely identify the correspondence between the captured image and the marker image. By performing this association, the captured image can be edited while referring to the marker image after imaging. That is, the editing operation can be performed while confirming the area included in the display range of the first display system in the captured image.
  • coordinate information of a frame indicating a cutout range corresponding to each screen as a marker may be stored in the HDD 105 in association with the captured image. For example, this association can be performed by storing coordinate information in a metadata area attached to the captured image. Alternatively, the coordinate information may be stored in a file different from the captured image as a file with a file name that can uniquely identify the correspondence between the captured image and the coordinate information.
  • the coordinate information is not limited to the information corresponding to the entire cutout range, and only the coordinates of the corner of the frame indicating the cutout range may be stored as the coordinate information.
  • the cutout range is a simple figure such as a rectangle
  • information on the center coordinates of the rectangle and the width and height of the rectangle may be stored as coordinate information.
  • the output image generation unit 205 generates marker image data having the same resolution as the input image data based on the resolution of the input image.
  • the marker image data generation process is not limited to the above example. .
  • marker image data having a predetermined resolution may be generated, and the resolution may be adjusted by performing resolution conversion when the marker image data is superimposed on the input image data in S511.
  • the output image generation unit 205 determines the interval between the points P based on the resolution of the screen, but may determine it based on the resolution of the input image. Further, it is determined whether or not the interval between the points P is sufficient for forming the marker. If it is determined that the interval is insufficient, the interval between the points P may be further reduced. Further, after the marker image data or the image data with the marker is generated, the marker may be prevented from being interrupted by interpolating the points in between.
  • the imaging device 111 is a video camera, but it may be a still camera.
  • a still image is to be obtained by a video camera or a still camera, the photographer can know the display range of the first display system before taking an image.
  • the three projectors are arranged right above the viewpoint position.
  • the arrangement is not limited to the above example as long as an image can be projected on the screen.
  • an image may be projected from the rear side of the screen to the viewpoint position by using a transmissive screen as the screen.
  • you may project an image using one projector with respect to three screens.
  • the first display system is configured by the screen and the projector, but may be a display.
  • the first display system may be configured by a printer and a recording medium.
  • a marker indicating the print range in the input image may be generated according to the arrangement of the recording medium or the like.
  • the display form acquisition unit 201 uses the display form information as the display form information, the number of screens included in the first display system, the size of each screen, the resolution of each screen, the position information and the orientation of each screen Acquired.
  • the information for specifying the position corresponding to the edge portion of the image display area on the screen is included, it is not necessary to acquire all the above information. For example, if all the coordinates of the position corresponding to the screen in the three-dimensional space are acquired, it is not necessary to acquire the number of screens, the size of each screen, and the resolution of each screen.
  • the position information indicating the position corresponding to the edge portion of the image display area on the screen the above point cloud data may be generated and acquired in advance.
  • the imaging information acquisition unit 204 acquires the sensor size, the focal length of the lens, the angle of view, the projection method, and the resolution of the input image as imaging information.
  • the angle of view can be calculated using the sensor size of the imaging device 111 and the focal length of the lens, either the sensor size of the imaging device 111, the focal length of the lens, or the angle of view can be acquired. That's fine.
  • the marker is not necessarily a frame indicating a range.
  • a linear marker indicating the boundary position between the screens may be used.
  • FIG. 12A shows an input image
  • FIG. 12B shows a marker image
  • FIG. 12C shows an image with a marker.
  • the markers in this example are two linear markers, a line segment 1201 indicating the boundary position between the center screen 401 and the left side screen 402, and a line segment 1202 indicating the boundary position between the center screen 401 and the right side screen 403. It is constituted by. It is possible to know which subject is displayed on which screen by checking the image in which the marker is superimposed on the input image at the time of imaging. Therefore, the imager can take an image while avoiding the main subject from overlapping the screen boundary.
  • FIG. 14 shows an example of an image with a marker in the case where the display on the curved screen as shown in FIG. 13 is considered in addition to the first display system including the three-screen shown in FIG.
  • FIG. 14A shows a marker corresponding to the curved screen by a broken line 1401 in addition to the marker indicated by the solid line corresponding to the three-side screen shown in FIG. 8C.
  • the display form information of the curved screen is acquired in addition to the display form information of the three-screen screen as the display form information of the first display system.
  • the marker corresponding to the curved screen can be generated by setting the curved screen as a processing target.
  • FIG. 14B shows an example of marker display by coloring a range obtained by ANDing a cutout range corresponding to a three-plane screen and a cutout range corresponding to a curved screen. Further, at least one or more of markers corresponding to the plurality of display forms may be selected so that the selected marker can be displayed. This makes it possible to perform marker display in consideration of display forms of a plurality of display devices, and to perform imaging assistance based on a plurality of display environments.
  • the first display system is an example of a three-surface or curved screen arranged so as to surround the viewer.
  • the shape of the screen is not limited to this.
  • the same processing can be applied to a spherical screen as shown in FIG.
  • the same processing can be applied to a display or screen having a convex surface on the viewer side.
  • the same processing is applied to a curved screen having a shape obtained by cutting a part of a side surface of a cylinder as shown in FIG. 19 and a spherical screen having a shape obtained by cutting a part of a sphere as shown in FIG. It can be carried out.
  • the marker color may be a single color such as black, or may be set to be different from the color of the pixel by referring to the pixel value of the input image.
  • the color of the marker may be determined according to the ambient brightness. Specifically, in bright weather, the color is bright so as to improve the visibility of the marker, in cloudy weather, the color is highly conspicuous, and the color is dark so that it is not too bright in the middle of the night or in the dark. It is possible.
  • you may add the process which emphasizes a marker by making the thickness of a line thick.
  • the cutout range may be emphasized by reducing the luminance outside the cutout range.
  • the process performed to display the image is not limited to the cutout process.
  • the image may be displayed on the first display system after geometric transformation.
  • the display range of the image depends on the geometric transformation parameter used for the geometric transformation.
  • the present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
  • a circuit for example, ASIC

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

画像を表示する表示部を含む装置又はシステムが入力画像において表示する範囲を、通知するための画像処理装置であって、前記表示部を含む装置又はシステムの表示の形態を表す情報を取得する第１取得手段と、前記入力画像を表す入力画像データを取得する第２取得手段と、前記入力画像データと前記情報とに基づいて、前記入力画像において前記表示部が表示する範囲を特定する特定手段と、前記特定された範囲を表す情報を出力する出力手段と、を有し、前記特定された範囲の形は、曲面のスクリーンと複数の平面のスクリーンとの少なくとも一方である前記表示部に応じた形であることを特徴とする。

Description

画像処理装置、画像処理方法及びプログラム
　本発明は、撮像装置による撮像を補助するための画像処理技術に関する。
　従来、ディスプレイなどの表示装置に、撮像によって得られた画像の一部を切り出して表示することが行われている。そのため、表示装置に画像を表示することを想定した撮像を補助する技術がある。特許文献１は、撮像時に、撮像によって得られた画像に、表示装置において表示されると思われる領域を示すマーカーを重畳する技術を開示している。
特開２００６－１９７６４２号公報
　特許文献１においては、表示装置において表示されると思われる領域をマーカーによって示しているのみである。しかしながら、画像の一部を切り出して表示装置に表示する場合などには、マーカーが表示領域を示していないことがある。このように従来技術においては、表示装置において画像が表示される領域を示すためのマーカーを必ずしも適切に生成できていなかった。
　そこで本発明においては、撮像によって得られた映像の一部を表示する表示装置に適したマーカーを生成するための情報を提供することを目的とする。
　上記課題を解決するために、本発明に係る画像処理装置は、画像を表示する表示部を含む装置又はシステムが入力画像において表示する範囲を、通知するための画像処理装置であって、前記表示部を含む装置又はシステムの表示の形態を表す情報を取得する第１取得手段と、前記入力画像を表す入力画像データを取得する第２取得手段と、前記入力画像データと前記情報とに基づいて、前記入力画像において前記表示部が表示する範囲を特定する特定手段と、前記特定された範囲を表す情報を出力する出力手段と、を有し、前記特定された範囲の形は、曲面のスクリーンと複数の平面のスクリーンとの少なくとも一方である前記表示部に応じた形であることを特徴とする。
　本発明によれば、撮像によって得られた映像の一部を表示する表示装置に適したマーカーを生成するための情報を提供することができる。
画像処理装置を含むシステムのハードウェア構成を示すブロック図 画像処理装置の機能構成を示すブロック図 画像処理装置において行われる処理の流れを示すフローチャート 表示システムの構成例を示す図 マーカー付き画像を生成する処理の流れを示すフローチャート ３次元の空間座標系を示す図 ３次元の空間座標系を示す図 ２次元のＵＶ座標系を示す図 マーカー付き画像の一例を示す図 マーカー付き画像の一例を示す図 マーカー付き画像の一例を示す図 マーカー付き画像の一例を示す図 マーカー付き画像の一例を示す図 マーカー付き画像の一例を示す図 画像処理装置において行われる処理の流れを示すフローチャート マーカー付き画像を生成する処理の流れを示すフローチャート マーカー付き画像の一例を示す図 マーカー付き画像の一例を示す図 マーカー付き画像の一例を示す図 表示システムの構成例を示す図 マーカー付き画像の一例を示す図 マーカー付き画像の一例を示す図 表示システムの表示範囲についての課題を説明するための図 表示システムの表示範囲についての課題を説明するための図 表示システムの表示範囲についての課題を説明するための図 撮像システムの構成を示すブロック図 スクリーンにおける画像表示領域のエッジの位置を説明するための図 スクリーンにおける画像表示領域のエッジの位置を説明するための図 スクリーンにおける画像表示領域のエッジの位置を説明するための図 球面スクリーンの一例を示す図 曲面スクリーンの一例を示す図 球面スクリーンの一例を示す図
　以下、本発明の実施形態について、図面を参照して説明する。尚、以下の実施形態は本発明を限定するものではない。また、本実施形態において説明されている特徴の組み合わせの全てが必ずしも本発明の解決手段に必須のものとは限らない。尚、同一の構成については、同じ符号を付して説明する。
　［第１実施形態］
　撮像によって得られた画像を撮像装置とは異なる表示装置に表示する場合、その表示装置の表示形態に応じて画像から一部を切り出す必要がある。この切り出し処理によって切り出された範囲、つまり表示装置が表示する範囲に、撮像者が意図した映像を含めることができない場合があった。例えば、図４に示す表示システムに画像を表示することを考える。図４の表示システムは、３つのスクリーンと３つのプロジェクタとによって構成されており、センタースクリーン４０１に対して角度αの開き角で左サイドスクリーン４０２と右サイドスクリーン４０３とが配置されている。図４においてプロジェクタは不図示であるが、３つのプロジェクタは、視点位置（視聴者）の真上に重ねて配置され、各スクリーンに画像を投影する。視点位置は、センタースクリーン４０１の中心から、センタースクリーン４０１と直交する方向に距離Ｄｖｉｅｗだけ離れた位置にあるものとする。このように、視聴者の視野の大部分を覆うように配置された３つのスクリーンを使って映像を表示することによって、まるで表示された映像を得た場所にいるかのような感覚を引き起こさせる、臨場感の高い映像体験を視聴者に提供することが可能となる。図１５Ａには、上述した表示システムのスクリーンに表示させたい被写体１５０２を含む撮像画像１５０１を示す。図１５Ｂには、上述したスクリーンに画像の一部を表示させる際に、画像において画像から切り出される表示範囲１５０３乃至１５０５を示す。ここで、表示範囲の形状に注目すると、例えば、同サイズの３つのスクリーンが横並びで配置されている場合、表示範囲１５０３乃至１５０５は全て同サイズの長方形となる。しかしながら、上述したように、より臨場感の高い映像体験を実現するためには、視聴者の視野を覆うようなスクリーン配置にすることが重要である。つまり、図４に示す表示システムのように、センタースクリーン４０１に対して、左サイドスクリーン４０２と右サイドスクリーン４０３とが角度をつけて配置される。このスクリーンの配置に応じて、図１５Ｂに示すように、表示範囲１５０３の形状が長方形であるのに対して、表示範囲１５０４及び表示範囲１５０５の形状は台形となる。また、撮像画像１５０１を撮影した際のレンズの射影方式によっても、表示範囲１５０３乃至１５０５の形状は変わる。図１５Ｂに示した表示範囲は一般的な中心射影のレンズの場合を示しているが、例えば等距離射影の魚眼レンズを使用した場合は、図８Ｂに示すように、表示範囲の形状は中心射影のレンズの場合に比べてやや丸みをおびた形状となる。
　次に、図１５Ａに示す撮像画像１５０１と、図１５Ｂに示すスクリーンの表示範囲１５０３乃至１５０５と、を重畳させて表示した一例を図１５Ｃに示す。図１５Ｃに示すように、スクリーンの表示範囲に、本来表示させたい被写体１５０２の全体が含まれていないことがわかる。以下、被写体の全体がスクリーンの表示範囲に収まらずに一部が切れていることを見切れと呼ぶ。撮像者は、撮像装置の電子ビューファインダー（ＥＶＦ）やモニタなどの表示部を確認しながら撮像する。従って撮像者は、今撮像している撮像画像がどのような範囲であるかは確認することができる。しかしながら撮像者は、スクリーンに撮像画像１５０１が表示されるとき、撮像画像１５０１においてどの範囲がスクリーンに表示されるかはわからない。その結果、撮像画像１５０１の一部を切り出してスクリーンに表示をした際に、見切れが発生する。このように見切れは、撮像の際に撮像画像１５０１において、どの範囲がスクリーンに表示されるかを撮像者が認識していないために生じる。そこで本実施形態においては、撮像の際に、撮像によって得られる画像のどの範囲が表示装置に表示される範囲かを撮像者に通知する。具体的には、撮像の際に、表示装置の表示形態に応じたマーカーを生成し、生成したマーカーを画像に重畳して表示する。これにより、撮像者は撮像によって得られる画像において表示装置が表示できる範囲を知ることができる。以下、撮像後に撮像画像の一部を表示する表示装置又は表示システムを第１表示装置又は第１表示システムと呼ぶ。また、撮像の際にマーカーが重畳された画像を表示する装置を第２表示装置と呼ぶ。第２表示装置として撮像装置が有する表示部を用いる場合は、その表示部を第２表示部と呼ぶ。
　＜画像処理装置１のハードウェア構成＞
　画像処理装置１を含むシステムのハードウェア構成例について、図１を用いて説明する。画像処理装置１は、例えばコンピュータであり、ＣＰＵ１０１と、ＲＡＭ１０２と、ＲＯＭ１０３と、ＨＤＤインタフェイス（Ｉ／Ｆ）１０４と、入力Ｉ／Ｆ１０６と、出力Ｉ／Ｆ１０８と、撮像装置Ｉ／Ｆ１１０と、を有する。ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして、ＲＯＭ１０３及びハードディスクドライブ（ＨＤＤ）１０５に格納されたプログラムを実行し、システムバス１００を介して各構成を制御する。ＨＤＤＩ／Ｆ１０４は、シリアルＡＴＡ（ＳＡＴＡ）等のインタフェイスである。ＨＤＤＩ／Ｆ１０４には、ＨＤＤ１０５や光ディスクドライブなどの二次記憶装置が接続される。ＣＰＵ１０１は、ＨＤＤＩ／Ｆ１０４を介して、ＨＤＤ１０５からのデータの読み出し、およびＨＤＤ１０５へのデータの書き込みが可能である。さらにＣＰＵ１０１は、ＨＤＤ１０５に格納されたデータをＲＡＭ１０２に展開すること、およびＲＡＭ１０２に展開されたデータをＨＤＤ１０５に保存することが可能である。ＣＰＵ１０１は、ＲＡＭ１０２に展開したデータをプログラムとして実行することができる。入力Ｉ／Ｆ１０６は、ＵＳＢやＩＥＥＥ１３９４等のシリアルバスインタフェイスである。入力Ｉ／Ｆ１０６には、キーボードやマウスなどの入力デバイス１０７が接続される。ＣＰＵ１０１は、入力Ｉ／Ｆ１０６を介して、入力デバイス１０７からデータを読み込むことが可能である。出力Ｉ／Ｆ１０８は、ＤＶＩやＨＤＭＩ（登録商標）等の映像出力インタフェイスである。出力Ｉ／Ｆ１０８には、液晶ディスプレイなどの出力デバイス１０９が接続される。出力デバイス１０９は、上述した第２表示装置又は第２表示部に対応する。ＣＰＵ１０１は、出力Ｉ／Ｆ１０８を介して、出力デバイス１０９にデータを送り、表示などの処理を実行させることができる。撮像装置Ｉ／Ｆ１１０は、ＵＳＢ等のシリアルバスインタフェイスである。撮像装置Ｉ／Ｆ１１０には、ビデオカメラなどの撮像装置１１１を接続する。ＣＰＵ１０１は、撮像装置Ｉ／Ｆ１１０を介して、撮像装置１１１から動画のフレームデータなどの撮像データを取得することができる。
　尚、画像処理装置１は、撮像装置Ｉ／Ｆ１１０を有さなくてもよい。この場合、撮像装置Ｉ／Ｆ１１０の代わりに入力Ｉ／Ｆ１０６に撮像装置が接続される。また、撮像装置１１１と出力デバイス１０９とが一体となった撮像装置が撮像装置Ｉ／Ｆ１１０に接続されていてもよい。例えば、ＥＶＦやモニタなどの表示部を有するビデオカメラを撮像装置１１１として用いることができる。この場合、ＣＰＵ１０１は、撮像装置Ｉ／Ｆ１１０を介して、表示部にデータを送り、表示を実行させることができる。また、画像処理装置１は、出力デバイス１０９や撮像装置１１１に含まれていてもよい。例えば、画像処理装置１と出力デバイス１０９と撮像装置１１１とが一体となった撮像システムであってもよい。撮像システム１６００の一例を示すブロック図を図１６に示す。撮像システム１６００は、例えばデジタルカメラであって、ＣＰＵ１０１と、ＲＡＭ１０２と、ＲＯＭ１０３と、ＨＤＤインタフェイス（Ｉ／Ｆ）１０４と、入力部１６０１と、表示部１６０２と、撮像部１６０３と、を有する。入力部１６０１は、ボタンなどの入力部である。表示部１６０２は、ＥＶＦやモニタなどの表示部である。撮像部１６０３は、レンズなどの光学系を含み、光学系を介して画像を生成する撮像部である。尚、撮像システム１６００が入力部１６０１と表示部１６０２とを別々に有している必要はなく、入力部１６０１と表示部１６０２とが一体となったタッチパネルディスプレイなどを有していてもよい。また、撮像システムは、デジタルカメラに限られず、例えばスマートフォンなどの携帯型情報端末であってもよい。
　＜画像処理装置１の機能構成＞
　画像処理装置１の機能構成を、図２を用いて説明する。図２は、画像処理装置１の機能構成を示すブロック図である。ＣＰＵ１０１は、ＲＯＭ１０３又はＨＤＤ１０５に格納されたプログラムを読み出してＲＡＭ１０２をワークエリアとして実行することによって、図２に示す機能構成として機能する。尚、以下に示す処理の全てがＣＰＵ１０１によって実行される必要はなく、処理の一部または全てがＣＰＵ１０１以外の一つまたは複数の処理回路によって行われるように画像処理装置１が構成されていてもよい。
　画像処理装置１は、表示形態取得部２０１と、入力画像取得部２０２と、視点情報取得部２０３と、撮像条件取得部２０４と、出力画像生成部２０５と、出力部２０６と、を有する。表示形態取得部２０１は、画像を表示する第１表示システムの表示形態を表す表示形態情報を取得する。第１表示システムの表示形態情報は、第１表示システムが有するスクリーンの数、各スクリーンのサイズ、各スクリーンの解像度、各スクリーンの位置及び向きを表す配置情報によって構成される情報である。入力画像取得部２０２は、入力画像を表す入力画像データを取得する。入力画像は、マーカーを重畳して表示したい画像である。視点情報取得部２０３は、第１表示システムによって表示された画像を観察する際の視点の位置を表す視点情報を取得する。撮像条件取得部２０４は、撮像条件を表す撮像情報を取得する。撮像情報は、撮像装置１１１のセンササイズ、レンズの焦点距離、画角、射影方式、入力画像の解像度によって構成される。出力画像生成部２０５は、入力画像に対してマーカーを重畳したマーカー付き画像を表すマーカー付き画像データを生成する。以下、マーカー付き画像を出力画像、マーカー付き画像データを出力画像データとも呼ぶ。出力部２０６は、マーカー付き画像データを出力デバイス１０９に出力する。
　＜画像処理装置１において行われる処理＞
　図３は、画像処理装置１において行われる処理の流れを示すフローチャートである。以下、各ステップ（工程）は符号の前にＳをつけて表す。
　Ｓ３０１において、表示形態取得部２０１は、画像を表示する第１表示システムの表示形態を表す表示形態情報を取得する。Ｓ３０１における処理は、入力デバイス１０７を介したユーザの指示に基づいて行われる。本実施形態においては、ユーザの指示に基づいて、ＨＤＤ１０５にあらかじめ記憶された複数の表示形態情報の中から１つを選択することにより表示形態情報を取得する。本実施形態における第１表示システムは、図４に示す表示システムである。第１表示システムは、３つのスクリーンと３つのプロジェクタとによって構成されており、センタースクリーン４０１に対して角度αの開き角で左サイドスクリーン４０２と右サイドスクリーン４０３とが配置されている。それぞれのスクリーンのサイズは、幅Ｗｍｍ及び高さＨｍｍとし、３つのスクリーンとも同サイズであるとする。また、各スクリーンにおいてＷｐｉｘ×Ｈｐｉｘの解像度の画像が表示される条件で配置された各プロジェクタを用いて各スクリーンに画像を投影するものとする。図４においてプロジェクタは不図示であるが、本実施形態における３つのプロジェクタは、視点位置の真上に重ねて配置され、各スクリーンに画像を投影する。各プロジェクタが投影する画像の位置は、プロジェクタが有するレンズシフト機能やキーストーン補正機能によって調整する。表示形態情報において、スクリーンの数は３、スクリーンのサイズは幅Ｗｍｍ及び高さＨｍｍ、スクリーンの解像度はＷｐｉｘ×Ｈｐｉｘである。スクリーンの配置情報は、３次元のＸＹＺ座標系におけるスクリーンの中心の位置（ｘ，ｙ，ｚ）とスクリーンの表面における法線の向きを表す法線ベクトルＮを表す。この法線は、スクリーンを観察する視点がある側の面の法線とする。また、ＸＹＺ座標系の原点は、視点情報が表す視点位置である。上述したように配置した各スクリーンに、１つの入力画像から切り出した画像を表示することによって、１つのスクリーンを用いて映像を表示するよりも、視野の広い映像を視聴者に提供することができる。また、各スクリーンに関連のない画像をそれぞれ表示するのではなく、１つの連結した画像を複数のスクリーンに表示するため、視聴者の視野に近い表示となる。尚、上述した構成は一例であり、スクリーンの数やサイズ、配置などはこれに限るものではない。また、上述したスクリーンの解像度は、スクリーン上の画像の解像度ではなく、各スクリーンに画像を投影するプロジェクタの解像度であってもよい。
　Ｓ３０２において、撮像条件取得部２０４は、撮像条件を表す撮像情報を取得する。Ｓ３０２における処理は、入力デバイス１０７を介したユーザの指示に基づいて行われる。本実施形態においては、ユーザの指示に基づいて、ＨＤＤ１０５にあらかじめ記憶された複数の撮像条件の中からそれぞれの項目に対して１つずつ選択することにより撮像情報を取得する。撮像情報において、撮像装置１１１のセンササイズは幅ＳＷｍｍ及び高さＳＨｍｍ、レンズの焦点距離はｆ、画角はθｍａｘ、入力画像の解像度はＳＷｐｉｘ×ＳＨｐｉｘである。また、本実施形態における撮像装置１１１のレンズは等距離射影の魚眼レンズであるため、射影方式は等距離射影である。
　Ｓ３０３において、視点情報取得部２０３は、第１表示システムによって表示された画像を観察する際の視点の位置を表す視点情報を取得する。Ｓ３０３における処理は、入力デバイス１０７を介したユーザの指示に基づいて行われる。本実施形態においては、ユーザの指示に基づいて、ＨＤＤ１０５にあらかじめ記憶された視点の位置を表す視点情報の中から１つを選択することによって視点情報を取得する。視点情報は、上述したＸＹＺ座標系における視点の位置（０，０，０）を表す。本実施形態においては、図４に示すように、センタースクリーン４０１の中心から、センタースクリーン４０１と直交する方向に距離Ｄｖｉｅｗだけ離れた位置に視点があるとして説明を行う。尚、視点位置は上記一例に限るものではない。
　Ｓ３０４において、入力画像取得部２０２は、撮像装置１１１を介して得られた入力画像データを取得する。具体的には、撮像装置Ｉ／Ｆ１１０を介してＲＡＭ１０２へ入力画像データを取得する。本実施形態においては、撮像装置１１１をビデオカメラとするため、動画の各フレームに対応する画像データを入力画像データとして以降の処理を行う。
　Ｓ３０５において、出力画像生成部２０５は、入力画像に対して、切り出し処理によって切り出される範囲、つまり第１表示システムが表示する範囲を表すマーカーを重畳したマーカー付き画像を表すマーカー付き画像データを生成する。具体的には、Ｓ３０４において取得された入力画像データに対して、本ステップにおいて生成するマーカー画像データを重畳することによって、マーカー付き画像データを生成する。本ステップにおける処理の詳細は後述する。Ｓ３０６において、出力部２０６は、Ｓ３０５において生成されたマーカー付き画像データを出力Ｉ／Ｆ１０８を介して出力デバイス１０９に出力する。
　＜マーカー付き画像データを生成する処理（Ｓ３０５）＞
　図５は、Ｓ３０５におけるマーカー付き画像データを生成する処理の詳細を示すフローチャートである。Ｓ３０５の処理においては、図４に示した第１表示システムを構成する３つのスクリーンに画像を表示するために、入力画像において各スクリーンに対応する切り出し範囲を順次算出する。算出した切り出し範囲をマーカー画像データとして入力画像データに重畳することによって、マーカー付き画像データを生成する。尚、各スクリーン上には、入力画像から切り出した表示画像が表示されることになる。以下、フローチャートの各ステップについて説明する。
　Ｓ５０１において、出力画像生成部２０５は、Ｓ５０２～Ｓ５０９の処理が未処理のスクリーンを処理対象として設定する。本実施形態においては、図４に示した３つのスクリーンを本ステップにおいて順次処理対象として設定する。Ｓ５０２において、出力画像生成部２０５は、入力画像の解像度に基づいて、ＲＡＭ１０２に入力画像データと同じ解像度のマーカー画像データを生成し、すべての画素値を白色で初期化する。本実施形態におけるマーカー画像データは、画素値が０（白色）と１（黒色）とのどちらかの値を取りうるバイナリーデータとする。尚、マーカーの位置を識別することができれば、画素値が８ビットや１６ビットなどで表現される多値データであってもよい。
　Ｓ５０３において、出力画像生成部２０５は、スクリーンサイズとスクリーンの配置情報とに基づいて、スクリーンにおける画像表示領域のエッジ部分に対応する位置を所定の間隔で特定し、各位置Ｐの３次元座標を算出する。出力画像生成部２０５は、各位置Ｐの３次元座標（ｘ，ｙ，ｚ）を点群データとして生成する。ここで用いる３次元座標は、スクリーンを観察する視点位置を原点とした３次元座標である。尚、点群データにおける点Ｐの間隔は細かくするほどマーカー形状の精度は向上するが、その分処理時間が増えてしまうため、予め要求されるマーカー形状の精度や処理時間に応じて点の間隔を設定しておいてもよい。本実施形態における点Ｐの間隔は、スクリーンの解像度に基づいて決める。本実施形態においては、スクリーンのサイズは幅Ｗｍｍ及び高さＨｍｍ、スクリーンの解像度はＷｐｉｘ×Ｈｐｉｘであるため、これらに基づいてスクリーン上の各画素の中心点の３次元座標を算出する。この各画素の中心点の３次元座標のうち、画像表示領域のエッジ部分に対応する画素の３次元座標全てを処理対象の点群データとする。図１７はスクリーンにおける画像表示領域のエッジの位置を説明するための図である。図１７Ａは、図４に示した３つのスクリーンを、センタースクリーン４０１を正面にして視点位置から観察した場合の図である。上述したように、本実施形態においてはスクリーン全体を画像の表示領域とするため、スクリーンにおける画像表示領域のエッジの位置は図１７Ｂの太線１７０１のようになる。尚、必ずしもスクリーン全体を画像の表示領域とする必要はない。例えば、図１７Ｃの太線１７０２のように、スクリーンのエッジの内側に画像表示領域のエッジが存在していてもよい。図１７Ｃのように画像を表示する場合、出力画像生成部２０５は、スクリーンの配置情報と、スクリーンにおける画像表示領域の大きさを算出可能な情報と、に基づいて、点群データを生成する。スクリーンにおける画像表示領域の大きさを算出可能な情報については、例えば、表示形態情報として画像表示領域のサイズをさらに取得しておけばよい。
　Ｓ５０４において、出力画像生成部２０５は、点群データから点Ｐ（ｘ，ｙ，ｚ）を１つ抽出し、抽出した点Ｐについて、視点位置を原点Ｏとした場合のベクトルＯＰとＺ軸とのなす角θを式（１）により算出する。
Figure JPOXMLDOC01-appb-M000001
　ここで、本実施形態における３次元の空間座標系について図６を用いて説明する。図６Ａは、３つのスクリーンの位置関係を視点位置を原点とした３次元座標上に示した図である。点Ｐ（ｘ，ｙ，ｚ）は、処理対象となるスクリーン上の点の３次元座標を示している。図６Ｂは、図６Ａを別の角度から見た図である。ここで、ベクトルＯＰとＺ軸とのなす角をθと定義する。さらに、点ＰからＸＹ平面上におろした垂線の足を点Ｑ（ｘ，ｙ，０）とし、ベクトルＯＱとＸ軸とのなす角をφと定義する。
　Ｓ５０５において、出力画像生成部２０５は、入力画像において点Ｐ（ｘ，ｙ，ｚ）に対応する点をＩ（ｕ、ｖ）とし、点Ｉにおける入力画像上の像高ｒを式（２）により算出する。本実施形態においては、等距離射影の魚眼レンズによりθｍａｘの画角で入力画像が得られているため、像高ｒはθとθｍａｘとの比によって表すことができる。
Figure JPOXMLDOC01-appb-M000002
　図７は、２次元のＵＶ座標系における入力画像の点Ｉ（ｕ、ｖ）を示した図である。入力画像の中心を原点とし、画像の左下の座標が（－１，－１）、右上の座標が（１，１）となるように正規化されている。ここで、ベクトルＯＩとＵ軸とのなす角φは、図６に示したφと等しい。本実施形態において用いるレンズは魚眼レンズであるため、実際に映像が映っている範囲は、図６に示すイメージサークル６０１内の領域である。
　Ｓ５０６において、出力画像生成部２０５は、入力画像上の点Ｉの座標（ｕ，ｖ）を式（３）及び式（４）により算出する。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
　Ｓ５０７において、出力画像生成部２０５は、マーカー画像データにおいて、Ｓ５０６において算出された座標（ｕ，ｖ）に対応する画素値を黒色に変更する。つまり、画素値を０（白色）から１（黒色）に変換する。具体的には、（ｕ，ｖ）は－１．０から１．０の間の小数値となるため、ｕとｖそれぞれに１を加算してから２で除算することによって、（ｕ，ｖ）が０から１．０までの値をとるように正規化する。さらに、ｕにマーカー画像の幅ＳＷｐｉｘ、ｖに高さＳＨｐｉｘを乗算することによって、マーカー画像上の画素の位置を示す情報を算出する。（ｕ，ｖ）の近傍４画素のうち最も距離が近い画素に対して画素値を黒色に変更する処理を行う。尚、マーカー画像データを多値で持つ場合は、近傍４画素に対して距離で重み付けをして各画素の色を決定するようにしてもよい。Ｓ５０８において、出力画像生成部２０５は、処理対象としているスクリーンに対応する点群データの全ての点Ｐに対して処理を行ったか否かを判定する。全ての点Ｐに対して処理を行っていればＳ５１０に進み、全ての点Ｐに対して処理を行っていなければＳ５０９に進む。
　Ｓ５０９において、出力画像生成部２０５は、点群データのうち、まだ処理が行われていない点により点Ｐの座標を更新し、Ｓ５０４へと戻る。Ｓ５１０において、出力画像生成部２０５は、第１表示システムを構成する全てのスクリーンが処理対象として設定されたか否かを判定する。本実施形態においては、センタースクリーン４０１、左サイドスクリーン４０２、右サイドスクリーン４０３の３つのスクリーンがそれぞれ処理対象として設定されたか否かを判定する。全てのスクリーンが処理対象として設定されていればＳ５１１へと進み、全てのスクリーンが処理対象として設定されていなければＳ５０１に戻る。
　Ｓ５１１において、出力画像生成部２０５は、マーカー画像データを入力画像データに重畳する処理を行う。具体的には、入力画像において、マーカー画像の黒色画素に対応する画素位置の画素値を、あらかじめ設定されたマーカー色を表す画素値に変換する。図８Ａは入力画像、図８Ｂはマーカー画像、図８Ｃはマーカー付き画像を示しており、各スクリーンに対応する切り出し範囲を示す枠をマーカーとして付加する例である。尚、マーカーは各スクリーンに対応する切り出し範囲を示す枠でなくてもよい。例えば、図９に示す例のように、切り出し範囲内の色や輝度などが変更された領域をマーカーとしても良い。この場合は、例えば、切り出し範囲内にある画素値に所定の画素値を加算することによって、切り出し範囲内の色や輝度などを変更する。図９Ａは入力画像、図９Ｂはマーカー画像、図９Ｃはマーカー付き画像を示している。また、マーカーによって示される四角形の外側における各画素の輝度を下げるなど、マーカーによって示される領域の外側の各画素に処理を行うことによって切り出し範囲を示すようにしてもよい。この場合は、例えば、切り出し範囲外にある画素値から所定の画素値を減算することによって、切り出し範囲外の色や輝度などを変更する。切り出し範囲外にある画素値を所定の画素値に変換することによって、切り出し範囲外の色や輝度などを変更してもよい。
　＜第１実施形態の効果＞
　以上説明したように、本実施形態における画像処理装置は、表示部を含む装置又はシステムの表示の形態を表す情報と、入力画像を表す入力画像データと、を取得する。入力画像データと表示形態を表す情報とに基づいて、入力画像において表示部が表示する範囲を特定し、特定された範囲を表す情報を出力する。尚、特定された範囲の形は、曲面のスクリーンと複数の平面のスクリーンとの少なくとも一方である表示部に応じた形である。これにより、撮像によって得られた映像の一部を表示する表示装置に適したマーカーを生成するための情報を提供することができる。上述の方法によって生成されたマーカーは、表示装置の表示範囲を撮像の際に撮像者に認識させることができる。
　［第２実施形態］
　第１実施形態においては、マーカー画像を生成し、生成したマーカー画像を入力画像に重畳することによってマーカー付き画像を生成した。本実施形態においては、第１表示システムの表示形態情報とマーカー画像とが１対１で対応付けられたテーブルを予め生成して保持しておき、このテーブルを参照することによってマーカー付き画像を生成する方法について説明する。尚、本実施形態における画像処理装置１を含むシステムのハードウェア構成及び画像処理装置１の機能構成は、第１実施形態のものと同一であるため説明を省略する。以下において、本実施形態と第１実施形態とで異なる部分を主に説明する。
　＜画像処理装置１において行われる処理＞
　図１０は、画像処理装置１において行われる処理の流れを示すフローチャートである。
　Ｓ１００１において、表示形態取得部２０１は、表示形態情報を取得する。処理の詳細は図３のＳ３０１と同様であるため説明を省略する。Ｓ１００２において、入力画像取得部２０２は、入力画像データを取得する。処理の詳細は図３のＳ３０２と同様であるため説明を省略する。Ｓ１００３において、出力画像生成部２０５は、入力画像に対して、切り出し処理によって切り出される範囲、つまり第１表示システムが表示する範囲を表すマーカーを重畳したマーカー付き画像を表すマーカー付き画像データを生成する。Ｓ１００３における処理の詳細は後述する。Ｓ１００４において、出力部２０６は、Ｓ１００３において生成されたマーカー付き画像データを出力Ｉ／Ｆ１０８を介して出力デバイス１０９に出力する。
　＜マーカー付き画像データを生成する処理＞
　以下、本実施形態におけるマーカー付き画像データを生成する処理の詳細について、図１１のフローチャートを用いて説明する。
　Ｓ１１０１において、出力画像生成部２０５は、表示形態取得部２０１により取得された表示形態情報に基づいて、ＨＤＤ１０５にあらかじめ記憶されたマーカー画像データの中から対応するマーカー画像データを取得し、ＲＡＭ１０２に展開する。具体的には、第１表示システムの表示形態情報とマーカー画像との対応関係を保持するテーブルを参照することによって、マーカー画像データを取得する。このテーブルは、視点位置や撮像の際の画角を含む特定の条件における第１表示システムの表示形態情報とマーカー画像との対応関係を保持する。尚、視点位置を頻繁に切り替える状況に対応するために、第１表示システムの表示形態情報と視点位置との組み合わせに対してマーカー画像を対応付けたテーブルを用いてもよい。また、画角の変更に対応するために、画角ごとにテーブルを切り替えてもよい。尚、マーカー画像データは、第１実施形態に示した方法により生成し、ＨＤＤ１０５に保持させておく。Ｓ１１０２において、出力画像生成部２０５は、マーカー画像データを入力画像データに重畳する処理を行う。処理の詳細は、図５のＳ５１１と同様であるため説明を省略する。
　＜第２実施形態の効果＞
　以上説明したように、本実施形態における画像処理装置は、表示装置の表示形態情報とマーカー画像との対応関係を保持するテーブルを参照することによってマーカー画像データを取得する。取得したマーカー画像データを入力画像データに重畳することによって、マーカー付き画像データを生成する。これにより、撮像によって得られた映像の一部を表示する表示装置に適したマーカーを生成するための情報を提供することができる。上述の方法によって生成されたマーカーは、表示装置の表示範囲を撮像の際に撮像者に認識させることができる。また、テーブルを参照するという比較的速い処理により、表示装置の表示形態に応じたマーカー付き画像データを生成することができる。
　［変形例］
　上述した実施形態においては、マーカー画像データを生成したが、必ずしもこれを生成する必要はない。例えば、マーカーとして各スクリーンに対応した切り出し範囲を示す枠の座標のみを計算して保持しておき、この座標値に基づいて入力画像にマーカーを描画することによってマーカー付画像データを生成しても良い。
　また、上述した実施形態においては、撮像時にマーカーを生成し、第２表示装置にマーカー付き画像を表示させる例を説明したが、マーカーの生成及び表示のタイミングは、撮像時に限られない。例えば、撮像の前にマーカーの生成及び表示を行い、撮像者に第１表示システムの表示範囲を知らせてもよい。この場合、撮像中や撮像後にマーカーの生成及び表示を継続してもよいし、撮像中や撮像後にマーカーの生成及び表示を行わないようにしてもよい。また、撮像後に、撮像によって得られた撮像画像を上述した入力画像としてマーカーを生成し、第２表示装置に表示させてもよい。この場合、撮像者は入力画像において表示させたい被写体が第１表示システムの表示範囲に含まれているか否かを確認することができる。
　また、上述した実施形態においては、撮像時にマーカーを生成し、第２表示装置にマーカー付き画像を表示させたが、マーカー付き画像の使い方は上記一例に限定されない。例えば、撮像画像をＨＤＤ１０５にファイルとして記憶させる際に、撮像時に生成したマーカー画像を撮像画像に対応付けて一緒にファイルとして記憶させるようにしてもよい。対応付けはどのような方法を用いてもよいが、例えば、撮像画像とマーカー画像との対応が一意に特定可能なファイル名を付けることによって、対応付けを行うことができる。この対応付けを行うことによって、撮像後にマーカー画像を参照しながら撮像画像を編集することができる。つまり、撮像画像における第１表示システムの表示範囲に含まれる領域を確認しながら編集作業を行うことができる。これにより、表示範囲に含まれる領域のみを編集対象とすることによって、編集作業をより効率的に行うことができる。また、マーカー画像そのものをＨＤＤ１０５に記憶させる代わりに、マーカーとして各スクリーンに対応した切り出し範囲を示す枠の座標情報を撮像画像に対応付けてＨＤＤ１０５に記憶させてもよい。例えば、撮像画像に付随するメタデータ領域に座標情報を記憶させることによって、この対応付けを行うことができる。あるいは、撮像画像と座標情報との対応が一意に特定可能なファイル名を付けたファイルとして、撮像画像とは別のファイルにこの座標情報を記憶させるようにしてもよい。尚、座標情報は、切り出し範囲全体に対応する情報に限らず、切り出し範囲を示す枠のコーナーの座標のみを座標情報として記憶させるようにしてもよい。あるいは、切り出し範囲が矩形などの単純な図形の場合には、矩形の中心座標と矩形の幅及び高さとの情報を座標情報として記憶させるようにしてもよい。
　また、上述した実施形態において、出力画像生成部２０５は、入力画像の解像度に基づいて、入力画像データと同じ解像度のマーカー画像データを生成したが、マーカー画像データの生成処理は上記一例に限定されない。例えば、Ｓ５０２においては、予め決められた解像度のマーカー画像データを生成し、Ｓ５１１においてマーカー画像データを入力画像データに重畳する際に、解像度変換を行うことによって解像度をあわせてもよい。
　また、上述した実施形態において、出力画像生成部２０５は、点Ｐの間隔をスクリーンの解像度に基づいて決定したが、入力画像の解像度に基づいて決定してもよい。また、点Ｐの間隔がマーカーを形成するために十分であるか否かを判定し、不十分であると判定された場合は、点Ｐの間隔をさらに細かくするようにしてもよい。また、マーカー画像データ又はマーカー付き画像データの生成後に、間の点を補間することによってマーカーが途切れてしまうのを抑制してもよい。
　また、上述した実施形態においては、撮像装置１１１をビデオカメラとしたが、スチルカメラであってもよい。ビデオカメラやスチルカメラによって静止画を得ようとする場合は、撮像を行う前に、第１表示システムの表示範囲を撮像者が知ることができる。
　また、上述した実施形態においては、３つのプロジェクタを視点位置の真上に配置したが、スクリーンに画像を投影できれば、配置は上記一例に限られない。例えば、スクリーンとして透過型のスクリーンを用いることによって、視点位置に対してスクリーンの後ろ側から画像を投影してもよい。また、３つのスクリーンに対して、１つのプロジェクタを用いて画像を投影してもよい。
　また、上述した実施形態においては、第１表示システムをスクリーンとプロジェクタとによって構成したが、ディスプレイであってもよい。また、第１表示システムをプリンタと記録媒体とによって構成してもよい。この場合、記録媒体を上述したスクリーンの代わりに配置することを想定し、記録媒体の配置などに応じて入力画像における印刷範囲を示すマーカーを生成してもよい。
　また、上述した実施形態においては、表示形態取得部２０１が表示形態情報として、第１表示システムが有するスクリーンの数、各スクリーンのサイズ、各スクリーンの解像度、各スクリーンの位置及び向きを表す配置情報を取得した。しかし、上述したスクリーンにおける画像表示エリアのエッジ部分に対応する位置を特定するための情報を含んでいれば、上記全ての情報を取得する必要はない。例えば、３次元空間におけるスクリーンに対応する位置の座標を全て取得すれば、スクリーンの数、各スクリーンのサイズ、各スクリーンの解像度を取得する必要はない。また、スクリーンにおける画像表示エリアのエッジ部分に対応する位置を表す位置情報として、上述した点群データを予め生成しておいて取得してもよい。
　また、第１実施形態においては、撮像情報取得部２０４が撮像情報として、撮像装置１１１のセンササイズ、レンズの焦点距離、画角、射影方式、入力画像の解像度を取得した。しかし、撮像装置１１１のセンササイズとレンズの焦点距離とを用いて画角を算出することができるため、撮像装置１１１のセンササイズ及びレンズの焦点距離と、画角と、のどちらかを取得すればよい。
　また、上述した実施形態においては、各スクリーンに対応する切り出し範囲を示す枠をマーカーとして入力画像に重畳させる例について説明したが、マーカーは必ずしも範囲を示す枠である必要はない。例えば、スクリーンとスクリーンとの境界位置を示す線状のマーカーであってもよい。境界位置を示すマーカーを入力画像に重畳させる例を図１２に示す。図１２Ａは入力画像、図１２Ｂはマーカー画像、図１２Ｃはマーカー付き画像を示している。この例におけるマーカーは、センタースクリーン４０１と左サイドスクリーン４０２との境界位置を示す線分１２０１と、センタースクリーン４０１と右サイドスクリーン４０３との境界位置を示す線分１２０２と、の２つの線状マーカーによって構成されている。このマーカーを入力画像に重畳した画像を撮像の際に確認することによって、どのスクリーンにどの被写体が表示されるのかを知ることができる。このため、撮像者は、メインとなる被写体がスクリーンの境界に重なることを避けながら撮像を行うことができる。
　また、上述した実施形態においては、第１表示システムが１つである場合の例を示したが、必ずしも第１表示システムは１つでなくてもよく、複数の第１表示システムの表示形態を考慮したマーカーの表示を行っても良い。例えば、図４に示した３面スクリーンから成る第１表示システムに加えて、図１３に示すような曲面スクリーンへの表示も同時に考慮した場合のマーカー付き画像の例を図１４に示す。図１４Ａは、図８Ｃに示した３面スクリーンに対応する実線で示したマーカーに加えて、曲面スクリーンに対応するマーカーを破線１４０１で示している。図３のＳ３０１において、第１表示システムの表示形態情報として３面スクリーンの表示形態情報に加えて曲面スクリーンの表示形態情報の取得も行う。図５のフローチャートに示したマーカー付き画像を生成する処理において、曲面スクリーンも処理対象とすることにより、曲面スクリーンにも対応したマーカーを生成することができる。図１４Ｂは、３面スクリーンに対応する切り出し範囲と曲面スクリーンに対応する切り出し範囲との論理積をとった範囲を色付けすることによるマーカー表示の例を示している。また、これら複数の表示形態に対応したマーカーから少なくとも１つ以上を選択し、選択したマーカーを表示できるようにしてもよい。これにより、複数の表示装置の表示形態を考慮したマーカー表示を行うことができ、複数の表示環境を前提とした撮像の補助を行うことが可能となる。
　また、上述した実施形態においては、第１表示システムは、視聴者を囲むように配置された３面、あるいは曲面スクリーンの例を示したが、スクリーンの形状はこれに限るものではない。例えば、図１８に示すような球面スクリーンについても同様の処理を適用可能である。あるいは、視聴者側に凸面があるディスプレイやスクリーンに対しても同様の処理を適用可能である。例えば、図１９に示すような、円筒の側面の一部を切り取った形状の曲面スクリーンや、図２０に示すような、球の一部を切り取った形状の球面スクリーンに対しても同様の処理を行うことができる。
　また、上述した実施形態において、マーカーの色は黒色のような単色でもよいし、入力画像の画素値を参照することによって、その画素の色とは異なる色となるように設定しても良い。また、周囲の明るさに応じてマーカーの色を決定してもよい。具体的には、晴天下においてはマーカーの視認性を向上させるように輝度の高い色、曇天下においては目立ちやすい彩度の高い色、深夜や暗室においてはまぶしすぎないように暗めの色にすることが考えられる。また、マーカーの視認性を向上するために、線の太さを太くすることによってマーカーを強調する処理を加えてもよい。また、各スクリーンに対応する切り出し範囲を示す枠のみならず、その範囲内の色等を変更するようにしても良い。または、切り出し範囲外の輝度を落として、切り出し範囲を強調するようにしても良い。
　また、上述した実施形態においては、各スクリーンに対応する切り出し範囲を示す枠をマーカーとして重畳する例について説明したが、枠全体をマーカーとする代わりに枠のコーナーの位置を示す情報をマーカーとして入力画像に付加するようにしてもよい。
　また、上述した実施形態においては、撮像対象の画像の一部を切り出して第１表示システムに表示する例を説明したが、画像を表示するために行う処理は切り出し処理に限られない。例えば、画像を幾何変換した後に第１表示システムに表示させてもよい。この場合、画像の表示範囲は、幾何変換に用いる幾何変換パラメータに応じる。
　［その他の実施形態］
　本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。
　本願は、２０１８年２月２０日提出の日本国特許出願特願２０１８－０２８１１２と２０１８年１１月８日提出の日本国特許出願特願２０１８－２１０８４４を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。

Claims (20)

  1. 　画像を表示する表示部を含む装置又はシステムが入力画像において表示する範囲を、通知するための画像処理装置であって、
    　前記表示部を含む装置又はシステムの表示の形態を表す情報を取得する第１取得手段と、
    　前記入力画像を表す入力画像データを取得する第２取得手段と、
    　前記入力画像データと前記情報とに基づいて、前記入力画像において前記表示部が表示する範囲を特定する特定手段と、
    　前記特定された範囲を表す情報を出力する出力手段と、を有し、
    　前記特定された範囲の形は、曲面のスクリーンと複数の平面のスクリーンとの少なくとも一方である前記表示部に応じた形であることを特徴とする画像処理装置。
  2. 　前記特定された範囲の形は、矩形とは異なる形であることを特徴とする請求項１に記載の画像処理装置。
  3. 　前記特定された範囲を表す情報を生成する生成手段をさらに有し、
    　前記出力手段は、前記生成手段によって生成された前記情報を出力することを特徴とする請求項１又は請求項２に記載の画像処理装置。
  4. 　前記生成手段は、前記特定された範囲を表す情報として、前記入力画像に前記特定された範囲を示すマーカーが重畳された前記入力画像を表すマーカー付き画像データを生成することを特徴とする請求項３に記載の画像処理装置。
  5. 　前記マーカーは、前記入力画像において、前記特定された範囲を示す枠であって、
    　前記生成手段は、前記入力画像において、前記特定された範囲を示す枠に対応する領域の画素値を所定の値に変換することによって、前記マーカー付き画像データを生成することを特徴とする請求項４に記載の画像処理装置。
  6. 　前記生成手段は、前記入力画像において、前記特定された範囲に対応する領域の画素値に所定の値を加算することによって、前記マーカー付き画像データを生成することを特徴とする請求項４に記載の画像処理装置。
  7. 　前記生成手段は、前記入力画像における前記特定された範囲の外の画素値を所定の値に変換する、又は、画素値から所定の値を減算することによって、前記特定された範囲を表す情報を生成することを特徴とする請求項３に記載の画像処理装置。
  8. 　前記第１取得手段は、前記表示の形態を表す情報として、前記表示部における画像表示領域のエッジの、３次元空間における位置を表す位置情報を取得することを特徴とする請求項１乃至請求項７のいずれか一項に記載の画像処理装置。
  9. 　前記第１取得手段が取得する前記位置情報は、前記エッジの位置に対応する点の座標を表す点群データであることを特徴とする請求項８に記載の画像処理装置。
  10. 　前記第１取得手段が取得する前記表示の形態を表す情報は、前記表示部のサイズと、前記表示部の配置情報と、を少なくとも含むことを特徴とする請求項１乃至請求項７のいずれか一項に記載の画像処理装置。
  11. 　前記入力画像データを得るための撮像における撮像条件を表す撮像情報を取得する第３取得手段と、
    　前記表示部を観察する視点の位置を表す視点情報を取得する第４取得手段と、をさらに有し、
    　前記特定手段は、さらに、前記撮像情報と前記視点情報と基づいて、前記表示部が表示する範囲を特定することを特徴とする請求項１乃至請求項１０のいずれか一項に記載の画像処理装置。
  12. 　前記表示部を含む装置又はシステムは、前記表示部としてのスクリーンと、前記スクリーンに画像を投影するプロジェクタと、によって構成されることを特徴とする請求項１乃至請求項１１のいずれか一項に記載の画像処理装置。
  13. 　前記表示部は、曲面のスクリーンであることを特徴とする請求項１２に記載の画像処理装置。
  14. 　前記表示部は、複数の平面のスクリーンによって構成されることを特徴とする請求項１２に記載の画像処理装置。
  15. 　前記表示部はディスプレイであることを特徴とする請求項１乃至請求項１１のいずれか一項に記載の画像処理装置。
  16. 　前記表示部を含む装置又はシステムは、前記表示部としての記録媒体と、前記記録媒体に画像を形成するプリンタと、によって構成されることを特徴とする請求項１乃至請求項１１のいずれか一項に記載の画像処理装置。
  17. 　請求項１乃至請求項１６のいずれか一項に記載の画像処理装置と、
    　前記表示部を含む装置又はシステムと、
    　撮像装置と、
    　を有することを特徴とする撮像システム。
  18. 　撮像対象の画像を表示する表示部を有し、
    　前記表示部には、表示範囲を示す枠が前記画像に重畳して表示され、
    　前記表示範囲は、撮像装置とは異なる表示装置の表示部において前記画像を表示するために用いる幾何変換パラメータ又は切り出し範囲を示す情報に応じていることを特徴とする画像処理装置。
  19. 　コンピュータを請求項１乃至請求項１６のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。
  20. 　画像を表示する表示部を含む装置又はシステムが入力画像において表示する範囲を、通知するための画像処理方法であって、
    　前記表示部を含む装置又はシステムの表示の形態を表す情報を取得する第１取得ステップと、
    　前記入力画像を表す入力画像データを取得する第２取得ステップと、
    　前記入力画像データと前記情報とに基づいて、前記入力画像において前記表示部が表示する範囲を特定する特定ステップと、
    　前記特定された範囲を表す情報を出力する出力ステップと、を有し、
    　前記特定された範囲の形は、曲面のスクリーンと複数の平面のスクリーンとの少なくとも一方である前記表示部に応じた形であることを特徴とする画像処理方法。
PCT/JP2019/002199 2018-02-20 2019-01-24 画像処理装置、画像処理方法及びプログラム WO2019163385A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/940,655 US20200358964A1 (en) 2018-02-20 2020-07-28 Image-processing apparatus, imaging system, image processing method, and medium

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2018-028112 2018-02-20
JP2018028112 2018-02-20
JP2018210844A JP7391502B2 (ja) 2018-02-20 2018-11-08 画像処理装置、画像処理方法及びプログラム
JP2018-210844 2018-11-08

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/940,655 Continuation US20200358964A1 (en) 2018-02-20 2020-07-28 Image-processing apparatus, imaging system, image processing method, and medium

Publications (1)

Publication Number Publication Date
WO2019163385A1 true WO2019163385A1 (ja) 2019-08-29

Family

ID=67686805

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/002199 WO2019163385A1 (ja) 2018-02-20 2019-01-24 画像処理装置、画像処理方法及びプログラム

Country Status (1)

Country Link
WO (1) WO2019163385A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001184040A (ja) * 1999-12-24 2001-07-06 Hitachi Ltd 画像データ表示システム及び画像データ生成方法
JP2004032076A (ja) * 2002-06-21 2004-01-29 Canon Inc プリントシステムの撮像装置
JP2005234698A (ja) * 2004-02-17 2005-09-02 Mitsubishi Precision Co Ltd 歪みパラメータの生成方法及び映像発生方法並びに歪みパラメータ生成装置及び映像発生装置
JP2012508406A (ja) * 2009-09-03 2012-04-05 クゥアルコム・インコーポレイテッド インクリノメータをもつモバイルデバイス
JP2013020063A (ja) * 2011-07-11 2013-01-31 Canon Inc 撮像装置および画像表示システム並びに画像表示装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001184040A (ja) * 1999-12-24 2001-07-06 Hitachi Ltd 画像データ表示システム及び画像データ生成方法
JP2004032076A (ja) * 2002-06-21 2004-01-29 Canon Inc プリントシステムの撮像装置
JP2005234698A (ja) * 2004-02-17 2005-09-02 Mitsubishi Precision Co Ltd 歪みパラメータの生成方法及び映像発生方法並びに歪みパラメータ生成装置及び映像発生装置
JP2012508406A (ja) * 2009-09-03 2012-04-05 クゥアルコム・インコーポレイテッド インクリノメータをもつモバイルデバイス
JP2013020063A (ja) * 2011-07-11 2013-01-31 Canon Inc 撮像装置および画像表示システム並びに画像表示装置

Similar Documents

Publication Publication Date Title
US10789671B2 (en) Apparatus, system, and method of controlling display, and recording medium
JP4363151B2 (ja) 撮影装置、その画像処理方法及びプログラム
US10437545B2 (en) Apparatus, system, and method for controlling display, and recording medium
JP4556813B2 (ja) 画像処理装置、及びプログラム
US20160301868A1 (en) Automated generation of panning shots
JP5907580B2 (ja) 投写型表示装置および記録画像生成方法
JP2011081775A (ja) 投影画像領域検出装置
JP2007531094A (ja) カメラ写真から得られる画像から原データを抽出する方法
JP2010050542A (ja) 投写型表示装置および表示方法
JP2007074578A (ja) 画像処理装置、撮影装置、及びプログラム
CN110610531A (zh) 图像处理方法、图像处理装置和记录介质
KR102311367B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 프로그램
JP2020068514A (ja) 画像処理装置、画像処理方法、及びプログラム
WO2014069248A1 (ja) 画像処理装置および画像処理方法、並びにプログラム
JP6541501B2 (ja) 画像処理装置、撮像装置、及び画像処理方法
JP2019146155A (ja) 画像処理装置、画像処理方法およびプログラム
WO2019163385A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP7391502B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5162855B2 (ja) 画像処理装置、遠隔画像処理システム及び画像処理方法
US20090103811A1 (en) Document camera and its method to make an element distinguished from others on a projected image
JP4363153B2 (ja) 撮影装置、その画像処理方法及びプログラム
WO2019163449A1 (ja) 画像処理装置、画像処理方法およびプログラム
JP4710508B2 (ja) 画像処理プログラム、画像処理装置
US11388341B2 (en) Image processing apparatus, image processing method, and storage medium
JP2021018414A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19757824

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19757824

Country of ref document: EP

Kind code of ref document: A1