WO2012165515A1 - 映像処理装置、映像処理装置の制御方法、制御プログラム、および該制御プログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents
映像処理装置、映像処理装置の制御方法、制御プログラム、および該制御プログラムを記録したコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- WO2012165515A1 WO2012165515A1 PCT/JP2012/064008 JP2012064008W WO2012165515A1 WO 2012165515 A1 WO2012165515 A1 WO 2012165515A1 JP 2012064008 W JP2012064008 W JP 2012064008W WO 2012165515 A1 WO2012165515 A1 WO 2012165515A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- video
- stereoscopic
- display
- eye
- input
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
- H04N13/359—Switching between monoscopic and stereoscopic modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image
Definitions
- the present invention relates to a video processing apparatus that synthesizes a plurality of videos including stereoscopic video into one video.
- stereoscopic display devices display devices that display stereoscopic video (hereinafter referred to as stereoscopic display devices) have attracted attention. Many methods for displaying stereoscopic video have been proposed, and so-called frame sequential methods are widely used in television receivers for general households.
- FIG. 11 is a schematic diagram showing how a stereoscopic video is displayed in the frame sequential method.
- the right-eye video and the left-eye video are alternately displayed.
- the position of the object in the right-eye image and the position of the object in the left-eye image are shifted as illustrated. This deviation is parallax, and a stereoscopic effect can be obtained by providing parallax.
- FIG. 12 is a diagram for explaining the relationship between the parallax and the video for the right eye and the video for the left eye.
- FIGS. 12A and 12B show a stereoscopic effect in the depth direction with respect to the display surface.
- (C) shows the relationship when a stereoscopic effect is produced in the forward direction with respect to the display surface.
- the object is displayed at a position where the line segment connecting the viewer's right eye and the position for recognizing the object (the back side of the display surface) intersects the display surface
- the object is displayed at a position where a line segment connecting the viewer's left eye and the position for recognizing the object intersects the display surface.
- FIG. 9A is more parallax (position of the object in the right-eye image) than FIG. And the amount of deviation from the position of the object in the left-eye image) increases.
- Patent Literature 1 discloses a stereoscopic display device that allows a user to experience a plurality of stereoscopic images at the same time.
- Japanese Patent Publication Japanese Patent Laid-Open No. 2010-8501 (Publication Date: January 14, 2010)”
- FIG. 13 shows an example in which two stereoscopic images composed of a right-eye image and a left-eye image are simultaneously displayed in a conventional stereoscopic display device.
- the two stereoscopic video images T1 and T2 shown in FIG. 13A are input, and the stereoscopic video images T1 and T2 are synthesized as shown in FIG. 13B.
- One obtained image M is displayed.
- the parallax may be different between the plurality of stereoscopic images. For example, depending on how far away from the display surface the infinity is set, the parallax is different among a plurality of stereoscopic images. In addition, even if a stereoscopic image is captured or generated under the same conditions, if the display size is enlarged or reduced, the parallax is also enlarged or reduced, and as a result, between a plurality of stereoscopic images. The parallax is different.
- Patent Document 1 does not disclose a technique for solving the above problems.
- the present invention has been made in view of the above problems, and an object of the present invention is to provide a video processing apparatus and the like that can reduce discomfort and discomfort caused when a plurality of stereoscopic images are displayed simultaneously. is there.
- a video processing apparatus receives a plurality of videos including at least two stereoscopic video images, and displays a plurality of input videos simultaneously on a display unit.
- a video processing apparatus for generating a video for video wherein the video conversion means converts at least one of the input stereoscopic video images into a video for plane vision, and the video for plane viewing converted by the video conversion means
- Video generation means for generating the display video by synthesizing the video and the video that has not been converted into the video for planar view by the video conversion means from among the plurality of inputted videos. It is a feature.
- the control method of the video processing apparatus receives a plurality of videos including at least two stereoscopic videos as inputs, and displays a display video for simultaneously displaying the input videos on the display unit.
- a method for controlling a video processing device to be generated comprising: a video conversion step for converting at least one of the input stereoscopic video images into a planar video image; and a planar video image converted by the video conversion step.
- a plurality of images including at least two stereoscopic images are input, and at least one of the stereoscopic images is converted into a planar image. Then, the converted image for plane view and the image that has not been converted into the image for plane view by the image conversion means among the plurality of input images are combined to generate a display image.
- the video processing apparatus receives a plurality of videos including at least two stereoscopic videos as inputs, and displays a display video for simultaneously displaying the input videos on the display unit.
- a video processing device for generating video conversion means for converting at least one of the input stereoscopic video images into a planar video image; a planar video image converted by the video conversion means; Video generating means for generating the display video by synthesizing the video that has not been converted into the video for plane viewing by the video converting means from among the plurality of inputted videos.
- the control method of the video processing apparatus receives a plurality of videos including at least two stereoscopic videos as inputs, and displays a display video for simultaneously displaying the input videos on the display unit.
- a method for controlling a video processing device to be generated comprising: a video conversion step for converting at least one of the input stereoscopic video images into a planar video image; and a planar video image converted by the video conversion step.
- FIG. 2A is a schematic diagram showing two stereoscopic video images input to the video processing device.
- FIG. 2B is a schematic diagram showing a display video generated from the stereoscopic video shown in FIG.
- FIG. 2B is a schematic diagram showing a display video generated from the stereoscopic video shown in FIG.
- FIG. 2B is a block diagram which shows the structure of the conversion part contained in the video processing apparatus shown in FIG. 2 is a flowchart showing a flow of processing until a display video is obtained in the video processing apparatus shown in FIG. 1.
- FIG. 8A is a schematic diagram showing two stereoscopic video images input to the video processing device.
- FIG. 8B is a schematic diagram showing a display image in which the larger display size is displayed as it is as a stereoscopic image and the smaller display size is displayed as a planar image.
- FIG. 8C is a schematic diagram showing a display image in which the larger display size is displayed as it is as a stereoscopic image and the smaller display size is displayed as a planar image.
- FIG. 8D shows a case where the larger display size is displayed as it is as a stereoscopic image, and the smaller display size is displayed as a planar image regardless of the display position and the overlapping of the images. It is a trial figure which shows the image
- FIG. 10 is a schematic diagram illustrating a display image generated by the image processing apparatus illustrated in FIG. 9.
- FIG. 10 is a schematic diagram illustrating a display image generated by the image processing apparatus illustrated in FIG. 9.
- FIG. 10A is a schematic diagram illustrating an example when the operation receiving unit does not receive an operation for setting a display area.
- FIG. 10B is a schematic diagram showing a state immediately after receiving an operation for setting a display area in the operation receiving unit after the example shown in FIG.
- FIG. 10C is a schematic diagram illustrating a state in which the display area is changed by an operation after the example illustrated in FIG.
- FIG. 10D is a schematic diagram illustrating a state in which the display area is changed by an operation after the example illustrated in FIG.
- FIG. 10E is a schematic diagram illustrating a state in which the operation is completed after the example illustrated in FIG.
- FIG. 12 It is a schematic diagram which shows a mode that the image
- A) of FIG. 12 is a figure explaining the relationship when giving a three-dimensional effect to the display surface in the depth direction.
- FIG. 12B is a diagram for explaining a relationship when a stereoscopic effect is given in the depth direction with respect to the display surface.
- C) of FIG. 12 is a figure explaining the relationship at the time of giving a three-dimensional effect to a near side with respect to a display surface.
- FIG. 13A is a schematic diagram illustrating two input stereoscopic images.
- FIG. 13B is a schematic diagram showing one video obtained by synthesizing two input stereoscopic video images.
- the video processing apparatus 10 receives a plurality of videos including at least two stereoscopic videos (3D videos) as input, and performs a process of synthesizing the input videos into one video in order to display them simultaneously.
- a display image one synthesized image is referred to as a display image.
- the input video only needs to include at least two stereoscopic video images (3D video), and the number of stereoscopic video images and the number of planar video images (2D video images) included in the input video image.
- 3D video stereoscopic video images
- 2D video images planar video images
- the stereoscopic video is a video composed of a left-eye video for showing the left eye and a right-eye video for showing the right eye, and is a video that the viewer can stereoscopically view when displayed. .
- the video processing apparatus 10 generates a display video after converting at least one of the input stereoscopic video to a planar video. That is, the input stereoscopic video is not all displayed as a stereoscopic video, but only a part is displayed as a stereoscopic video and the others are displayed as a planar video. As a result, the occurrence of unnaturalness and uncomfortable display caused by the disparity between the plurality of stereoscopic images is reduced. As a result, it is possible to reduce discomfort that the viewer has conventionally felt.
- the video processing apparatus 10 generates a display video after converting any one of the input stereoscopic video images into a planar video image.
- a display video after converting any one of the input stereoscopic video images into a planar video image.
- only one of the images input as the stereoscopic video is displayed as the stereoscopic video, and the other is displayed as the planar video.
- a method of displaying a stereoscopic video whose difference between the maximum value and the minimum value of parallax is less than a certain value as a stereoscopic video is conceivable.
- a method of displaying a predetermined number of stereoscopic video images from the top among the stereoscopic video images that meet a predetermined condition is considered as a stereoscopic video image.
- FIG. 2 shows an example of a display video generated by the video processing apparatus 10.
- FIG. 2 is a schematic diagram showing a display video generated by the video processing apparatus 10.
- the video processing apparatus 10 receives two stereoscopic video images T1 and T2 shown in FIG. 2A and inputs the stereoscopic video image T1 as it is as shown in FIG. 2B.
- the stereoscopic video T2 is converted into the planar video TP to synthesize the display video M1.
- the image indicated by the solid line is the image for the left eye
- the image indicated by the broken line and shaded is the image for the right eye.
- the planar video TP converted from the stereoscopic video T2 is the same video as the left-eye video and the right-eye video, as will be described later.
- the video processing apparatus 10 according to the present embodiment is referred to as a video processing apparatus 10a and a video processing apparatus 10b.
- FIG. 1 is a block diagram showing an outline of the configuration of the video processing apparatus 10a.
- the video processing apparatus 10 a includes at least a video conversion unit (video conversion unit) 111 and a video synthesis unit (video generation unit) 151.
- Each block of the video processing apparatus 10a may be configured as hardware by a logic circuit formed on an integrated circuit (IC chip), or may be realized by software using a CPU (central processing unit). Good.
- the video conversion unit 111 outputs each of n (n is an integer of 2 or more) stereoscopic images (T1, T2,... Tn) input from the outside as a stereoscopic image or is a plane. A process of converting to a visual image and outputting it is performed.
- the video conversion unit 111 includes conversion units 11_1 to 11_n.
- the switching signal Ck is a signal for instructing to output the paired stereoscopic video Tk as a stereoscopic video (hereinafter referred to as a stereoscopic instruction signal), and the paired stereoscopic video Tk in plan view.
- a stereoscopic instruction signal a signal for instructing to output the paired stereoscopic video Tk as a stereoscopic video
- a plane instruction signal instructing to convert to a video for output.
- At least one of the switching signals C1 to Cn is a plane instruction signal. Most preferably, only one of the switching signals C1 to Cn is a stereoscopic instruction signal, and the rest are all planar instruction signals.
- each switching signal Ck is a stereoscopic instruction signal or a planar instruction signal is determined outside the video processing apparatus 10a.
- the switching signal Ck that is paired with the stereoscopic video Tk specified by an operation received from a user such as a viewer via an input device (not shown) may be used as the stereoscopic instruction signal.
- FIG. 3 is a block diagram illustrating a configuration of the conversion unit 11_k.
- the conversion unit 11_k includes a video separation unit 121, a signal switching unit 131, and a video identification unit 141.
- the video separation unit 121 separates the input stereoscopic video Tk into a left-eye video TLk and a right-eye video TRk constituting the stereoscopic video Tk, and the separated left-eye video TLk and right-eye video. Each of them is output to the connection point In1.
- the signal switching unit 131 is a switch that connects the connection point In1 to either the connection point Out11 or the connection point Out12 according to the input switching signal Ck. Specifically, when the switching signal Ck is a stereoscopic instruction signal, the connection point In1 is connected to the connection point Out11. On the other hand, when the switching signal Ck is a plane instruction signal, the connection point In1 is connected to the connection point Out12.
- the video identifying unit 141 performs processing for making the input left-eye video TLk and right-eye video TRk the same video (hereinafter referred to as “identification”).
- the identification method may be any of the following [A] to [C].
- [A] The left-eye video TLk is replaced with the same video as the right-eye video TRk.
- the right-eye video TRk is replaced with the same video as the left-eye video TLk.
- [C] Both the left-eye video TLk and the right-eye video TRk are replaced with the video generated from the left-eye video TLk and the right-eye video TRk.
- any one of the above [A] to [C] may be selected according to the display position of the stereoscopic video to be converted.
- the display position is made identical by the method [A].
- the display position is made identical by the method [B].
- the display position is made identical by the above method [C].
- the video composition unit 151 receives at least the left-eye video images TL1 to SLn and the right-eye video images TR1 to SRn output from each of the conversion units 11_1 to 11_n of the video conversion unit 111. In this case, the video composition unit 151 generates a display video from the left-eye videos TL1 to SLn and the right-eye videos TR1 to SRn.
- the video composition unit 151 generates one left-eye video by synthesizing n left-eye videos TLk. Similarly, the video synthesis unit 151 generates one right-eye video by synthesizing n right-eye videos TRk.
- the generated video composed of one left-eye video and one left-eye video is a display video.
- the switching signals C1 to Cn when at least one of the switching signals C1 to Cn is a plane instruction signal, only a part of the video input to the video processing device 10a as a stereoscopic video is generated for display by the video synthesis unit 151.
- the video is displayed as a stereoscopic video, and the other video is displayed as a planar video.
- the switching signals C1 to Cn when only one of the switching signals C1 to Cn is the stereoscopic instruction signal, it is most preferable that only one of the videos input to the video processing apparatus 10a as the stereoscopic video is the video synthesis unit 151. Is displayed as a stereoscopic video, and the other video is displayed as a planar video.
- the video compositing unit 151 is converted into a plane view video by the video conversion unit 111 among the plane view video obtained by the conversion by the video conversion unit 111 and a plurality of videos input to the video processing device 10a. This is to synthesize the video that is not.
- m (m is an integer of 1 or more) pieces of plane-view images (P1, P2,..., Pm) may be input from the outside to the image processing device 10a.
- the video composition unit 151 generates a display video from the left-eye video TL1 to TLn, the right-eye video TR1 to TRn, and the planar video P1 to Pm.
- the video synthesis unit 151 generates one left-eye video by synthesizing the n left-eye videos TLk and the m left-eye videos PLr. Similarly, the video synthesis unit 151 generates one right-eye video by synthesizing the n right-eye videos TRk and the m right-eye videos PRr.
- the generated video composed of one left-eye video and one left-eye video is a display video.
- the video composition unit 151 converts the planar video obtained by conversion by the video conversion unit 111 into the planar video by the video conversion unit 111 among the plurality of videos input to the video processing device 10a.
- the video that has not been converted that is, the stereoscopic video that has not been converted into the planar video by the video conversion unit 111 and the planar video that has been input to the video processing device 10a is synthesized.
- display attributes relating to the display size and display position of each video to be combined with the display video may be set in advance or according to an operation received from a user such as a viewer via an input device (not shown). May be set.
- the display device 20 receives the display video generated by the video compositing unit 151 and displays a video in which a plurality of videos are combined.
- the display device 20 may be any display device as long as it can display a stereoscopic video.
- the display device 20 is not necessarily provided as an external device, and may be configured to be provided inside the video processing device 10a. That is, the image processing device 10a itself may be a device including a display unit that displays a display image.
- the video composition unit 151 and the display device 20 perform image transmission such as a D terminal cable, an HDMI (High Definition Multimedia Interface) cable, an iLink cable, and a DVI (Digital Visual Interface) cable. Connected with a cable.
- a stereoscopic image and a planar image in a mixed manner there are various possible methods for displaying a stereoscopic image and a planar image in a mixed manner, and an example will be described.
- the stereoscopic video is to alternately display the left-eye video and the right-eye video every 8.3 ms, and the planar video is transmitted every 16.6 ms, the same for the right eye and the left eye If the same image is repeatedly displayed twice so that the image is reflected, the stereoscopic image can be displayed as a planar image. Therefore, first, a memory is provided in the video processing apparatus 10, and each input video is temporarily stored in the memory. Specifically, the left-eye video and the right-eye video of the stereoscopic video are stored in two different addresses, respectively.
- the planar view video is stored at a certain address.
- the two different addresses are read out alternately, and when displaying as a planar video, it is read out continuously from one address twice.
- the mixed display of the stereoscopic video and the planar video can be realized. That is, reading a stereoscopic video as a stereoscopic video, displaying a stereoscopic video as a planar video, and displaying a planar video as a planar video are read out from the memory. This can be realized only by switching the position (address).
- FIG. 4 is a flowchart showing the flow of processing until the video for display is obtained in the video processing apparatus 10a.
- the input stereoscopic video Tk is used as the left eye constituting the stereoscopic video Tk.
- the video for video TLk and the video for right eye TRk are separated (steps S11 to Sn1).
- each of the conversion units 11_k has a left eye image TLk and a right eye image in the image identification unit 141. TRk and the same video are set (steps S13 to Sn3) (video conversion step).
- the switching signal Ck is a stereoscopic instruction signal (“stereo instruction signal” in steps S12 to Sn2), steps S13 to Sn3 are skipped.
- Step S4 Video generation step. Note that, when a planar view video is input from the outside, a display video including these is generated as described above.
- the video conversion unit 111 converts at least one of n stereoscopic video images (T1, T2,... Tn) input from the outside into a planar video image. Convert and output. Therefore, only a part of the video input to the video processing apparatus 10a as the stereoscopic video is displayed as the stereoscopic video in the display video generated by the video synthesis unit 151.
- the video conversion unit 111 converts all of the n stereoscopic video images (T1, T2,... Tn) input from the outside into a planar video image and outputs it. To do. Therefore, only one of the videos input to the video processing apparatus 10a as the stereoscopic video is displayed as the stereoscopic video in the display video generated by the video synthesis unit 151.
- the method for generating the display video is not limited to the above-described configuration.
- a configuration in which a display video is generated by combining a stereoscopic video input from the outside with a video obtained by cutting out (extracting) a part of the stereoscopic video is also conceivable.
- FIG. 5 is a block diagram showing an outline of the configuration of the video processing apparatus 10b.
- the video processing apparatus 10b includes at least a video conversion unit (video conversion means) 112 and a video synthesis unit 151.
- the video conversion unit 112 has a configuration in which at least one of the conversion units 11_k in the video conversion unit 111 is replaced with an image cutout unit 161.
- FIG. 5 shows a configuration example in which the conversion unit 11_2 in the video conversion unit 111 is replaced with an image cutout unit 161.
- the image cutout unit 161 receives each of the left-eye video TLj and the right-eye video TRj separated by the conversion unit 11_j (j is an integer from 1 to n, where j ⁇ k). Then, a partial region of the left-eye video TLj is cut out (extracted) as the left-eye sub-video TSL. In addition, a partial region of the right-eye video TRj is cut out (extracted) as the right-eye sub-video TSR. In FIG. 5, the left-eye video TL1 and the right-eye video TR1 separated by the conversion unit 11_1 are input.
- the image cut-out unit 161 outputs the extracted left-eye sub-video TSL and right-eye sub-video TSR as they are, or converts them into a plane-view video and outputs them according to the input switching signal. To do.
- FIG. 6 is a block diagram illustrating a configuration of the image cutout unit 161.
- the image cutout unit 161 includes a cutout unit 171, a signal switching unit 132, and a video identification unit 142.
- the cutout unit 171 cuts out a part of each of the input left-eye video TLj and right-eye video TRj, and outputs the cut-out left-eye sub-video TSL and right-eye sub-video TSR to the connection point In2. Is.
- the signal switching unit 132 is a switch that connects the connection point In2 to either the connection point Out21 or the connection point Out22 according to the input switching signal. Specifically, when the switching signal is a stereoscopic instruction signal, the connection point In2 is connected to the connection point Out21. On the other hand, when the switching signal is a plane instruction signal, the connection point In2 is connected to the connection point Out22.
- the video identification unit 142 performs processing for making the input left-eye sub-video TSL and right-eye sub-video TSR the same video. Since the identification method is the same as described above, description thereof is omitted here.
- the video processing apparatus 10 according to the present embodiment is referred to as a video processing apparatus 10c.
- a video processing apparatus 10c members having the same functions as those shown in the first embodiment are denoted by the same reference numerals, and the description thereof is omitted unless specifically described.
- FIG. 7 is a block diagram showing an outline of the configuration of the video processing apparatus 10c.
- the video processing apparatus 10 c includes at least a video conversion unit 111, a video synthesis unit 151, and a switching signal generation unit (attribute information acquisition unit) 181.
- the switching signal generation unit 181 acquires attribute information associated with the stereoscopic video images T1 to Tn, and outputs the switching signals C1 to Cn as stereoscopic instruction signals according to the acquired attribute information, or It is output as an instruction signal.
- the attribute information [A] may be data that can be extracted from a signal sequence constituting the stereoscopic video Tk, or may be data transmitted from the outside separately from the stereoscopic video Tk. .
- the attribute information [A] may be preset in a storage unit (not shown) in the video processing device 10c, or may be received from a user such as a viewer via an input device (not shown). It may be set according to the accepted operation.
- the video processing device 10c displays a predetermined number of stereoscopic video images in descending order of the display size in the input stereoscopic video images Tk. And the others are displayed as a planar video. Therefore, the switching signal generation unit 181 outputs each of the switching signals that are paired with a predetermined number of stereoscopic video images in order from the larger display size as a stereoscopic instruction signal, and outputs the other switching signals to the plane instruction signal. Output as.
- the video processing apparatus 10c displays only the video (main video) having the largest display size among the input stereoscopic video Tk as the stereoscopic video, and the other (sub video) is for planar viewing. Display as video.
- the switching signal generation unit 181 outputs a switching signal that is paired with the stereoscopic video having the largest display size as a stereoscopic instruction signal, and outputs the other switching signals as a plane instruction signal.
- the attribute information [A] assumes program information or genre obtained from digital broadcast waves or EPG (Electronic Program Guide) that can be acquired from the Internet.
- the video processing apparatus 10c displays, for example, a stereoscopic video having attribute information that matches a predetermined condition as a stereoscopic video. Therefore, the switching signal generation unit 181 outputs a switching signal that is paired with a stereoscopic video having attribute information that matches the predetermined condition as a stereoscopic instruction signal, and outputs the other switching signals as a planar instruction signal. .
- a predetermined number of stereoscopic video images may be selected from those searched for in the higher rank.
- the video processing device 10c displays only one of the stereoscopic video images having attribute information that matches the predetermined condition as the stereoscopic video image, and displays the other as the planar video image.
- the switching signal generation unit 181 outputs a switching signal that is paired with any one of the stereoscopic video images having attribute information that matches the predetermined condition as a stereoscopic instruction signal, and designates other switching signals as a plane instruction. Output as a signal.
- the first searched image may be selected.
- the predetermined condition may be set in advance in a storage unit (not shown) in the video processing device 10c, or is set according to an operation received from a user such as a viewer via an input device (not shown). It may be a thing.
- the attribute information is a video genre
- a sports video is displayed as a stereoscopic video
- a video other than sports is displayed as a planar video. Can be displayed.
- the predetermined condition may be user preference information such as a viewer.
- the preference information may be input by a user such as a viewer through an input device (not shown), or is generated by learning based on a history of operations received from a user such as a viewer It may be.
- FIG. 8 shows an example of a display video generated by the video processing device 10c.
- FIG. 8 is a diagram schematically showing a display video generated by the video processing device 10c.
- the video processing apparatus 10c receives two stereoscopic video images T1 and T2 having different display sizes shown in FIG. 8A, and displays the larger display size as it is as a stereoscopic video image.
- a display image is generated so that the smaller display size is displayed as a planar view image (FIGS. 8B to 8D).
- the stereoscopic video image T1 is used as it is as a stereoscopic video image, and the stereoscopic video image T2 is displayed as a planar video image.
- the display video M2 is synthesized.
- the stereoscopic video image T2 is used as it is as a stereoscopic video image, and the stereoscopic video image T1 is planarly viewed.
- the display video M3 is synthesized by converting to the video for video TP1.
- the display position of the synthesized video and the overlap of the videos there is no need to consider the display position of the synthesized video and the overlap of the videos.
- the display size of the stereoscopic video image T1 is larger, as shown in FIG. 8D, the stereoscopic video image T1 is directly used as the stereoscopic video image, and the stereoscopic video image T2 is viewed in plan view.
- the display video M4 may be synthesized so as to be converted into the video for video TP2 and superimposed on each other.
- a main video having a large display size can be displayed as a stereoscopic video, and a sub video having a small display size can be displayed as a planar video.
- the video processing device 10c further includes a position detection unit (not shown) that detects the position of the viewer imaged by the imaging device such as a camera with respect to the display surface of the display device 20.
- a position detection unit (not shown) that detects the position of the viewer imaged by the imaging device such as a camera with respect to the display surface of the display device 20.
- the switching signal generation unit 181 outputs a switching signal that is paired with the stereoscopic video displayed near the viewer position detected by the position detection unit as a stereoscopic instruction signal, and displays the other switching signals in a plane. Output as an instruction signal.
- the switching signal generation unit 181 outputs a switching signal that is paired with the stereoscopic video displayed closest to the viewer as a stereoscopic instruction signal, and outputs the other switching signals as a plane instruction signal.
- FIGS. 9 and 10 Another embodiment of the present invention will be described with reference to FIGS. 9 and 10 as follows.
- the video processing apparatus 10 according to the present embodiment is referred to as a video processing apparatus 10d.
- members having the same functions as those of the members shown in the first and second embodiments are given the same reference numerals, and explanations thereof are omitted unless otherwise specified.
- FIG. 9 is a block diagram showing an outline of the configuration of the video processing apparatus 10d.
- the video processing apparatus 10d includes at least a video conversion unit 111, a video synthesis unit (video generation unit) 152, a switching signal generation unit (attribute information acquisition unit) 182, and an operation reception unit (operation input unit). 191.
- the operation accepting unit 191 is (1) an operation from a user such as a viewer to change the display area of each video combined with the display video displayed on the display device 20, and (2) various menus. It accepts operations to be displayed.
- the above operation is input via an input device such as a remote controller, a keyboard, and a mouse (not shown).
- an input device such as a remote controller, a keyboard, and a mouse (not shown).
- the video composition unit 152 has a function of regenerating the display video according to the display area changed by the operation received by the operation reception unit 191.
- the switching signal generation unit 182 temporarily outputs all of the switching signals C1 to Cn as plane instruction signals during the period in which the operation reception unit 191 receives the above operation in addition to the function of the switching signal generation unit 181. It has a function to do.
- the video conversion unit 111 converts all of the input stereoscopic video into a planar video, so that the video synthesized with the display video generated by the video synthesis unit 152 is , All are images for planar view.
- FIG. 10 shows an example of a display video generated by the video processing device 10d.
- FIG. 10 is a diagram schematically showing a display video generated by the video processing device 10d.
- FIG. 10A shows an example when the operation receiving unit 191 does not receive an operation for setting a display area.
- the display video M5 has a small display area with the larger one (T1) of the display area as it is as the stereoscopic video of the two different stereoscopic videos T1 and T2.
- the direction (T2) is converted into a planar view video TP2 and synthesized.
- FIG. 10 shows a state immediately after the operation accepting unit 191 accepts an operation for setting a display area after the example shown in (a) of FIG.
- the stereoscopic video images T1 and T2 are converted into the planar video images TP1 and TP2, respectively, and synthesized.
- FIG. 10 and (d) in FIG. 10 show a state in which the display area is changed by an operation after the example shown in (b) in FIG. As shown in the figure, during this period, the stereoscopic video images T1 and T2 are converted into the planar video images TP1 and TP2, respectively, and synthesized.
- FIG. 10 shows a state where the operation is completed after the example shown in (d) of FIG.
- the display image M5 shown in the figure is synthesized by converting the one with the larger display area (T2) as the stereoscopic image as it is and converting the one with the smaller display area (T1) into the planar image TP1 at the present time. Is.
- each block of the video processing apparatus 10 may be configured as hardware by a logic circuit formed on an integrated circuit (IC chip), or may be realized by software using a CPU as follows. Good.
- the video processing apparatus 10 When realized by software, the video processing apparatus 10 includes a CPU that executes instructions of a control program that realizes each function, a ROM (read only memory) that stores the program, and a RAM (random access memory) that expands the program. And a storage device (recording medium) such as a memory for storing the program and various data.
- An object of the present invention is a recording medium on which a program code (execution format program, intermediate code program, source program) of a control program of the video processing apparatus 10 which is software for realizing the functions described above is recorded so as to be readable by a computer. This can also be achieved by supplying the video processing apparatus 10 and reading and executing the program code recorded on the recording medium by the computer (or CPU or MPU).
- Examples of the recording medium include tapes such as magnetic tapes and cassette tapes, magnetic disks such as floppy (registered trademark) disks / hard disks, and disks including optical disks such as CD-ROM / MO / MD / DVD / CD-R.
- IC cards including memory cards) / optical cards, etc., semiconductor memories such as mask ROM / EPROM / EEPROM (registered trademark) / flash ROM, logic circuits such as PLD (Programmable logic device), etc. Can be used.
- the video processing apparatus 10 may be configured to be connectable to a communication network, and the program code may be supplied via the communication network.
- the communication network is not particularly limited.
- the Internet intranet, extranet, LAN, ISDN, VAN, CATV communication network, virtual private network, telephone line network, mobile communication network, satellite communication. A net or the like is available.
- the transmission medium constituting the communication network is not particularly limited.
- infrared rays such as IrDA and remote control
- Bluetooth It can also be used for wireless such as registered trademark), IEEE 802.11 wireless, HDR (High Data Rate), NFC (Near Field Communication), DLNA (Digital Living Network Alliance), mobile phone network, satellite line, terrestrial digital network, etc. .
- means does not necessarily mean physical means, but includes cases where the functions of each means are realized by software. Further, the function of one means may be realized by two or more physical means, or the functions of two or more means may be realized by one physical means.
- the video processing apparatus receives a plurality of videos including at least two stereoscopic videos as inputs, and displays a display video for simultaneously displaying the input videos on the display unit.
- a video processing device for generating video conversion means for converting at least one of the input stereoscopic video images into a planar video image; a planar video image converted by the video conversion means; Video generating means for generating the display video by synthesizing the video that has not been converted into the video for plane viewing by the video converting means from among the plurality of inputted videos.
- the control method of the video processing apparatus receives a plurality of videos including at least two stereoscopic videos as inputs, and displays a display video for simultaneously displaying the input videos on the display unit.
- a method for controlling a video processing device to be generated comprising: a video conversion step for converting at least one of the input stereoscopic video images into a planar video image; and a planar video image converted by the video conversion step.
- the stereoscopic video is a video composed of a left-eye video for showing the left eye and a right-eye video for showing the right eye
- the video conversion means includes: A configuration may be adopted in which the stereoscopic video is converted into the planar video by making the left-eye video and the right-eye video constituting the stereoscopic video to be converted the same.
- the input stereoscopic video can be converted into a planar video with a simple configuration.
- the video conversion means replaces the left-eye video constituting the stereoscopic video to be converted with the same video as the right-eye video constituting the stereoscopic video. Accordingly, the stereoscopic video may be converted into a planar video.
- the input stereoscopic video can be converted into the planar video by a simple configuration in which the left-eye video is replaced with the right-eye video.
- the video conversion means replaces the left-eye video constituting the stereoscopic video to be converted with the same video as the left-eye video constituting the stereoscopic video. Accordingly, the stereoscopic video may be converted into a planar video.
- the input stereoscopic video can be converted to the planar video by a simple configuration in which the right-eye video is replaced with the left-eye video.
- the video processing apparatus is preferably configured such that the video converting means converts all but one of the input stereoscopic video images into a planar video image.
- only one of the input stereoscopic video images is displayed as a stereoscopic video image, and the other is displayed as a planar video image.
- the video conversion means may perform planar view of all of the input stereoscopic video except for the stereoscopic video having the largest area displayed on the display unit. It may be configured to convert to a video for use.
- the video processing apparatus further includes attribute information acquisition means for acquiring attribute information associated with the input stereoscopic video, and the video conversion means is acquired by the attribute information acquisition means.
- attribute information acquisition means for acquiring attribute information associated with the input stereoscopic video
- the video conversion means is acquired by the attribute information acquisition means.
- the configuration may be such that all of the video except for the stereoscopic video associated with the attribute information is converted into a planar video.
- the video processing apparatus further includes an operation input unit that accepts a user operation to change a display area of the video combined with the display video, and the video generation unit includes the operation input unit.
- the display video in which the display area is changed according to the received operation is generated, and the video conversion unit is configured to display the input stereoscopic video for a period during which the operation is received by the operation input unit.
- a configuration may be used in which all are converted into a planar video.
- the video processing device may be realized by a computer.
- a control program for the video processing device for causing the video processing device to be realized by the computer by causing the computer to operate as each of the means, and A computer-readable recording medium on which it is recorded also falls within the scope of the present invention.
- an integrated circuit that realizes the video processing apparatus, a ROM (read only memory) in which the control program is stored, and the like fall within the scope of the present invention.
- the present invention can be suitably applied to a video processing device that generates a display video for simultaneously displaying a plurality of stereoscopic video images on a display device. Further, the present invention can be suitably applied to a display device that displays a plurality of stereoscopic images simultaneously.
- Video processing device 11_1 to 11_n Conversion unit 20 Display device (display unit) 111, 112 Video conversion unit (video conversion means) 121 Video separation unit 141, 142 Video identification unit 151, 152 Video composition unit (video generation means) 181 and 182 switching signal generator (attribute information acquisition means) 191 Operation accepting unit (operation input means) T1 to Tn Stereoscopic video M1 to M5 Display video TL1 to TLn Left-eye video TR1 to TRn Right-eye video
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
映像処理装置(10a)は、少なくとも2つの立体視用映像を含む複数の映像を入力とし、該入力された複数の映像を表示部に同時に表示させるための表示用映像を生成する映像処理装置であって、上記入力された立体視用映像のうちの少なくとも1つを平面視用映像に変換する映像変換ユニット(111)と、映像変換ユニット(111)によって変換された平面視用映像と、上記入力された複数の映像のうち映像変換ユニット(111)によって平面視用映像に変換されていない映像とを合成することによって、表示用映像を生成する映像合成部(151)とを備える。
Description
本発明は、立体視用映像を含む複数の映像を1つの映像に合成する映像処理装置等に関するものである。
近年、立体視用映像を表示する表示装置(以下、立体表示装置と表記する)が注目を集めている。立体視用映像を表示するための方式は多数提案されており、一般家庭向けのテレビジョン受像機などでは、いわゆるフレーム・シーケンシャル方式が普及している。
図11を参照しながらフレーム・シーケンシャル方式について簡単に説明する。図11は、フレーム・シーケンシャル方式において、立体視用映像を表示する様子を示す模式図である。図示のように、フレーム・シーケンシャル方式では、右目用映像と左目用映像とを交互に表示する。そして、右目用映像中における物体の位置と、左目用映像における該物体の位置とは、図示のようにずれている。このずれが視差であり、視差を設けることによって立体感を得ることができる。
続いて、図12を参照しながら、視差と右目用映像および左目用映像との関係について説明する。図12は、視差と右目用映像および左目用映像との関係を説明する図であり、同図の(a)および(b)は表示面に対して奥行き方向に立体感を出すとき、同図の(c)は表示面に対して手前方向に立体感を出すときの関係を示している。
同図の(a)および(b)に示されるとおり、表示面に対して奥行き方向に立体感(奥行き感)を出すときには、画像中の物体が表示面の奥側にあると認識させるために、右目用映像における当該物体の位置を右向きにずらし、左目用映像における当該物体の位置を左向きにずらして表示する。
より詳細には、右目用映像では、視聴者の右目と物体を認識させる位置(表示面の奥側)を結んだ線分が表示面と交わる位置に当該物体を表示し、左目用映像では、視聴者の左目と物体を認識させる位置を結んだ線分が表示面と交わる位置に当該物体を表示する。
このため、奥行き方向の立体感が大きい(物体を認識させる位置が視聴者から遠い)同図の(a)の方が、同図の(b)と比べて視差(右目用映像における物体の位置と、左目画像における物体の位置とのずれ量)が大きくなる。
一方、同図の(c)で表される通り、表示面に対して手前方向に立体感(飛び出し感)を出すときには、物体が表示面の手前にあると視聴者に認識させるために、右目用映像における当該物体の位置を左向きにずらし、左目用映像における当該物体の位置を右向きにずらして表示する。つまり、同図の(a)および(b)場合と比べて右目用映像と左目用映像とに含まれる当該物体の表示位置が入れ替わる。同図の(c)の場合も、同図の(a)および(b)の場合と同様に、立体感が大きい(物体を認識させる位置が視聴者に近い)ほど、視差が大きくなる。
ところで、近年、複数の立体視用映像を同時に表示する立体表示装置が登場している。例えば、特許文献1には、1つの装置で同時に複数の立体映像を体感することができる立体表示装置が開示されている。
図13に、従来の立体表示装置において、右目用映像と左目用映像とから構成される立体視用映像を同時に2つ表示する例を示す。従来の立体表示装置では、図13の(a)に示す2つの立体視用映像T1およびT2を入力とし、図13の(b)に示すように、立体視用映像T1およびT2を合成して得られる1つの映像Mを表示する。
ここで、複数の立体視用映像が異なる条件で撮影されたり生成されている場合、これら複数の立体視用映像の間では、視差が異なることが起こり得る。例えば、表示面からどの程度離間させた位置に無限遠を設定するかによって、複数の立体視用映像の間で視差が異なる状態となる。また、仮に同じ条件で撮影されたり生成された立体視用映像であっても、表示サイズを拡大または縮小した場合は、視差も拡大または縮小され、その結果、複数の立体視用映像の間で視差が異なる状態となる。
そして、視差が異なる複数の立体視用映像を同時に表示すると、それぞれの立体視用映像の奥行き感および飛び出し感が異なることから、同時に表示された立体視用映像が全体として不自然さ・違和感があるものとなり、その結果、視聴者に不快感を抱かせるという問題が生じる。
具体的には、無限遠の位置が異なったり、人物が同じ大きさで表示されているにもかかわらず、映像によって奥行きの距離が異なって見えるという問題が生じる。
従来技術では上記問題点について考慮されておらず、特許文献1などには上記問題点を解決するための技術は開示されていない。
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、複数の立体視用映像を同時に表示する際に生じる違和感・不快感を低減する映像処理装置等を提供することにある。
上記課題を解決するために、本発明に係る映像処理装置は、少なくとも2つの立体視用映像を含む複数の映像を入力とし、該入力された複数の映像を表示部に同時に表示させるための表示用映像を生成する映像処理装置であって、上記入力された立体視用映像のうちの少なくとも1つを平面視用映像に変換する映像変換手段と、上記映像変換手段によって変換された平面視用映像と、上記入力された複数の映像のうち上記映像変換手段によって平面視用映像に変換されていない映像とを合成することによって、上記表示用映像を生成する映像生成手段と、を備えることを特徴としている。
また、本発明に係る映像処理装置の制御方法は、少なくとも2つの立体視用映像を含む複数の映像を入力とし、該入力された複数の映像を表示部に同時に表示させるための表示用映像を生成する映像処理装置の制御方法であって、上記入力された立体視用映像のうちの少なくとも1つを平面視用映像に変換する映像変換ステップと、上記映像変換ステップによって変換された平面視用映像と、上記入力された映像のうち上記映像変換ステップによって平面視用映像に変換されていない映像とを合成することによって、上記表示用映像を生成する映像生成ステップと、を含むことを特徴としている。
上記の構成によれば、少なくとも2つの立体視用映像を含む複数の映像が入力され、当該立体視用映像のうちの少なくとも1つを平面視用映像に変換する。そして、当該変換された平面視用映像と、上記入力された複数の映像のうち上記映像変換手段によって平面視用映像に変換されていない映像とを合成することによって、表示用映像を生成する。
よって、入力された立体視用映像が全てそのまま立体視用映像として表示されるのではなく、一部のみがそのまま立体視用映像として表示され、その他は平面視用映像として表示される。
したがって、複数の立体視用映像の間で視差が合っていないことに起因する表示の不自然さ・違和感の発生を低減することができ、視聴者が従来感じていた不快感を低減することができるという効果を奏する。
以上のように、本発明に係る映像処理装置は、少なくとも2つの立体視用映像を含む複数の映像を入力とし、該入力された複数の映像を表示部に同時に表示させるための表示用映像を生成する映像処理装置であって、上記入力された立体視用映像のうちの少なくとも1つを平面視用映像に変換する映像変換手段と、上記映像変換手段によって変換された平面視用映像と、上記入力された複数の映像のうち上記映像変換手段によって平面視用映像に変換されていない映像とを合成することによって、上記表示用映像を生成する映像生成手段と、を備えている。
また、本発明に係る映像処理装置の制御方法は、少なくとも2つの立体視用映像を含む複数の映像を入力とし、該入力された複数の映像を表示部に同時に表示させるための表示用映像を生成する映像処理装置の制御方法であって、上記入力された立体視用映像のうちの少なくとも1つを平面視用映像に変換する映像変換ステップと、上記映像変換ステップによって変換された平面視用映像と、上記入力された映像のうち上記映像変換ステップによって平面視用映像に変換されていない映像とを合成することによって、上記表示用映像を生成する映像生成ステップと、を含んでいる。
したがって、複数の立体視用映像の間で視差が合っていないことに起因する表示の不自然さ・違和感の発生を低減することができ、視聴者が従来感じていた不快感を低減することができるという効果を奏する。
本発明の他の目的、特徴、および優れた点は、以下に示す記載によって十分分かるであろう。また、本発明の利点は、添付図面を参照した次の説明で明白になるであろう。
(映像処理装置の概要)
まず、各実施形態に係る映像処理装置10の概要について説明する。なお、本明細書において、後述する各実施形態の映像処理装置10a~10dを区別しないで表記するときは、単に「映像処理装置10」と表記する。
まず、各実施形態に係る映像処理装置10の概要について説明する。なお、本明細書において、後述する各実施形態の映像処理装置10a~10dを区別しないで表記するときは、単に「映像処理装置10」と表記する。
映像処理装置10は、少なくとも2つの立体視用映像(3D映像)を含む複数の映像を入力とし、該入力された複数の映像を、同時に表示させるために、1つの映像に合成する処理を施す装置である。該合成される1つの映像を、以下では、表示用映像と表記する。
入力される映像には、少なくとも2つの立体視用映像(3D映像)が含まれていればよく、入力される映像に含まれる立体視用映像の数および平面視用映像(2D映像)の数は限定されない。なお、立体視用映像は、左目に見せるための左目用映像と、右目に見せるための右目用映像とから構成される映像であって、表示した際に視聴者が立体視可能な映像である。
そして、映像処理装置10は、入力された立体視用映像のうちの少なくとも1つを平面視用映像に変換した上で、表示用映像を生成する。つまり、入力された立体視用映像は全て立体視用映像として表示されるのではなく、一部のみが立体視用映像として表示され、その他は平面視用映像として表示される。これにより、複数の立体視用映像の間で視差が合っていないことに起因する表示の不自然さ・違和感の発生を低減する。その結果、視聴者が従来感じていた不快感を低減することができる。
とりわけ、映像処理装置10は、入力された立体視用映像のうちのいずれか1つ以外を全て平面視用映像に変換した上で、表示用映像を生成することが最も好ましい。この場合、立体視用映像として入力される映像のうち1つだけが立体視用映像として表示され、その他は平面視用映像として表示される。そのため、複数の立体視用映像の間で視差が合っていないことに起因する表示の不自然さ・違和感が全く生じない。その結果、視聴者が従来感じていた不快感を無くすことができる。
なお、入力された立体視用映像のうち、いずれを立体視用映像として表示するかを決定するかについては、様々な方法が考えられる。例えば、視差の最大値と最小値との差が一定値未満の立体視用映像を、立体視用映像として表示する方法が考えられる。また、他の方法として、所定の条件に当てはまる立体視用映像のうち上位から所定数の立体視用映像を、立体視用映像として表示する方法が考えられる。
(表示の様子)
図2に、映像処理装置10にて生成する表示用映像の例を示す。図2は、映像処理装置10にて生成する表示用映像を示す模式図である。この例では、映像処理装置10は、図2の(a)に示す2つの立体視用映像T1およびT2を入力とし、図2の(b)に示すように、立体視用映像T1をそのまま立体視用映像として、かつ、立体視用映像T2を平面視用映像TPに変換して、表示用映像M1を合成している。
図2に、映像処理装置10にて生成する表示用映像の例を示す。図2は、映像処理装置10にて生成する表示用映像を示す模式図である。この例では、映像処理装置10は、図2の(a)に示す2つの立体視用映像T1およびT2を入力とし、図2の(b)に示すように、立体視用映像T1をそのまま立体視用映像として、かつ、立体視用映像T2を平面視用映像TPに変換して、表示用映像M1を合成している。
なお、立体視用映像T1、T2において、実線で示す映像は左目用映像であり、破線かつ網掛けで示す映像は右目用映像である。また、立体視用映像T2から変換された平面視用映像TPは、後述するように、左目用映像と右目用映像とが同一の映像である。
〔実施形態1〕
本発明の一実施形態について、図1、および図3から図6に基づいて説明すると以下の通りである。本実施形態に係る映像処理装置10を、映像処理装置10aおよび映像処理装置10bと表記する。
本発明の一実施形態について、図1、および図3から図6に基づいて説明すると以下の通りである。本実施形態に係る映像処理装置10を、映像処理装置10aおよび映像処理装置10bと表記する。
(映像処理装置の構成)
図1を参照しながら、映像処理装置10aの構成について説明する。図1は、映像処理装置10aの構成の概要を示すブロック図である。同図に示すように、映像処理装置10aは、少なくとも、映像変換ユニット(映像変換手段)111、および映像合成部(映像生成手段)151を備えている。なお、映像処理装置10aの各ブロックは、集積回路(ICチップ)上に形成された論理回路によってハードウェアとして構成してもよいし、CPU(central processing unit)を用いてソフトウェアによって実現してもよい。
図1を参照しながら、映像処理装置10aの構成について説明する。図1は、映像処理装置10aの構成の概要を示すブロック図である。同図に示すように、映像処理装置10aは、少なくとも、映像変換ユニット(映像変換手段)111、および映像合成部(映像生成手段)151を備えている。なお、映像処理装置10aの各ブロックは、集積回路(ICチップ)上に形成された論理回路によってハードウェアとして構成してもよいし、CPU(central processing unit)を用いてソフトウェアによって実現してもよい。
映像変換ユニット111は、外部から入力されるn(nは2以上の整数)個の立体視用映像(T1、T2、…Tn)のそれぞれについて、立体視用映像として出力するか、または、平面視用映像に変換して出力する処理を行なうものである。そのために、映像変換ユニット111は、内部に、変換部11_1~変換部11_nを備えている。
変換部11_k(k=1、2、・・・、n)は、立体視用映像Tkと、立体視用映像Tkと対となる切替信号Ckとを入力とし、切替信号Ckに応じて、立体視用映像Tkを立体視用映像として出力するか、または、平面視用映像に変換して出力するものである。
切替信号Ckは、対となる立体視用映像Tkを立体視用映像として出力することを指示する信号(以下、立体指示信号と表記する)、および、対となる立体視用映像Tkを平面視用映像に変換して出力することを指示する信号(以下、平面指示信号と表記する)のいずれかである。
ただし、切替信号C1~Cnの少なくとも1つは平面指示信号である。最も好ましいのは、切替信号C1~Cnのいずれか1つのみを立体指示信号とし、残りは全て平面指示信号とする場合である。
なお、本実施形態では、各切替信号Ckを立体指示信号とするか又は平面指示信号にするかについては、映像処理装置10aの外部で決定されるものとする。例えば、図示しない入力装置を介して視聴者等のユーザから受け付けた操作によって特定される立体視用映像Tkと対である切替信号Ckを、立体指示信号とする構成であってもよい。
続いて、図3を参照しながら、変換部11_k(k=1、2、・・・、n)の詳細な構成について説明する。図3は、変換部11_kの構成を示すブロック図である。同図に示すように、変換部11_kは、映像分離部121、信号切替部131、および映像同一化部141を備えている。
映像分離部121は、入力された立体視用映像Tkを、立体視用映像Tkを構成する左目用映像TLkと右目用映像TRkとに分離するとともに、該分離した左目用映像TLkと右目用映像TRkとのそれぞれを、接続点In1に出力するものである。
次に、信号切替部131は、入力される切替信号Ckに従って、接続点In1を、接続点Out11および接続点Out12のいずれかに接続するスイッチである。具体的には、切替信号Ckが立体指示信号であるとき、接続点In1を接続点Out11に接続する。一方、切替信号Ckが平面指示信号であるとき、接続点In1を接続点Out12に接続する。
次に、映像同一化部141は、入力される左目用映像TLkと右目用映像TRkとを同一の映像にする(以下、同一化と表記する)処理を施すものである。
同一化の方法は、次の〔A〕~〔C〕のいずれであってもよい。〔A〕左目用映像TLkを右目用映像TRkと同じ映像に差し替える。〔B〕右目用映像TRkを左目用映像TLkと同じ映像に差し替える。〔C〕左目用映像TLkおよび右目用映像TRkの両方を、左目用映像TLkおよび右目用映像TRkから生成した映像に差し替える。
なお、変換対象となる立体視用映像の表示位置に応じて、上記〔A〕~〔C〕のいずれかを選択してもよい。例えば、表示位置が表示面の右寄りである場合、上記〔A〕の方法によって同一化する。また、例えば、表示位置が表示面の左寄りである場合、上記〔B〕の方法によって同一化する。また、例えば、表示位置が表示面の中央寄りである場合、上記〔C〕の方法によって同一化する。
次に、再び図1を参照して映像合成部151について説明する。映像合成部151には、少なくとも、映像変換ユニット111の変換部11_1~11_nのそれぞれから出力される、左目用映像TL1~SLnおよび右目用映像TR1~SRnが入力される。この場合、映像合成部151は、左目用映像TL1~SLnおよび右目用映像TR1~SRnから、表示用映像を生成する。
より具体的には、映像合成部151は、n個の左目用映像TLkを合成することによって1つの左目用映像を生成する。同様に、映像合成部151は、n個の右目用映像TRkを合成することによって1つの右目用映像を生成する。当該生成された1つの左目用映像および1つの左目用映像から構成される映像が、表示用映像である。
以上の構成により、切替信号C1~Cnの少なくとも1つが平面指示信号である場合、立体視用映像として映像処理装置10aに入力された映像の一部のみが、映像合成部151が生成した表示用映像において立体視用映像として表示され、その他の映像は平面視用映像として表示される。とりわけ、切替信号C1~Cnのいずれか1つのみが立体指示信号である最も好ましい場合は、立体視用映像として映像処理装置10aに入力された映像のうちの1つのみが、映像合成部151が生成した表示用映像において立体視用映像として表示され、その他の映像は平面視用映像として表示される。
言い換えれば、映像合成部151は、映像変換ユニット111によって変換されて得た平面視用映像と、映像処理装置10aに入力された複数の映像のうち映像変換ユニット111によって平面視用映像に変換されていない映像とを合成するものである。
ところで、映像処理装置10aには、同図に示すとおり、外部からm(mは1以上の整数)個の平面視用映像(P1、P2、・・・、Pm)が入力されていてもよい。この場合、映像合成部151は、左目用映像TL1~TLnおよび右目用映像TR1~TRn、並びに、平面視用映像P1~Pmから、表示用映像を生成する。
ここで、映像合成部151は、同一の平面視用映像P1~Pmのそれぞれを、左目用映像としても用いるし、右目用映像としても用いる。つまり、平面視用映像Pr(r=1、2、・・・、m)のそれぞれを、コピーして、左目用映像PLrおよび右目用映像PRrとして用いる。
そして、映像合成部151は、n個の左目用映像TLk、及び、m個の左目用映像PLrを合成することによって1つの左目用映像を生成する。同様に、映像合成部151は、n個の右目用映像TRk、及び、m個の右目用映像PRrを合成することによって1つの右目用映像を生成する。当該生成された1つの左目用映像および1つの左目用映像から構成される映像が、表示用映像である。
以上のように、映像合成部151は、映像変換ユニット111によって変換されて得た平面視用映像と、映像処理装置10aに入力された複数の映像のうち映像変換ユニット111によって平面視用映像に変換されていない映像(つまり、映像変換ユニット111にて平面視用映像に変換されなかった立体視映像、および、映像処理装置10aに入力された平面視用映像)とを合成するものである。
なお、表示用映像に合成される各映像の表示サイズや表示位置などに関する表示属性は、予め設定されていてもよいし、図示しない入力装置を介して視聴者等のユーザから受け付けた操作に応じて設定されるものであってもよい。
そして、表示装置20は、映像合成部151が生成した表示用映像を入力として、複数の映像が合成された映像を表示する。表示装置20は、立体視用映像を表示することができる表示装置であればどのような表示装置であってもよい。
なお、表示装置20は、必ずしも外部装置として設けられる必要はなく、映像処理装置10aの内部に備えられる構成であってもよい。つまり、映像処理装置10a自体が表示用映像を表示する表示部を備える装置であってもよい。表示装置20が外部装置である場合、映像合成部151と表示装置20とは、D端子ケーブル、HDMI(High Definition Multimedia Interface)ケーブル、iLinkケーブル、DVI(Digital Visual Interface)ケーブル等の画像伝送を行なうケーブルで接続されている。
なお、立体視用映像と平面視用映像とを混在表示する方法としては、様々考えられるが、その一例を説明する。立体視用映像が例えば8.3ms毎に左目用映像と右目用映像とを交互に表示するものであり、平面視用映像が16.6ms毎に送信されるものとすると、右目と左目に同じ映像が映るように、同じ映像を2回繰り返し表示すれば、立体視用映像を平面視用映像として表示することができる。そこで、まず、映像処理装置10の内部にメモリを備えておき、入力される各映像をメモリに一時的に記憶する。具体的には、立体視用映像の左目用映像および右目用映像を、それぞれ、異なる2つのアドレスに記憶する。一方、平面視用映像は、ある1つのアドレスに記憶する。そして、立体視用映像として表示するときは、上記異なる2つのアドレスから交互に読み出し、一方、平面視用映像として表示するときは1つのアドレスから2回連続して読み出す。これにより、立体視用映像と平面視用映像との混在表示を実現することができる。つまり、立体視用映像を立体視用映像として表示すること、立体視用映像を平面視用映像として表示すること、および、平面視用映像を平面視用映像として表示することを、メモリの読み出し位置(アドレス)の切り替えだけで実現することができる。
(処理の流れ)
次に、図4を参照しながら、映像処理装置10aにおいて、表示用映像を得るまでの処理の流れについて説明する。図4は、映像処理装置10aにおいて、表示用映像を得るまでの処理の流れを示すフローチャートである。
次に、図4を参照しながら、映像処理装置10aにおいて、表示用映像を得るまでの処理の流れについて説明する。図4は、映像処理装置10aにおいて、表示用映像を得るまでの処理の流れを示すフローチャートである。
まず、映像変換ユニット111の変換部11_k(k=1、2、・・・、n)における映像分離部121にて、入力された立体視用映像Tkを、立体視用映像Tkを構成する左目用映像TLkと右目用映像TRkとに分離する(ステップS11~Sn1)。
次に、変換部11_kのそれぞれは、切替信号Ckが平面指示信号であるとき(ステップS12~Sn2にて「平面指示信号」)、映像同一化部141にて、左目用映像TLkと右目用映像TRkとを同一の映像にする(ステップS13~Sn3)(映像変換ステップ)。一方、切替信号Ckが立体指示信号であるとき(ステップS12~Sn2にて「立体指示信号」)、ステップS13~Sn3を飛ばす。
そして、映像合成部151において、n個の左目用映像TLkを合成することによって1つの左目用映像を生成するとともに、n個の右目用映像TRkを合成することによって1つの右目用映像を生成する(ステップS4)(映像生成ステップ)。なお、外部から平面視用映像が入力されている場合、上述したように、これらを含めて、表示用映像を生成する。
(効果)
以上のように、映像処理装置10aによれば、映像変換ユニット111は、外部から入力されるn個の立体視用映像(T1、T2、…Tn)のうち少なくとも1つを平面視用映像に変換して出力する。そのため、立体視用映像として映像処理装置10aに入力された映像の一部のみが、映像合成部151にて生成する表示用映像において立体視用映像として表示される。
以上のように、映像処理装置10aによれば、映像変換ユニット111は、外部から入力されるn個の立体視用映像(T1、T2、…Tn)のうち少なくとも1つを平面視用映像に変換して出力する。そのため、立体視用映像として映像処理装置10aに入力された映像の一部のみが、映像合成部151にて生成する表示用映像において立体視用映像として表示される。
最も好ましいケースでは、映像変換ユニット111は、外部から入力されるn個の立体視用映像(T1、T2、…Tn)のうちのいずれか1つ以外を全て平面視用映像に変換して出力する。そのため、立体視用映像として映像処理装置10aに入力された映像のうち1つだけが、映像合成部151にて生成する表示用映像において立体視用映像として表示される。
したがって、立体視用映像を視聴する視聴者が感じる不快感を低減または削減することができる。
(変形例)
表示用映像の生成方法は上述の構成に限定されるものではない。例えば、外部から入力される立体視用映像と、当該立体視用映像の一部を切り出した(抽出した)映像とを合成することによって、表示用映像を生成する構成も考えられる。
表示用映像の生成方法は上述の構成に限定されるものではない。例えば、外部から入力される立体視用映像と、当該立体視用映像の一部を切り出した(抽出した)映像とを合成することによって、表示用映像を生成する構成も考えられる。
そこで、図5および図6を参照しながら、当該構成を備える映像処理装置10bについて説明する。図5は、映像処理装置10bの構成の概要を示すブロック図である。同図に示すように、映像処理装置10bは、少なくとも、映像変換ユニット(映像変換手段)112、および映像合成部151を備えている。
映像変換ユニット112は、映像変換ユニット111のうち、変換部11_kの少なくとも1つを、画像切出部161に置き換えた構成である。図5では、映像変換ユニット111のうち、変換部11_2を画像切出部161に置き換えた構成例を示している。
画像切出部161は、変換部11_j(jは1以上n以下のいずれかの整数。ただし、j≠k)にて分離された左目用映像TLjおよび右目用映像TRjのそれぞれを入力とする。そして、左目用映像TLjの一部分の領域を左目用サブ映像TSLとして切り出す(抽出する)。また、右目用映像TRjの一部分の領域を右目用サブ映像TSRとして切り出す(抽出する)。なお、図5では、変換部11_1にて分離された左目用映像TL1および右目用映像TR1を入力としている。
そして、画像切出部161は、入力される切替信号に応じて、抽出した左目用サブ映像TSLおよび右目用サブ映像TSRをそのまま出力するか、または、これらを平面視用映像に変換して出力するものである。
続いて、図6を参照しながら、画像切出部161の詳細な構成について説明する。図6は、画像切出部161の構成を示すブロック図である。同図に示すように、画像切出部161は、切出部171、信号切替部132、および映像同一化部142を備えている。
切出部171は、入力された左目用映像TLjおよび右目用映像TRjのそれぞれの一部分を切り出し、該切り出し後の左目用サブ映像TSLおよび右目用サブ映像TSRのそれぞれを、接続点In2に出力するものである。
信号切替部132は、入力される切替信号に従って、接続点In2を、接続点Out21および接続点Out22のいずれかに接続するスイッチである。具体的には、切替信号が立体指示信号であるとき、接続点In2を接続点Out21に接続する。一方、切替信号が平面指示信号であるとき、接続点In2を接続点Out22に接続する。
映像同一化部142は、入力される左目用サブ映像TSLと右目用サブ映像TSRとを同一の映像にする処理を施すものである。同一化の方法は、上述と同じであるので、ここでは説明を省略する。
〔実施形態2〕
本実施形態では、切替信号C1~Cnのいずれを立体指示信号とするかについて映像処理装置10にて決定する形態について説明する。
本実施形態では、切替信号C1~Cnのいずれを立体指示信号とするかについて映像処理装置10にて決定する形態について説明する。
本発明の他の一実施形態について、図7および図8に基づいて説明すると以下の通りである。本実施形態に係る映像処理装置10を、映像処理装置10cと表記する。なお、説明の便宜上、実施形態1にて示した各部材と同一の機能を有する部材には、同一の符号を付記し、特に記載する場合を除きその説明を省略する。
(映像処理装置の構成)
図7を参照しながら、映像処理装置10cの構成について説明する。図7は、映像処理装置10cの構成の概要を示すブロック図である。同図に示すように、映像処理装置10cは、少なくとも、映像変換ユニット111、映像合成部151、および切替信号生成部(属性情報取得手段)181を備えている。
図7を参照しながら、映像処理装置10cの構成について説明する。図7は、映像処理装置10cの構成の概要を示すブロック図である。同図に示すように、映像処理装置10cは、少なくとも、映像変換ユニット111、映像合成部151、および切替信号生成部(属性情報取得手段)181を備えている。
切替信号生成部181は、立体視用映像T1~Tnに対応付けられる属性情報を取得するとともに、該取得した属性情報に従って、切替信号C1~Cnを、立体指示信号として出力するか、または、平面指示信号として出力するものである。
立体視用映像Tk(k=1、2、・・・、n)の属性情報とは、〔ア〕立体視用映像Tkの表示サイズ(表示領域の面積)、〔イ〕立体視用映像Tkに関するコンテンツ情報(メタデータ)、などが挙げられる。
上記〔ア〕の属性情報は、立体視用映像Tkを構成する信号列から抽出可能なデータであってもよいし、立体視用映像Tkとは別に外部から伝送されるデータであってもよい。また、上記〔ア〕の属性情報は、映像処理装置10c内の記憶部(不図示)に予め設定されているものであってもよいし、図示しない入力装置を介して視聴者等のユーザから受け付けた操作に応じて設定されるものであってもよい。
そして、上記〔ア〕の属性情報の場合、映像処理装置10cは、例えば、入力される立体視用映像Tkの中で表示サイズが大きい方から順に所定数の立体視用映像を立体視用映像として表示させ、その他は平面視用映像として表示させる。そのために、切替信号生成部181は、表示サイズが大きい方から順に所定数の立体視用映像と対になる切替信号のそれぞれを、立体指示信号として出力するとともに、その他の切替信号を平面指示信号として出力する。
最も好ましくは、映像処理装置10cは、入力される立体視用映像Tkの中で表示サイズが最も大きい映像(メイン映像)のみを立体視用映像として表示させ、その他(サブ映像)は平面視用映像として表示させる。この場合、切替信号生成部181は、表示サイズが最も大きい立体視用映像と対になる切替信号を立体指示信号として出力するとともに、その他の切替信号を平面指示信号として出力する。
一方、上記〔イ〕の属性情報は、デジタル放送波やインターネットから取得可能なEPG(Electronic Program Guide)等から得られる番組情報やジャンルなどを想定している。
そして、上記〔イ〕の属性情報の場合、映像処理装置10cは、例えば、所定条件と合致する属性情報を有する立体視用映像を、立体視用映像として表示させる。そのために、切替信号生成部181は、上記所定条件と合致する属性情報を有する立体視用映像と対になる切替信号を立体指示信号として出力するとともに、その他の切替信号を平面指示信号として出力する。上記所定条件と合致する属性情報を有する立体視用映像が多数ある場合は、上位に検索されたもののうち所定個の立体視用映像を選択すればよい。
最も好ましくは、映像処理装置10cは、所定条件と合致する属性情報を有する立体視用映像のうち1つのみを立体視用映像として表示させ、その他は平面視用映像として表示させる。この場合、切替信号生成部181は、上記所定条件と合致する属性情報を有する立体視用映像のいずれか1つと対になる切替信号を立体指示信号として出力するとともに、その他の切替信号を平面指示信号として出力する。なお、上記所定条件と合致する属性情報を有する立体視用映像が複数存在する場合は、例えば、最初に検索されたものを選択すればよい。
なお、上記所定条件は、映像処理装置10c内の記憶部(不図示)に予め設定されていてもよいし、図示しない入力装置を介して視聴者等のユーザから受け付けた操作に応じて設定されるものであってもよい。
特に、属性情報が映像のジャンルである場合、上記所定条件として、例えば、「スポーツ」が設定されていれば、スポーツの映像を立体視用映像として表示させ、スポーツ以外の映像を平面視用映像として表示させることができる。
さらに、上記所定条件は、視聴者等のユーザの嗜好情報であってもよい。嗜好情報は、図示しない入力装置を介して視聴者等のユーザによって入力されるものであってもよいし、視聴者等のユーザから受け付けた操作の履歴に基づいて、学習して生成されたものであってもよい。
(表示の様子)
図8に、映像処理装置10cにて生成する表示用映像の例を示す。図8は、映像処理装置10cにて生成する表示用映像を模式的に表した図である。
図8に、映像処理装置10cにて生成する表示用映像の例を示す。図8は、映像処理装置10cにて生成する表示用映像を模式的に表した図である。
この例では、映像処理装置10cは、図8の(a)に示す表示サイズの異なる2つの立体視用映像T1およびT2を入力とし、表示サイズの大きい方をそのまま立体視用映像として表示させるとともに、表示サイズの小さい方を平面視用映像として表示させるような表示用映像を生成している(図8の(b)~(d))。
立体視用映像T1の方が表示サイズが大きい場合、図8の(b)に示すように、立体視用映像T1をそのまま立体視用映像とし、かつ、立体視用映像T2を平面視用映像TP2に変換して、表示用映像M2を合成する。
一方、立体視用映像T2の方が表示サイズが大きい場合、図8の(c)に示すように、立体視用映像T2をそのまま立体視用映像とし、かつ、立体視用映像T1を平面視用映像TP1に変換して、表示用映像M3を合成する。
なお、合成される映像の表示位置や映像同士の重なりを考慮する必要はない。例えば、立体視用映像T1の方が表示サイズが大きい場合、図8の(d)に示すように、立体視用映像T1をそのまま立体視用映像とし、かつ、立体視用映像T2を平面視用映像TP2に変換して、それぞれが重畳するように、表示用映像M4を合成してもよい。
(効果)
以上のように、映像処理装置10cによれば、立体視用映像を含む複数の映像を同時に表示させるために1つの映像に合成して表示する場合において、立体視用映像の属性情報に従って、どの映像を立体視用映像として表示するかを決定することができる。
以上のように、映像処理装置10cによれば、立体視用映像を含む複数の映像を同時に表示させるために1つの映像に合成して表示する場合において、立体視用映像の属性情報に従って、どの映像を立体視用映像として表示するかを決定することができる。
上述したように表示サイズを属性情報として用いる場合、表示サイズの大きいメイン映像を立体視用映像として表示し、表示サイズの小さいサブ映像を平面視用映像として表示することができる。
(変形例)
上述の属性情報を用いて立体視用映像として表示させる映像を決定する方法の他に、立体視用映像T1~Tnのうち表示位置が視聴者に近い立体視用映像を、立体視用映像として表示させる方法も考えられる。
上述の属性情報を用いて立体視用映像として表示させる映像を決定する方法の他に、立体視用映像T1~Tnのうち表示位置が視聴者に近い立体視用映像を、立体視用映像として表示させる方法も考えられる。
この場合、映像処理装置10cは、カメラ等の撮像装置にて撮像された視聴者の、表示装置20の表示面に対する位置を検出する位置検出部(不図示)をさらに備える。
そして、切替信号生成部181は、位置検出部にて検出した視聴者の位置の近く表示される立体視用映像と対になる切替信号を立体指示信号として出力するとともに、その他の切替信号を平面指示信号として出力する。
最も好ましくは、視聴者の最も近くに表示される立体視用映像のみを立体視用映像として表示させる。この場合、切替信号生成部181は、視聴者の最も近くに表示される立体視用映像と対になる切替信号を立体指示信号として出力するとともに、その他の切替信号を平面指示信号として出力する。
〔実施形態3〕
本実施形態では、表示中の表示用映像に合成されている各映像の表示領域(表示サイズおよび表示位置の少なくともいずれか)が、視聴者等のユーザの操作に応じて変更されている期間、全ての立体視用映像Tkを平面視用映像として表示させる形態について説明する。
本実施形態では、表示中の表示用映像に合成されている各映像の表示領域(表示サイズおよび表示位置の少なくともいずれか)が、視聴者等のユーザの操作に応じて変更されている期間、全ての立体視用映像Tkを平面視用映像として表示させる形態について説明する。
本発明の他の一実施形態について、図9および図10に基づいて説明すると以下の通りである。本実施形態に係る映像処理装置10を、映像処理装置10dと表記する。なお、説明の便宜上、実施形態1および2にて示した各部材と同一の機能を有する部材には、同一の符号を付記し、特に記載する場合を除きその説明を省略する。
(映像処理装置の構成)
図9を参照しながら、映像処理装置10dの構成について説明する。図9は、映像処理装置10dの構成の概要を示すブロック図である。同図に示すように、映像処理装置10dは、少なくとも、映像変換ユニット111、映像合成部(映像生成手段)152、切替信号生成部(属性情報取得手段)182、および操作受付部(操作入力手段)191を備えている。
図9を参照しながら、映像処理装置10dの構成について説明する。図9は、映像処理装置10dの構成の概要を示すブロック図である。同図に示すように、映像処理装置10dは、少なくとも、映像変換ユニット111、映像合成部(映像生成手段)152、切替信号生成部(属性情報取得手段)182、および操作受付部(操作入力手段)191を備えている。
操作受付部191は、(1)表示装置20に表示中の表示用映像に合成されている各映像の表示領域を変更するための、視聴者等のユーザからの操作、(2)各種メニューを表示させる操作、などを受け付けるものである。上記操作は、図示しないリモコン、キーボード、マウス等の入力装置を介して入力されるものとする。なお、以降では、特に、上記(1)の操作がなされる場合について説明する。
映像合成部152は、映像合成部151が備える機能に加えて、操作受付部191にて受け付けた上記操作によって変更された表示領域に従って、表示用映像を生成しなおす機能を備えている。
切替信号生成部182は、切替信号生成部181が備える機能に加えて、操作受付部191にて上記操作を受け付けている期間、一時的に、切替信号C1~Cnの全てを平面指示信号として出力する機能を備えている。これにより、上記期間において、映像変換ユニット111では、入力された立体視用映像の全てを平面視用映像に変換するので、映像合成部152にて生成される表示用映像に合成される映像は、全て平面視用映像となる。
(表示の様子)
図10に、映像処理装置10dにて生成する表示用映像の例を示す。図10は、映像処理装置10dにて生成する表示用映像を模式的に表した図である。
図10に、映像処理装置10dにて生成する表示用映像の例を示す。図10は、映像処理装置10dにて生成する表示用映像を模式的に表した図である。
まず、図10の(a)は、操作受付部191にて、表示領域を設定する操作を受け付けていないときの一例を示している。図10の(a)に示す例では、表示用映像M5は、異なる2つの立体視用映像T1およびT2のうち、表示領域の大きい方(T1)をそのまま立体視用映像として、表示領域の小さい方(T2)を平面視用映像TP2に変換して合成したものである。
次に、図10の(b)は、図10の(a)に示す例の後、操作受付部191にて、表示領域を設定する操作を受け付けた直後の様子を示している。同図に示すとおり、立体視用映像T1およびT2を、それぞれ、平面視用映像TP1およびTP2に変換して合成する。
次に、図10の(c)及び図10の(d)は、図10の(b)に示す例の後、操作により表示領域が変更されている期間の様子を示している。同図に示すとおり、この期間は、立体視用映像T1およびT2を、それぞれ、平面視用映像TP1およびTP2に変換して合成する。
最後に、図10の(e)は、図10の(d)に示す例の後、操作が終了した様子を示している。同図に示す表示用映像M5は、現時点で表示領域の大きい方(T2)をそのまま立体視用映像として、現時点で表示領域の小さい方(T1)を平面視用映像TP1に変換して合成したものである。
(効果)
以上のように、映像処理装置10cによれば、表示用映像に合成されている映像の表示領域を変更している期間は、全ての映像を平面視用映像として表示し、立体視用映像を表示しない。そのため、表示領域を変更する操作中に、視聴者に違和感・不快感を抱かせることが無い。
以上のように、映像処理装置10cによれば、表示用映像に合成されている映像の表示領域を変更している期間は、全ての映像を平面視用映像として表示し、立体視用映像を表示しない。そのため、表示領域を変更する操作中に、視聴者に違和感・不快感を抱かせることが無い。
〔付記事項〕
最後に、映像処理装置10の各ブロックは、集積回路(ICチップ)上に形成された論理回路によってハードウェアとして構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
最後に、映像処理装置10の各ブロックは、集積回路(ICチップ)上に形成された論理回路によってハードウェアとして構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
ソフトウェアによって実現する場合は、映像処理装置10は、各機能を実現する制御プログラムの命令を実行するCPU、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラム及び各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである映像処理装置10の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記映像処理装置10に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD-ROM/MO/MD/DVD/CD-R等の光ディスクを含むディスク類、ICカード(メモリカードを含む)/光カード等のカード類、あるいはマスクROM/EPROM/EEPROM(登録商標)/フラッシュROM等の半導体メモリ類、PLD(Programmable logic device)等の論理回路類などを用いることができる。
また、映像処理装置10を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、IEEE802.11無線、HDR(High Data Rate)、NFC(Near Field Communication)、DLNA(Digital Living Network Alliance)、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。
このように本明細書において、手段とは必ずしも物理的手段を意味するものではなく、各手段の機能がソフトウェアによって実現される場合も含む。さらに、1つの手段の機能が2つ以上の物理的手段により実現されても、もしくは2つ以上の手段の機能が1つの物理的手段により実現されてもよい。
以上のように、本発明に係る映像処理装置は、少なくとも2つの立体視用映像を含む複数の映像を入力とし、該入力された複数の映像を表示部に同時に表示させるための表示用映像を生成する映像処理装置であって、上記入力された立体視用映像のうちの少なくとも1つを平面視用映像に変換する映像変換手段と、上記映像変換手段によって変換された平面視用映像と、上記入力された複数の映像のうち上記映像変換手段によって平面視用映像に変換されていない映像とを合成することによって、上記表示用映像を生成する映像生成手段と、を備えている。
また、本発明に係る映像処理装置の制御方法は、少なくとも2つの立体視用映像を含む複数の映像を入力とし、該入力された複数の映像を表示部に同時に表示させるための表示用映像を生成する映像処理装置の制御方法であって、上記入力された立体視用映像のうちの少なくとも1つを平面視用映像に変換する映像変換ステップと、上記映像変換ステップによって変換された平面視用映像と、上記入力された映像のうち上記映像変換ステップによって平面視用映像に変換されていない映像とを合成することによって、上記表示用映像を生成する映像生成ステップと、を含んでいる。
したがって、複数の立体視用映像の間で視差が合っていないことに起因する表示の不自然さ・違和感の発生を低減することができ、視聴者が従来感じていた不快感を低減することができるという効果を奏する。
さらに、本発明に係る映像処理装置は、立体視用映像は、左目に見せるための左目用映像と、右目に見せるための右目用映像とから構成される映像であり、上記映像変換手段は、変換対象となる立体視用映像を構成する左目用映像と右目用映像とを同一にすることによって、当該立体視用映像を平面視用映像に変換する構成であってもよい。
上記の構成によれば、簡易な構成により、入力された立体視用映像を平面視用映像に変換することができる。
さらに、本発明に係る映像処理装置は、上記映像変換手段は、変換対象となる立体視用映像を構成する左目用映像を、当該立体視用映像を構成する右目用映像と同じ映像に差し替えることによって、当該立体視用映像を平面視用映像に変換する構成であってもよい。
上記の構成によれば、左目用映像を右目用映像に差し替えるという簡易な構成により、入力された立体視用映像を平面視用映像に変換することができる。
さらに、本発明に係る映像処理装置は、上記映像変換手段は、変換対象となる立体視用映像を構成する左目用映像を、当該立体視用映像を構成する左目用映像と同じ映像に差し替えることによって、当該立体視用映像を平面視用映像に変換する構成であってもよい。
上記の構成によれば、右目用映像を左目用映像に差し替えるという簡易な構成により、入力された立体視用映像を平面視用映像に変換することができる。
さらに、本発明に係る映像処理装置は、上記映像変換手段は、上記入力された立体視用映像のうちのいずれか1つ以外を全て平面視用映像に変換する構成が好ましい。
上記の構成によれば、さらに、入力された立体視用映像のうち1つだけが立体視用映像として表示され、その他は平面視用映像として表示される。
したがって、複数の立体視用映像の間で視差が合っていないことに起因する表示の不自然さ・違和感が全く生じないので、視聴者が従来感じていた不快感を無くすことができるという効果を奏する。
さらに、本発明に係る映像処理装置は、上記映像変換手段は、上記入力された立体視用映像のうち、上記表示部に表示される領域が最も大きい立体視用映像を除いた全てを平面視用映像に変換する構成であってもよい。
上記の構成によれば、さらに、入力された立体視用映像のうち表示領域が最も大きいもの(メイン映像)だけが立体視用映像として表示され、その他(サブ映像)は平面視用映像として表示される。
さらに、本発明に係る映像処理装置は、入力された立体視用映像に対応付けられる属性情報を取得する属性情報取得手段をさらに備え、上記映像変換手段は、上記属性情報取得手段によって取得された属性情報が所定条件に合致するとき、当該属性情報が対応付けられる立体視用映像を除いた全てを平面視用映像に変換する構成であってもよい。
上記の構成によれば、さらに、入力された立体視用映像のうち所定条件と合致する属性情報を有するものだけが立体視用映像として表示され、その他は平面視用映像として表示される。
さらに、本発明に係る映像処理装置は、上記表示用映像に合成される映像の表示領域を変更する、ユーザの操作を受け付ける操作入力手段を備え、上記映像生成手段は、上記操作入力手段にて受け付けた上記操作に応じて上記表示領域を変更した上記表示用映像を生成し、上記映像変換手段は、上記操作入力手段にて上記操作を受け付けている期間、上記入力された立体視用映像の全てを平面視用映像に変換する構成であってもよい。
上記の構成によれば、さらに、表示用映像に合成される映像の表示領域を変更する操作を受け付けている間、入力された立体視用映像の全てを平面視用映像に変換する。
よって、表示用映像に合成される映像の表示領域を変更する操作を受け付けている間、入力された映像の全てが平面視用映像として表示される。
したがって、表示領域を変更する操作中に、視聴者に違和感・不快感を抱かせることが無いという効果を奏する。
なお、上記映像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記映像処理装置をコンピュータにて実現させる上記映像処理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
さらに、上記映像処理装置を実現する集積回路(ICチップ)や、上記制御プログラムが格納されたROM(read only memory)なども、本発明の範疇に入る。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
発明の詳細な説明の項においてなされた具体的な実施形態または実施例は、あくまでも、本発明の技術内容を明らかにするものであって、そのような具体例にのみ限定して狭義に解釈されるべきものではなく、本発明の精神と次に記載する特許請求事項の範囲内で、いろいろと変更して実施することができるものである。
本発明は、複数の立体視用映像を表示装置に同時に表示させるための表示用映像を生成する映像処理装置に好適に適用できる。また、複数の立体視用映像を同時に表示するディスプレイ装置に好適に適用できる。
10、10a~10d 映像処理装置
11_1~11_n 変換部
20 表示装置(表示部)
111、112 映像変換ユニット(映像変換手段)
121 映像分離部
141、142 映像同一化部
151、152 映像合成部(映像生成手段)
181、182 切替信号生成部(属性情報取得手段)
191 操作受付部(操作入力手段)
T1~Tn 立体視用映像
M1~M5 表示用映像
TL1~TLn 左目用映像
TR1~TRn 右目用映像
11_1~11_n 変換部
20 表示装置(表示部)
111、112 映像変換ユニット(映像変換手段)
121 映像分離部
141、142 映像同一化部
151、152 映像合成部(映像生成手段)
181、182 切替信号生成部(属性情報取得手段)
191 操作受付部(操作入力手段)
T1~Tn 立体視用映像
M1~M5 表示用映像
TL1~TLn 左目用映像
TR1~TRn 右目用映像
Claims (11)
- 少なくとも2つの立体視用映像を含む複数の映像を入力とし、該入力された複数の映像を表示部に同時に表示させるための表示用映像を生成する映像処理装置であって、
上記入力された立体視用映像のうちの少なくとも1つを平面視用映像に変換する映像変換手段と、
上記映像変換手段によって変換された平面視用映像と、上記入力された複数の映像のうち上記映像変換手段によって平面視用映像に変換されていない映像とを合成することによって、上記表示用映像を生成する映像生成手段と、を備えることを特徴とする映像処理装置。 - 立体視用映像は、左目に見せるための左目用映像と、右目に見せるための右目用映像とから構成される映像であり、
上記映像変換手段は、変換対象となる立体視用映像を構成する左目用映像と右目用映像とを同一にすることによって、当該立体視用映像を平面視用映像に変換することを特徴とする請求項1に記載の映像処理装置。 - 上記映像変換手段は、変換対象となる立体視用映像を構成する左目用映像を、当該立体視用映像を構成する右目用映像と同じ映像に差し替えることによって、当該立体視用映像を平面視用映像に変換することを特徴とする請求項2に記載の映像処理装置。
- 上記映像変換手段は、変換対象となる立体視用映像を構成する左目用映像を、当該立体視用映像を構成する左目用映像と同じ映像に差し替えることによって、当該立体視用映像を平面視用映像に変換することを特徴とする請求項2に記載の映像処理装置。
- 上記映像変換手段は、上記入力された立体視用映像のうちのいずれか1つ以外を全て平面視用映像に変換することを特徴とする請求項1から4のいずれか1項に記載の映像処理装置。
- 上記映像変換手段は、上記入力された立体視用映像のうち、上記表示部に表示される領域が最も大きい立体視用映像を除いた全てを平面視用映像に変換することを特徴とする請求項5に記載の映像処理装置。
- 入力された立体視用映像に対応付けられる属性情報を取得する属性情報取得手段をさらに備え、
上記映像変換手段は、上記属性情報取得手段によって取得された属性情報が所定条件に合致するとき、当該属性情報が対応付けられる立体視用映像を除いた全てを平面視用映像に変換することを特徴とする請求項5に記載の映像処理装置。 - 上記表示用映像に合成される映像の表示領域を変更する、ユーザの操作を受け付ける操作入力手段を備え、
上記映像生成手段は、上記操作入力手段にて受け付けた上記操作に応じて上記表示領域を変更した上記表示用映像を生成し、
上記映像変換手段は、上記操作入力手段にて上記操作を受け付けている期間、上記入力された立体視用映像の全てを平面視用映像に変換することを特徴とする請求項1から7のいずれか1項に記載の映像処理装置。 - 少なくとも2つの立体視用映像を含む複数の映像を入力とし、該入力された複数の映像を表示部に同時に表示させるための表示用映像を生成する映像処理装置の制御方法であって、
上記入力された立体視用映像のうちの少なくとも1つを平面視用映像に変換する映像変換ステップと、
上記映像変換ステップによって変換された平面視用映像と、上記入力された映像のうち上記映像変換ステップによって平面視用映像に変換されていない映像とを合成することによって、上記表示用映像を生成する映像生成ステップと、を含むことを特徴とする映像処理装置の制御方法。 - 請求項1から8のいずれか1項に記載の映像処理装置が備えるコンピュータを動作させる制御プログラムであって、上記コンピュータを上記の各手段として機能させるための制御プログラム。
- 請求項10に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/122,280 US20140192150A1 (en) | 2011-06-02 | 2012-05-30 | Image processing device, method for controlling image processing device, control program, and computer-readable recording medium which records the control program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011-124512 | 2011-06-02 | ||
JP2011124512 | 2011-06-02 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2012165515A1 true WO2012165515A1 (ja) | 2012-12-06 |
Family
ID=47259367
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2012/064008 WO2012165515A1 (ja) | 2011-06-02 | 2012-05-30 | 映像処理装置、映像処理装置の制御方法、制御プログラム、および該制御プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20140192150A1 (ja) |
WO (1) | WO2012165515A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10224825A (ja) * | 1997-02-10 | 1998-08-21 | Canon Inc | 画像表示システム及び該システムにおける画像表示装置及び情報処理装置及びそれらの制御方法及び記憶媒体 |
JP2002049004A (ja) * | 2000-07-31 | 2002-02-15 | Mixed Reality Systems Laboratory Inc | 表示制御装置及び方法 |
JP2010283715A (ja) * | 2009-06-08 | 2010-12-16 | Nec Casio Mobile Communications Ltd | 端末装置及びプログラム |
JP2011061330A (ja) * | 2009-09-07 | 2011-03-24 | Nikon Corp | 画像生成装置、画像生成方法およびプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050259147A1 (en) * | 2002-07-16 | 2005-11-24 | Nam Jeho | Apparatus and method for adapting 2d and 3d stereoscopic video signal |
JP4490074B2 (ja) * | 2003-04-17 | 2010-06-23 | ソニー株式会社 | 立体視画像処理装置、立体視画像表示装置、立体視画像提供方法、および立体視画像処理システム |
JP2009246625A (ja) * | 2008-03-31 | 2009-10-22 | Fujifilm Corp | 立体表示装置及び立体表示方法並びにプログラム |
-
2012
- 2012-05-30 US US14/122,280 patent/US20140192150A1/en not_active Abandoned
- 2012-05-30 WO PCT/JP2012/064008 patent/WO2012165515A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10224825A (ja) * | 1997-02-10 | 1998-08-21 | Canon Inc | 画像表示システム及び該システムにおける画像表示装置及び情報処理装置及びそれらの制御方法及び記憶媒体 |
JP2002049004A (ja) * | 2000-07-31 | 2002-02-15 | Mixed Reality Systems Laboratory Inc | 表示制御装置及び方法 |
JP2010283715A (ja) * | 2009-06-08 | 2010-12-16 | Nec Casio Mobile Communications Ltd | 端末装置及びプログラム |
JP2011061330A (ja) * | 2009-09-07 | 2011-03-24 | Nikon Corp | 画像生成装置、画像生成方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20140192150A1 (en) | 2014-07-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2448276B1 (en) | GUI providing method, and display apparatus and 3D image providing system using the same | |
US9124870B2 (en) | Three-dimensional video apparatus and method providing on screen display applied thereto | |
CN103503446B (zh) | 发送装置、发送方法以及接收装置 | |
CN102550031B (zh) | 图像显示装置及其操作方法 | |
JP4925354B2 (ja) | 画像処理装置、画像表示装置、撮像装置及び画像処理方法 | |
CN102598672B (zh) | 3d显示设备及其选择性图像显示方法 | |
US20150035958A1 (en) | Apparatus and method for concurrently displaying multiple views | |
JP2010273333A (ja) | 立体映像合成装置 | |
US20110310099A1 (en) | Three-dimensional image processing apparatus and method of controlling the same | |
US20140362198A1 (en) | Stereoscopic Video Processor, Stereoscopic Video Processing Method and Stereoscopic Video Processing Program | |
JP5397716B2 (ja) | 3dマルチビュー表示 | |
CN103155579A (zh) | 3d图像显示设备及其显示方法 | |
JP2011249945A (ja) | 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法 | |
US20140015941A1 (en) | Image display apparatus, method for displaying image and glasses apparatus | |
JP2012109934A (ja) | 立体画像表示装置 | |
US8957950B2 (en) | Electronic apparatus and image output method | |
US9407897B2 (en) | Video processing apparatus and video processing method | |
US9407901B2 (en) | Method of displaying content list using 3D GUI and 3D display apparatus applied to the same | |
KR101228916B1 (ko) | 멀티 비젼의 3차원 영상 표시 장치 및 방법 | |
WO2012165515A1 (ja) | 映像処理装置、映像処理装置の制御方法、制御プログラム、および該制御プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
US8416288B2 (en) | Electronic apparatus and image processing method | |
JP5454396B2 (ja) | 立体画像生成装置および立体画像生成方法、情報送信装置および情報送信方法 | |
WO2011065191A1 (ja) | 表示制御装置、表示制御方法、表示制御プログラム、コンピュータ読み取り可能な記録媒体、上記表示制御装置を備えた記録再生装置、音声出力装置、及び音声出力装置を備えた記録再生装置 | |
US9117387B2 (en) | Image display apparatus and method for operating the same | |
KR101742993B1 (ko) | 디지털 방송 수신기 및 디지털 방송 수신기에서 3d 효과 제공 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 12791973 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 14122280 Country of ref document: US |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 12791973 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |