WO2018225648A1 - 画像処理装置およびその制御方法 - Google Patents
画像処理装置およびその制御方法 Download PDFInfo
- Publication number
- WO2018225648A1 WO2018225648A1 PCT/JP2018/021199 JP2018021199W WO2018225648A1 WO 2018225648 A1 WO2018225648 A1 WO 2018225648A1 JP 2018021199 W JP2018021199 W JP 2018021199W WO 2018225648 A1 WO2018225648 A1 WO 2018225648A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- processing apparatus
- image processing
- synchronization signal
- signal
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/10—Intensity circuits
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0464—Positioning
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0464—Positioning
- G09G2340/0471—Vertical positioning
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0464—Positioning
- G09G2340/0478—Horizontal positioning
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
Definitions
- the present invention relates to an image processing technique for generating an image obtained by shifting an input image in a vertical direction and / or a horizontal direction.
- the HMD is used as a visual display device of an MR (Mixed Reality) system or a VR (Virtual Reality) system.
- MR Magnetic Reality
- VR Virtual Reality
- CG Computer Graphics
- a visual image in a virtual space is generated and displayed based on heading direction data detected by a posture sensor using an HMD equipped with a posture sensor that detects the moving direction of a user's head.
- Patent Document 1 In order to reduce the sense of incongruity due to delay, in Patent Document 1, the position of the aerial image displayed on the display unit according to the amount of azimuth displacement, which is the difference between the current head direction data and the head direction data of a certain time ago A technique for horizontally shifting the image has been proposed. Patent Document 2 proposes a technique for shifting the image by shifting the timing of the horizontal synchronization signal based on the image signal.
- the present invention has been made in view of such a problem, and provides a technique capable of generating a display image with a little discomfort.
- an image processing apparatus has the following configuration. That is, the image processing apparatus Input means for inputting a frame image constituting a moving image as an image signal and a synchronization signal; Receiving means for receiving an image shift instruction for instructing a change in a display position of the frame image in a vertical direction of a given display unit; Correction means for correcting the synchronization signal based on the image shift instruction; Output means for associating and outputting the image signal and the corrected synchronization signal; Have When the vertical image shift amount included in the image shift instruction exceeds a predetermined amount, the correction unit performs correction corresponding to the image shift amount equal to or less than the predetermined amount.
- the present invention provides a technique capable of generating a display image with a little uncomfortable feeling.
- the MR system is a system including an HMD having an imaging unit and a display unit, and a PC that is superimposed on a moving image (real space image) obtained by capturing a CG (virtual space image).
- the imaging unit of the HMD acquires images at the positions of the left and right eyes of the wearer, and the display unit displays a stereo image for the left and right eyes of the wearer.
- the PC receives a captured image captured by the HMD, generates a composite image in which CG is superimposed on the captured image, and transmits the composite image to the HMD.
- a three-dimensional CG image is generated in a three-dimensional coordinate system of a real space defined based on a captured image and superimposed on the captured image, thereby providing an environment where the real space and the virtual space are fused to the wearer. be able to.
- the VR system is a system including an HMD having a display unit and a PC that renders a CG (virtual space image).
- an HMD equipped with a posture sensor for detecting the posture (viewpoint position, line-of-sight direction, etc.) of the user is used.
- Attitude data detected by the attitude sensor of the HMD is transmitted to the PC, and the PC renders CG based on the attitude data and transmits it to the HMD.
- FIG. 1 is a schematic configuration diagram of an MR / VR system.
- This system is a system that can operate as both an MR system and a VR system.
- the MR / VR system includes an HMD 101 and a PC 103.
- the HMD 101 includes an image capturing unit 102 and an image display unit 105 as a given display unit, and the PC 103 includes a display image generation unit 104.
- the image captured by the image capturing unit 102 is transmitted to the PC 103, and the display image generating unit 104 superimposes CG on the captured image to generate a composite image (MR image). Thereafter, the composite image is transmitted to the HMD 101, displayed on the image display unit 105, and provided to the wearer of the HMD 101.
- an attitude sensor (acceleration / angular velocity sensor, etc.) is arranged instead of the image capturing unit 102, and the detected attitude data is transmitted to the PC 103. Then, the display image generation unit 104 renders CG based on the attitude data. The CG rendered in the display image generation unit 104 is transmitted to the HMD 101, displayed on the image display unit 105 of the HMD 101, and provided to the wearer of the HMD 101.
- the HMD 101 and the PC 103 connected to the HMD 101 are separate hardware. However, all the functions of the PC 103 can be mounted in the HMD 101 to form an integrated apparatus.
- FIG. 2 is a functional block diagram of the image shift processing unit in the first embodiment.
- the image shift processing unit is a function implemented between the display image generation unit 104 and the image display unit 105.
- the specific mounting location of the image shift processing unit may be in the PC 103 or the HMD 101 and is not particularly limited.
- the posture detection unit 201, the synchronization signal correction unit 202, and the synchronization signal movement control unit 203 among the image shift processing units may be distributed in the PC 103 and the HMD 101. In the following description, it is assumed that the image shift processing unit is arranged at a subsequent stage in the display image generation unit 104.
- the posture detection unit 201 is a functional unit that detects the posture of the wearer of the HMD 101 and determines the image shift amount. That is, an image shift instruction that instructs to change the display position of the frame image is output to the synchronization signal correction unit 202.
- the attitude of the HMD 101 is detected based on a signal from an attitude sensor (acceleration / angular velocity sensor) built in the HMD 101.
- the posture detection unit 201 only needs to be capable of detecting the posture of the HMD 101.
- the posture detection unit 201 is configured to detect the posture using a method such as infrared rays or image analysis by a device arranged outside the HMD 101. Also good.
- the posture detection unit 201 calculates horizontal and vertical image shift amounts for preventing the above-described feeling of strangeness due to the processing delay from the detected posture data. Specifically, in order to reduce the perceived delay amount of the wearer (user) of the HMD 101, control is performed so that the image shift amount increases as the posture change increases.
- the synchronization signal correction unit 202 receives the horizontal synchronization and vertical synchronization signals based on the image rendered by the display image generation unit 104, receives the above-described image shift instruction, and performs the image shift specified by the image shift instruction. It is a functional unit that performs correction processing. Then, the corrected synchronization signal is output to the image display unit 105 in association with the image signal.
- the synchronization signal movement control unit 203 is a functional unit that performs movement control of the synchronization signal for preventing image disturbance, and a detailed configuration thereof will be described later.
- the synchronization signal correction unit 202 corrects the synchronization signal based on the control by the synchronization signal movement control unit 203 and the image shift amount calculated by the attitude detection unit 201. That is, an output synchronization signal is generated by shifting the timing of a period corresponding to the image shift amount with respect to the input synchronization signal.
- FIG. 11 is a flowchart showing a series of operations of the image shift processing unit.
- the image shift processing unit is a function implemented at an arbitrary position between the display image generation unit 104 and the image display unit 105.
- the image shift processing unit is disposed in a subsequent stage portion in the display image generation unit 104.
- step S1101 the image shift processing unit inputs a frame image constituting a moving image as an image signal and a synchronization signal. That is, here, the frame image (image signal and synchronization signal) generated in the previous stage of the display image generation unit 104 is input.
- the image shift processing unit accepts an image shift instruction for instructing a change in the display position of the frame image in the vertical direction of the image display unit 105 (a direction orthogonal to the lines constituting the frame image).
- an image shift instruction for instructing a change in the display position of the frame image in the vertical direction of the image display unit 105 (a direction orthogonal to the lines constituting the frame image).
- a vertical movement amount (VSHIFT) and a horizontal movement amount (HSSHIFT) are accepted as image shift instructions. Details will be described later with reference to FIG.
- step S1103 the image shift processing unit corrects the synchronization signal input in step S1101 based on the image shift instruction received in step S1102.
- the vertical movement amount (VSHIFT) included in the image shift instruction exceeds a predetermined amount, correction corresponding to the image shift amount equal to or less than the predetermined amount is performed. Details will be described later with reference to FIG.
- step S1104 the image shift processing unit associates and outputs the image signal input in S1101 and the synchronization signal corrected in S1103.
- FIG. 3 is a diagram illustrating an operation of the synchronization signal correction unit 202 in the image shift processing unit in the first embodiment. More specifically, it is a timing chart showing the operation (S1103) of the synchronization signal correction unit 202 based on the control (S1102) by the synchronization signal movement control unit 203.
- the horizontal direction means the direction along the lines constituting the frame image of the moving image
- the vertical direction means the direction orthogonal to the lines constituting the frame image. Shall mean.
- the input vertical synchronization signal 301 is a signal asserted at the head of the effective image area of each frame image
- the input horizontal synchronization signal 302 is a signal asserted at the head of the effective image area of each image line constituting the frame image. It is.
- the effective image area is an area corresponding to a period excluding the vertical blanking period and the horizontal blanking period in the entire frame image.
- the input data enable 303 is a signal that is asserted during the period of the effective image area.
- Input image data 304 is data of image lines constituting a frame image. Input image data 304 input during a period in which the input data enable 303 is asserted becomes valid image data.
- the synchronization signal correction unit 202 processes the above-described signals in order to realize image shift, and outputs them as an output synchronization signal 305, an output horizontal synchronization signal 306, an output data enable 307, and output image data 308, respectively.
- FIG. 3 shows an example in which the shift is not performed in the first frame and the shift is performed in the vertical direction in the second frame.
- both the vertical movement amount (VSHIFT) and the horizontal movement amount (HSSHIFT) are set to “0”.
- the vertical movement amount (VSHIFT) is set to the vertical blanking period width (VBLK) in the downward direction.
- FIG. 4 is a view for explaining image shift processing in the first embodiment.
- Image 401 and image 402 exemplarily show the first frame and the second frame in the case of VSHIFT ⁇ VBLK.
- An image 401 exemplarily shows the output image of the first frame in FIG. 3, and the image shift amount is “0”.
- the image 402 exemplarily shows the output image of the second frame in FIG. 3, and an image shifted by VBLK in the vertical direction is output.
- the image 403 and the image 404 exemplarily show the first frame and the second frame in the case of VSHIFT> VBLK.
- VSHIFT vertical movement amount
- VBLK vertical blanking period
- the synchronization signal movement control unit 203 in the first embodiment controls the amount of movement in the vertical direction in order to prevent the above-described image disturbance across the frames. Specifically, the amount of movement of the vertical synchronization signal is controlled as follows according to the amount of change ( ⁇ V) between successive frames of the amount of movement of the vertical synchronization signal calculated by the attitude detection unit 201.
- the synchronization signal correction unit 202 sets the vertical movement amount (VSHIFT) to ⁇ V.
- the synchronization signal correction unit 202 sets the vertical movement amount (VSHIFT) to VBLK. That is, the upper limit of the vertical movement amount (VSHIFT) is controlled to be VBLK (a value equal to or less than a predetermined amount).
- the above-described control can prevent image disturbance across frames exemplified by the image 403 and the image 404 when ⁇ V> VBLK.
- the vertical movement amount in the image shift is determined according to the change amount ( ⁇ V) between successive frames of the vertical synchronization signal movement amount calculated by the attitude detection unit 201. Control. As a result, it is possible to generate a display image with less discomfort.
- FIG. 5 is a diagram illustrating the operation of the synchronization signal correction unit 202 in the second embodiment. More specifically, it is a timing chart showing the operation of the synchronization signal correction unit 202 based on the control by the synchronization signal movement control unit 203. Since the function of each signal is the same as in the first embodiment, description thereof is omitted.
- FIG. 5 shows an example in which the shift is not performed in the first frame and the shift is performed in the vertical direction and the horizontal direction in the second frame.
- both the vertical movement amount (VSHIFT) and the horizontal movement amount (HSSHIFT) are set to “0”.
- the vertical movement amount (VSHIFT) is set to one line in the downward direction
- the horizontal movement amount (HSSHIFT) is set to one pixel in the left direction.
- FIG. 6 is a diagram for explaining image shift processing in the second embodiment.
- the image 601 and the image 602 exemplify the first frame and the second frame when the timing for changing the amount of movement in the horizontal direction from “0” to “1” is outside the range of the effective image area of the second frame. Is shown.
- the image 603 and the image 604 are the first frame and the second frame when the horizontal movement amount is changed from “0” to “1” within the effective image area of the second frame. Is shown as an example.
- the synchronization signal movement control unit 203 controls the reflection timing of the horizontal movement amount. Specifically, the reflection timing of the horizontal movement amount is set to a period excluding the effective image area of each frame. That is, control is performed so that the amount of movement in the horizontal direction is reflected within the vertical blanking period of each frame.
- the synchronization signal movement control unit 203 controls the change reflection timing so that the horizontal movement amount does not change during the period of the effective image area of each frame. As a result, it is possible to generate a display image with less discomfort.
- a mode in which image disturbance associated with image shift processing is reduced by image processing will be described. Specifically, a display image with less sense of incongruity is generated by correcting a region in which image disturbance occurs with fixed image data composed of a predetermined color (such as all black data composed entirely of black).
- FIG. 7 is a functional block diagram of an image shift processing unit in the third embodiment.
- An invalid area detection unit 701 and a data generation unit 702 are further added to the first embodiment described above. Since other configurations are the same as those of the first embodiment, description thereof is omitted.
- the invalid area detection unit 701 is a functional unit that detects an invalid area of a related image based on the operation of the synchronization signal correction unit 202.
- the “invalid area” is a portion excluding the effective area before the image shift process in the image frame after the image shift process.
- the invalid area refers to an area (period) other than an image area (effective area after shift) obtained by subtracting the amount of movement by the image shift process from the effective image area.
- the data generation unit 702 is a functional unit that corrects an image in the detected invalid area in order to prevent image disturbance. More specifically, the data generation unit 702 generates an image signal of fixed image data (for example, all black data) as an interpolated image signal in the invalid area based on the invalid area detection result of the invalid area detection unit 701.
- fixed image data for example, all black data
- FIG. 12 is a flowchart showing a series of operations of the image shift processing unit. Note that steps S1201 to S1203 are the same as steps S1101 to S1103, and a description thereof will be omitted.
- step S1204 the image shift processing unit detects an invalid area in the image signal related to the corrected synchronization signal based on the corrected synchronization signal corrected in S1203. Details will be described later with reference to FIG.
- step S1205 the image shift processing unit generates an interpolated image signal in the invalid area period. Details will be described later with reference to FIGS.
- step S1206 the image shift processing unit associates and outputs the corrected image signal generated in S1205 and the synchronization signal corrected in S1203.
- FIG. 8 is a diagram illustrating an operation of the synchronization signal correction unit 202 in the image shift processing unit in the third embodiment. More specifically, it is a timing chart showing the operation (S1205) of the data generation unit 702 based on the control (S1204) by the invalid area detection unit 701 and the operation (S1203) of the synchronization signal correction unit 202.
- the signal 801 exemplarily shows output image data when the image processing in the data generation unit 702 is not performed, and is the same as the signal 308.
- the signal 802 exemplarily shows output image data when image processing in the data generation unit 702 is performed.
- a part of the image signal (the part corresponding to the invalid area) is overwritten with the fixed image data (for example, all black data).
- FIG. 9 is a view for explaining image shift processing in the third embodiment.
- the image 901 exemplarily shows output images of the first frame and the second frame that are displayed when the image processing in the data generation unit 702 is not performed. It can be seen that image disturbance has occurred at the right end of the image 901 due to the subsequent line data being displayed in a folded manner. That is, the image at the left end of the (n + 1) th line before the image shift process is mixed in the right end of the nth line after the image shift process.
- the image 902 exemplarily shows the output images of the first frame and the second frame that are displayed when image processing in the data generation unit 702 is performed.
- fixed image data here, all black data
- image disturbance folded display
- image correction is performed by filling image disturbance (folded display) mixed by image shift processing with fixed image data. As a result, it is possible to generate a display image with less discomfort.
- the invalid area is filled with fixed image (single color) data, but the invalid area may be corrected with another image. Therefore, in the modified example, a mode in which the data generation unit 702 generates an image that looks more natural will be described.
- the data generation unit 702 includes a RAM for one line that holds image data.
- the data for overwriting the invalid area is generated using the image data at the left end or the right end of the post-shift effective area. That is, an image signal based on the pixel value of the post-shift effective area in contact with the invalid area is generated.
- the data of the invalid area is complemented using image data for one line at the upper end or lower end of the effective area after shifting.
- an image that can be perceived more naturally by the user can be generated by further considering the luminance of the image displayed in the invalid area.
- the frame member of the display unit in the HMD 101 is black, it is perceived by the user as a more natural image by adding processing (gradation processing) that lowers the luminance (approaches black) as it approaches the image edge.
- FIG. 10 is a diagram for explaining image shift processing in the modification.
- An image 1001 exemplarily shows an image before the image shift process.
- An image 1002 exemplarily shows an output image that is displayed when an image shift process is performed on the image 1001 in the data generation unit 702 according to the modification.
- data interpolation and brightness adjustment are performed in the invalid area. Note that the interpolation image to be reflected in the invalid area is not limited to the above-described one, and any interpolation image in which the user feels uncomfortable can be used.
- the present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
- a circuit for example, ASIC
- 101 HMD 101 HMD; 102 image pickup unit; 103 PC; 104 display image generation unit; 105 image display unit; 201 attitude detection unit; 202 synchronization signal correction unit; 203 synchronization signal movement control unit
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Controls And Circuits For Display Device (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
違和感の少ない表示画像を生成可能とする。 画像処理装置は、動画像を構成するフレーム画像を画像信号及び同期信号として入力する入力手段と、所与の表示部の垂直方向におけるフレーム画像の表示位置の変更を指示する画像シフト指示を受け付ける受付手段と、画像シフト指示に基づいて同期信号を補正する補正手段と、画像信号と補正した同期信号とを関連付けて出力する出力手段と、を有する。補正手段は、画像シフト指示に含まれる垂直方向の画像シフト量が所定量を超える場合、当該所定量以下の画像シフト量に相当する補正を行う。
Description
本発明は、入力画像を垂直方向または/および水平方向にシフトさせた画像を生成する画像処理技術に関するものである。
近年、ヘッドマウントディスプレイ(HMD:Head Mounted Display)を有するシステムが注目されている。HMDはMR(Mixed Reality)システムやVR(Virtual Reality)システムの視覚表示装置として使用されている。また、MR技術の1つに、ビデオシースルー型HMDを利用し、HMD使用者の瞳位置から観察される被写体画像にCG(Computer Graphics)を重畳表示した画像をHMD使用者が観察できる技術が知られている。一方VR技術においては、使用者の頭部の移動方位を検出する姿勢センサを備えたHMDを利用し、姿勢センサにより検知した頭部の方位データに基づき、仮想空間の視覚画像を生成・表示する技術が知られている。
MRシステムでは、理想的には、HMD使用者の視点(瞳位置)からの被写体画像撮影とCGを重畳した画像の表示を同時に行わなければならない。しかしながら、現実には、撮影したカメラ画像の画像処理やCGのレンダリングのための演算処理に時間(総時間をΔtとする)がかかる。VRシステムにおいても同様に、頭部の方位データ検出から視覚画像の表示までの時間(Δt)を要する。このため、使用者が頭を動かした場合に、Δtだけ時間が経過してから、表示映像が頭の方位変化に追従して動き出すことになり、違和感を感じることになる。
遅延による違和感を軽減すべく、特許文献1では、現在の頭部の方位データと一定時間前の頭部方位データとの差である方位変位量に応じて、表示部に表示する空中像の位置を水平にシフトする技術が提案されている。また、特許文献2では、画像信号に基づく水平同期信号のタイミングをずらし、画像をシフトする技術が提案されている。
しかしながら、上述の特許文献2に記載の同期信号のタイミングずらしを実施した場合、条件によってはフレーム画像の途中で画像が切れる/ずれるといった画像乱れが生じることになる。そのため、HMD使用者は、表示画像に違和感を感じることとなるという問題がある。
本発明はこのような問題を鑑みてなされたものであり、違和感の少ない表示画像を生成可能とする技術を提供する。
上述の問題点を解決するため、本発明に係る画像処理装置は以下の構成を備える。すなわち、画像処理装置は、
動画像を構成するフレーム画像を画像信号及び同期信号として入力する入力手段と、
所与の表示部の垂直方向における前記フレーム画像の表示位置の変更を指示する画像シフト指示を受け付ける受付手段と、
前記画像シフト指示に基づいて前記同期信号を補正する補正手段と、
前記画像信号と前記補正した同期信号とを関連付けて出力する出力手段と、
を有し、
前記補正手段は、前記画像シフト指示に含まれる前記垂直方向の画像シフト量が所定量を超える場合、該所定量以下の画像シフト量に相当する補正を行う。
動画像を構成するフレーム画像を画像信号及び同期信号として入力する入力手段と、
所与の表示部の垂直方向における前記フレーム画像の表示位置の変更を指示する画像シフト指示を受け付ける受付手段と、
前記画像シフト指示に基づいて前記同期信号を補正する補正手段と、
前記画像信号と前記補正した同期信号とを関連付けて出力する出力手段と、
を有し、
前記補正手段は、前記画像シフト指示に含まれる前記垂直方向の画像シフト量が所定量を超える場合、該所定量以下の画像シフト量に相当する補正を行う。
本発明は、違和感の少ない表示画像を生成可能とする技術を提供する。
本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。
添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。
MR/VRシステムの概略構成図である。
第1及び第2実施形態における画像シフト処理部の機能ブロック図である。
第1実施形態における同期信号補正部の動作を示す図である。
第1実施形態における画像シフト処理を説明する図である。
第2実施形態における同期信号補正部の動作を示す図である。
第2実施形態における画像シフト処理を説明する図である。
第3実施形態における画像シフト処理部の機能ブロック図である。
第3実施形態における同期信号補正部の動作を示す図である。
第3実施形態における画像シフト処理を説明する図である。
変形例における画像シフト処理を説明する図である。
画像シフト処理部の一連の動作を示すフローチャートである。
画像シフト処理部の一連の動作を示す他のフローチャートである。
以下に、図面を参照して、この発明の実施の形態の一例を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。
(第1実施形態)
本発明に係る画像シフト装置の第1実施形態として、MR/VRシステムを例に挙げて以下に説明する。
本発明に係る画像シフト装置の第1実施形態として、MR/VRシステムを例に挙げて以下に説明する。
MRシステムは、撮像部と表示部を有するHMDと、CG(仮想空間画像)を撮像した動画像(現実空間画像)に重畳するPCとを含むシステムである。HMDの撮像部は、装着者の左右それぞれの目の位置における画像を取得し、表示部は、装着者の左右の目に対してステレオ画像を表示する。PCは、HMDで撮影した撮像画像を受信し、当該撮像画像にCGを重畳した合成画像を生成し、当該合成画像をHMDに伝送する。特に、撮像画像に基づき定義された現実空間の三次元座標系に三次元CG画像を生成し撮像画像に重畳することで、現実空間と仮想空間が融合された環境を装着者に対して提供することができる。
一方、VRシステムは、表示部を有するHMDと、CG(仮想空間画像)をレンダリングするPCとを含むシステムである。一般的に、使用者の姿勢(視点位置・視線方向など)を検出するための姿勢センサを備えたHMDが使用される。HMDの姿勢センサにより検知した姿勢データはPCに送信され、PCは当該姿勢データに基づきCGをレンダリングし、HMDに伝送する。
<装置構成>
図1は、MR/VRシステムの概略構成図である。当該システムは、MRシステムとしてもVRシステムとしても動作可能なシステムである。MR/VRシステムは、HMD101及びPC103を含む。HMD101は画像撮像部102及び所与の表示部としての画像表示部105を含み、PC103は表示画像生成部104を含む。
図1は、MR/VRシステムの概略構成図である。当該システムは、MRシステムとしてもVRシステムとしても動作可能なシステムである。MR/VRシステムは、HMD101及びPC103を含む。HMD101は画像撮像部102及び所与の表示部としての画像表示部105を含み、PC103は表示画像生成部104を含む。
MRシステムとして動作させる場合には、画像撮像部102において撮像された画像はPC103に伝送され、表示画像生成部104において撮像画像にCGを重畳し合成画像(MR画像)を生成する。その後、合成画像はHMD101に伝送され、画像表示部105において表示され、HMD101の装着者に提供される。
一方、VRシステムとして動作させる場合には、画像撮像部102の代わりに姿勢センサ(加速度・角速度センサなど)を配置し、検出した姿勢データをPC103に伝送する。そして、表示画像生成部104は、姿勢データに基づいてCGをレンダリングする。表示画像生成部104においてレンダリングされたCGはHMD101に伝送され、HMD101の画像表示部105において表示され、HMD101の装着者に提供される。
なお、図1においては、HMD101とそれに接続されたPC103を別体のハードウェアとしているが、PC103の持つ機能を全てHMD101内に実装し、一体型の装置とすることも可能である。
理想的には、MR/VRシステムにおけるHMDにおいては、画像撮影あるいは姿勢データ取得と、画像撮影あるいは姿勢データ取得に基づき生成されたMR/VR画像の画像表示と、を同時に行わなければならない。しかし現実的には、撮影した撮像画像の画像処理やCGのレンダリングのための演算処理などの処理時間が存在する。そのため、使用者の姿勢が変化した場合(頭を動かした場合など)には、当該姿勢の変化の後、上述の処理時間が経過してから画像表示部105に表示される表示映像が追従して動き出すことになる。そのため、HMD101の装着者(ユーザー)によって違和感のあるものとなってしまう。
図2は、第1実施形態における画像シフト処理部の機能ブロック図である。当該画像シフト処理部は、表示画像生成部104と画像表示部105の間に実装される機能である。ただし、画像シフト処理部の具体的な実装場所は、PC103内でもHMD101内でもよく、特に限定されない。また、例えば、画像シフト処理部のうち姿勢検知部201、同期信号補正部202、同期信号移動制御部203の各部をPC103及びHMD101に分散配置してもよい。なお、以下の説明では、画像シフト処理部は、表示画像生成部104内の後段部分に配置されるものとして説明する。
姿勢検知部201は、HMD101の装着者の姿勢を検知し画像シフト量を決定する機能部である。すなわち、フレーム画像の表示位置の変更を指示する画像シフト指示を同期信号補正部202に出力する。ここでは、HMD101に内蔵されている姿勢センサ(加速度・角速度センサ)からの信号に基づき、HMD101の姿勢を検知する。ただし、姿勢検知部201は、HMD101の姿勢を検知可能なものであればよく、例えば、HMD101の外部に配置される装置による赤外線や画像解析等の手法を用いて姿勢を検知するよう構成してもよい。さらに、姿勢検知部201は、検知した姿勢データから、上述の処理遅延による違和感を防ぐための水平及び垂直方向の画像シフト量を算出する。具体的には、HMD101の装着者(ユーザー)における体感的な遅延量は低減するため、姿勢変化の増大とともに画像シフト量が大きくなるように制御する。
同期信号補正部202は、表示画像生成部104によってレンダリングされた画像に基づく水平同期及び垂直同期信号を入力し、前述の画像シフト指示を受け付けて当該画像シフト指示で指定された画像シフトのための補正処理を行う機能部である。そして、補正された同期信号を画像信号と関連付けて画像表示部105へ出力する。
同期信号移動制御部203は、画像乱れを防ぐための同期信号の移動制御を行う機能部であるが、詳細な構成は後述する。同期信号補正部202は、同期信号移動制御部203による制御及び姿勢検知部201により計算された画像シフト量に基づき、同期信号を補正する。すなわち、入力同期信号に対して画像シフト量に相当する期間のタイミングをずらした出力同期信号を生成する。
<装置の動作>
図11は、画像シフト処理部の一連の動作を示すフローチャートである。上述のように、画像シフト処理部は、表示画像生成部104と画像表示部105の間の任意の場所に実装される機能であるが、ここでは、表示画像生成部104内の後段部分に配置されることを想定する。
図11は、画像シフト処理部の一連の動作を示すフローチャートである。上述のように、画像シフト処理部は、表示画像生成部104と画像表示部105の間の任意の場所に実装される機能であるが、ここでは、表示画像生成部104内の後段部分に配置されることを想定する。
ステップS1101では、画像シフト処理部は、動画像を構成するフレーム画像を画像信号及び同期信号として入力する。すなわち、ここでは、表示画像生成部104の前段で生成されたフレーム画像(画像信号及び同期信号)が入力される。
ステップS1102では、画像シフト処理部は、画像表示部105の垂直方向(フレーム画像を構成するラインに直交する方向)におけるフレーム画像の表示位置の変更を指示する画像シフト指示を受け付ける。例えば、画像シフト指示として、垂直方向の移動量(VSHIFT)及び水平方向の移動量(HSHIFT)を受け付ける。詳細については図3を参照して後述する。
ステップS1103では、画像シフト処理部は、S1102で受け付けた画像シフト指示に基づいてS1101で入力された同期信号を補正する。なお、画像シフト指示に含まれる垂直方向の移動量(VSHIFT)が所定量を超える場合、当該所定量以下の画像シフト量に相当する補正を行う。詳細については図3を参照して後述する。
ステップS1104では、画像シフト処理部は、S1101で入力された画像信号とS1103で補正した同期信号とを関連付けて出力する。
図3は、第1実施形態における画像シフト処理部内の同期信号補正部202の動作を示す図である。より具体的には、同期信号移動制御部203による制御(S1102)に基づく同期信号補正部202の動作(S1103)を示すタイミングチャートである。なお、以下の説明においては、水平方向とは、動画像のフレーム画像を構成するラインに沿った方向のことを意味し、垂直方向とは、フレーム画像を構成するラインに直交する方向のことを意味するものとする。
入力垂直同期信号301は、各フレーム画像の有効画像領域の先頭でアサートされる信号であり、入力水平同期信号302は、フレーム画像を構成する各画像ラインの有効画像領域の先頭でアサートされる信号である。なお、有効画像領域とは、フレーム画像全域のうち垂直ブランキング期間及び水平ブランキング期間を除く期間に相当する領域である。
入力データイネーブル303は、有効画像領域の期間中にアサートされる信号である。入力画像データ304は、フレーム画像を構成する画像ラインのデータである。入力データイネーブル303がアサートされる期間中に入力される入力画像データ304が有効な画像データとなる。
同期信号補正部202は、画像シフトを実現するために上述の信号を処理し、それぞれ、出力同期信号305、出力水平同期信号306、出力データイネーブル307、出力画像データ308として出力する。
図3では、第1フレームにおいてシフトを行わず、第2フレームにおいては垂直方向にシフトを行う場合の例を示している。具体的には、第1フレームでは、垂直方向の移動量(VSHIFT)及び水平方向の移動量(HSHIFT)はともに"0"に設定している。一方、後続のフレーム画像である第2フレームでは、垂直方向の移動量(VSHIFT)を下方向に垂直ブランキング期間の幅(VBLK)に設定している。
図4は、第1実施形態における画像シフト処理を説明する図である。
画像401および画像402は、VSHIFT≦VBLKの場合における、第1フレームと第2フレームを例示的に示している。画像401は、図3における第1フレームの出力画像を例示的に示しており、画像シフト量は"0"となっている。一方、画像402は、図3における第2フレームの出力画像を例示的に示しており、垂直方向にVBLKだけ画像シフトした画像が出力されている。
画像403および画像404は、VSHIFT>VBLKの場合における、第1フレームと第2フレームを例示的に示している。図3のタイミングチャートから理解されるように、垂直方向の移動量(VSHIFT)を垂直ブランキング期間の幅(VBLK)を超える値(所定量)に設定した場合、画像乱れが生じることになる。具体的には、第1フレームにおいては、画像403に例示されるように、有効画像領域の下部が欠落してしまう。また、第2フレームにおいては、画像404に例示されるように、画像403で欠落した部分の画像が上部に現れることになる。すなわち、先行するフレーム画像の一部が後続のフレーム画像に混入してしまう。
そこで、第1実施形態における同期信号移動制御部203では、上述のフレームを跨ぐ画像乱れを防ぐために、垂直方向の移動量を制御する。具体的には、姿勢検知部201により計算された垂直同期信号移動量の連続するフレーム間での変化量(ΔV)に応じて、以下のように垂直同期信号の移動量を制御する。
すなわち、ΔV≦VBLKの場合には、同期信号補正部202は、垂直方向の移動量(VSHIFT)をΔVとする。一方、ΔV>VBLKの場合には、同期信号補正部202は、垂直方向の移動量(VSHIFT)をVBLKとする。すなわち、垂直方向の移動量(VSHIFT)の上限がVBLK(所定量以下の値)となるように制御する。
上述の制御により、ΔV>VBLKの場合において、画像403および画像404に例示されるフレームを跨ぐ画像乱れを防ぐことができる。
以上説明したとおり第1実施形態によれば、姿勢検知部201により計算された垂直同期信号移動量の連続するフレーム間での変化量(ΔV)に応じて、画像シフトにおける垂直方向の移動量を制御する。これにより、違和感の少ない表示画像を生成可能とすることが可能となる。
(第2実施形態)
第2実施形態では、垂直方向の画像シフト処理と共に水平方向の画像シフト処理を行う形態について説明する。画像シフト処理部の構成及び一連の動作は第1実施形態(図2及び図11)とほぼ同様であるが、水平方向のシフト処理についても制御を行う点が第1実施形態と異なる。
第2実施形態では、垂直方向の画像シフト処理と共に水平方向の画像シフト処理を行う形態について説明する。画像シフト処理部の構成及び一連の動作は第1実施形態(図2及び図11)とほぼ同様であるが、水平方向のシフト処理についても制御を行う点が第1実施形態と異なる。
<装置の動作>
図5は、第2実施形態における同期信号補正部202の動作を示す図である。より具体的には、同期信号移動制御部203による制御に基づく同期信号補正部202の動作を示すタイミングチャートである。各信号の機能は第1実施形態と同様であるため説明は省略する。
図5は、第2実施形態における同期信号補正部202の動作を示す図である。より具体的には、同期信号移動制御部203による制御に基づく同期信号補正部202の動作を示すタイミングチャートである。各信号の機能は第1実施形態と同様であるため説明は省略する。
図5では、第1フレームにおいてシフトを行わず、第2フレームにおいては垂直方向および水平方向にシフトを行う場合の例を示している。具体的には、第1フレームでは、垂直方向の移動量(VSHIFT)及び水平方向の移動量(HSHIFT)はともに"0"に設定している。一方、後続のフレーム画像である第2フレームでは、垂直方向の移動量(VSHIFT)を下方向に1ライン、水平方向の移動量(HSHIFT)を左方向に1ピクセルに設定している。
図6は、第2実施形態における画像シフト処理を説明する図である。
画像601および画像602は、水平方向の移動量を、"0"から"1"に変化させるタイミングを第2フレームの有効画像領域の範囲外とした場合における、第1フレームと第2フレームを例示的に示している。一方、画像603および画像604は、水平方向の移動量を、"0"から"1"に変化させるタイミングを第2フレームの有効画像領域の範囲内とした場合における、第1フレームと第2フレームを例示的に示している。
すなわち、有効画像領域の範囲内のタイミングで水平方向の移動量を変化させた場合、第2フレームにおいては画像604に例示されるように画像の途中でずれが発生し、画像乱れとなってしまう。
そこで、上述の画像のずれによる画像乱れを防ぐために、同期信号移動制御部203は、水平方向の移動量の反映タイミングを制御する。具体的には、水平方向の移動量の反映タイミングを、各フレームの有効画像領域を除いた期間となるようにする。すなわち、各フレームの垂直ブランキング期間内に水平方向の移動量を反映させるよう制御する。
以上説明したとおり第2実施形態によれば、同期信号移動制御部203は、各フレームの有効画像領域の期間で水平方向の移動量が変化しないように、変化の反映タイミングを制御する。これにより、違和感の少ない表示画像を生成可能とすることが可能となる。
(第3実施形態)
第3実施形態では、画像シフト処理に伴う画像乱れを画像処理により低減する形態について説明する。具体的には、画像乱れが発生する領域を所定色で構成された固定画像データ(全て黒色で構成される全黒データなど)で修正することにより、違和感の少ない表示画像を生成する。
第3実施形態では、画像シフト処理に伴う画像乱れを画像処理により低減する形態について説明する。具体的には、画像乱れが発生する領域を所定色で構成された固定画像データ(全て黒色で構成される全黒データなど)で修正することにより、違和感の少ない表示画像を生成する。
<装置構成>
図7は、第3実施形態における画像シフト処理部の機能ブロック図である。上述の第1実施形態に対して、無効領域検知部701およびデータ生成部702がさらに追加されている。他の構成については第1実施形態と同様であるため説明は省略する。
図7は、第3実施形態における画像シフト処理部の機能ブロック図である。上述の第1実施形態に対して、無効領域検知部701およびデータ生成部702がさらに追加されている。他の構成については第1実施形態と同様であるため説明は省略する。
無効領域検知部701は、同期信号補正部202の動作に基づいて、関連する画像の無効領域を検知する機能部である。ここで、「無効領域」とは、画像シフト処理後の画像フレームにおいて、画像シフト処理前の有効領域を除く部分である。言い換えると、無効領域とは、有効画像領域から画像シフト処理による移動分を差し引いた画像領域(シフト後有効領域)以外の領域(期間)を指す。
データ生成部702は、画像乱れを防ぐため、検知された無効領域における画像を修正する機能部である。より具体的には、データ生成部702は、無効領域検知部701の無効領域の検知結果に基づき、当該無効領域における補間画像信号として固定画像データ(たとえば全黒データ)の画像信号生成を行う。
<装置の動作>
図12は、画像シフト処理部の一連の動作を示すフローチャートである。なお、S1201~S1203は、S1101~S1103と同様であるため説明は省略する。
図12は、画像シフト処理部の一連の動作を示すフローチャートである。なお、S1201~S1203は、S1101~S1103と同様であるため説明は省略する。
ステップS1204では、画像シフト処理部は、S1203で補正した補正した同期信号に基づいて、当該補正した同期信号に関連する画像信号における無効領域を検知する。詳細については図8を参照して後述する。
ステップS1205では、画像シフト処理部は、無効領域の期間における補間画像信号を生成する。詳細については図8及び図9を参照して後述する。
ステップS1206では、画像シフト処理部は、S1205で生成された補正画像信号とS1203で補正した同期信号とを関連付けて出力する。
図8は、第3実施形態における画像シフト処理部内の同期信号補正部202の動作を示す図である。より具体的には、無効領域検知部701による制御(S1204)に基づくデータ生成部702の動作(S1205)、および、同期信号補正部202の動作(S1203)を示すタイミングチャートである。
信号301~307の機能は第1実施形態と同様であるため、説明は省略する。図8において、第1フレーム、第2フレームはともに、垂直方向の移動量(VSHIFT)は"0"(すなわち移動無し)、水平方向の移動量(HSHIFT)は"-3"(左方向に3ピクセル)の場合の例を示している。
信号801は、データ生成部702における画像処理を行わない場合の出力画像データを例示的に示しており、信号308と同様である。一方、信号802は、データ生成部702における画像処理を行った場合の出力画像データを例示的に示している。信号802においては、画像信号の一部(無効領域に対応する部分)が固定画像データ(たとえば全黒データ)で上書きされている。
図9は、第3実施形態における画像シフト処理を説明する図である。
画像901は、データ生成部702における画像処理を行わない場合に表示される第1フレームおよび第2フレームの出力画像を例示的に示している。画像901の右端部において、後続のラインのデータが折り返し表示されることによる画像乱れが発生していることがわかる。すなわち、画像シフト処理後の第nラインの右端部には、画像シフト処理前の第(n+1)ラインの左端部の画像が混入している。
一方、画像902は、データ生成部702における画像処理を行った場合に表示される第1フレームおよび第2フレームの出力画像を例示的に示している。画像902においては、画像右端部は固定画像データ(ここでは全黒データ)が表示されている。すなわち、画像901において発生していた画像乱れ(折り返し表示)が好適に低減されていることが分かる。
以上説明したとおり第3実施形態によれば、画像シフト処理により混入する画像乱れ(折り返し表示)を固定画像データにより塗りつぶす画像修正を行う。これにより、違和感の少ない表示画像を生成可能とすることが可能となる。
(変形例)
上述の第3実施形態においては無効領域を固定画像(単色)データで塗りつぶす画像修正を行ったが、当該無効領域を他の画像で修正してもよい。そこで、変形例では、データ生成部702において、より自然に見える画像を生成する形態について説明する。
上述の第3実施形態においては無効領域を固定画像(単色)データで塗りつぶす画像修正を行ったが、当該無効領域を他の画像で修正してもよい。そこで、変形例では、データ生成部702において、より自然に見える画像を生成する形態について説明する。
<データ生成部>
より自然に見える画像補間を実現するため、データ生成部702は、画像データを保持する1ライン分のRAMを有する。各画像ラインにおいて、第3実施形態において説明した「シフト後有効領域」を有する場合は、当該シフト後有効領域の左端もしくは右端の画像データを用いて、無効領域を上書きするデータを生成する。すなわち、無効領域に接するシフト後有効領域の画素値に基づく画像信号を生成する。一方、シフト後有効領域をもたない画像ラインの場合は、シフト後有効領域の上端もしくは下端1ライン分の画像データを用いて、無効領域のデータを補完する。
より自然に見える画像補間を実現するため、データ生成部702は、画像データを保持する1ライン分のRAMを有する。各画像ラインにおいて、第3実施形態において説明した「シフト後有効領域」を有する場合は、当該シフト後有効領域の左端もしくは右端の画像データを用いて、無効領域を上書きするデータを生成する。すなわち、無効領域に接するシフト後有効領域の画素値に基づく画像信号を生成する。一方、シフト後有効領域をもたない画像ラインの場合は、シフト後有効領域の上端もしくは下端1ライン分の画像データを用いて、無効領域のデータを補完する。
なお、無効領域に表示する画像の輝度を更に考慮することで、ユーザにとってより自然に知覚される画像を生成することもできる。たとえば、HMD101における表示部の枠部材が黒色である場合、画像端に近づくに従って輝度を落とす(黒に近づける)処理(グラデーション処理)を加えることで、より自然な画像としてユーザに知覚される。
図10は、変形例における画像シフト処理を説明する図である。画像1001は画像シフト処理前の画像を例示的に示している。画像1002は、変形例に係るデータ生成部702において、画像1001に対して画像シフト処理を行った場合に表示される出力画像を例示的に示している。画像1002においては、無効領域において、データ補間および輝度調整が実施されている。なお、無効領域に反映させる補間画像は上述のものに限定されず、ユーザへの違和感が緩和される任意の補間画像を利用することが可能である。
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。
本願は、2017年6月8日提出の日本国特許出願特願2017-113636を基礎として優先権を主張するものであり、その記載内容の全てを、ここに援用する。
101 HMD; 102 画像撮像部; 103 PC; 104 表示画像生成部; 105 画像表示部; 201 姿勢検知部; 202 同期信号補正部; 203 同期信号移動制御部
Claims (20)
- 動画像を構成するフレーム画像を画像信号及び同期信号として入力する入力手段と、
所与の表示部の垂直方向における前記フレーム画像の表示位置の変更を指示する画像シフト指示を受け付ける受付手段と、
前記画像シフト指示に基づいて前記同期信号を補正する補正手段と、
前記画像信号と前記補正した同期信号とを関連付けて出力する出力手段と、
を有し、
前記補正手段は、前記画像シフト指示に含まれる前記垂直方向の画像シフト量が所定量を超える場合、該所定量以下の画像シフト量に相当する補正を行う
ことを特徴とする画像処理装置。 - 前記所定量は、前記フレーム画像における垂直ブランキング期間の幅である
ことを特徴とする請求項1に記載の画像処理装置。 - 前記画像シフト指示は、水平方向の画像シフトの指示を含む
ことを特徴とする請求項1又は2に記載の画像処理装置。 - 前記補正手段は、前記水平方向の画像シフトに関する前記同期信号の補正を、前記フレーム画像における有効画像領域を除いた期間において行う
ことを特徴とする請求項3に記載の画像処理装置。 - 前記補正手段は、前記水平方向の画像シフトに関する前記同期信号の補正を垂直ブランキング期間内において行う
ことを特徴とする請求項3に記載の画像処理装置。 - 前記補正した同期信号に基づいて、該補正した同期信号に関連する画像信号における無効領域を検知する検知手段と、
前記無効領域の期間における補間画像信号を生成する画像信号生成手段と、
を更に有することを特徴とする請求項1乃至5の何れか1項に記載の画像処理装置。 - 前記画像信号生成手段は、所定色に対応する画像信号を前記補間画像信号として生成する
ことを特徴とする請求項6に記載の画像処理装置。 - 前記所定色は、黒色である
ことを特徴とする請求項7に記載の画像処理装置。 - 前記画像信号生成手段は、前記無効領域に接する画像領域の画素値に基づく画像信号を前記補間画像信号として生成する
ことを特徴とする請求項6に記載の画像処理装置。 - 前記画像信号生成手段は、前記補間画像信号を画像ライン毎に生成する
ことを特徴とする請求項6に記載の画像処理装置。 - 前記画像信号生成手段は、前記画像ラインが有効領域を含む場合、前記無効領域に接する有効領域の画素値に基づく画像信号を前記補間画像信号として生成する
ことを特徴とする請求項10に記載の画像処理装置。 - 前記画像信号生成手段は、前記画像ラインが有効領域を含まない場合、前記有効領域の端部の画素値に基づく画像信号を前記補間画像信号として生成する
ことを特徴とする請求項10に記載の画像処理装置。 - 前記画像信号生成手段は、フレーム画像の端に向かって輝度が変化するグラデーション処理を施した前記補間画像信号を生成する
ことを特徴とする請求項6に記載の画像処理装置。 - 前記表示部の姿勢を検知する姿勢検知手段をさらに有し、
前記補正手段は、前記検知した姿勢に基づいて前記同期信号を補正する
ことを特徴とする請求項1乃至13の何れか1項に記載の画像処理装置。 - 前記補正手段は、前記検知した姿勢の変化量に基づいて前記画像シフト量を算出する算出手段をさらに有する
ことを特徴とする請求項14に記載の画像処理装置。 - 前記算出手段は、前記検知した姿勢の変化量が増大するほど前記画像シフト量を大きくする
ことを特徴とする請求項15に記載の画像処理装置。 - 前記姿勢検知手段は、前記表示部に設けられた姿勢センサを用いて前記表示部の姿勢を検知する
ことを特徴とする請求項14に記載の画像処理装置。 - 前記画像処理装置は、前記所与の表示部を有するヘッドマウントディスプレイ(HMD)に接続される
ことを特徴とする請求項1乃至17の何れか1項に記載の画像処理装置。 - 動画像を構成するフレーム画像に対する画像処理を行う画像処理装置の制御方法であって、
前記フレーム画像を画像信号及び同期信号として入力する入力工程と、
所与の表示部の垂直方向における前記フレーム画像の表示位置の変更を指示する画像シフト指示を受け付ける受付工程と、
前記画像シフト指示に基づいて前記同期信号を補正する補正工程と、
前記画像信号と前記補正した同期信号とを関連付けて出力する出力工程と、
を含み、
前記補正工程では、前記画像シフト指示に含まれる前記垂直方向の画像シフト量が所定量を超える場合、該所定量以下の画像シフト量に相当する補正を行う
ことを特徴とする画像処理装置の制御方法。 - コンピュータを、請求項1乃至18の何れか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP18814371.3A EP3637412A4 (en) | 2017-06-08 | 2018-06-01 | IMAGE PROCESSING DEVICE AND CONTROL METHOD FOR IT |
CN201880037345.0A CN110709920B (zh) | 2017-06-08 | 2018-06-01 | 图像处理设备及其控制方法 |
JP2019523507A JP7161470B2 (ja) | 2017-06-08 | 2018-06-01 | 画像処理装置およびその制御方法 |
US16/693,813 US11263999B2 (en) | 2017-06-08 | 2019-11-25 | Image processing device and control method therefor |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017-113636 | 2017-06-08 | ||
JP2017113636 | 2017-06-08 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US16/693,813 Continuation US11263999B2 (en) | 2017-06-08 | 2019-11-25 | Image processing device and control method therefor |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018225648A1 true WO2018225648A1 (ja) | 2018-12-13 |
Family
ID=64566497
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2018/021199 WO2018225648A1 (ja) | 2017-06-08 | 2018-06-01 | 画像処理装置およびその制御方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11263999B2 (ja) |
EP (1) | EP3637412A4 (ja) |
JP (1) | JP7161470B2 (ja) |
CN (1) | CN110709920B (ja) |
WO (1) | WO2018225648A1 (ja) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0819004A (ja) * | 1994-06-30 | 1996-01-19 | Victor Co Of Japan Ltd | ヘッドマウントディスプレイ |
JPH0823486A (ja) * | 1994-07-08 | 1996-01-23 | Sony Corp | テレビジョン受像機 |
JPH09284676A (ja) * | 1996-04-15 | 1997-10-31 | Sony Corp | 身体の動きに同期した映像及び音声処理方法と映像表示装置 |
JPH11202257A (ja) * | 1998-01-14 | 1999-07-30 | Sony Corp | ディスプレイ装置および映像体感装置 |
JP2004109994A (ja) | 2002-08-30 | 2004-04-08 | Olympus Corp | 頭部装着型画像表示システム装置及びその画像処理方法 |
JP2013254029A (ja) * | 2012-06-05 | 2013-12-19 | Canon Inc | プロジェクタ、及びそれに用いる制御プログラム、制御方法 |
JP2014078022A (ja) | 2013-11-29 | 2014-05-01 | Sony Corp | 表示装置組立体 |
JP2017113636A (ja) | 2017-03-30 | 2017-06-29 | グリー株式会社 | コンピュータ及びコンピュータにおいて実行されるプログラム |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4688081A (en) * | 1985-01-25 | 1987-08-18 | Hitachi, Ltd. | Apparatus for correcting time base error of video signal |
JPH0771290B2 (ja) * | 1989-12-27 | 1995-07-31 | 富士写真光機株式会社 | 信号処理回路 |
KR0174152B1 (ko) * | 1996-07-02 | 1999-04-01 | 삼성전자 주식회사 | 디지털 디스플레이 모니터의 영상크기 조정장치 |
TW506212B (en) * | 2001-05-31 | 2002-10-11 | Novatek Microelectronics Corp | Screen self-calibration and automatic adjusting method and the system thereof |
US6943783B1 (en) * | 2001-12-05 | 2005-09-13 | Etron Technology Inc. | LCD controller which supports a no-scaling image without a frame buffer |
US20050156817A1 (en) * | 2002-08-30 | 2005-07-21 | Olympus Corporation | Head-mounted display system and method for processing images |
JP4260696B2 (ja) * | 2004-06-29 | 2009-04-30 | 富士通マイクロエレクトロニクス株式会社 | 固体撮像装置、イメージセンサ、画像処理装置、及び撮像方法 |
JP2006154378A (ja) * | 2004-11-30 | 2006-06-15 | Victor Co Of Japan Ltd | 画像表示制御装置 |
JP4541976B2 (ja) * | 2005-06-17 | 2010-09-08 | キヤノン株式会社 | 表示装置 |
JP4415978B2 (ja) * | 2006-08-02 | 2010-02-17 | ソニー株式会社 | 画像信号処理装置、画像信号処理方法 |
JP4831081B2 (ja) * | 2008-01-22 | 2011-12-07 | ソニー株式会社 | 送信装置及びフレームレート変換システム |
JP5761953B2 (ja) * | 2009-12-08 | 2015-08-12 | キヤノン株式会社 | 情報処理装置およびその制御方法 |
JP5499854B2 (ja) * | 2010-04-08 | 2014-05-21 | ソニー株式会社 | 頭部装着型ディスプレイにおける光学的位置調整方法 |
US8681205B2 (en) * | 2010-06-18 | 2014-03-25 | Via Technologies, Inc. | Systems and methods for controlling a three dimensional (3D) compatible viewing device |
JP5499985B2 (ja) | 2010-08-09 | 2014-05-21 | ソニー株式会社 | 表示装置組立体 |
JP5517883B2 (ja) * | 2010-10-20 | 2014-06-11 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
KR101337619B1 (ko) | 2012-03-02 | 2013-12-06 | 주식회사 엘지씨엔에스 | 통합 관제 시스템 및 통합 관제 방법 |
WO2014077046A1 (ja) | 2012-11-13 | 2014-05-22 | ソニー株式会社 | 画像表示装置及び画像表示方法、移動体装置、画像表示システム、並びにコンピューター・プログラム |
JP2015033108A (ja) | 2013-08-07 | 2015-02-16 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
US20150062206A1 (en) | 2013-08-30 | 2015-03-05 | Lenovo (Singapore) Pte, Ltd. | Adjusting a display based on a brace of a computing device |
EP3036689B8 (en) * | 2013-10-25 | 2020-11-11 | MediaTek Inc. | Method and apparatus for processing picture having picture height not evenly divisible by slice height and/or slice width not evenly divisible by pixel group width |
JP6079614B2 (ja) | 2013-12-19 | 2017-02-15 | ソニー株式会社 | 画像表示装置及び画像表示方法 |
WO2015174501A1 (ja) * | 2014-05-16 | 2015-11-19 | 株式会社ユニモト | 全周動画配信システム、全周動画配信方法、画像処理装置、通信端末装置およびそれらの制御方法と制御プログラム |
JP6917710B2 (ja) * | 2014-07-01 | 2021-08-11 | ソニーグループ株式会社 | 情報処理装置および方法 |
US10228766B2 (en) * | 2014-09-12 | 2019-03-12 | Microsoft Technology Licensing, Llc | Enhanced Display Rotation |
KR102319456B1 (ko) * | 2014-12-15 | 2021-10-28 | 조은형 | 콘텐츠 재생 방법 및 이를 수행하는 전자 기기 |
JP6652294B2 (ja) * | 2015-10-29 | 2020-02-19 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 |
-
2018
- 2018-06-01 JP JP2019523507A patent/JP7161470B2/ja active Active
- 2018-06-01 EP EP18814371.3A patent/EP3637412A4/en not_active Withdrawn
- 2018-06-01 CN CN201880037345.0A patent/CN110709920B/zh active Active
- 2018-06-01 WO PCT/JP2018/021199 patent/WO2018225648A1/ja unknown
-
2019
- 2019-11-25 US US16/693,813 patent/US11263999B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0819004A (ja) * | 1994-06-30 | 1996-01-19 | Victor Co Of Japan Ltd | ヘッドマウントディスプレイ |
JPH0823486A (ja) * | 1994-07-08 | 1996-01-23 | Sony Corp | テレビジョン受像機 |
JPH09284676A (ja) * | 1996-04-15 | 1997-10-31 | Sony Corp | 身体の動きに同期した映像及び音声処理方法と映像表示装置 |
JPH11202257A (ja) * | 1998-01-14 | 1999-07-30 | Sony Corp | ディスプレイ装置および映像体感装置 |
JP2004109994A (ja) | 2002-08-30 | 2004-04-08 | Olympus Corp | 頭部装着型画像表示システム装置及びその画像処理方法 |
JP2013254029A (ja) * | 2012-06-05 | 2013-12-19 | Canon Inc | プロジェクタ、及びそれに用いる制御プログラム、制御方法 |
JP2014078022A (ja) | 2013-11-29 | 2014-05-01 | Sony Corp | 表示装置組立体 |
JP2017113636A (ja) | 2017-03-30 | 2017-06-29 | グリー株式会社 | コンピュータ及びコンピュータにおいて実行されるプログラム |
Non-Patent Citations (1)
Title |
---|
See also references of EP3637412A4 |
Also Published As
Publication number | Publication date |
---|---|
US20200090629A1 (en) | 2020-03-19 |
JP7161470B2 (ja) | 2022-10-26 |
US11263999B2 (en) | 2022-03-01 |
EP3637412A1 (en) | 2020-04-15 |
CN110709920B (zh) | 2022-11-08 |
CN110709920A (zh) | 2020-01-17 |
EP3637412A4 (en) | 2021-04-14 |
JPWO2018225648A1 (ja) | 2020-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109863538B (zh) | 用于虚拟及增强现实显示的连续时间扭曲及双目时间扭曲***和方法 | |
US8233011B2 (en) | Head mounted display and control method therefor | |
EP3379525B1 (en) | Image processing device and image generation method | |
JP5303685B2 (ja) | 拡張現実感提供装置 | |
JP5113426B2 (ja) | 頭部装着型表示装置、及びその制御方法 | |
US20160328882A1 (en) | Pass-through display of captured imagery | |
JP6855313B2 (ja) | 画像表示システム、画像表示装置および画像表示方法 | |
JP2007052304A (ja) | 映像表示システム | |
JP2015231106A (ja) | ヘッドマウントディスプレイ装置及びヘッドマウントディスプレイシステム | |
US11003408B2 (en) | Image generating apparatus and image generating method | |
JP2011010126A (ja) | 画像処理装置、画像処理方法 | |
US7940295B2 (en) | Image display apparatus and control method thereof | |
WO2021261248A1 (ja) | 画像処理装置、画像表示システム、方法及びプログラム | |
GB2575824A (en) | Generating display data | |
WO2018225648A1 (ja) | 画像処理装置およびその制御方法 | |
JP2023055773A (ja) | 同期制御装置、同期制御方法、及びプログラム | |
WO2019073925A1 (ja) | 画像生成装置および画像生成方法 | |
WO2022004130A1 (ja) | 情報処理装置、情報処理方法、および記憶媒体 | |
JP2018005778A (ja) | 画像表示装置、画像表示システムおよび画像表示方法 | |
JP7528951B2 (ja) | 表示端末装置 | |
WO2023112621A1 (ja) | 画像処理装置及びその方法、プログラム | |
WO2024071208A1 (ja) | 表示装置、表示方法及びプログラム | |
JP2021086287A (ja) | 情報処理システム、情報処理装置、及び情報処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18814371 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2019523507 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2018814371 Country of ref document: EP Effective date: 20200108 |