WO2019102885A1 - 画像の表示部分を変更可能な電子機器 - Google Patents
画像の表示部分を変更可能な電子機器 Download PDFInfo
- Publication number
- WO2019102885A1 WO2019102885A1 PCT/JP2018/041811 JP2018041811W WO2019102885A1 WO 2019102885 A1 WO2019102885 A1 WO 2019102885A1 JP 2018041811 W JP2018041811 W JP 2018041811W WO 2019102885 A1 WO2019102885 A1 WO 2019102885A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- display
- image
- target image
- displayed
- change
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0485—Scrolling or panning
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/34—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators for rolling or scrolling
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/93—Regeneration of the television signal or of selected parts thereof
Definitions
- the present invention relates to an electronic device capable of changing a display portion of an image and a control method thereof.
- Japanese Patent Laid-Open No. 2012-75018 discloses that when the digital camera is rotationally moved in the panoramic reproduction mode, a partial range of the panoramic image in the direction in which the digital camera faces is displayed. There is also a method of switching the image displayed on the display screen.
- JP-A-2014-222829 discloses that a plurality of images are arranged in the vertical direction of the display area, and images displayed in the display area can be switched by scrolling.
- JP 2012-75018 A when the display of an image is started, the range of the image corresponding to the direction of the digital camera at that time is displayed, so for example, the image is selected from the reference range or the user's desired range. It can not be confirmed, and the user needs to change the display range by changing the direction of the digital camera.
- Japanese Patent Application Laid-Open No. 2014-222829 when it is desired to display a part of the image in a large size when starting to display the image, the user needs to perform an enlargement operation.
- An object of the present invention is to improve operability for displaying a partial range of an image when it is possible to arrange and display a plurality of images in a display area.
- an electronic device comprises: detection means capable of detecting a change in the attitude of display means; switching means for switching an image to be displayed on a display surface among a plurality of images; Among the plurality of images, recording means for recording information related to the portion of the image displayed on the display surface when switched by the switching means, and the plurality of images.
- the change according to the change in the posture in response to the detection means detecting the change in the posture of the display means The means changes a portion to be displayed, and when switching the image to be displayed from the first image to the second image, if the second image satisfies a predetermined condition, the second Information of the image of Control means for changing the information according to the change in posture and not to change the information of the second image when the second image does not satisfy the predetermined condition; It features.
- FIG. 1 An external view of a smartphone as an example of an apparatus to which the configuration of the present embodiment can be applied
- Block diagram showing a configuration example of a smartphone as an example of an apparatus to which the configuration of the present embodiment can be applied A diagram showing a display example of a screen in the present embodiment A diagram showing a display example of a screen in the present embodiment A diagram showing a display example of a screen in the present embodiment Flow chart showing display processing in the present embodiment Flow chart showing active image determination processing in the present embodiment Flow chart showing display range change processing in the present embodiment Flow chart showing update processing in the present embodiment
- a diagram showing a display example of an image in the present embodiment A diagram showing a display example of an image in the present embodiment
- a diagram showing a display example of an image in the present embodiment A diagram showing a display example of an image in the present embodiment
- a diagram showing a display example of an image in the present embodiment A diagram showing a display example of an image in the present embodiment A diagram showing a display example of an image in the present embodiment A diagram showing
- the structure of the smart phone 100 as an example of the electronic device in this embodiment is shown to FIG.
- the example of the external view of the smart phone 100 is shown to FIG. 1A.
- the display unit 105 is a display unit that displays an image and various information.
- the display unit 105 is configured integrally with the touch panel 106 a, and can detect a touch operation on the display surface of the display unit 105.
- the operation unit 106 includes the operation units 106b, 106c, 106d, and 106e as illustrated.
- the operation unit 106 b is a power button that receives an operation of switching on and off the power of the smartphone 100.
- the operation unit 106 c and the operation unit 106 d are volume buttons for increasing and decreasing the volume of the sound output from the sound output unit 112.
- the operation unit 106 e is a home button for displaying the home screen on the display unit 105.
- the audio output unit 112 includes an audio output terminal 112a for connecting an earphone or the like, and a speaker 112b for outputting a voice of a call. Further, on the surface opposite to the display unit 105 and the surface on the display unit 105 side, there is an imaging unit 22 for performing imaging.
- the CPU 101, the memory 102, the non-volatile memory 103, the image processing unit 104, the display unit 105, the imaging unit 22, the operation unit 106, the storage medium I / F 107, the external I / F 109, Communication I / F 110 is connected. Further, an audio output unit 112, an attitude detection unit 113, and a system memory 52 are also connected to the internal bus 150. The units connected to the internal bus 150 can exchange data with one another via the internal bus 150.
- the CPU 101 is a control unit that controls the entire smartphone 100, and includes at least one processor.
- the memory 102 is made of, for example, a RAM (a volatile memory using a semiconductor element or the like).
- the memory 102 stores image data obtained by the imaging unit 22 and converted into digital data, and image data to be displayed on the display unit 105.
- the memory 102 has a sufficient storage capacity to store a predetermined number of still images and moving images and sounds for a predetermined time.
- the memory 102 also serves as a memory (video memory) for displaying an image.
- a RAM is used as the system memory 52. In the system memory 52, constants and variables for the operation of the CPU 101, programs read out from the non-volatile memory 103, and the like are expanded.
- the CPU 101 controls each part of the smartphone 100 using the memory 102 as a work memory in accordance with, for example, a program stored in the non-volatile memory 103.
- the non-volatile memory 103 stores image data, audio data, other data, various programs for the CPU 101 to operate, and the like.
- the non-volatile memory 103 is configured by, for example, a flash memory or a ROM.
- the image processing unit 104 is an image stored in the non-volatile memory 103 or the storage medium 108, a video signal acquired through the external I / F 109, or an image acquired through the communication I / F 110 based on control of the CPU 101.
- the image processing unit 104 may be configured by a dedicated circuit block for performing specific image processing. Further, depending on the type of image processing, the CPU 101 can perform image processing according to a program without using the image processing unit 104.
- the display unit 105 displays an image or a GUI screen that configures a graphical user interface (GUI) based on the control of the CPU 101.
- the CPU 101 generates a display control signal according to a program, generates an image signal to be displayed on the display unit 105, and controls each unit of the smartphone 100 to output the image signal to the display unit 105.
- the display unit 105 displays a video based on the output video signal.
- the smartphone 100 itself may include an interface for outputting a video signal to be displayed on the display unit 105, and the display unit 105 may be configured of an external monitor (such as a television).
- an external monitor such as a television
- the operation unit 106 is an input device for receiving a user operation including a character information input device such as a keyboard, a pointing device such as a mouse or a touch panel, a button, a dial, a joystick, a touch sensor, a touch pad, and the like.
- a character information input device such as a keyboard, a pointing device such as a mouse or a touch panel, a button, a dial, a joystick, a touch sensor, a touch pad, and the like.
- the touch panel is an input device that is planarly configured to be superimposed on the display unit 105, and coordinate information corresponding to the touched position is output.
- the storage medium I / F 107 can be loaded with a storage medium 108 such as a memory card, a CD, or a DVD, and reads data from the loaded storage medium 108 or writes data to the storage medium 108 under control of the CPU 101. I do.
- a storage medium 108 such as a memory card, a CD, or a DVD
- the external I / F 109 is an interface that is connected to an external device by a wired cable or wirelessly to input and output video signals and audio signals.
- the communication I / F 110 is an interface for communicating with an external device or the Internet 111 to transmit and receive various data such as files and commands.
- the sound output unit 112 outputs sounds of moving images and music data, operation sounds, ring tones, various notification sounds, and the like.
- the voice output unit 112 may perform voice output by wireless communication or the like.
- the posture detection unit 113 detects the posture of the smartphone 100 (display unit 105) with respect to the gravity direction. Based on the posture detected by the posture detection unit 113, whether the smartphone 100 is held horizontally, vertically, upward, downward, or obliquely, etc. Can be determined.
- the posture detection unit 113 at least one of an acceleration sensor, a gyro sensor, a geomagnetic sensor, an orientation sensor, and the like can be used, and a plurality can be used in combination.
- the operation unit 106 includes a touch panel 106 a.
- the CPU 101 can detect the following operation or state on the touch panel 106a.
- a finger or pen that has not touched the touch panel 106 a newly touches the touch panel 106 a, that is, the start of touch (hereinafter referred to as touch-down)
- touch-on A state in which a finger or a pen is touching the touch panel 106a (hereinafter referred to as touch-on) -A finger or pen moving while touching the touch panel 106a (hereinafter referred to as "Touch-Move") -A finger or pen touching the touch panel 106a being separated from the touch panel 106a, that is, the end of the touch (hereinafter referred to as touch-up) ⁇
- touch-up A state in which nothing is touched on the touch panel 106a
- touch on is also detected at the same time. After touch down, touch on normally continues to be detected unless touch up is detected.
- touch on is detected simultaneously. Even if the touch on is detected, if the touch position is not moved, the touch move is not detected.
- touch-off is detected.
- the movement direction of the finger or pen moving on the touch panel 106a can also be determined for each vertical component and horizontal component on the touch panel 106a based on the change in position coordinates.
- it is detected that the touch move is performed for a predetermined distance or more it is determined that the slide operation has been performed.
- flicking is an operation of tracing quickly on the touch panel 106 a so as to flip it with a finger.
- pinch in a touch operation in which multiple touch positions (for example, 2 points) are simultaneously touched to bring the touch positions closer to each other
- pinch out a touch operation to move the touch positions away from each other
- the touch panel 106a may be any of various touch panels such as resistive film type, capacitive type, surface acoustic wave type, infrared type, electromagnetic induction type, image recognition type, optical sensor type, etc. Good.
- FIGS. 2A to 2C show display examples of the screen in the present embodiment.
- FIGS. 2A and 2B show display examples of screens of the social network service (SNS).
- FIG. 2A shows the state of the list screen in which the list item 201 is selected among the list item 201, the notification item 202, and the setting item 203.
- the list item 201 is selected, the updated image of each user, a comment, and the like can be confirmed, and the user performs touch move along the Y-axis direction of the display unit 105 to display according to touch move. You can scroll (move) images and comments.
- a summary of the updated information for example, the post 204 or 205 on which a portion of the updated image or a portion of the comment is displayed is displayed on the list screen.
- the notification item 202 is touched, a notification to the user is displayed, and when the setting item 203 is touched, various settings such as user settings and login information can be performed.
- the post 204 shows a post where Hanako has updated the 360 ° image as shown in the guidance 204c.
- An item 204b displayed in the image indicates that the displayed image is a 360 ° image.
- the details of the post 204 that is, a list of images updated as the post 204 can be displayed.
- the post 205 indicates that Mr. Taro has updated the image, as indicated by the guidance 205a.
- FIG. 2B shows that the item 204a is touched in FIG. 2A and the details of the post 204 are displayed.
- a partial area of each image included in the post 204 is displayed with a width that matches the width of the display area in the X-axis direction, and a plurality of images are displayed side by side in the Y-axis direction .
- partial regions of the images 206 and 207 are displayed side by side in the Y-axis direction.
- the items 211 and 212 indicate which range of the 360 ° image is displayed, and the items 211 and 212 indicate that the range of the reference direction is displayed.
- items 208 to 210 corresponding to each image are displayed.
- the item 208 is an item (good) for indicating praise for each image, and touching the item 208 can notify the updated user of the praise for the image.
- An item 209 is an item for describing a comment such as an impression or an opinion for each updated image, and when the item 209 is touched, a keyboard for entering a comment is displayed.
- the item 210 is an item for sharing the updated image, and by touching the item 210, it is possible to transmit an image on another SNS or transmit an image by e-mail. In addition, acquisition of an image, notification of good, entry of a comment, and sharing are performed via the Internet.
- FIG. 2C is a diagram for describing that a partial region of the entire 360 ° image is displayed on the display unit 105.
- the 360 ° image is an image with a 360 ° field of view, and a part of the area can be displayed on the display unit 105.
- the image 214 simply shows a 360 ° image, and the user can switch the area displayed on the display unit 105 according to the detection result of the posture detection unit 113.
- a circle 213 switching the area to be displayed according to the direction of the display unit 105 as if the user were on the spot is referred to as VR (virtual reality) display.
- VR virtual reality
- a VR image is an image capable of VR display.
- the VR image includes an omnidirectional image (all-sky image) captured by an omnidirectional camera (all-sky camera) or a panoramic image having a video range (effective video range) wider than the display range that can be displayed on the display means at one time Shall be included.
- images that can be VR-displayed are included in VR images (VR content) even if the images are created using computer graphics (CG) as well as images captured by a camera.
- the VR image includes not only a still image, but also a moving image and a live view image (an image obtained by acquiring an image signal continuously read from an imaging device of a camera in substantially real time and output to a display unit).
- the VR image has an image range (effective image range) at the maximum in the vertical direction (vertical angle, angle from zenith, elevation angle, depression angle, altitude angle) 360 degrees, and horizontal direction (horizontal angle, azimuth angle) 360 degrees Have. Also, even if the VR image is less than 360 degrees vertically and less than 360 degrees horizontally, it can be displayed on a wide angle of view (field of view range) wider than the angle of view that can be photographed with a normal camera It also includes an image having a video range (effective video range) wider than the display range.
- an image taken with a omnidirectional camera capable of shooting an object with a field of view (for angle of view) of 360 ° in the horizontal direction (horizontal angle, azimuth angle) and a vertical angle of 210 ° centered on zenith is It is a kind of VR image. That is, an image range having a field of view of 180 degrees ( ⁇ 90 degrees) or more in each of the vertical direction and the horizontal direction, and an image range larger than the range that can be visually recognized by human at one time is a VR image It is a kind of When this VR image is displayed in VR, by changing the posture in the left and right rotation direction, it is possible to view an omnidirectional video without joint in the left and right direction (horizontal rotation direction).
- the VR image can also be referred to as an “image whose image range is at least a part of a virtual space (VR space)”.
- the VR display is a display method capable of changing the display range to display an image of a visual field range according to the attitude of the smartphone 100 detected by the attitude detection unit 113 among the VR images.
- an image in a visual field range corresponding to the direction of the user's face is displayed.
- an image of a viewing angle (field angle) centered at 0 degrees in a horizontal direction (a specific azimuth, for example, north) and 90 degrees in a vertical direction (90 degrees from the zenith, that is, horizontal) Shall be displayed.
- the attitude of the smartphone 100 is reversed (for example, when the display surface is changed from south to north), 180 degrees in the horizontal direction (reverse orientation, for example, south) of the same VR image
- the display range is changed to an image of a viewing angle centered on 90 degrees (horizontal) in the vertical direction. If the user views the smartphone 100 mounted on the VR goggles, if the user turns his face from north to south (that is, if he faces the back), the image displayed on the smartphone 100 is also a video of the north. It is to change to the picture of the south. With such a VR display, it is possible to provide the user with a feeling as if it were visually present in the VR image (in the VR space).
- the display angle ⁇ indicating the display range on the display unit 105 will be described.
- the angle of the circle in the XY plane is indicated by ⁇
- the angle of the circle in the XZ plane is indicated by ⁇ .
- This processing is realized by developing the program recorded in the non-volatile memory 103 in the system memory 52 and executing the program by the CPU 101. This process starts when the smartphone 100 is powered on and a plurality of 360 ° images can be displayed.
- the CPU 101 acquires a plurality of images to be displayed, that is, images of image numbers 1 to N through the communication I / F 110.
- the image number indicates the display order of a plurality of images included in one post. That is, in S301, image data is acquired so that each image of a plurality of images to be displayed can be VR-displayed.
- the image data acquired via the communication I / F 110 is expanded in the system memory 52.
- the CPU 101 acquires display information such as display angles ⁇ 1 to ⁇ N indicating the display start positions of the images of image numbers 1 to N, and the presence or absence of a tag via the communication I / F 110.
- the tag indicates whether or not a display range to be displayed when the user starts to display each image is defined in advance. That is, the tag is present when the display range is set in order for the user to start displaying the 360 ° image from the portion where the main subject, the subject of interest, etc. are captured in the 360 ° image.
- the CPU 101 determines whether to change the display image. If it is determined that the display image is to be changed, the process proceeds to step S306. If not, the process proceeds to step S307.
- the display image can be performed by a scroll operation (scrolling instruction) to the touch panel 206 a, that is, the display surface of the display unit 105. When the display unit 105 is scrolled upward, an image with a larger image number is displayed, and when it is scrolled downward, an image with a smaller image number is displayed.
- 7A to 7H show display examples of images in the present embodiment. Image numbers M to M + 2 are displayed in FIG.
- FIGS. 8A and 8B are diagrams for explaining display of a 360 ° image included in one post in the present embodiment.
- images of image numbers M to M + 4 of the 360 ° images included in one post are shown side by side.
- a frame 105B in FIG. 8B is a frame indicating an area including the range in the Y-axis direction of the display unit 105, and the display image or display in the frame 105B by the user changing the display image by performing a scroll operation or the like in S305. The area is changed in the Y-axis direction.
- step S306 the CPU 101 performs active image determination processing.
- the active image determination process will be described later with reference to FIG.
- the CPU 101 determines whether or not an instruction to switch the display angle (display range) has been issued by the user's touch operation or button operation.
- the display angle switching instruction is an operation of switching the display range (the center of the display range) on the display unit 105 of the 360 ° image currently displayed.
- the active image and the inactive image are both displayed on the display unit 105, the active image is the largest image of the display area on the display unit 105, and the inactive image is an image smaller than the active image. is there.
- the CPU 101 turns on the user operation flag of the active image and records it in the system memory 52.
- the user operation flag is a flag for not intentionally changing the display angle of the current image, and when the user operation flag is turned on, the display angles of the other images other than the related image are changed by the change of the attitude of the display unit 105 Even if you change it, the display angle will not change. That is, when another image other than the related image is an active image, the display angle of the image of the user operation flag ON is not changed even if the change in the attitude of the display unit 105 changes.
- the CPU 101 turns on the user operation flag of the inactive image, and records it in the system memory 52.
- the CPU 101 records the currently active image display angle ⁇ as the display start position, and simultaneously records the active image and the inactive image touched in the system memory 52 as related images.
- the CPU 101 determines whether to end the display processing.
- the display process ends with a touch operation on a back item such as the item 703 shown in FIG. 7C, or pressing of the operation unit 106 e (home button), or the power of the smartphone 100 is turned off. If it is determined that the display process is to be ended, the display process is ended, and if not, the process returns to S304 and further returns to S305. It returns to the list screen as shown in FIG. 2A in which the touch operation to the item 703 is performed. When the display process ends, the user operation flag of all the images included in the displayed post is turned off.
- the CPU 101 switches the display angle of the image (target image) instructed to be switched in S307. As described with reference to FIGS. 7B and 7C in S307, in S313, the display angle is switched only for the image instructed to be switched.
- the CPU 101 turns on the user operation flag of the image (target image) instructed to be switched in S307, advances to S304, and advances to S305.
- the display range change process is a process of changing the display angle ⁇ of the active image in accordance with the attitude of the display unit 105, and will be described later with reference to FIG.
- the CPU 101 acquires the display state of the image of image number 1.
- the display state of the image indicates whether the image is displayed or not and the size of the region displayed in the display area of the display unit 105.
- An image to be subjected to the determination is indicated by an image number n.
- the CPU 101 determines whether the image of the image number n is currently being displayed. If it is determined that the image number n is being displayed, the process proceeds to step S404. If not, the process proceeds to step S407.
- step S404 the CPU 101 determines whether the area of the area displaying the image of image number n is larger than the area of the areas displaying other display images among the images displayed on the display unit 105. Determine if If it is determined that the area displaying the image of image number n is the largest, the process proceeds to step S405. If not, the process proceeds to step S406.
- the CPU 101 sets the state of the image of image number n to active.
- the CPU 101 deactivates the state of the image of image number n.
- the CPU 101 determines whether or not the determination of S403 has been made for the images up to the image number N. That is, it is determined whether it has been determined whether all the images included in the post are active images, inactive images, or non-displayed images. If it is determined that the image of the image number n is the image number N and the above-described determination is completed, the active image determination process is ended, and if not, the process proceeds to S408.
- the CPU 101 acquires the display state of the image number n as in S401, proceeds to S402, and further proceeds to S403.
- the process in FIG. 4 may detect the active image by detecting an image having the largest display area among the images being displayed.
- step S404 it may be determined whether or not the display target image is closest to a predetermined position (for example, upper left or center) of the display area, and the closest image may be determined as the active image in step S405. .
- a predetermined position for example, upper left or center
- step S404 it may be determined whether an image is being selected, and in step S405, if an image is being selected, it may be determined as an active image.
- the display range changing process is a process of changing the display angle ⁇ of the active image according to the attitude of the display unit 105 (smartphone 100), and is started when the process proceeds to S315 in FIG.
- the CPU 101 determines whether or not the attitude of the smartphone 100 has been changed by detecting the attitude of the smart phone 100 by the attitude detection unit 113. If it is determined that the attitude of the smart phone 100 has been changed, the process proceeds to S502, and if not, the process proceeds to S505. In S502, the CPU 101 acquires the posture change amount ⁇ .
- the display range of the image is changed as shown in FIG. 7F.
- the item indicating the display angle also changes in display along with the change in the attitude of the smartphone 100.
- An item 704 shown in FIG. 7E showing a display angle shows a display angle of 0 degrees, but after a change in posture, an item 705 shown in FIG.
- the item indicating the display angle also changes with the change of the attitude of the smartphone 100, and the display angle indicated by the item changes, so that the user can easily recognize which part of the 360 ° image the user is looking at.
- the display mode of the item indicating the display angle is also changed when the user changes the display range by a touch operation or the like in S307 and S313.
- the frame 105A shown in FIG. 8A has been described as indicating the range that can be displayed on the display unit 105, when the attitude of the smartphone 100 changes or when the display range is changed due to a touch operation or the like, FIG.
- the display range is changed as shown. That is, the display angle is changed as shown in FIG.
- FIG. 8B when the display image is switched to a larger image number as in S305, the range in which the frame 105B is moved downward is displayed on the display unit 105.
- the update process is a process for updating the display angles of the other images based on the change of the display range of the active image due to the change of the attitude of the smartphone 100.
- the update processing will be described later with reference to FIG.
- the CPU 101 determines whether or not the active image is displayed on the entire display area of the display unit 105. If it is determined that the active image is displayed on the entire display unit 105, the process proceeds to step S506. If not, the process proceeds to step S304 in FIG. FIGS. 8C and 8D show display examples when the image with the image number M + 4 is displayed on the entire display unit 105.
- FIGS. 8C and 8D show display examples when the image with the image number M + 4 is displayed on the entire display unit 105.
- step S506 the CPU 101 determines whether a display angle switching instruction has been issued by the user's touch operation or button operation, as in step S307. If it is determined that the display angle switching instruction has been issued, the process proceeds to step S507. If not, the process proceeds to step S509.
- step S508 the CPU 101 determines whether the full screen display has ended. The full screen display ends when the user taps on the image again. If it is determined that the full screen display is to be ended, the process proceeds to step S512. If not, the process returns to step S506.
- S509 to S511 are similar to the processes of S501 to S503 of FIG. In S509 to S511, since the image (active image) is displayed on the entire surface, if the attitude of the smartphone 100 changes on the XY plane from the state displayed at the display angle of 90 ° as shown in FIG. The angle is 270 °.
- the CPU 101 determines whether or not the active image is displayed by 360 ° or more by the determination in S506 or S509 in the immediately preceding S505 to S511. That is, it is determined whether or not all the XY planes of the image have been displayed in the state of full display. If it is determined that the full 360.degree. Display has been performed, the process proceeds to step S513. If not, the process proceeds to step S514. In step S512, it may be determined whether the range is displayed in almost all of the images. Therefore, if the active image is 180 °, it is determined whether or not 180 ° or more is displayed. In addition, the determination may be performed at any display angle such as 350 ° or 160 ° instead of 360 ° or 180 °.
- the CPU 101 sets the display angle ⁇ a of the active image to the angle updated in S507 or S511.
- the CPU 101 returns the display angle ⁇ a of the active image to the angle before displaying the entire surface.
- the user views a range of 360 ° or more in the full display, that is, the entire range, there is a high possibility that the user's desired subject is in the display range of the display angle currently displayed.
- the image displayed on the entire screen was not the image that the user wanted to see, or that only a portion was enlarged and displayed. Display at the display angle.
- the update process is a process for determining whether or not to change the display angles of other 360 ° images when the display angle ⁇ of the active image is changed according to the attitude of the display unit 105 (smartphone 100).
- the process is started when the process proceeds to step S504 in FIG. Whether to change the display angle of the other 360 ° images depends on whether the conditions described later are satisfied.
- the CPU 101 acquires the display angle of the image of image number 1 and display information.
- the display information of the image includes whether or not it is an active image, time information displayed, tag information, related image information, and the like.
- the process of updating the display angle of each image is sequentially performed on image numbers 1 to N.
- An object image to be subjected to the determination is indicated by an image number f.
- the CPU 101 determines whether the image of the image number f is an active image. If it is determined that the image is an active image, the process advances to step S606; otherwise, the process advances to step S604.
- S604 to S607 show the conditions as to whether or not the display angle of each image is to be changed along with the change of the display angle according to the posture change of the smartphone 100 of the active image.
- the CPU 101 determines whether the user operation flag of the image f of the target image is ON. If it is determined that the image f is the user operation flag ON, the process advances to step S605; otherwise, the process advances to step S606.
- the CPU 101 determines whether a predetermined time has passed since the image f was not displayed.
- the predetermined time is, for example, a time such as 3 minutes or 10 minutes, and determination is made in a period after the currently displayed post starts to be displayed, and an elapsed time from the time the image of the currently displayed post is displayed last time Will not make a decision. If it is determined that the predetermined time has elapsed since the image f is not displayed, the process advances to step S608; otherwise, the process advances to step S609.
- the CPU 101 determines whether the image f is an image with a tag. If it is determined from the display information that the image has a tag, the process advances to step S609; otherwise, the process advances to step S607.
- the CPU 101 determines whether the image f is an active image and a related image. If it is determined that the image is an active image and a related image, the process proceeds to step S608. If not, the process proceeds to step S609.
- the CPU 101 determines whether or not the determination of S403 has been made for the images up to the image number N. That is, it is determined whether it has been determined whether all the images included in the post are active images, inactive images, or non-displayed images.
- the CPU 101 acquires the display state of the image number f in the same manner as in S601, proceeds to S402, and further proceeds to S403.
- the display angle is not changed for an image for which a predetermined time has not elapsed, an image with a tag, an image without tag and an active image and no related image.
- the fact that the user operation flag is ON means that the user changed the display angle by a touch operation or the like, and if the display angle is changed according to the change of the display angle of another image (active image), the user sees The display range shifts.
- the flag is turned on again.
- the image it is better to see the desired subject viewed immediately before.
- the user can compare the same subject of a plurality of images, and view the display range desired to be confirmed in each image without performing an operation to search for each displayed image. be able to.
- the display angle of the image number M of the active image changes.
- FIG. 7F when the attitude of the smartphone 100 is rotated clockwise by 90 °, the display angle of the image number M which is the active image changes, and the image of the image number M-1 which is the inactive image is changed.
- the display angle remains unchanged at 0 °.
- the display angle of the active image is changed in accordance with the change in the orientation of the smartphone 100
- the image in which the user is made to perform the touch operation and the desired subject is displayed on the display unit 105
- the other display angle since the other display angle also changes in accordance with the change in one display angle with the change in the posture of the smart phone 100, it is easy to confirm the same subject in the two images.
- the user does not have to change the display angle by performing a touch operation to display a desired subject on the display area of the display unit 105.
- the active image display angle is changed according to the change of the attitude of the smartphone 100 among the display images
- the display angle of the inactive image when the inactive image and the active image are related images. You may change at the same time.
- the image is regarded as the related image It is also good. Further, an image having a difference in shooting date and time within a predetermined time or an image having a difference in shooting location within a predetermined distance may be used as the related image.
- the user when the user sequentially displays a plurality of images, the user can confirm desired portions of the respective images with good operability. Even if the display angle of one of the plurality of images changes with the change in the attitude of the smartphone 100, the user does not change the display angle if the display angle is adjusted in advance, so the intention The display angle never changes.
- determinations in S605, S606, and S607 described in FIG. 6 may not be performed, and it may be determined whether to update the display angle according to the presence or absence of the user operation flag in S604.
- the determination in S604 to S607 may be any one or a combination of any.
- the image numbers 1 to N are displayed in order, when an image not displayed yet is displayed according to the switching operation of the display image in S305 of FIG. 3, regardless of the determination in S604.
- the initial display angle may be displayed as 0 without updating the display angle.
- the 360 ° image is described as an example, but a part is displayed on the display unit 105, and the display part is changed along with the change of the attitude of the smartphone 100. It may be an image, such as a panoramic image or a 180 ° image.
- the display angle is changed according to the change of the attitude of the smart phone 100 in the XY plane.
- the present invention is not limited to this, the display angle is changed according to the change of the attitude of the smart phone 100 in the XZ plane. May be changed.
- the present invention is not limited thereto.
- An image file is selected and a plurality of images in an image file It is applicable also when an image is displayed.
- a plurality of images are arranged in the Y-axis direction of the display unit 105, and when each image is displayed, a part of each image is displayed on the display unit 105. You may line up in the direction.
- the present invention is also applicable to the case where not the part of each image but the whole is displayed and a part of the selected image is displayed according to the selection of each image. In that case, the above-described processing is performed for the display angle displayed in response to the selection.
- the above-described various controls described as being performed by the CPU 101 may be performed by a single piece of hardware, or a plurality of pieces of hardware may share processing to control the entire apparatus.
- the present invention is not limited to this example, and any electronic device capable of changing the display portion of an image is applicable. It is possible. That is, the present invention is applicable to a mobile phone terminal, a portable image viewer, a printer device provided with a finder, a digital photo frame, a music player, a game machine, an electronic book reader, and the like.
- the present invention is also realized by performing the following processing. That is, software (program) for realizing the functions of the above-described embodiment is supplied to a system or apparatus via a network or various recording media, and a computer (or CPU, MPU or the like) of the system or apparatus reads out the program code It is a process to execute.
- the program and the recording medium storing the program constitute the present invention.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本発明の電子機器は、複数の画像を表示領域に表示可能であり、表示手段の姿勢の変化を検出可能である。複数の画像のうち表示領域に表示される画像ごとに、画像の中で表示される表示範囲を変更する。第1の表示対象画像および第2の表示対象画像が表示領域に表示されるとき、表示手段の姿勢の変化に応じて、第1の表示対象画像の表示範囲を変更し、第2の表示対象画像の表示範囲は、所定の条件を満たせば表示手段の姿勢の変化に応じて変更するが、所定の条件を満たさなければ第2の表示対象画像の表示範囲を変更しない。
Description
本発明は、画像の表示部分を変更可能な電子機器およびその制御方法に関する。
従来、装置の向きに応じて、画像の表示範囲を変更する方法がある。特開2012-75018号公報には、パノラマ再生モードにおいてデジタルカメラを回転移動すると、パノラマ画像のうち、デジタルカメラの向いた方向の一部の範囲を表示することが開示されている。また、表示画面に表示する画像を切り替える方法がある。特開2014-222829号公報には、複数の画像が表示領域の縦方向に並んでおり、スクロールをすることにより表示領域に表示する画像を切り替えることができることが開示されている。
特開2012-75018号公報では、画像を表示し始めた際に、その時のデジタルカメラの向きに応じた画像の範囲が表示されるため、例えば基準となる範囲やユーザの所望の範囲から画像を確認することができず、ユーザがデジタルカメラの向きを変えて表示範囲を変更する必要がある。特開2014-222829号公報では、画像を表示し始めるときに、画像の一部の範囲を大きく表示したい場合は、ユーザが拡大操作を行う必要がある。
本発明は、上記の課題に鑑み、複数の画像を表示領域に配置して表示可能である場合に、画像の一部の範囲を表示するための操作性を向上させることを目的とする。
上記目的を達成するために、本発明の電子機器は、表示手段の姿勢の変化を検出可能な検出手段と、複数の画像のうち表示面に表示する画像を切り替える切り替え手段と、前記表示面に表示する画像の部分を変更する変更手段と、前記複数の画像のうち、前記切り替え手段により切り替えられた際に前記表示面に表示される画像の部分に関する情報を記録する記録手段と、前記複数の画像のうち、第1の画像の部分が前記表示面に表示されている場合に、前記検出手段が前記表示手段の姿勢の変化を検出したことに応じて、姿勢の変化に応じた分前記変更手段は表示する部分を変更し、前記第1の画像から第2の画像へと表示する画像を切り替えた際に、前記第2の画像が所定の条件を満たしている場合には、前記第2の画像の前記情報を該姿勢の変化に応じて変更し、前記第2の画像が前記所定の条件をみたしていない場合には、前記第2の画像の前記情報を変更しないように制御する制御手段とを有することを特徴とする。
以下、図面を参照して本発明の好適な実施形態を説明する。図1A、Bには、本実施形態における電子機器の一例としてのスマートホン100の構成を示す。図1Aに、スマートホン100の外観図の例を示す。表示部105は画像や各種情報を表示する表示部である。表示部105はタッチパネル106aと一体的に構成されており、表示部105の表示面へのタッチ操作を検出できるようになっている。操作部106には図示のように操作部106b、106c、106d、106eが含まれる。操作部106bはスマートホン100の電源のオンとオフを切り替える操作を受け付ける電源ボタンである。操作部106cと操作部106dは音声出力部112から出力する音声のボリュームを増減するボリュームボタンである。操作部106eは、表示部105にホーム画面を表示させるためのホームボタンである。音声出力部112には、イヤホンなどを接続する音声出力端子112a、通話の音声を出力するためのスピーカー112bとがある。また、表示部105と反対側の面と、表示部105側の面にはそれぞれ撮像を行うための撮像部22がある。
図1Bにおいて、内部バス150に対してCPU101、メモリ102、不揮発性メモリ103、画像処理部104、表示部105、撮像部22、操作部106、記憶媒体I/F107、外部I/F109、及び、通信I/F110が接続されている。また、内部バス150に対して音声出力部112と姿勢検出部113、システムメモリ52も接続されている。内部バス150に接続される各部は、内部バス150を介して互いにデータのやりとりを行うことができるようにされている。
CPU101は、スマートホン100の全体を制御する制御部であり、少なくとも1つのプロセッサーからなる。メモリ102は、例えばRAM(半導体素子を利用した揮発性のメモリなど)からなる。メモリ102は、撮像部22によって得られ、デジタルデータに変換された画像データや、表示部105に表示するための画像データを格納する。メモリ102は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。また、メモリ102は画像表示用のメモリ(ビデオメモリ)を兼ねている。システムメモリ52には、RAMが用いられる。システムメモリ52には、CPU101の動作用の定数、変数、不揮発性メモリ103から読み出したプログラム等を展開する。
CPU101は、例えば不揮発性メモリ103に格納されるプログラムに従い、メモリ102をワークメモリとして用いて、スマートホン100の各部を制御する。不揮発性メモリ103には、画像データや音声データ、その他のデータ、CPU101が動作するための各種プログラムなどが格納される。不揮発性メモリ103は例えばフラッシュメモリやROMなどで構成される。
画像処理部104は、CPU101の制御に基づいて、不揮発性メモリ103や記憶媒体108に格納された画像や、外部I/F109を介して取得した映像信号、通信I/F110を介して取得した画像などに対して各種画像処理を施す。画像処理部104が行う画像処理には、A/D変換処理、D/A変換処理、画像データの符号化処理、圧縮処理、デコード処理、拡大/縮小処理(リサイズ)、ノイズ低減処理、色変換処理などが含まれる。また、全方位画像あるいは全方位ではないにせよ広範囲のデータを有する広範囲画像のパノラマ展開やマッピング処理、変換などの各種画像処理も行う。画像処理部104は特定の画像処理を施すための専用の回路ブロックで構成してもよい。また、画像処理の種別によっては画像処理部104を用いずにCPU101がプログラムに従って画像処理を施すことも可能である。
表示部105は、CPU101の制御に基づいて、画像やGUI(Graphical User Interface)を構成するGUI画面などを表示する。CPU101は、プログラムに従い表示制御信号を生成し、表示部105に表示するための映像信号を生成して表示部105に出力するようにスマートホン100の各部を制御する。表示部105は出力された映像信号に基づいて映像を表示する。
なお、スマートホン100自体が備える構成としては表示部105に表示させるための映像信号を出力するためのインターフェースまでとし、表示部105は外付けのモニタ(テレビなど)で構成してもよい。
操作部106は、キーボードなどの文字情報入力デバイスや、マウスやタッチパネルといったポインティングデバイス、ボタン、ダイヤル、ジョイスティック、タッチセンサ、タッチパッドなどを含む、ユーザ操作を受け付けるための入力デバイスである。なお、タッチパネルは、表示部105に重ね合わせて平面的に構成され、接触された位置に応じた座標情報が出力されるようにした入力デバイスである。
記憶媒体I/F107は、メモリーカードやCD、DVDといった記憶媒体108が装着可能とされ、CPU101の制御に基づき、装着された記憶媒体108からのデータの読み出しや、当該記憶媒体108に対するデータの書き込みを行う。
外部I/F109は、外部機器と有線ケーブルや無線によって接続し、映像信号や音声信号の入出力を行うためのインターフェースである。
通信I/F110は、外部機器やインターネット111などと通信して、ファイルやコマンドなどの各種データの送受信を行うためのインターフェースである。
音声出力部112は、動画や音楽データの音声や、操作音、着信音、各種通知音などを出力する。音声出力部112は、無線通信などで音声出力を行ってもよい。
姿勢検出部113は、重力方向に対するスマートホン100(表示部105)の姿勢を検出する。姿勢検出部113で検出された姿勢に基づいて、スマートホン100が横に保持されているか、縦に保持されているか、上に向けられたか、下に向けられたか、斜めの姿勢になったかなどを判別可能である。姿勢検出部113としては、加速度センサー、ジャイロセンサー、地磁気センサー、方位センサーなどのうち少なくとも1つを用いることができ、複数を組み合わせて用いることも可能である。
なお操作部106には、タッチパネル106aが含まれる。CPU101はタッチパネル106aへの以下の操作、あるいは状態を検出できる。
・タッチパネル106aにタッチしていなかった指やペンが新たにタッチパネル106aにタッチしたこと、すなわち、タッチの開始(以下、タッチダウン(Touch-Down)と称する)
・タッチパネル106aを指やペンがタッチしている状態であること(以下、タッチオン(Touch-On)と称する)
・指やペンがタッチパネル106aをタッチしたまま移動していること(以下、タッチムーブ(Touch-Move)と称する)
・タッチパネル106aへタッチしていた指やペンがタッチパネル106aから離れたこと、すなわち、タッチの終了(以下、タッチアップ(Touch-Up)と称する)
・タッチパネル106aに何もタッチしていない状態(以下、タッチオフ(Touch-Off)と称する)
・タッチパネル106aにタッチしていなかった指やペンが新たにタッチパネル106aにタッチしたこと、すなわち、タッチの開始(以下、タッチダウン(Touch-Down)と称する)
・タッチパネル106aを指やペンがタッチしている状態であること(以下、タッチオン(Touch-On)と称する)
・指やペンがタッチパネル106aをタッチしたまま移動していること(以下、タッチムーブ(Touch-Move)と称する)
・タッチパネル106aへタッチしていた指やペンがタッチパネル106aから離れたこと、すなわち、タッチの終了(以下、タッチアップ(Touch-Up)と称する)
・タッチパネル106aに何もタッチしていない状態(以下、タッチオフ(Touch-Off)と称する)
タッチダウンが検出されると、同時にタッチオンも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。
タッチムーブが検出された場合も、同時にタッチオンが検出される。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。
タッチしていた全ての指やペンがタッチアップしたことが検出されると、タッチオフが検出される。
これらの操作・状態や、タッチパネル106a上に指やペンがタッチしている位置座標は内部バスを通じてCPU101に通知され、CPU101は通知された情報に基づいてタッチパネル106a上にどのような操作(タッチ操作)が行なわれたかを判定する。
タッチムーブについてはタッチパネル106a上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル106a上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作が行なわれたと判定するものとする。
タッチパネル106a上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックと呼ぶ。フリックは、言い換えればタッチパネル106a上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定できる(スライド操作に続いてフリックがあったものと判定できる)。
更に、複数箇所(例えば2点)を同時にタッチして、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインを総称してピンチ操作(あるいは単にピンチ)と称する。
タッチパネル106aは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いてもよい。
タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと検出する方式があるが、いずれの方式でもよい。
図2A~Cには、本実施形態における画面の表示例を示す。図2A、Bはソーシャルネットワークサービス(SNS)の画面の表示例を示している。図2Aは、一覧アイテム201、お知らせアイテム202、設定アイテム203のうち、一覧アイテム201を選択した一覧画面の状態を示している。一覧アイテム201を選択すると、各ユーザのアップデートした画像や、コメント等を確認することができ、ユーザは表示部105のY軸方向に沿ってタッチムーブをすることで、タッチムーブに応じて表示する画像やコメントをスクロール(移動)することができる。ユーザが画像やコメントをアップデートすると、アップデートされた情報の概要、例えば、アップデートした画像の一部やコメントの一部を表示したポスト204や205が一覧画面に表示される。例えば、Y軸マイナス方向にタッチムーブすると、ポスト204、205がY軸マイナス方向へ移動する。お知らせアイテム202をタッチすると、ユーザに対するお知らせを表示し、設定アイテム203をタッチすると、ユーザ設定やログイン情報などの各種設定を行うことができる。ポスト204は、ガイダンス204cに示すように、花子さんが360°画像をアップデートしたポストを示している。画像内に表示されるアイテム204bは表示されている画像が360°画像であることを示している。アイテム204aをタッチすると、ポスト204の詳細、つまりポスト204としてアップデートされている画像の一覧を表示可能となる。ポスト205は、ガイダンス205aの示すように、太郎さんが画像をアップデートしたことを示している。
図2Bは、図2Aにおいてアイテム204aがタッチされ、ポスト204の詳細が表示された状態を示している。ポストの詳細においては、表示領域のX軸方向の幅に合わせた幅で、ポスト204に含まれる各画像の一部の領域が表示され、Y軸方向に複数の画像が並んで表示されている。図2Bの表示例においては、画像206と207の一部の領域がY軸方向に並んで表示される。アイテム211、212は、360°画像のうち、どの範囲を表示しているのかを示すアイテムであり、アイテム211、212においては基準方向の範囲が表示されていることを示している。各画像の下の位置には、各画像に対応するアイテム208~210が表示されている。アイテム208は、各画像に対して賞賛していることを示すためのアイテム(good)であり、アイテム208をタッチするとアップデートしたユーザに対してその画像に賞賛していることを通知することができる。アイテム209は、アップデートされた各画像に対して、感想や意見等のコメントを記載するためのアイテムであり、アイテム209をタッチするとコメントを記入するためのキーボードが表示される。アイテム210は、アップデートされた画像を共有するためのアイテムであり、アイテム210をタッチすることでその他のSNSでの画像の送信やメールでの画像の送信を行うことができる。なお、画像の取得や、goodの通知、コメントの記入、共有はインターネットを介して行われる。
図2Cは、360°画像の全体のうち一部の領域が表示部105に表示されることを説明するための図である。360°画像は、360°の視野のある画像であり、表示部105においてはその一部の領域を表示することができる。画像214は360°画像を簡単に示したものであり、ユーザは姿勢検出部113の検出結果に応じて表示部105に表示される領域を切り替えることができる。円213に示すようにユーザがあたかもその場にいて、表示部105の向きに応じて表示する領域を切り替えることをVR(ヴァーチャルリアリティ)表示という。以下、VR画像、VR表示について詳細に説明する。なお、本実施形態では、VR画像の視野は360°の場合について説明するが、視野が180°や270°等であっても同様に本発明を実現できる。
まず、VR画像とは、VR表示をすることのできる画像であるものとする。VR画像には、全方位カメラ(全天球カメラ)で撮像した全方位画像(全天球画像)や、表示手段に一度に表示できる表示範囲より広い映像範囲(有効映像範囲)を持つパノラマ画像などが含まれるものとする。また、カメラで撮影した画像に限らず、コンピュータグラフィックス(CG)を用いて作成した画像であっても、VR表示可能なものはVR画像(VRコンテンツ)に含まれるものとする。VR画像には、静止画だけでなく、動画やライブビュー画像(カメラの撮像素子から連続的に読み出された画像信号をほぼリアルタイムで取得して表示部に出力される画像)も含まれる。VR画像は、最大で上下方向(垂直角度、天頂からの角度、仰角、俯角、高度角)360度、左右方向(水平角度、方位角度)360度の視野分の映像範囲(有効映像範囲)を持つ。また、VR画像は、上下360度未満、左右360度未満であっても、通常のカメラで撮影可能な画角よりも広い広範な画角(視野範囲)、あるいは、表示手段に一度に表示できる表示範囲より広い映像範囲(有効映像範囲)を持つ画像も含むものとする。例えば、左右方向(水平角度、方位角度)360度、天頂(zenith)を中心とした垂直角度210度の視野分(画角分)の被写体を撮影可能な全天球カメラで撮影された画像はVR画像の一種である。すなわち、上下方向と左右方向にそれぞれ180度(±90度)以上の視野分の映像範囲を有しており、人間が一度に視認できる範囲よりも広い映像範囲を有している画像はVR画像の一種である。このVR画像をVR表示すると、左右回転方向に姿勢を変化させることで、左右方向(水平回転方向)には継ぎ目のない全方位の映像を視聴することができる。上下方向(垂直回転方向)には、真上(天頂)から見て±105度の範囲では継ぎ目のない全方位の映像を視聴することができるが、真上から105度を超える範囲は映像が存在しないブランク領域となる。VR画像は、「映像範囲が仮想空間(VR空間)の少なくとも一部である画像」とも言える。
VR表示とは、VR画像のうち、姿勢検出部113で検出したスマートホン100の姿勢に応じた視野範囲の映像を表示する、表示範囲を変更可能な表示方法である。スマートホン100をVRゴーグルに装着して視聴する場合には、ユーザの顔の向きに応じた視野範囲の映像を表示することになる。例えば、VR画像のうち、ある時点で左右方向に0度(特定の方位、例えば北)、上下方向に90度(天頂から90度、すなわち水平)を中心とした視野角(画角)の映像を表示しているものとする。この状態から、スマートホン100の姿勢を表裏反転させると(例えば、表示面を南向きから北向きに変更すると)、同じVR画像のうち、左右方向に180度(逆の方位、例えば南)、上下方向に90度(水平)を中心とした視野角の映像に、表示範囲が変更される。ユーザがVRゴーグルに装着したスマートホン100を視聴している場合で言えば、ユーザが顔を北から南に向ければ(すなわち後ろを向けば)、スマートホン100に表示される映像も北の映像から南の映像に変わるということである。このようなVR表示によって、ユーザに、視覚的にあたかもVR画像内(VR空間内)のその場にいるような感覚を提供することができる。
以上のように、VR表示においては画像の一部を表示するので、表示部105における表示範囲を示す表示角度αについて説明をする。図2Cの下の円213に示すように、XY軸平面における円の角度をαで示し、XZ軸平面における円の角度をβで示す。以下の実施形態においてはXY軸平面における角度画像毎に記録するものとし、XZ軸平面における円の角度β=0として記録するが、上述のようにスマートホンをZ軸方向に移動することにより角度βも変更することができる。
本実施形態における表示処理について図3を用いて説明する。この処理は、不揮発性メモリ103に記録されたプログラムをシステムメモリ52に展開してCPU101が実行することで実現する。なお、この処理は、スマートホン100に電源が入り、複数の360°画像が表示可能になると開始する。
S301では、CPU101は、表示すべき複数の画像、すなわち画像番号1からNまでの画像を通信I/F110を介して取得する。画像番号とは、1つのポスト内に含まれる複数の画像の表示順を示すものである。すなわち、S301ではこれから表示する複数の画像のそれぞれの画像がVR表示可能なように、画像データ取得する。S301では通信I/F110を介して取得した画像データをシステムメモリ52に展開する。
S302では、CPU101は、画像番号1~Nまでの画像の表示開始位置を示す表示角度α1~αN、タグの有無などの表示情報を通信I/F110を介して取得する。タグは、予めユーザにより、各画像を表示し始めるときに表示する表示範囲が定められているか否かを示すものである。つまり、ユーザが360°画像のうち主被写体や注目の被写体などが写っている部分から360°画像を表示し始めるために、表示範囲を設定した場合にはタグは有りとなる。タグのない画像については、表示角度αn=0、すなわち基準となる位置と中心とした表示範囲で表示をし始め、タグのある画像についてはαn=30°や60°などユーザにより指定された位置を中心とした表示範囲で表示をし始める。S302においても、通信I/F110を介して取得した画像の表示情報をシステムメモリ52に展開する。
S303では、CPU101は、表示部105に画像番号=1の画像の表示角度α1を中心として表示範囲を表示する。表示している画像を表示画像Hとし、表示画像H=画像番号で示す。表示角度α1を中心として場合に、表示部105に表示される範囲は表示倍率と表示部105(表示手段)のβの角度に応じて変わる。例えば、α1でβ=30°である場合と、α1でβ=210°である場合とでは、表示範囲が撮影時のカメラの上側を表示するのと下側を表示するのとで異なる。
S305では、CPU101は、表示画像を変更するかどうかを判定する。表示画像を変更すると判定した場合は、S306へ進み、そうでない場合は、S307へ進む。表示画像はタッチパネル206a、すなわち表示部105の表示面へのスクロール操作(スクロール指示)によって行うことができる。表示部105の上方向へスクロールすると画像番号のより大きい画像が表示され、下方向へスクロールすると画像番号のより小さい画像が表示されるようになる。図7A~Hは、本実施形態における画像の表示例を示したものである。図7Aには画像番号M~M+2が表示されており、ユーザが指Yを下方向へタッチムーブすると、図7Bに示すように画像番号Mの表示部105に表示される部分が大きくなり、図7Aにおいて表示されていた画像番号M+2の画像が表示されなくなる。このように、縦方向へのスクロール操作によって表示部105に表示する画像や、各画像が表示される領域の大きさを変更することができる。図8A、Bは、本実施形態における1つのポストに含まれる360°画像の表示について説明するための図である。図8A、Bには、1つのポストに含まれる360°画像のうち画像番号M~M+4までの画像を並べて示している。図8Aの枠105Aは、表示部105に表示可能な範囲を説明するための枠であり、各360°画像の表示範囲を変更することでユーザが視認可能な(枠105A内に表示される)画像の範囲を変更することができる。図8Bの枠105Bは表示部105のY軸方向の範囲を含めた領域を示す枠であり、S305においてユーザがスクロール操作などをして表示画像を変更することで枠105B内の表示画像もしくは表示領域がY軸方向に変更される。
S306では、CPU101は、アクティブ画像決定処理を行う。アクティブ画像決定処理については、図4を用いて後述する。S307では、CPU101は、ユーザのタッチ操作またはボタン操作で表示角度(表示範囲)の切り替え指示が行われたかどうかを判定する。表示角度切り替え指示は、現在表示されている360°画像の表示部105における表示範囲(表示範囲の中心)を切り替える操作である。図7Bに示すように指Yを横方向にタッチムーブすると表示範囲が切り替わり、図7Cに示すように画像番号M+1の画像の異なる範囲を表示することができる。図7B、Cにおいては、画像番号M+1の表示角度はα(M+1)=0°から、α(M+1)=180°へと変わる。アイテム701、702は、各画像と共に表示される表示角度及び表示角度を示すためのアイテムであり、アイテム701はα(M+1)=0°、アイテム702はα(M+1)=180°を示している。S307で、表示角度の切り替え指示がされたと判定された場合は、S313へ進み、そうでない場合は、S308へ進む。S308では、CPU101は、アクティブ画像と非アクティブ画像を同時にタッチしたかどうかを判定する。アクティブ画像、非アクティブ画像は共に表示部105に表示されている画像であり、アクティブ画像は表示部105における表示領域の最も大きな画像であり、非アクティブ画像はアクティブ画像よりは表示領域の小さな画像である。アクティブ画像については図4を用いて後述する。図7Cにおいては、表示部105に表示される画像番号=MとM+1の画像のうち、画像番号M+1の画像の方がより大きく表示されているので、画像番号M+1がアクティブ画像とする。アクティブ画像と非アクティブ画像とを共にタッチしたと判定した場合は、S309へ進み、そうでない場合は、S315へ進む。
S309では、CPU101は、アクティブ画像のユーザ操作フラグをONにし、システムメモリ52に記録する。ユーザ操作フラグは、現在の画像の表示角度を意図せず変更しないためのフラグであり、ユーザ操作フラグがONになると、関連画像以外の他の画像の表示角度が表示部105の姿勢の変化によって変更しても表示角度が変更されなくなる。すなわち、関連画像以外の他の画像がアクティブ画像である場合に、表示部105の姿勢の変化が変化しても、ユーザ操作フラグONの画像の表示角度は変更されない。
S310では、CPU101は、非アクティブ画像のユーザ操作フラグをONにし、システムメモリ52に記録する。
S311では、CPU101は、現在のアクティブ画像の表示角度αを表示開始位置として、また同時にタッチしたアクティブ画像と非アクティブ画像を関連画像としてシステムメモリ52に記録する。
S312では、CPU101は、表示処理を終了するかどうかを判定する。表示処理は、図7Cに示すアイテム703のような戻るアイテムへのタッチ操作、もしくは操作部106e(ホームボタン)の押下、スマートホン100の電源のOFFにより終了する。表示処理を終了すると判定した場合は、表示処理を終了し、そうでない場合は、S304へ戻り、さらにS305へ戻る。アイテム703へのタッチ操作がされる図2Aに示すような一覧画面へと戻る。表示処理が終了すると、表示されていたポストに含まれる全ての画像のユーザ操作フラグがOFFとなる。S313では、CPU101は、S307において切り替え指示がされた画像(対象画像)の表示角度を切り換える。S307において図7B、Cを用いて説明したように、S313においては切り替え指示がされた画像のみ、表示角度を切り換える。
S314では、CPU101は、S307において切り替え指示がされた画像(対象画像)のユーザ操作フラグをONにして、S304へ進み、S305へと進む。
S315では、CPU101は、表示範囲変更処理を行う。表示範囲変更処理は、表示部105の姿勢に応じてアクティブ画像の表示角度αを変更する処理であり、図5も用いて後述する。
次に、図4を用いてアクティブ画像決定処理を行う。この処理は、図3のS306へ進むと開始される。
S401では、CPU101は、画像番号1の画像の表示状態を取得する。画像の表示状態とは、画像が表示されているか否か、表示部105の表示領域においてどのくらいの領域の大きさで表示されているのかを示すものである。図4においては画像番号1~Nまで順番にアクティブ画像か否かの判定を行っていく。判定を行っている対象となる画像を画像番号nで示す。
S403では、CPU101は、画像番号nの画像は現在表示中であるか否かを判定する。画像番号nが表示中であると判定した場合は、S404へ進み、そうでない場合は、S407へ進む。
S404では、CPU101は、表示部105に表示されている画像のうち、画像番号nの画像を表示している領域の面積が他の各表示画像を表示している領域の面積よりも大きいか否かを判定する。画像番号nの画像を表示している領域が最も大きいと判定した場合は、S405へ進み、そうでない場合は、S406へ進む。
S405では、CPU101は、画像番号nの画像の状態をアクティブとする。
S406では、CPU101は、画像番号nの画像の状態を非アクティブとする。
S407では、CPU101は、画像番号Nまでの画像についてS403の判定をしたか否かを判定する。すなわち、ポストに含まれる全ての画像についてアクティブ画像か、非アクティブ画像か、表示されていない画像かのいずれかであるかの判定が終わったか否かを判定する。画像番号nの画像が画像番号Nであり、上述の判定が終わったと判定した場合は、アクティブ画像決定処理を終了し、そうでない場合は、S408へ進む。
S408では、CPU101は、画像番号n=n+1とする。すなわち、次の画像番号についてS403以降の判定を行うようにする。
S409では、CPU101は、画像番号nの表示状態をS401と同様に取得し、S402へ進み、さらにS403へと進む。
なお、図4の処理は表示中の画像のうち最も表示面積の大きな画像を検出することでアクティブ画像を検出してもよい。
あるいは、ステップS404において、表示対象画像のうち、表示領域の所定の位置(例えば左上や中央など)に最も近いかどうかを判定し、ステップS405において、最も近い画像をアクティブ画像として決定してもよい。
あるいは、ステップS404において、画像が選択中であるかどうかを判定し、ステップS405において、選択中であれば、アクティブ画像として決定してもよい。
次に、図5を用いて本実施形態における表示範囲変更処理について説明する。表示範囲変更処理は、表示部105(スマートホン100)の姿勢に応じてアクティブ画像の表示角度αを変更する処理であり、図3のS315へ進むと開始される。
S501では、CPU101は、姿勢検出部113のスマートホン100の姿勢の検出により、スマートホン100の姿勢の変化があったか否かを判定する。スマートホン100の姿勢の変化があったと判定した場合は、S502へ進み、そうでない場合は、S505へ進む。S502では、CPU101は、姿勢変化量γを取得する。
S503では、CPU101は、アクティブ画像の表示範囲を変更し、アクティブ画像の表示角度αa=αa+γとして、システムメモリ52に記録する。図7Eにおいてアクティブ画像が画像番号=Mの場合に、スマートホン100の姿勢を、XY平面において時計回り90°変更すると、図7Fに示すように画像の表示範囲が変更される。このとき、姿勢の変化前にはαa=0°であった状態からαa=90°に変化する。また、表示角度を示すアイテムもスマートホン100の姿勢の変化に伴い、表示が変化する。表示角度を示す図7Eに示されるアイテム704は表示角度0度を示しているが、姿勢の変化後には図7Fに示されるアイテム705は表示角度90度を示す。このように、表示角度を示すアイテムもスマートホン100の姿勢の変化に伴い、アイテムが示す表示角度が変化するのでユーザは360°画像のどのあたりを見ているのか容易に認識することができる。なお、表示角度を示すアイテムは、S307、S313においてユーザがタッチ操作などで表示範囲を変更した場合にも表示形態が変更される。図8Aに示す枠105Aは表示部105に表示可能な範囲を示すものとして説明をしたが、スマートホン100の姿勢が変化したり、タッチ操作などによる表示範囲の変更などがされると図8Bに示すように表示範囲が変更される。つまり、枠105B内に表示される表示角度が図8Aでは全ての画像においてα=0である状態から、図8Bに示すように表示角度が変更される。図8Bにおいて、S305のように表示画像を画像番号が大きい方に切り替えると、枠105Bが下方向に移動した範囲が表示部105に表示される。
S504では、CPU101は、更新処理を行う。更新処理は、スマートホン100の姿勢の変化によるアクティブ画像の表示範囲の変化に基づく、その他の画像の表示角度の更新を行うための処理である。更新処理については、図6を用いて後述する。
S505では、CPU101は、アクティブ画像を表示部105の表示領域において全面表示されているか否かを判定する。アクティブ画像が表示部105において全面表示されていると判定した場合は、S506へ進み、そうでない場合は、図3のS304へ進む。図8C、Dには画像番号M+4の画像が表示部105に全面表示されている場合の表示例を示したものである。図7A~Hのようにポストに含まれる画像が並んで表示されている状態から各画像をタッチして素早くタッチした手を離すタップ操作をすると、図8C、Dのように表示部105のより広い範囲に画像が表示されるようになる。
S506では、CPU101は、S307と同様にユーザのタッチ操作またはボタン操作で表示角度切り替え指示が行われたかどうかを判定する。表示角度の切り替え指示がされたと判定された場合は、S507へ進み、そうでない場合は、S509へ進む。
S507では、CPU101は、S506において切り替え指示がされたアクティブ画像の表示角度を切り換える。
S508では、CPU101は、全面表示を終了したか否かを判定する。全面表示は、もう一度画像へのタップ操作をすると終了する。全面表示を終了すると判定した場合は、S512へ進み、そうでない場合は、S506へ戻る。
S509~S511の処理は、図5のS501~S503の処理と同様の処理である。S509~S511においては、画像(アクティブ画像)は全面表示されているので、図8Cのように表示角度90°で表示されていた状態からXY平面上において180°スマートホン100の姿勢が変化すると表示角度270°となる。
S512では、CPU101は、直前のS505~S511におけるS506またはS509の判定により、アクティブ画像が360°以上表示されたか否かを判定する。つまり、全面表示された状態で画像のXY平面の全てが表示されたか否かを判定する。360°全部表示したと判定した場合は、S513へ進み、そうでない場合は、S514へ進む。なお、ステップS512では、画像のうちほぼすべてに範囲が表示されたか否かを判定すればよい。よってアクティブ画像が180°であれば、180°以上表示されたか否かを判定することになる。また、360°や180°すべてではなく、350°や160°など、任意の表示角度で判定を行ってもよい。
S513では、CPU101は、アクティブ画像の表示角度αaとS507またはS511において更新された角度にする。
S514では、CPU101は、アクティブ画像の表示角度αaを全面表示する前の角度に戻す。全面表示において360°以上の範囲、すなわち全ての範囲をユーザが見た場合には、現在表示している表示角度の表示範囲にユーザ所望の被写体がいる可能性が高い。一方で、360°未満の範囲しか見ていない場合は、全面表示した画像はユーザが見たかった画像ではなかった、もしくは一部を拡大して表示しただけである可能性が高いので、元の表示角度で表示をするようにする。
次に、図6を用いて本実施形態における更新処理について説明する。更新処理は、表示部105(スマートホン100)の姿勢に応じてアクティブ画像の表示角度αが変更された場合に、その他の360°画像の表示角度を変更するか否かを判定するための処理であり、図5のS504へ進むと開始される。その他の360°画像の表示角度を変更するか否かは後述する条件を満たすか否かに応じて決まる。
S601では、CPU101は、画像番号1の画像の表示角度、表示情報を取得する。ここで、画像の表示情報にはアクティブ画像であるか否か、表示されていた時間情報、タグ情報、関連画像情報などが含まれる。図6においては画像番号1~Nまで順番に各画像の表示角度の更新処理を行っていく。判定を行っている対象となる対象画像を画像番号fで示す。
S603では、CPU101は、画像番号fの画像がアクティブ画像か否かを判定する。アクティブ画像であると判定した場合は、S606へ進み、そうでない場合は、S604へ進む。
S604~S607はアクティブ画像のスマートホン100の姿勢変化に応じた表示角度の変更に伴い、各画像の表示角度を変更するか否かの条件を示したものである。
S604では、CPU101は、対象画像の画像fはユーザ操作フラグがONであるか否かを判定する。画像fがユーザ操作フラグONであると判定した場合は、S605へ進み、そうでない場合は、S606へ進む。
S605では、CPU101は、画像fが非表示になってからの時間が所定時間を経過したか否かを判定する。所定時間とは例えば、3分や10分といった時間であり、現在表示中のポストが表示され始めてからの期間において判定を行い、現在表示中のポストの画像が前回表示された時からの経過時間では判定をしない。画像fが非表示になってから所定時間が経過したと判定した場合は、S608へ進み、そうでない場合は、S609へ進む。
S606では、CPU101は、画像fがタグ有り画像が否かを判定する。表示情報よりタグ有り画像であると判定した場合は、S609へ進み、そうでない場合は、S607へ進む。
S607では、CPU101は、画像fがアクティブ画像と関連画像であるか否かを判定する。アクティブ画像と関連画像であると判定した場合は、S608へ進み、そうでない場合は、S609へ進む。
S608では、CPU101は、表示角度αf=αf+γへ更新する。すなわち、スマートホン100の姿勢の変化に応じたアクティブ画像における表示角度の変化分、画像fの表示角度を変更する。このように、S608においてはユーザ操作フラグがONであっても所定時間以上経過しているもの、タグがなくアクティブ画像と関連する画像の表示角度は、スマートホン100の姿勢の変化によるアクティブ画像の表示角度の変更と連動して変わる。
S609では、CPU101は、画像番号Nまでの画像についてS403の判定をしたか否かを判定する。すなわち、ポストに含まれる全ての画像についてアクティブ画像か、非アクティブ画像か、表示されていない画像かのいずれかであるかの判定が終わったか否かを判定する。
S610では、CPU101は、画像番号f=f+1とする。すなわち、次の画像番号についてS603以降の判定を行うようにする。
S611では、CPU101は、画像番号fの表示状態をS601と同様に取得し、S402へ進み、さらにS403へと進む。
このように、画像番号1~Nの各画像について表示角度を変更するか否かを判定し、S604~S607の判定において条件を満たす画像についてはS608において表示角度を変更する。
一方、ユーザ操作フラグがONであり、画像が非表示になってから所定時間が経過していない画像、タグ有り画像、タグなし画像でアクティブ画像と関連画像でない画像は表示角度を変更しない。ユーザ操作フラグがONであるということはユーザが表示角度をタッチ操作などで変更したので、他の画像(アクティブ画像)の表示角度の変化に応じて、表示角度を変えてしまうとユーザが見ていた表示範囲がずれてしまう。ユーザが表示範囲の変更操作をして所望の被写体を表示部105に表示した場合には、いったん他の画像を表示部105に表示させてスマートホン100の姿勢を変えても、再びフラグONの画像を表示した際に、直前に見ていた所望の被写体が見えた方がよい。上述のように表示角度を変えないようにすることで、ユーザが複数の画像の同じ被写体を比較したり、各画像における確認したい表示範囲を表示画像が切り替わる度に探す操作をしなくても見ることができる。
例えば、図7Cに示される画像番号MとM+1が表示された状態から、図7Dに示すように、画像番号M+1、M+2を表示すると、画像番号M+1は表示角度α(M+1)=180°、画像番号M+2は表示角度α(M+2)=90°となる。図7B、Cにおいて画像番号M+1の画像の表示角度が変更されても画像番号M+2の表示角度は、図7Aのときからα(M+2)=90°で変わらない。
上述したように、図7Eに示すように、画像番号M-1、Mが表示部105にそれぞれ表示角度(M-1、M)=0°で表示されており、スマートホン100の姿勢を90°右まわりに回転した場合にはアクティブ画像の画像番号Mの表示角度が変わる。図7Fに示すように、スマートホン100の姿勢を90°右回りに回転した場合には、アクティブ画像である画像番号Mの表示角度が変わり、非アクティブ画像である画像番号M-1の画像の表示角度0°のままは変わらない。
ここで、図7Gに示すように、表示部105に表示する画像を画像番号M、M+1にすると、画像番号M+1の画像は図7Dのときと同じく、表示角度α(M+1)=90°のままで表示される。
一方で、もともと図7Aにおいて表示角度α(M+2)=90°であった場合に、画像番号M+2は表示角度が変わる。図7Hに示すように、表示部105に画像番号M+2の画像も表示すると、画像番号Mがアクティブ画像であった際にスマートホン100の姿勢変化により、表示角度α(M+2)は90°分表示角度が変更され、表示角度α(M+2)=180°になる。よって、図7Aに示すアイテム706は表示角度α(M+2)=90°であったが、図7Hに示すアイテム707は表示角度α(M+2)=180°となる。このように、スマートホン100の姿勢の変化に伴い、アクティブ画像の表示角度を変えた場合に、ユーザがタッチ操作をして所望の被写体が表示部105に表示されるようにしていた画像については表示範囲が変更されないようにする。これにより、ユーザが画像毎に所望の被写体を確認しやすくなる。また、関連画像においては一方の表示角度がスマートホン100の姿勢の変化に伴い変化したことに応じて他方の表示角度も変わるので、2枚の画像の同じ被写体を確認しやすい。ユーザは、いちいち所望の被写体を表示部105の表示領域に表示するためにタッチ操作をして表示角度を変更しなくてもよい。なお、表示画像のうちスマートホン100の姿勢の変化に伴い、アクティブ画像表示角度を変更することを説明したが、非アクティブ画像とアクティブ画像とが関連画像である場合には非アクティブ画像の表示角度も同時に変更してもよい。
関連画像の決定方法は、図3のS308で示した2枚の画像を同時にタッチする方法でなくても、同じ被写体を似たような画角で撮影していた場合にその画像を関連画像としてもよい。また、撮影日時の差が所定時間内の画像や、撮影場所の差が所定距離内の画像を関連画像としてもよい。
以上、説明した実施形態によれば、ユーザは複数の画像を順に表示する場合に、ユーザは操作性良くそれぞれの画像の所望の部分を確認することができる。複数の画像のうち1つの画像の表示角度が、スマートホン100の姿勢の変化に伴い変化しても、ユーザが予め表示角度を調整していた場合には、表示角度を変更しないので、意図せず表示角度が変更されてしまうことがない。
第一の画像の表示角度を調整したあと、一回他の画像を表示しスマートホン100の姿勢を変化させて、他の画像の表示角度を変更する。そして、もう一度第一の画像を表示した際に、前回表示していた被写体を確認することができる。
なお、図6で説明したS605、S606、S607の判定を行わなくてもよく、S604におけるユーザ操作フラグの有無に応じて表示角度を更新するか否かを判定してもよい。S604~S607の判定はいずれか1つでも、いずれかを組み合わせて判定をしてもよい。
また、画像番号1~Nまでを順に表示していくが、まだ表示がされていない画像が図3のS305の表示画像の切り替え操作に応じて表示される場合には、S604の判定に関わらず、表示角度を更新せずに、初期の表示角度を0として表示してもよい。
なお、上述の実施形態においては360°画像を例に挙げて説明をしたが、表示部105に一部が表示されており、スマートホン100の姿勢の変化に伴い表示部分が変更されるような画像、例えばパノラマ画像や180°画像等でもよい。なお、上述の実施形態においてはXY平面のスマートホン100の姿勢の変化に伴い、表示角度を変更することを説明したが、これに限らずXZ平面におけるスマートホン100の姿勢の変化に伴い表示角度を変更してもよい。
また、上述した実施形態においてはSNSにおけるポストが選択されて、複数の画像が表示される場合を例に挙げて説明をしたがこれに限らず、画像ファイルが選択され、画像ファイル内の複数の画像が表示される場合にも適用可能である。さらに、複数の画像が表示部105のY軸方向に並んでおり、各画像表示すると、各画像の一部が表示部105に表示されることを説明したが、各画像がX軸、Y軸方向に並んでいてもよい。さらに、各画像の一部ではなく、全体が表示されており、各画像を選択したことに応じて選択した画像の一部が表示されるような場合にも適用可能である。その場合には、選択したことに応じて表示される表示角度について上述の処理を行う。
なお、CPU101が行うものとして説明した上述の各種の制御は1つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。
また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
また、上述した実施形態においては、本発明をスマートホンに適用した場合を例にして説明したが、これはこの例に限定されず、画像の表示部分を変更できるような電子機器であれば適用可能である。すなわち、本発明は携帯電話端末や携帯型の画像ビューワ、ファインダーを備えるプリンタ装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダーなどに適用可能である。
(他の実施形態)
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記録媒体は本発明を構成することになる。
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記録媒体は本発明を構成することになる。
本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。
本願は、2017年11月21日提出の日本国特許出願特願2017-223649と2018年11月2日提出の日本国特許出願特願2018-207347を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。
Claims (17)
- 複数の画像を表示領域に表示可能な電子機器であって、
表示手段の姿勢の変化を検出可能な検出手段と、
複数の画像のうち前記表示領域に表示される表示対象画像を切り替える切替手段と、
前記表示領域に表示される画像ごとに、前記画像の中で表示される表示範囲を変更する変更手段と、
第1の表示対象画像および第2の表示対象画像が前記表示領域に表示されるとき、前記変更手段は、前記検出手段により検出された前記表示手段の姿勢の変化に応じて、前記第1の表示対象画像の表示範囲を変更し、
前記第2の表示対象画像が所定の条件を満たせば、前記第2の表示対象画像の表示範囲も前記検出手段により検出された前記表示手段の姿勢の変化に応じて変更し、
前記第2の表示対象画像が所定の条件を満たさなければ、前記検出手段により前記表示手段の姿勢の変化が検出されても、前記第2の表示対象画像の表示範囲を変更しないことを特徴とする電子機器。 - 請求項1に記載の電子機器であって、
ユーザーによる所定の操作を検出する操作検出手段をさらに備え、
前記変更手段は、前記操作検出手段により検出された前記所定の操作に応じて、前記表示対象画像の表示範囲を変更し、
前記姿勢検出手段により前記表示手段の姿勢の変化が検知される前に、前記変更手段が前記操作検出手段により検出された前記所定の操作に応じて、前記第2の表示対象画像の表示範囲を変更していれば、前記第2の表示対象画像は前記所定の条件を満たさないことを特徴とする電子機器。 - 請求項1に記載の電子機器であって、
前記第2の表示対象画像の属性情報にしたがって前記第2の表示対象画像が所定の条件を満たすかどうかを判定する判定手段をさらに備えることを特徴とする電子機器。 - 請求項1に記載の電子機器であって、
前記第2の表示対象画像は、その撮影日時と前記第1の表示対象画像の撮影日時との差が所定時間内および、その撮影場所と前記第1の表示対象画像の撮影場所との差が所定距離内のうち少なくとも一方であれば、前記第2の表示対象画像は前記所定の条件を満たすことを特徴とする電子機器。 - 請求項1に記載の電子機器であって、
前記第2の表示対象画像は、表示開始時の表示範囲を示す情報が付与されていれば、前記所定の条件を満たさないことを特徴とする電子機器。 - 請求項1に記載の電子機器であって、
前記第2の表示対象画像は、非表示になってから所定の時間を経過していれば、前記所定の条件を満たすことを特徴とする電子機器。 - 請求項1に記載の電子機器であって、
ユーザーによる所定の操作を検出する操作検出手段をさらに備え、
前記操作検出手段により前記第1の表示対象画像と前記第2の表示対象画像に対する操作が同時に検出され、非表示になってから所定の時間を経過していれば、前記第2の表示対象画像は前記所定の条件を満たすことを特徴とする電子機器。 - 請求項1に記載の電子機器であって、
前記操作検出手段により前記第1の表示対象画像と前記第2の表示対象画像に対する操作が同時に検出されていれば、前記第2の表示対象画像は前記所定の条件を満たすことを特徴とする電子機器。 - 請求項1に記載の電子機器であって、
前記第1の表示対象画像が表示されている領域の面積は、前記第2の表示対象画像が表示されている領域の面積よりも大きいことを特徴とする電子機器。 - 請求項1に記載の電子機器であって、
前記第1の表示対象画像は、前記第2の表示対象画像よりも前記表示領域の所定の位置に近いことを特徴とする電子機器。 - 請求項1に記載の電子機器であって、
前記表示対象の画像を選択する選択手段をさらに備え、
前記第1の画像は前記選択手段により選択されているが、前記第2の画像は前記選択手段により選択されていないことを特徴とする電子機器。 - 請求項1に記載の電子機器であって、
前記画像は、360°または270°または180°の視野のある画像であることを特徴とする電子機器。 - 請求項1に記載の電子機器であって、
前記切替手段は、前記表示対象画像をスクロールすることによって新たな表示対象画像に切り替えることを特徴とする電子機器。 - 請求項1に記載の電子機器であって、
前記表示領域に表示される画像ごとに、前記画像の中で表示される表示範囲を示すアイテムを前記表示手段に表示するよう制御する表示制御手段をさらに備えることを特徴とする電子機器。 - 複数の画像を表示領域に表示可能な電子機器の制御方法であって、
表示手段の姿勢の変化を検出するステップと、
複数の画像のうち前記表示領域に表示される表示対象画像を切り替えるステップと、
前記表示領域に表示される画像ごとに、前記画像の中で表示される表示範囲を変更するステップを実行し、
第1の表示対象画像および第2の表示対象画像が前記表示領域に表示されるとき、前記第1の表示対象画像の表示範囲は、前記検出された前記表示手段の姿勢の変化に応じて、変更され、
前記第2の表示対象画像が所定の条件を満たせば、前記第2の表示対象画像の表示範囲は前記検出された前記表示手段の姿勢の変化に応じた変更が行われ、
前記第2の表示対象画像が所定の条件を満たさなければ、前記第2の表示対象画像の表示範囲は、前記検出された前記表示手段の姿勢の変化に応じた変更が行われないことを特徴とする制御方法。 - 複数の画像を表示領域に表示可能な電子機器を実現するコンピュータに、
表示手段の姿勢の変化を検出するステップと、
複数の画像のうち前記表示領域に表示される表示対象画像を切り替えるステップと、
前記表示領域に表示される画像ごとに、前記画像の中で表示される表示範囲を変更するステップを実行させ、
第1の表示対象画像および第2の表示対象画像が前記表示領域に表示されるとき、前記第1の表示対象画像の表示範囲は、前記検出された前記表示手段の姿勢の変化に応じて、変更され、
前記第2の表示対象画像が所定の条件を満たせば、前記第2の表示対象画像の表示範囲は前記検出された前記表示手段の姿勢の変化に応じた変更が行われ、
前記第2の表示対象画像が所定の条件を満たさなければ、前記第2の表示対象画像の表示範囲は、前記検出された前記表示手段の姿勢の変化に応じた変更が行われないことを特徴とするプログラム。 - 複数の画像を表示領域に表示可能な電子機器を実現するコンピュータに、
表示手段の姿勢の変化を検出するステップと、
複数の画像のうち前記表示領域に表示される表示対象画像を切り替えるステップと、
前記表示領域に表示される画像ごとに、前記画像の中で表示される表示範囲を変更するステップを実行させ、
第1の表示対象画像および第2の表示対象画像が前記表示領域に表示されるとき、前記第1の表示対象画像の表示範囲は、前記検出された前記表示手段の姿勢の変化に応じて、変更され、
前記第2の表示対象画像が所定の条件を満たせば、前記第2の表示対象画像の表示範囲は前記検出された前記表示手段の姿勢の変化に応じた変更が行われ、
前記第2の表示対象画像が所定の条件を満たさなければ、前記第2の表示対象画像の表示範囲は、前記検出された前記表示手段の姿勢の変化に応じた変更が行われないことを特徴とするプログラムをコンピュータ読み出し可能に記録した記録媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201880075235.3A CN111373359A (zh) | 2017-11-21 | 2018-11-12 | 能够改变图像的显示部分的电子装置 |
US16/860,931 US20200257396A1 (en) | 2017-11-21 | 2020-04-28 | Electronic device and control method therefor |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017-223649 | 2017-11-21 | ||
JP2017223649 | 2017-11-21 | ||
JP2018-207347 | 2018-11-02 | ||
JP2018207347A JP2019096305A (ja) | 2017-11-21 | 2018-11-02 | 電子機器およびその制御方法およびプログラムおよび記録媒体 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US16/860,931 Continuation US20200257396A1 (en) | 2017-11-21 | 2020-04-28 | Electronic device and control method therefor |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019102885A1 true WO2019102885A1 (ja) | 2019-05-31 |
Family
ID=66631928
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2018/041811 WO2019102885A1 (ja) | 2017-11-21 | 2018-11-12 | 画像の表示部分を変更可能な電子機器 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2019102885A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021144599A (ja) * | 2020-03-13 | 2021-09-24 | キヤノン株式会社 | 電子機器及びその制御方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013250470A (ja) * | 2012-06-01 | 2013-12-12 | Nintendo Co Ltd | 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法 |
-
2018
- 2018-11-12 WO PCT/JP2018/041811 patent/WO2019102885A1/ja active Application Filing
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013250470A (ja) * | 2012-06-01 | 2013-12-12 | Nintendo Co Ltd | 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021144599A (ja) * | 2020-03-13 | 2021-09-24 | キヤノン株式会社 | 電子機器及びその制御方法 |
JP7512055B2 (ja) | 2020-03-13 | 2024-07-08 | キヤノン株式会社 | 電子機器及びその制御方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6151157B2 (ja) | 電子機器および制御プログラム並びに電子機器の動作方法 | |
US20120032988A1 (en) | Display control apparatus that displays list of images onto display unit, display control method, and storage medium storing control program therefor | |
JP7005161B2 (ja) | 電子機器及びその制御方法 | |
US20150186009A1 (en) | Electronic device, method and storage medium | |
JP7154789B2 (ja) | 表示制御装置、その制御方法、プログラム及び記憶媒体 | |
US11354031B2 (en) | Electronic apparatus, computer-readable non-transitory recording medium, and display control method for controlling a scroll speed of a display screen | |
JPWO2017022031A1 (ja) | 情報端末装置 | |
US12032754B2 (en) | Information processing apparatus, information processing method, and non-transitory computer readable medium | |
WO2019102885A1 (ja) | 画像の表示部分を変更可能な電子機器 | |
KR102278229B1 (ko) | 전자기기 및 그 제어 방법 | |
JP2019096305A (ja) | 電子機器およびその制御方法およびプログラムおよび記録媒体 | |
JP7080711B2 (ja) | 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体 | |
JP7005160B2 (ja) | 電子機器及びその制御方法 | |
US10937217B2 (en) | Electronic device and control method thereof for generating edited VR content | |
CN115209203A (zh) | 电子装置、电子装置的控制方法以及存储介质 | |
JP6542451B2 (ja) | 電子機器 | |
US20200033959A1 (en) | Electronic apparatus, computer-readable non-transitory recording medium, and display control method | |
JP6408641B2 (ja) | 電子機器 | |
JP7210153B2 (ja) | 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体 | |
JP7289208B2 (ja) | プログラム、情報処理装置、および方法 | |
US20230254555A1 (en) | Electronic apparatus, control method therefor, and computer-readable storage medium storing program | |
JP6377307B2 (ja) | ユーザーインターフェース制御装置及びユーザーインターフェース制御方法 | |
JP2021128234A (ja) | 電子機器及びその制御方法 | |
JP2016081302A (ja) | 表示制御装置、その制御方法、プログラム、及び記録媒体 | |
JP2020108111A (ja) | 電子機器及びその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18880790 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 18880790 Country of ref document: EP Kind code of ref document: A1 |