WO2007123009A1 - 画像閲覧装置、コンピュータの制御方法及び情報記憶媒体 - Google Patents

画像閲覧装置、コンピュータの制御方法及び情報記憶媒体 Download PDF

Info

Publication number
WO2007123009A1
WO2007123009A1 PCT/JP2007/057765 JP2007057765W WO2007123009A1 WO 2007123009 A1 WO2007123009 A1 WO 2007123009A1 JP 2007057765 W JP2007057765 W JP 2007057765W WO 2007123009 A1 WO2007123009 A1 WO 2007123009A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
viewpoint
image object
perspective
translucency
Prior art date
Application number
PCT/JP2007/057765
Other languages
English (en)
French (fr)
Inventor
Munetaka Tsuda
Original Assignee
Sony Computer Entertainment Inc.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc. filed Critical Sony Computer Entertainment Inc.
Priority to US12/297,390 priority Critical patent/US8711169B2/en
Publication of WO2007123009A1 publication Critical patent/WO2007123009A1/ja

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/503Blending, e.g. for anti-aliasing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/62Semi-transparency

Definitions

  • Image browsing apparatus computer control method, and information storage medium
  • the present invention relates to an image browsing apparatus, a computer control method, and an information storage medium, and in particular,
  • the present invention relates to an image browsing device for browsing images arranged in a virtual space, a computer control method, and an information storage medium.
  • a technology is known in which a plurality of images are arranged in a virtual space on a computer in accordance with their relevance, and a view of the direction of the line of sight is displayed on a monitor from the viewpoint of moving in the virtual space according to a user operation.
  • Patent Document 1 Japanese Patent Document 1 below.
  • the user can find a desired image by moving the viewpoint and updating the display on the monitor.
  • Patent Document 1 JP 2004-30122 A
  • the present invention has been made in view of the above problems, and an object thereof is to provide an image browsing apparatus, a computer control method, and an information storage medium that allow a user to easily find a desired image. There is.
  • the image browsing apparatus is a viewpoint position moving unit that moves the position of the viewpoint in a virtual space in which one or more image objects are arranged in accordance with a viewpoint moving operation by a user.
  • a perspective value acquisition unit that acquires a perspective value indicating a perspective between the position of the viewpoint and the position of each image object, and the respective perspective values acquired by the perspective value acquisition unit.
  • Translucency of image object A translucent determining unit for determining, and a spatial image generating unit that generates a spatial image showing a state of viewing the virtual space from the position of the viewpoint according to the translucency outside the image objects determined by the translucent determining unit.
  • Means and a spatial image display means for displaying the spatial image generated by the spatial image generation means.
  • an identification display means for identifying and displaying an image object displayed in detail according to a detail display operation by the user among the one or more image objects, and an object by the user
  • An identification display changing means for changing the image object to be identified and displayed in accordance with a changing operation, and the identification display change of the one or more images based on the perspective values acquired by the perspective value acquiring means.
  • Identification display change destination determination means for determining a change destination of the image object identified and displayed by the means.
  • the translucency determining means displays the image object whose perspective value is less than a predetermined first value in a transparent manner, and the perspective value is not less than the first value.
  • the translucency of each image object is determined such that the image object that is less than a predetermined second value is displayed opaquely, and the image object that has a perspective value greater than or equal to the second value is displayed translucently. To do.
  • an object position moving unit that moves the position of the image object positioned in front of the viewpoint in the virtual space.
  • the object moving means may move the position of the image object so as to reduce the overlap with the other image object viewed from the viewpoint. Further, the object position moving means may move the position of the image object according to the situation of the viewpoint.
  • the computer control method includes a viewpoint position moving step of moving the position of the viewpoint in a virtual space in which one or more image objects are arranged in accordance with a viewpoint moving operation by a user; Based on the perspective values acquired in the perspective value acquisition step, the perspective value acquisition step for acquiring the perspective value indicating the perspective between the position of the viewpoint and the position of each image object, and A translucency determining step for determining the translucency of the image object, and the image objects determined in the translucency determining step.
  • a spatial image generation step for generating a spatial image showing a state of viewing the virtual space from the viewpoint position, and a spatial image display for displaying the spatial image generated in the spatial image generation step And a step.
  • the information storage medium includes a viewpoint position moving means for moving the position of the viewpoint in a virtual space in which one or more image objects are arranged in accordance with a viewpoint moving operation by a user, and the position of the viewpoint.
  • Perspective value acquisition means for acquiring a perspective value indicating perspective with respect to the position of each image object, and translucency for determining translucency of each image object based on each perspective value acquired by the perspective value acquisition means
  • a spatial image generating means for generating a spatial image showing the virtual space viewed from the position of the viewpoint according to the translucency of each image object determined by the translucency determining means; and
  • a program for causing a computer to function as a spatial image display unit that displays the spatial image generated by the spatial image generation unit is described. It is an information storage medium.
  • the program may be stored in a computer-readable information storage medium such as a CD-ROM or DVD-ROM.
  • FIG. 1 is a hardware configuration diagram of an entertainment system (image browsing device) according to an embodiment of the present invention.
  • FIG. 2 is a detailed configuration diagram of the MPU.
  • FIG. 3 is a diagram illustrating an example of a virtual space.
  • FIG. 4 is a diagram schematically showing the stored contents of a spatial database.
  • FIG. 5 is a diagram showing an example of a spatial image displayed on a monitor.
  • FIG. 6 is a diagram showing an example of a detailed image displayed on a monitor.
  • FIG. 7 is a diagram illustrating a method for generating a spatial image.
  • FIG. 8 is a diagram showing a relationship between a Z value and a value of a representative point of each image object.
  • FIG. 9 is an operation flowchart of the entertainment system according to the embodiment of the present invention.
  • FIG. 10 is a diagram showing another example of a spatial image displayed on the monitor.
  • FIG. 11 is a flowchart showing object rearrangement processing.
  • FIG. 12 is a diagram showing another example of the virtual space.
  • FIG. 13 is a diagram showing still another example of the spatial image displayed on the monitor.
  • FIG. 14 is a diagram schematically showing storage contents of a spatial database according to a modification.
  • FIG. 15 is a flowchart showing an object expansion / return process.
  • FIG. 1 is a diagram showing a hardware configuration of an entertainment system (image browsing apparatus) according to the present embodiment.
  • the entertainment system 10 includes an MPU (Micro Processing Unit) 11, a main memory 20, an image processing unit 24, a monitor 26, an input / output processing unit 28, an audio processing unit 30, and a speaker. 32, an optical disk reader 34, an optical disk 36, a hard disk 38, interfaces (I / F) 40, 44, a controller 42, a power unit 46, and a network interface 48.
  • MPU Micro Processing Unit
  • FIG. 2 is a diagram showing the configuration of the MPU 11.
  • the MPU 11 includes a main processor 12, sub-processors 14 a, 14 b, 14 c, 14 d, 14 e, 14 f, 14 g, 14 h, a node 16, a memory controller 18, and an interface (IZF) 22 is configured.
  • a main processor 12 sub-processors 14 a, 14 b, 14 c, 14 d, 14 e, 14 f, 14 g, 14 h
  • a node 16 a memory controller 18, and an interface (IZF) 22 is configured.
  • IZF interface
  • the main processor 12 is an operating system that is stored in a ROM (Read Only Memory) (not shown), for example, a DVD (Digital Versatile Disk) —ROM or other optical disk 36. Based on the program and data supplied in this way, various information processing is performed, and the sub-processors 14a to 14h are controlled.
  • ROM Read Only Memory
  • DVD Digital Versatile Disk
  • the sub-processors 14a to 14h perform various information processing in accordance with instructions from the main processor 12, and each part of the entertainment system 10 is read from an optical disc 36 such as a DVD-ROM, data and communication. Control based on programs and data supplied via the network.
  • the bus 16 is used for exchanging addresses and data among the various parts of the entertainment system 10.
  • the main processor 12, the sub processors 14a to 14h, the memory controller 18, and the interface 22 are connected to each other via the node 16 so as to be able to exchange data.
  • the memory controller 18 includes a main processor 12 and sub processors 14a to 14h.
  • the main memory 20 is accessed according to the instructions. Programs and data read from the optical disk 36 and the hard disk 38 and programs and data supplied via the communication network are written in the main memory 20 as necessary.
  • the main memory 20 is also used for work of the main processor 12 and the sub processors 14a to 14h.
  • An image processing unit 24 and an input / output processing unit 28 are connected to the interface 22. Data exchange between the main processor 12 and the sub processors 14 a to 14 h and the image processing unit 24 or the input / output processing unit 28 is performed via the interface 22.
  • the image processing unit 24 includes a GPU (Graphical Processing Unit) and a frame buffer.
  • the GPU renders various screens in the frame buffer based on the image data supplied from the main processor 12 and the sub processors 14a to 14h.
  • the screen formed in the frame buffer is converted into a video signal at a predetermined timing and output to the monitor 26.
  • the monitor 26 for example, a home television receiver is used.
  • the audio processing unit 30, the optical disk reading unit 34, the hard disk 38, and the interfaces 40 and 44 are connected to the input / output processing unit 28.
  • the input / output processing unit 28 controls data exchange between the main processor 12 and sub-processors 14a to 14h, the audio processing unit 30, the optical disk reading unit 34, the hard disk 38, the interfaces 40 and 44, and the network interface 48. .
  • the sound processing unit 30 includes an SPU (Sound Processing Unit) and a sound buffer.
  • the sound buffer stores various audio data such as game music, game sound effects and messages read from the optical disk 36 and the node disk 38.
  • the SPU reproduces these various audio data and outputs them from the speaker 32.
  • As the speaker 32 for example, a built-in speaker of a home television receiver is used.
  • the optical disk reading unit 34 reads a program and data stored in the optical disk 36 in accordance with instructions from the main processor 12 and the sub processors 14a to 14h.
  • the entertainment system 10 may be configured to be able to read a program or data stored in a computer-readable information storage medium other than the optical disk 36.
  • the optical disc 36 is a general optical disc such as a DVD-ROM (computer-readable). Information storage medium).
  • the hard disk 38 is a general hard disk device. Various programs and data are stored in the optical disk 36 and the hard disk 38 so as to be readable by the computer.
  • the interfaces (IZF) 40 and 44 are interfaces for connecting various peripheral devices such as the controller 42 and the camera unit 46.
  • a USB (Universal Serial Bus) interface is used as such an interface.
  • the controller 42 is general-purpose operation input means, and is used for a user to input various operations (for example, game operations).
  • the input / output processing unit 28 scans the state of each unit of the controller 42 every predetermined time (for example, 1Z60 seconds), and supplies an operation signal representing the result to the main processor 12 and the sub processors 14a to 14h.
  • the main processor 12 and the sub processors 14a to 14h determine the content of the operation performed by the user based on the operation signal.
  • the entertainment system 10 is configured so that a plurality of controllers 42 can be connected, and the main processor 12 and the sub processors 14a to 14h execute various processes based on operation signals input from the controllers 42. It has become.
  • the camera unit 46 includes, for example, a known digital camera, and inputs black and white, gray scale, or color photographed images every predetermined time (for example, 1Z60 seconds).
  • the camera unit 46 in the present embodiment is configured to input a photographed image as image data in JPEG (Joint Photographic Experts Group) format.
  • the camera unit 46 is installed on the monitor 26 with the lens facing the player, for example, and is connected to the interface 44 via a cable.
  • the network interface 48 is connected to the input / output processing unit 28 and the network 50, and relays data communication between the entertainment system 10 and other entertainment systems 10 via the network 50.
  • the entertainment system 10 When the entertainment system 10 is configured as an image browsing device, a large number of image data is stored in the hard disk 38. This image data is recorded on, for example, the optical disk 36.
  • the storage medium power is also read, and the device power on the communication network such as the Internet is downloaded via the network interface 48 or captured by the camera unit 46.
  • the image data may have a variety of contents and may have been captured by a user or may be captured by another person. Alternatively, it may be created by paint software.
  • thumbnail image data having a smaller data size is created in advance for these many image data, and a large number of image objects to which the thumbnail image data are mapped as textures are respectively created.
  • the virtual space to be arranged is constructed on the entertainment system 10.
  • Figure 3 shows an example of this virtual space. As shown in the figure, a large number of image objects 52 are arranged in the virtual space 50.
  • the image object 52 is a rectangular object, and a thumbnail image that is a reduced version of an image possessed by the user described later is mapped as a texture.
  • a viewpoint 54 is also arranged in the virtual space 50, and a line-of-sight direction 56 is set for the viewpoint 54.
  • the viewpoint 54 can be moved in the virtual space 50 according to the operation by the controller 42, and the line-of-sight direction 56 can be set in any direction according to the operation by the controller 42.
  • the posture of each image object 52 is determined in real time so as to face the direction of the viewpoint 54. When the viewpoint 54 moves, the posture of each image object 52 changes accordingly.
  • FIG. 4 schematically shows the storage contents of the space database describing the configuration of the virtual space 50.
  • This spatial database is constructed in, for example, the node disk 38, and includes an image ID that is identification information of image data, its thumbnail image data, original (original) image data, and an image related to the image data.
  • the position coordinates of the object 52 in the virtual space 50 are stored in association with each other. Such information is prepared for all image data to be viewed by the user and managed by a spatial database.
  • the position coordinates of each image object 52 in the virtual space 50 are determined according to the attribute of each image data. That is, the contents of the image data (color information used, spatial frequency information, recognition results such as face recognition) and image data attached information (file stamp, A feature vector indicating the feature of each image data based on the aisle name and the contents of other document data related to the image data), and the position coordinates of the image object 52 related to the image data are determined according to this feature vector. Just decide. In this way, in the virtual space 50, an image object 52 arranged closer to a certain image object 52 can be mapped to a similar content, and the user can view each image object in the virtual space 50. The image object 52 related to the desired image can be found out based on the positional relationship of the jett 52.
  • the entertainment system 10 reads out the position coordinates of each image object 52 with reference to the spatial database and determines their posture based on the position coordinates of the viewpoint 54. Each thumbnail image data is read out and mapped to the corresponding image object 52. Then, an image showing the viewing direction 56 from the viewpoint 54, that is, a spatial image is generated and displayed on the monitor 26.
  • Figure 5 shows an example of this spatial image. As shown in the figure, a large number of image objects 52 are displayed in the spatial image !, but the selection target image object 52a, which is a part of the image object 52a, is rendered with opaque and textured thumbnail image data. The remaining non-selection target image object 52b is rendered translucent and textured thumbnail image data.
  • a cursor image 58 is drawn around one of the selection target image objects 52a. This cursor image 58 is used to guide the user of the details display target, and when a detailed display operation is performed by pressing a predetermined button on the controller 42, the cursor image 58 is identified at that timing.
  • Original image data corresponding to the selection target image object 52 a is displayed on the monitor 32.
  • FIG. 6 shows how the image data is displayed in detail on the monitor 32 in this way.
  • the selection target image object 52a is rendered opaque and the non-selection target image object 52b is rendered translucent.
  • a visual field range having a quadrangular pyramid shape that is set in front of the viewpoint 54, that is, in the line-of-sight direction 54 is set.
  • a perspective value indicating the perspective between each image object 52 and the viewpoint 54 within this visual field range is generated.
  • the perspective value the position of each image object 52 as viewed from the viewpoint 54
  • the depth value of the table position that is, the Z value in the viewpoint coordinate system (the coordinate system with the viewpoint 54 as the origin and the line-of-sight direction 56 as the Z axis) is used.
  • the image object 52 arranged at a position having the Z value in the predetermined first range these are set as the selection target image object 52a, and the Z value in the second range larger than that range is set.
  • the image objects 52 arranged at the positions having the same are set as non-selection target image objects 52b.
  • these non-selection target image objects 52b are rendered translucent and spatial images.
  • the distance between the viewpoint 54 and each image object may be used as the perspective value.
  • FIG. 7 shows a state in which the lateral force in the visual field range is also viewed in the virtual space 50.
  • white circles indicate the positions of the image objects 52.
  • a field of view 60 having a quadrangular pyramid shape is set in front of the viewpoint 54, that is, the line-of-sight direction 56.
  • the field of view 60 further includes a spatial region 50a having a Z value of 0 or more and less than Z1. This includes a spatial region 50b having a Z value of Z1 or more and less than Z2, and a spatial region 50c having a Z value of Z2 or more and less than Z3.
  • the image object 52 arranged in the space area 50a is drawn completely transparent, the image object 52 arranged in the space area 50b is selected as the selection target image object 52a, and they are drawn opaque. Further, the image object 52 arranged in the space area 50c is selected as the non-selection target image object 52b, and they are rendered translucent.
  • the entertainment system 10 holds the translucency function shown in FIG. Then, with respect to the image object 52 within the visual field range 60, the perspective value with respect to the viewpoint 54, that is, the Z value, is obtained, and the translucency corresponding to the Z value is obtained from the same function.
  • Z value power ⁇ or more and less than Z1 is associated with Z value power ⁇ or more and less than Z1
  • 1.0 translucency that is, opaqueness
  • Z value power 3 ⁇ 42 or more is associated with translucency that gradually approaches 0.5 from zero as the Z value increases (away from viewing point 54).
  • a Z value of 0 or more and less than Z1 may be associated with a semi-transparency of zero or more and less than 1, and the image object 52 at a position having a Z value in that range may be rendered semi-transparently. .
  • FIG. 9 is an operation flow diagram of the present entertainment system 10. The process shown in the figure is It is executed every predetermined time (for example, every 1Z60 seconds), and is realized by executing the image browsing program stored in the optical disc 32 by the entertainment system 10.
  • the entertainment system 10 first determines the position of the viewpoint 54 and the line-of-sight direction 56 according to the operation signal input from the controller 42 (S101).
  • the position of the viewpoint 54 and the line-of-sight direction 56 are determined based on the position of the previous viewpoint 54 and the line-of-sight direction 56 so as to gradually change the position and posture.
  • the translucency ( ⁇ value) of the image object 52 in the visual field range 60 is determined according to the function shown in FIG. 8 (S 105). Then, using the translucency determined in this manner, a state in which the image object 52 in the visual field range 60 is viewed from the viewpoint 54 is drawn as a spatial image in the frame buffer in the image processing unit 24 (S106). At this time, a cursor image 58 for identifying one of the selection target image objects 52a having a Z value of Z1 or more and less than Z2 is also drawn in the frame buffer.
  • the selection target image object 52a and the non-selection target image object 52b are selected from the image objects 52 within the visual field range 60 according to the perspective value indicating the perspective between the viewpoint 54 and each image object 52.
  • the selection target image object 52a is opaque and represented as a spatial image
  • the non-selection target image object 52b is semitransparent and represented as a spatial image. For this reason, the image object at a position away from the viewpoint 54 by an appropriate distance is highlighted, and the user can select a desired image object from among the many image objects 52 arranged in the virtual space 50. 52 can be found easily.
  • the image object 52 identified by the cursor image 58 is selected from the selection target image objects 52a selected based on the perspective value in accordance with the cursor movement operation by the user. So the user can quickly specify the target of the detail display
  • FIG. 10 (a) shows a spatial image in which the viewpoint 54 is moving in this modification
  • FIG. 10 (b) shows a spatial image after the viewpoint 54 has stopped for a predetermined time.
  • the viewpoint 54 is moving, the image object 52 overlaps in the spatial image.
  • the viewpoint 54 stops for a predetermined time or longer the image object 52 does not overlap in the spatial image. For this reason, the user can confirm the contents of all the image objects 52 with the spatial image power.
  • the object rearrangement routine shown in FIG. 11 may be executed in parallel with the processing of FIG.
  • this routine it is first monitored whether or not the viewpoint 54 has stopped for a predetermined time (S201).
  • the viewpoint 54 stops for a predetermined time the image objects 62 within the visual field range 60 are rearranged so as not to overlap each other as viewed from the viewpoint 54 (S202).
  • the selection target image object 52a in the region 50b may be rearranged with priority.
  • S203 when an operation for moving the viewpoint 54 is performed by the controller 42 (S203), a process of returning the image object 62 to the original position, that is, the position stored in the spatial database is executed (S204).
  • the image object 52 related to the image data having relevance is Their initial positions (referred to as “degenerate positions”) are determined so that they are aligned in a row, and they may be arranged in a concentrated manner. Then, when the viewpoint approaches a group of the image objects 52 arranged in a concentrated manner, they are dispersed and moved to a predetermined development position.
  • an image object group 62 composed of image objects 52 related to image data having relevance is arranged. Then, when any image object group 62 is located in front of the viewpoint 54, that is, in the line-of-sight direction 56, and the distance between the viewpoint 54 and the image object group 62 is less than a predetermined distance, the images constituting the image object group 62 are displayed. Object 52 begins to move.
  • FIG. 13 shows the change of the aerial image in this modification.
  • the image object group 62a is configured according to the distance between the image object group 62a and the viewpoint 54 as shown in FIG.
  • Each image object 52 to be moved gradually moves away from the original position (degenerate position).
  • the image objects 52 constituting the image object group 62a are arranged at the development positions. Note that here, only for the image object group 62a positioned in front of the viewpoint 54, each of the image objects 52 constituting the image object group 52a is arranged in a force space image in which the contracted position force is also moved to the expanded position. Similarly, the image object group 62b displayed on the image object 52 may be moved to the unfolded position for each of the image objects 52 constituting the image object group 62b.
  • an image group ID that identifies the image object group 62 an image ID that is identification information of the image object 52 that constitutes the image object group 62, and each image
  • the thumbnail image data of the object 52, the original image data, the reduced position and the developed position may be stored in association with each other.
  • the object expansion / recovery process shown in FIG. 15 may be executed together.
  • the position of the image object group 62 (for example, the position of the image object 52 constituting the image object group 62 closest to the viewpoint 54) and The distance from the viewpoint 54 is calculated (S302).
  • interpolation parameters of 0 or more and 1 or less are calculated according to the distance thus calculated (S303).
  • the interpolation parameter is calculated so that it is 1 when the calculated distance is the predetermined first distance, decreases as the distance decreases, and becomes 0 when the predetermined second distance is shorter than the first distance. That's fine.
  • the degenerate position and the developed position are read from the spatial database in FIG. 14, and are interpolated using the interpolation parameters calculated in S303.
  • the position of each image object 52 is calculated.
  • the position of the image object 52 is the degenerate position in the case of the interpolation parameter force.
  • the position of the image object 52 takes the developed position. In this way, as the distance from the viewpoint 54 decreases, the image object 52 constituting the image object group 62 ahead moves to the development position.
  • the position of the image object 54 positioned in front of the viewpoint 54 in the virtual space 50 is set to another position depending on the situation of the viewpoint 54, such as whether or not the force is moving. If moved, the content of the spatial image changes according to the situation of the viewpoint 54, and the user can more easily find a desired image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

 ユーザが所望の画像を容易に見つけることができる画像閲覧装置を提供する。  ユーザによる視点移動操作に従って、1以上の画像オブジェクト(52)が配置された仮想空間(50)における視点(54)の位置を移動させる視点位置移動手段と、視点(54)の位置と各画像オブジェクト(52)の位置との遠近を示す遠近値を取得する遠近値取得手段と、前記遠近値取得手段により取得される前記各遠近値に基づいて、各画像オブジェクト(52)の半透明度を決定する半透明度決定手段と、半透明度決定手段により決定される各画像オブジェクト(52)の半透明度に従って、視点(54)の位置から仮想空間(50)を見た様子を示す空間画像を生成する空間画像生成手段と、前記空間画像生成手段により生成される前記空間画像を表示する空間画像表示手段と、を含む。

Description

明 細 書
画像閲覧装置、コンピュータの制御方法及び情報記憶媒体
技術分野
[0001] 本発明は画像閲覧装置、コンピュータの制御方法及び情報記憶媒体に関し、特に
、仮想空間に配置された画像を閲覧する画像閲覧装置、コンピュータの制御方法及 び情報記憶媒体に関する。
背景技術
[0002] コンピュータ上の仮想空間に複数の画像をそれらの関連性に従って配置して、ュ 一ザの操作に従って仮想空間を移動する視点から、視線方向を見た様子をモニタに 表示する技術が知られている(例えば下記特許文献 1)。こうした技術によれば、ユー ザは視点を移動させ、モニタの表示を更新させていくことで、所望の画像を見つけだ すことができる。
特許文献 1 :特開 2004— 30122号公報
発明の開示
発明が解決しょうとする課題
[0003] しかしながら、上記背景技術によると、仮想空間に膨大な数の画像が配置されると 、モニタにも多数の画像が表示され、ユーザは所望の画像を見つけるのが困難とな る。
[0004] 本発明は上記課題に鑑みてなされたものであって、その目的は、ユーザが所望の 画像を容易に見つけることができる画像閲覧装置、コンピュータの制御方法及び情 報記憶媒体を提供することにある。
課題を解決するための手段
[0005] 上記課題を解決するために、本発明に係る画像閲覧装置は、ユーザによる視点移 動操作に従って、 1以上の画像オブジェクトが配置された仮想空間における視点の 位置を移動させる視点位置移動手段と、前記視点の位置と前記各画像オブジェクト の位置との遠近を示す遠近値を取得する遠近値取得手段と、前記遠近値取得手段 により取得される前記各遠近値に基づ ヽて、前記各画像オブジェクトの半透明度を 決定する半透明度決定手段と、前記半透明度決定手段により決定される前記各画 像オブジェ外の半透明度に従って、前記視点の位置から前記仮想空間を見た様子 を示す空間画像を生成する空間画像生成手段と、前記空間画像生成手段により生 成される前記空間画像を表示する空間画像表示手段と、を含むことを特徴とする。
[0006] また、本発明の一態様では、前記 1以上の画像オブジェクトのうち前記ユーザによ る詳細表示操作に応じて詳細表示される画像オブジェクトを識別表示する識別表示 手段と、前記ユーザによる対象変更操作に従って、前記識別表示される画像ォブジ クトを変更する識別表示変更手段と、前記遠近値取得手段により取得される前記 各遠近値に基づいて、前記 1以上の画像のうち、前記識別表示変更手段により前記 識別表示される画像オブジェクトの変更先を決定する識別表示変更先決定手段と、 をさらに含む。
[0007] また、本発明の一態様では、前記半透明度決定手段は、前記遠近値が所定の第 1 値未満である前記画像オブジェクトが透明に表示され、前記遠近値が前記第 1値以 上、所定の第 2値未満である前記画像オブジェクトが不透明に表示され、前記遠近 値が前記第 2値以上である前記画像オブジェクトが半透明に表示されるよう、前記各 画像オブジェクトの半透明度を決定する。
[0008] また、本発明の一態様では、前記仮想空間において前記視点の前方に位置する 前記画像オブジェクトの位置を移動させるオブジェクト位置移動手段をさらに含む。こ の態様では、前記オブジェクト移動手段は、前記画像オブジェクトの位置を、前記視 点から見た他の前記画像オブジェクトとの重なりを小さくするよう移動させるようにして よい。また前記オブジェクト位置移動手段は、前記視点の状況に応じて、前記画像ォ ブジエタトの位置を移動させてよ 、。
[0009] また、本発明に係るコンピュータの制御方法は、ユーザによる視点移動操作に従つ て、 1以上の画像オブジェクトが配置された仮想空間における視点の位置を移動させ る視点位置移動ステップと、前記視点の位置と前記各画像オブジェクトの位置との遠 近を示す遠近値を取得する遠近値取得ステップと、前記遠近値取得ステップで取得 される前記各遠近値に基づ!ヽて、前記各画像オブジェクトの半透明度を決定する半 透明度決定ステップと、前記半透明度決定ステップで決定される前記各画像ォブジ ェタトの半透明度に従って、前記視点の位置から前記仮想空間を見た様子を示す空 間画像を生成する空間画像生成ステップと、前記空間画像生成ステップで生成され る前記空間画像を表示する空間画像表示ステップと、を含むことを特徴とする。
[0010] また、本発明に係る情報記憶媒体は、ユーザによる視点移動操作に従って、 1以上 の画像オブジェクトが配置された仮想空間における視点の位置を移動させる視点位 置移動手段、前記視点の位置と前記各画像オブジェクトの位置との遠近を示す遠近 値を取得する遠近値取得手段、前記遠近値取得手段により取得される前記各遠近 値に基づいて、前記各画像オブジェクトの半透明度を決定する半透明度決定手段、 前記半透明度決定手段により決定される前記各画像オブジェクトの半透明度に従つ て、前記視点の位置から前記仮想空間を見た様子を示す空間画像を生成する空間 画像生成手段、及び前記空間画像生成手段により生成される前記空間画像を表示 する空間画像表示手段としてコンピュータを機能させるためのプログラムを記憶した 情報記憶媒体である。プログラムは、例えば CD— ROMや DVD— ROM等のコンビ ユータ読み取り可能な情報記憶媒体に格納されてよい。
図面の簡単な説明
[0011] [図 1]本発明の実施形態に係るエンタテインメントシステム (画像閲覧装置)のハード ウエア構成図である。
[図 2]MPUの詳細構成図である。
[図 3]仮想空間の一例を示す図である。
[図 4]空間データベースの記憶内容を模式的に示す図である。
[図 5]モニタに表示される空間画像の一例を示す図である。
[図 6]モニタに表示される詳細画像の一例を示す図である。
[図 7]空間画像の生成方法を説明する図である。
[図 8]各画像オブジェクトの代表点の Z値と a値との関係を示す図である。
[図 9]本発明の実施形態に係るエンタテインメントシステムの動作フロー図である。
[図 10]モニタに表示される空間画像の他の例を示す図である。
[図 11]オブジェクト再配置処理を示すフロー図である。
[図 12]仮想空間の他の例を示す図である。 [図 13]モニタに表示される空間画像のさらに他の例を示す図である。
[図 14]変形例に係る空間データベースの記憶内容を模式的に示す図である。
[図 15]オブジェクト展開'復帰処理を示すフロー図である。
発明を実施するための最良の形態
[0012] 以下、本発明の一実施形態について図面に基づき詳細に説明する。
[0013] 図 1は、本実施形態に係るエンタテインメントシステム (画像閲覧装置)のハードゥエ ァ構成を示す図である。同図に示すように、エンタテインメントシステム 10は、 MPU ( Micro Processing Unit) 11と、メインメモリ 20と、画像処理部 24と、モニタ 26と、入出 力処理部 28と、音声処理部 30と、スピーカ 32と、光ディスク読み取り部 34と、光ディ スク 36と、ハードディスク 38と、インタフェース(I/F) 40, 44と、コントローラ 42と、力 メラユニット 46と、ネットワークインタフェース 48と、を含んで構成されるコンピュータシ ステムである。
[0014] 図 2は、 MPU 11の構成を示す図である。同図に示すように、 MPU11は、メインプ 口セッサ 12と、サブプロセッサ 14a, 14b, 14c, 14d, 14e, 14f, 14g, 14hと、ノ ス 1 6と、メモリコントローラ 18と、インタフェース (IZF) 22と、を含んで構成される。
[0015] メインプロセッサ 12は、図示しない ROM (Read Only Memory)に記憶されるォペレ 一ティングシステム、例えば DVD (Digital Versatile Disk)—ROM等の光ディスク 36 力 読み出されるプログラム及びデータや、通信ネットワークを介して供給されるプロ グラム及びデータ等に基づいて、各種情報処理を行ったり、サブプロセッサ 14a乃至 14hに対する制御を行ったりする。
[0016] サブプロセッサ 14a乃至 14hは、メインプロセッサ 12からの指示に従って、各種情 報処理を行ったり、エンタテインメントシステム 10の各部を、例えば DVD— ROM等 の光ディスク 36から読み出されるプログラム及びデータや、通信ネットワークを介して 供給されるプログラム及びデータ等に基づいて制御したりする。
[0017] バス 16は、アドレス及びデータをエンタテインメントシステム 10の各部でやり取りす るためのものである。メインプロセッサ 12、サブプロセッサ 14a乃至 14h、メモリコント口 ーラ 18、インタフェース 22は、ノ ス 16を介して相互にデータ授受可能に接続される。
[0018] メモリコントローラ 18は、メインプロセッサ 12及びサブプロセッサ 14a乃至 14hから の指示に従って、メインメモリ 20へのアクセスを行う。メインメモリ 20には、光ディスク 3 6やハードディスク 38から読み出されたプログラム及びデータや、通信ネットワークを 介して供給されたプログラム及びデータが必要に応じて書き込まれる。メインメモリ 20 はメインプロセッサ 12やサブプロセッサ 14a乃至 14hの作業用としても用いられる。
[0019] インタフェース 22には画像処理部 24及び入出力処理部 28が接続される。メインプ 口セッサ 12及びサブプロセッサ 14a乃至 14hと、画像処理部 24又は入出力処理部 2 8と、の間のデータ授受はインタフェース 22を介して行われる。
[0020] 画像処理部 24は、 GPU (Graphical Processing Unit)とフレームバッファとを含んで 構成される。 GPUは、メインプロセッサ 12やサブプロセッサ 14a乃至 14hから供給さ れる画像データに基づ 、てフレームバッファに各種画面を描画する。フレームバッフ ァに形成された画面は、所定のタイミングでビデオ信号に変換されてモニタ 26に出 力される。なお、モニタ 26には例えば家庭用テレビ受像機が用いられる。
[0021] 入出力処理部 28には、音声処理部 30、光ディスク読み取り部 34、ハードディスク 3 8、インタフェース 40,44が接続される。入出力処理部 28は、メインプロセッサ 12及び サブプロセッサ 14a乃至 14hと、音声処理部 30、光ディスク読み取り部 34、ハードデ イスク 38、インタフェース 40,44、ネットワークインタフェース 48と、の間のデータ授受 を制御する。
[0022] 音声処理部 30は、 SPU (Sound Processing Unit)とサウンドバッファとを含んで構成 される。サウンドバッファには、光ディスク 36ゃノヽードディスク 38から読み出されたゲ ーム音楽、ゲーム効果音やメッセージなどの各種音声データが記憶される。 SPUは 、これらの各種音声データを再生してスピーカ 32から出力させる。なお、スピーカ 32 には例えば家庭用テレビ受像機の内蔵スピーカが用 ヽられる。
[0023] 光ディスク読み取り部 34は、メインプロセッサ 12及びサブプロセッサ 14a乃至 14h 力もの指示に従って、光ディスク 36に記憶されたプログラムやデータを読み取る。な お、エンタテインメントシステム 10は、光ディスク 36以外の他のコンピュータ読み取り 可能な情報記憶媒体に記憶されたプログラムやデータを読み取り可能に構成しても よい。
[0024] 光ディスク 36は例えば DVD— ROM等の一般的な光ディスク(コンピュータ読み取 り可能な情報記憶媒体)である。また、ハードディスク 38は一般的なハードディスク装 置である。光ディスク 36やハードディスク 38には各種プログラムやデータがコンビュ ータ読み取り可能に記憶される。
[0025] インタフェース(IZF) 40, 44は、コントローラ 42やカメラユニット 46等の各種周辺 機器を接続するためのインタフェースである。このようなインタフェースとしては、例え ば USB (Universal Serial Bus)インタフェースが用いられる。
[0026] コントローラ 42は汎用操作入力手段であり、ユーザが各種操作 (例えばゲーム操作 )を入力するために用いられる。入出力処理部 28は、所定時間(例えば 1Z60秒)ご とにコントローラ 42の各部の状態をスキャンし、その結果を表す操作信号をメインプロ セッサ 12やサブプロセッサ 14a乃至 14hに供給する。メインプロセッサ 12やサブプロ セッサ 14a乃至 14hは、ユーザによって行われた操作の内容をその操作信号に基づ いて判断する。なお、エンタテインメントシステム 10は複数のコントローラ 42を接続可 能に構成されており、各コントローラ 42から入力される操作信号に基づいて、メインプ 口セッサ 12やサブプロセッサ 14a乃至 14hが各種処理を実行するようになっている。
[0027] カメラユニット 46は、例えば公知のデジタルカメラを含んで構成され、白黒、グレイ スケール又はカラーの撮影画像を所定時間(例えば 1Z60秒)ごとに入力する。本実 施の形態におけるカメラユニット 46は、撮影画像を JPEG (Joint Photographic Expert s Group)形式の画像データとして入力するようになっている。また、カメラユニット 46 は、例えばレンズをプレイヤに向けた状態でモニタ 26の上に設置され、ケーブルを 介してインタフェース 44に接続される。ネットワークインタフェース 48は入出力処理部 28とネットワーク 50とに接続されており、エンタテインメントシステム 10がネットワーク 5 0を介して他のエンタテインメントシステム 10とデータ通信するのを中継するようにな つている。
[0028] 以下、以上のハードウェア構成を有するエンタテインメントシステム 10を、多数の画 像を管理し、それらをユーザに閲覧させる画像閲覧装置として構成する方法にっ ヽ て説明する。
[0029] エンタテインメントシステム 10を画像閲覧装置として構成する場合、ハードディスク 3 8に多数の画像データが保存される。この画像データは、例えば光ディスク 36等の記 憶媒体力も読み取られたり、インターネット等の通信ネットワーク上の装置力もネットヮ 一クインタフエース 48を介してダウンロードされたり、カメラユニット 46により撮像され たりするものである。画像データは、様々な内容のものであってよぐユーザにより撮 影されたものであってもよいし、他人により撮影されたものであってもよい。或いは、ぺ イントソフトウェアにより作成されたものであってもよい。
[0030] 本実施形態では、これら多数の画像データについて、よりデータサイズの小さなサ ムネイル画像データが事前に作成されており、それらサムネイル画像データがそれぞ れテクスチャとしてマッピングされる多数の画像オブジェクトが配置される仮想空間が エンタテインメントシステム 10上に構築される。図 3は、この仮想空間の一例を示して いる。同図に示すように、仮想空間 50には多数の画像オブジェクト 52が配置されて いる。画像オブジェクト 52は、矩形のオブジェクトであり、後述するユーザが所持する 画像の縮小版であるサムネイル画像がテクスチャとしてマッピングされる。
[0031] また、仮想空間 50には視点 54も配置されており、この視点 54には視線方向 56が 設定されている。視点 54はコントローラ 42による操作に従って、仮想空間 50内を移 動できるようになっており、また視線方向 56もコントローラ 42による操作に従って、任 意の方向に設定できるようになつている。各画像オブジェクト 52の姿勢は、視点 54の 方向を向くようリアルタイムに決定されており、視点 54が移動すると、それに応じて各 画像オブジェクト 52の姿勢も変化するようになって 、る。
[0032] 図 4は、仮想空間 50の構成を記述する空間データベースの記憶内容を模式的に 示している。この空間データベースは、例えばノヽードディスク 38内に構築されるもの であり、画像データの識別情報である画像 ID、そのサムネイル画像データ、オリジナ ルの(元の)画像データ、及びその画像データに係る画像オブジェクト 52の仮想空間 50における位置座標を関連づけて記憶している。これらの情報は、ユーザによる閲 覧の対象となるすべての画像データについて用意され、空間データベースにより管 理される。
[0033] なお、仮想空間 50における各画像オブジェクト 52の位置座標は、各画像データの 属性に従って決定される。すなわち、画像データの内容 (使用される色情報、空間周 波数の情報、顔認識等の認識結果)や画像データの付属情報 (ファイルスタンプ、フ アイル名、画像データに関連する他の文書データの内容)に基づいて、各画像デー タの特徴を示す特徴ベクトルを求めて、この特徴ベクトルに従って該画像データに係 る画像オブジェクト 52の位置座標を決定すればよい。こうすれば、仮想空間 50にお いて、ある画像オブジェクト 52の近くに配置された画像オブジェクト 52ほど、似た内 容の画像がマッピングされるようにでき、ユーザは仮想空間 50における各画像ォブ ジェタト 52の位置関係を頼りに、所望の画像に係る画像オブジェクト 52を探し出すこ とがでさる。
[0034] エンタテインメントシステム 10では、空間データベースを参照して、各画像オブジェ タト 52の位置座標を読み出すとともに、視点 54の位置座標に基づいて、それらの姿 勢を決定する。また、各サムネイル画像データを読みだし、それを対応する画像ォブ ジェタト 52にマッピングする。そして、視点 54から視線方向 56を見た様子を示す画 像、すなわち空間画像を生成し、モニタ 26により表示する。図 5は、この空間画像の 一例を示している。同図に示すように、空間画像には、多数の画像オブジェクト 52が 表示されて!、るが、その一部である選択対象画像オブジェクト 52aは不透明でテクス チヤであるサムネイル画像データが描画されており、残りである非選択対象画像ォブ ジェタト 52bは半透明でテクスチャであるサムネイル画像データが描画されて 、る。そ して、選択対象画像オブジェクト 52aの 1つの周囲にカーソル画像 58が描画されてい る。このカーソル画像 58は、詳細表示の対象をユーザに案内するものであり、コント口 ーラ 42の所定のボタンを押下して詳細表示操作を行うと、そのタイミングでカーソル 画像 58により識別されている選択対象画像オブジェクト 52aに対応するオリジナルの 画像データがモニタ 32に表示されるようになっている。図 6は、このようにして画像デ ータがモニタ 32に詳細表示された様子を示して 、る。
[0035] 上述のように、モニタ 26により表示される空間画像において、選択対象画像ォブジ ェクト 52aは不透明で描画されており、非選択対象画像オブジェクト 52bは半透明で 描画されている。空間画像を生成する際、視点 54の位置を頂点とし、視点 54の前方 、すなわち視線方向 54に広がる四角錐状をなす視野範囲が設定される。そして、こ の視野範囲内の各画像オブジェクト 52と視点 54との遠近を示す遠近値が生成され る。以下では、この遠近値として、視点 54から見た、各画像オブジェクト 52の位置 (代 表位置)の奥行き値、すなわち視点座標系 (視点 54を原点とし、視線方向 56を Z軸と する座標系)における Z値を採用している。そして、所定の第 1の範囲の Z値を有する 位置に配置された画像オブジェクト 52につ 、ては、それらを選択対象画像オブジェ タト 52aとし、その範囲よりも大きい第 2の範囲の Z値を有する位置に配置された画像 オブジェクト 52については、それらを非選択対象画像オブジェクト 52bとしている。そ して、それらの非選択対象画像オブジェクト 52bにつ 、ては半透明で空間画像に描 画される。なお、遠近値として視点 54と各画像オブジェクトとの距離を用いてもよい。
[0036] 図 7は、仮想空間 50を視野範囲の側方力も見た様子を示している。同図において 、白丸は各画像オブジェクト 52の位置を示している。同図に示すように、視点 54の前 方、すなわち視線方向 56には四角錐状をなす視野範囲 60が設定されており、視野 範囲 60は、さらに Z値が 0以上 Z1未満の空間領域 50a、 Z値が Z1以上 Z2未満の空 間領域 50b、 Z値が Z2以上 Z3未満の空間領域 50cを含んでいる。そして、空間領域 50a内に配置された画像オブジェクト 52は完全透明で描画され、空間領域 50b内に 配置された画像オブジェクト 52は選択対象画像オブジェクト 52aに選ばれるとともに 、それらは不透明で描画される。また、空間領域 50c内に配置された画像オブジェク ト 52は非選択対象画像オブジェクト 52bに選ばれるとともに、それらは半透明で描画 される。このように、視野範囲 60内の各画像オブジェクト 52の半透明度を変化させる ために、エンタテインメントシステム 10では、メインメモリ 20に図 8に示す半透明度関 数を保持している。そして、視野範囲 60内の画像オブジェクト 52について、視点 54 との遠近値、すなわち Z値を取得して、その Z値に対応する半透明度(ひ値)を同関 数から取得している。同図に示すように、 Z値力 ^以上 Z1未満には、零の半透明度、 すなわち完全透明が対応づけられ、 Z値が Z1以上 Z2未満には、 1. 0の半透明度、 すなわち不透明が対応づけられ、 Z値力 ¾2以上には、 Z値が増加するに従って (視 点 54から離れるに従って) 0. 5から零に徐々に近づく半透明度が対応づけられてい る。なお、 Z値が 0以上 Z1未満に、零以上 1未満の半透明度を対応づけて、その範囲 の Z値を有する位置の画像オブジェクト 52につ 、ても、半透明で描画するようにして よい。
[0037] 図 9は、本エンタテインメントシステム 10の動作フロー図である。同図に示す処理は 所定時間毎 (例えば 1Z60秒毎)に実行されるものであり、光ディスク 32に格納され た画像閲覧プログラムをエンタテインメントシステム 10で実行することにより実現され るものである。
[0038] 同図に示すように、まずエンタテインメントシステム 10は、視点 54の位置及び視線 方向 56を、コントローラ 42から入力される操作信号に従って決定する(S101)。視点 54の位置及び視線方向 56は、直前の視点 54の位置及び視線方向 56に基づいて、 徐々に位置及び姿勢を変化するようにして決定される。
[0039] 次に、仮想空間 50内のすべての画像オブジェクト 52について、視点 54の位置及 び空間データベース力も読み出される各画像オブジェクト 52の位置に基づいて、そ れらの姿勢を決定する(S 102)。この際、こうして決定される各画像オブジェクト 52の 姿勢に従って、各画像オブジェクト 52の各頂点の座標が算出される。そして、それら の座標を視点座標系に変換するとともに(S 103)。視野範囲 60から外れる画像ォブ ジェタト 52を処理対象から除外する。また、視野範囲 60の縁を跨ぐ画像オブジェクト 52につ!/、てはクリッピング処理を施す(S104)。
[0040] その後、視野範囲 60内の画像オブジェクト 52について、図 8に示す関数に従って 、半透明度(α値)を決定する(S 105)。そして、こうして決定される半透明度を用い て、視野範囲 60内の画像オブジェクト 52を視点 54から見た様子を空間画像として画 像処理部 24内のフレームバッファに描画する(S106)。このとき、 Z値が Z1以上 Z2 未満である選択対象画像オブジェクト 52aのうちの 1つを識別するカーソル画像 58も 、フレームバッファに描画する。
[0041] 次に、コントローラ 42により詳細表示操作が行われている力否かを判断する(S107 ) oそして、行われていればカーソル画像 58により識別されている選択対象画像ォブ ジェタト 52aのオリジナルの画像データを空間データベース力も読みだし、それをモ ユタ 26により大きく表示する。その後、コントローラ 42により詳細表示を停止させる操 作が行われているか否かを監視する、そのような操作が行われれば、 S 110の処理に 進む。また、 S 107で詳細表示操作が行われていないと判断された場合には、 S108 及び S 109の処理をスキップする。
[0042] S110では、コントローラ 42によりカーソル画像 58を移動させる操作がされたか否か を判断する。そして、そのような操作が行われていれば、操作内容に従ってカーソル 画像 58を他の選択対象画像オブジェクト 52の位置に、該他の選択対象画像ォブジ ェクト 52を識別するよう移動させ、 S101の処理に戻る。また、 S110で、カーソル画像 58を移動させる操作がされて 、な 、と判断された場合には、 SI 11の処理をスキップ して、 S101の処理に戻る。
[0043] 以上の実施形態によれば、視点 54と各画像オブジェクト 52との遠近を示す遠近値 に従って、視野範囲 60内の画像オブジェクト 52から選択対象画像オブジェクト 52a 及び非選択対象画像オブジェクト 52bを選出し、選択対象画像オブジェクト 52aにつ Vヽては不透明で空間画像に表し、非選択対象画像オブジェクト 52bにつ 、ては半透 明で空間画像に表している。このため、視点 54から適切な距離だけ離れた位置の画 像オブジェクトが強調表示されることになり、ユーザは、仮想空間 50に配置された多 数の画像オブジェクト 52の中から、所望の画像オブジェクト 52を容易に見つけられる ようになる。
[0044] また、カーソル画像 58により識別される画像オブジェクト 52は、ユーザによるカーソ ル移動の操作に応じて、遠近値に基づ ヽて選出される選択対象画像オブジェクト 52 aの中から選択されるので、ユーザは、詳細表示の対象を素早く指定できるようになる
[0045] なお、本実施形態は種々の変形実施が可能である。
[0046] 例えば、ハードディスク 38に多数の画像データが記憶され、仮想空間 50に多数の 画像オブジェクト 52が配置された場合には、空間画像に多数の画像オブジェクト 52 の画像が含まれ、その多くが他の画像オブジェクト 52により一部又は全部が隠れるこ とになる。そこで、視点 54が移動中は、各画像オブジェクト 52は空間データベースに 記憶された位置に配置されたままにしておき、視点 54が所定時間以上停止すると、 モニタ 26に表示される空間画像において重畳を避けるよう、一部又は全部の画像ォ ブジェクト 52が、移動及び Z又は縮小され、再配置されるようにしてもよい。図 10 (a) は、この変形例において、視点 54が移動中の空間画像を示しており、同図(b)は、 視点 54が所定時間停止した後の空間画像を示している。これらの図に示すように、 視点 54の移動中は、空間画像において画像オブジェクト 52が重なっているのに対し て、視点 54が所定時間以上停止すると、空間画像において画像オブジェクト 52は重 ならない。このため、ユーザはすべての画像オブジェクト 52の内容を空間画像力も確 認できる。
[0047] この場合、図 9の処理にカ卩えて、図 11に示すオブジェクト再配置ルーチンを並行し て実行するようにすればよい。このルーチンでは、まず所定時間にわたり視点 54が 停止している力否かを監視する(S201)。そして、視点 54が所定時間にわたり停止 すると、視野範囲 60内の画像オブジェクト 62を、視点 54から見て相互に重ならない ように再配置する(S202)。この場合、領域 50bの選択対象画像オブジェクト 52aを 優先的に再配置してもよい。その後、視点 54を移動させる操作がコントローラ 42によ り行われると(S203)、画像オブジェクト 62を元の位置、すなわち空間データベース に記憶された位置に戻す処理が実行される (S204)。
[0048] 以上のようにすれば、空間画像を見ながら所望の画像オブジェクト 52の周辺に視 点 54を移動させ、そこで視点 54を停止させると、その前方の選択対象画像オブジェ タト 52aの内容が重なり無く空間画像に表されるようになり、ユーザはさらに容易に所 望の画像を見つけだすことができるようになる。
[0049] また、ハードディスク 38にさらに多数の画像データが記憶され、仮想空間 50にさら に多数の画像オブジェクト 52が配置された場合には、関連性を有する画像データに 係る画像オブジェクト 52については、一列に整列するよう、それらの初期位置(「縮退 位置」という。)が決定され、それらが集中配置されるようにすればよい。そして、視点 がそれら集中配置された画像オブジェクト 52の一群に接近した場合に、それらを分 散させ、所定の展開位置に移動させるようにすればょ 、。
[0050] この場合、仮想空間 50には、図 12に示すように、関連性を有する画像データに係 る画像オブジェクト 52からなる画像オブジェクト群 62が配置されることになる。そして 、視点 54の前方、すなわち視線方向 56にいずれかの画像オブジェクト群 62が位置 し、視点 54と画像オブジェクト群 62との距離が所定距離未満となると、画像オブジェ タト群 62を構成する各画像オブジェクト 52が移動を始める。図 13は、この変形例に おける空間画像の変化を示しており、視点 54がいずれかの画像オブジェクト群 62に 接近し、該画像オブジェクト群 62を視点 54の前方に位置させると、同図(a)に示すよ うにして、空間画像の中央に 1つの画像オブジェクト群 62aが表示されることになる。 その後、視点 54をさらに当該画像オブジェクト群 62aに接近させると、同図(b)に示 すようにして、画像オブジェクト群 62aと視点 54との距離に応じて、該画像オブジェク ト群 62aを構成する各画像オブジェクト 52が元の位置 (縮退位置)から次第に離れる 。そして、最終的には、同図(c)に示すように、画像オブジェクト群 62aを構成する各 画像オブジェクト 52はそれぞれの展開位置に配置される。なお、ここでは、視点 54の 前方に位置する画像オブジェクト群 62aにつ ヽてのみ、それを構成する各画像ォブ ジェタト 52を縮退位置力も展開位置に移動するようにした力 空間画像においてその 周囲に表示される画像オブジェクト群 62bについても、同様にして、それらを構成す る各画像オブジェクト 52を縮退位置力も展開位置に移動させてよい。
[0051] この変形例では、空間データベースに、図 14に示すように、画像オブジェクト群 62 を識別する画像グループ ID、画像オブジェクト群 62を構成する画像オブジェクト 52 の識別情報である画像 ID、各画像オブジェクト 52のサムネイル画像データ、オリジナ ルの画像データ、縮退位置及び展開位置を相互に関連づけて記憶させるようにすれ ばよい。
[0052] そして、図 9における S102の処理の際、図 15に示すオブジェクト展開 ·復帰処理を 併せて実行するようにすればよい。この処理では、まず視点 54の前方に画像ォブジ ェクト群 62が位置しているか否かを判断する(S301)。そして、そのような画像ォブジ ェクト群 62があれば、該画像オブジェクト群 62の位置(例えば該画像オブジェクト群 6 2を構成する画像オブジェクト 52のうち最も視点 54側に配置されているものの位置) と視点 54との距離を算出する(S302)。そして、こうして算出される距離に従って 0以 上 1以下の補間パラメータを算出する(S303)。例えば、算出される距離が所定の第 1距離の場合に 1となり、距離が縮まるにつれて減少し、第 1の距離よりも短い所定の 第 2距離の場合に 0となるよう、補間パラメータを算出すればよい。そして、 S301で特 定された画像オブジェクト群 62を構成する各画像オブジェクト 52について、図 14の 空間データベースから縮退位置及び展開位置を読みだし、それらを S303で算出さ れる補間パラメータを用いて補間することにより、各画像オブジェ外 52の位置を算出 する。この場合、補間パラメータ力 の場合に画像オブジェクト 52の位置は縮退位置 をとり、 0の場合に画像オブジェクト 52の位置は展開位置をとる。こうすれば、視点 54 との距離が縮まるにつれて、その前方の画像オブジェクト群 62を構成する画像ォブ ジ タト 52は展開位置に移動する。
[0053] 次に、視点 54の前方力 画像オブジェクト群 62が離れて、縮退位置に復帰中の、 該画像オブジェクト群 62を構成する画像オブジェクト 52があるか否かを判断する(S3 05)。そして、そのような画像オブジェクト 52があれば、補間パラメータを 1に近づけて 、該画像オブジェクト群 62を構成する画像オブジェクト 52の位置を縮退位置に近づ ける(S306)。こうすれば、時間経過とともに各画像オブジェクト 52は縮退位置に戻る
[0054] 以上のように、仮想空間 50において視点 54の前方に位置する画像オブジェクト 54 の位置を、移動中である力否かの別や位置等、視点 54の状況に応じて他の位置に 移動させるようにすれば、視点 54の状況によって空間画像の内容が変化するように なり、ユーザはさらに所望の画像を見つけやすくなる。

Claims

請求の範囲
[1] ユーザによる視点移動操作に従って、 1以上の画像オブジェクトが配置された仮想 空間における視点の位置を移動させる視点位置移動手段と、
前記視点の位置と前記各画像オブジェクトの位置との遠近を示す遠近値を取得す る遠近値取得手段と、
前記遠近値取得手段により取得される前記各遠近値に基づ ヽて、前記各画像ォブ ジェタトの半透明度を決定する半透明度決定手段と、
前記半透明度決定手段により決定される前記各画像オブジェクトの半透明度に従 つて、前記視点の位置から前記仮想空間を見た様子を示す空間画像を生成する空 間画像生成手段と、
前記空間画像生成手段により生成される前記空間画像を表示する空間画像表示 手段と、
を含むことを特徴とする画像閲覧装置。
[2] 請求の範囲第 1項に記載の画像閲覧装置において、
前記 1以上の画像オブジェクトのうち前記ユーザによる詳細表示操作に応じて詳細 表示される画像オブジェクトを識別表示する識別表示手段と、
前記ユーザによる対象変更操作に従って、前記識別表示される画像オブジェクトを 変更する識別表示変更手段と、
前記遠近値取得手段により取得される前記各遠近値に基づいて、前記 1以上の画 像のうち、前記識別表示変更手段により前記識別表示される画像オブジェクトの変更 先を決定する識別表示変更先決定手段と、
をさらに含むことを特徴とする画像閲覧装置。
[3] 請求の範囲第 1項又は第 2項に記載の画像閲覧装置において、
前記半透明度決定手段は、前記遠近値が所定の第 1値未満である前記画像ォブ ジェタトが透明に表示され、前記遠近値が前記第 1値以上、所定の第 2値未満である 前記画像オブジェクトが不透明に表示され、前記遠近値が前記第 2値以上である前 記画像オブジェクトが半透明に表示されるよう、前記各画像オブジェクトの半透明度 を決定する、 ことを特徴とする画像閲覧装置。
[4] 請求の範囲第 1項乃至第 3項のいずれかに記載の画像閲覧装置において、
前記仮想空間にお!ヽて前記視点の前方に位置する前記画像オブジェクトの位置を 移動させるオブジェクト位置移動手段をさらに含む、
ことを特徴とする画像閲覧装置。
[5] 請求の範囲第 4項に記載の画像閲覧装置において、
前記オブジェクト移動手段は、前記画像オブジェクトの位置を、前記視点から見た 他の前記画像オブジェクトとの重なりを小さくするよう移動させる、
ことを特徴とする画像閲覧装置。
[6] 請求の範囲第 4項又は第 5項に記載の画像閲覧装置において、
前記オブジェクト位置移動手段は、前記視点の状況に応じて、前記画像オブジェク トの位置を移動させる、
ことを特徴とする画像閲覧装置。
[7] ユーザによる視点移動操作に従って、 1以上の画像オブジェクトが配置された仮想 空間における視点の位置を移動させる視点位置移動ステップと、
前記視点の位置と前記各画像オブジェクトの位置との遠近を示す遠近値を取得す る遠近値取得ステップと、
前記遠近値取得ステップで取得される前記各遠近値に基づ!ヽて、前記各画像ォブ ジェタトの半透明度を決定する半透明度決定ステップと、
前記半透明度決定ステップで決定される前記各画像オブジェクトの半透明度に従 つて、前記視点の位置から前記仮想空間を見た様子を示す空間画像を生成する空 間画像生成ステップと、
前記空間画像生成ステップで生成される前記空間画像を表示する空間画像表示 ステップと、
を含むことを特徴とするコンピュータの制御方法。
[8] ユーザによる視点移動操作に従って、 1以上の画像オブジェクトが配置された仮想 空間における視点の位置を移動させる視点位置移動手段、
前記視点の位置と前記各画像オブジェクトの位置との遠近を示す遠近値を取得す る遠近値取得手段、
前記遠近値取得手段により取得される前記各遠近値に基づ ヽて、前記各画像ォブ ジェタトの半透明度を決定する半透明度決定手段、
前記半透明度決定手段により決定される前記各画像オブジェクトの半透明度に従 つて、前記視点の位置から前記仮想空間を見た様子を示す空間画像を生成する空 間画像生成手段、及び
前記空間画像生成手段により生成される前記空間画像を表示する空間画像表示 手段
としてコンピュータを機能させるためのプログラムを記憶した情報記憶媒体。
PCT/JP2007/057765 2006-04-21 2007-04-06 画像閲覧装置、コンピュータの制御方法及び情報記憶媒体 WO2007123009A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US12/297,390 US8711169B2 (en) 2006-04-21 2007-04-06 Image browsing device, computer control method and information recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006-117985 2006-04-21
JP2006117985A JP2007293429A (ja) 2006-04-21 2006-04-21 画像閲覧装置、コンピュータの制御方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2007123009A1 true WO2007123009A1 (ja) 2007-11-01

Family

ID=38624915

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/057765 WO2007123009A1 (ja) 2006-04-21 2007-04-06 画像閲覧装置、コンピュータの制御方法及び情報記憶媒体

Country Status (3)

Country Link
US (1) US8711169B2 (ja)
JP (1) JP2007293429A (ja)
WO (1) WO2007123009A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102385438A (zh) * 2010-08-31 2012-03-21 索尼公司 信息处理设备,信息处理方法和程序
CN104679432A (zh) * 2015-03-04 2015-06-03 成都品果科技有限公司 一种基于移动端浏览器跨平台人机交互浏览图片的方法
JP6025280B1 (ja) * 2015-12-28 2016-11-16 株式会社タッグ 3次元画像生成サーバ、電子カタログ表示装置、3次元画像表示システム、3次元画像表示方法および3次元画像表示プログラム

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009230502A (ja) * 2008-03-24 2009-10-08 Ricoh Co Ltd 画像情報配置装置
JP2010117973A (ja) * 2008-11-14 2010-05-27 Sony Corp 情報処理装置、画像表示方法およびコンピュータプログラム
JP4787887B2 (ja) * 2009-04-13 2011-10-05 株式会社Tbsテレビ デジタルコンテンツを検索するためのシステム及びこれを用いた検索方法
JP4585597B1 (ja) * 2009-06-29 2010-11-24 株式会社東芝 表示処理装置、プログラムおよび表示処理方法
JP4897025B2 (ja) * 2009-10-07 2012-03-14 株式会社東芝 表示処理装置、表示処理方法、およびプログラム
US9699351B2 (en) * 2010-09-29 2017-07-04 Apple Inc. Displaying image thumbnails in re-used screen real estate
JP5565331B2 (ja) * 2011-01-28 2014-08-06 コニカミノルタ株式会社 表示システム、表示処理装置、表示方法、および表示プログラム
US9703444B2 (en) * 2011-03-31 2017-07-11 Microsoft Technology Licensing, Llc Dynamic distribution of client windows on multiple monitors
JP6143469B2 (ja) * 2013-01-17 2017-06-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
CN103279187B (zh) * 2013-05-09 2018-05-04 西安电子科技大学 一种用于构建多场景虚拟全景空间的方法及智能终端
JP6343893B2 (ja) * 2013-09-27 2018-06-20 株式会社リコー 表示制御装置、表示制御システム、表示制御方法及びプログラム
JP7346066B2 (ja) * 2019-04-19 2023-09-19 キヤノンメディカルシステムズ株式会社 医用情報処理装置及び医用情報処理方法
US12028507B2 (en) * 2021-03-11 2024-07-02 Quintar, Inc. Augmented reality system with remote presentation including 3D graphics extending beyond frame
JP7352603B2 (ja) * 2021-09-28 2023-09-28 株式会社Cygames 情報処理装置、プログラム及び描画方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10307936A (ja) * 1997-05-09 1998-11-17 Sharp Corp データの表示方法
JP2001143099A (ja) * 1999-11-18 2001-05-25 Namco Ltd 画像生成システム及び情報記憶媒体
JP2004030122A (ja) * 2002-06-25 2004-01-29 Fujitsu Ltd 図面検索支援装置および図面検索方法
JP2006107170A (ja) * 2004-10-06 2006-04-20 Matsushita Electric Ind Co Ltd 3次元guiを用いた情報選択装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3764070B2 (ja) * 2001-06-07 2006-04-05 富士通株式会社 オブジェクト表示プログラムおよびオブジェクト表示装置
JP4355512B2 (ja) * 2003-04-17 2009-11-04 任天堂株式会社 画像処理装置および画像処理プログラム
WO2006125133A2 (en) * 2005-05-19 2006-11-23 Hillcrest Laboratories, Inc. Global navigation objects in user interfaces
US7671867B2 (en) * 2006-05-08 2010-03-02 Schlumberger Technology Corporation Method for locating underground deposits of hydrocarbon including a method for highlighting an object in a three dimensional scene

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10307936A (ja) * 1997-05-09 1998-11-17 Sharp Corp データの表示方法
JP2001143099A (ja) * 1999-11-18 2001-05-25 Namco Ltd 画像生成システム及び情報記憶媒体
JP2004030122A (ja) * 2002-06-25 2004-01-29 Fujitsu Ltd 図面検索支援装置および図面検索方法
JP2006107170A (ja) * 2004-10-06 2006-04-20 Matsushita Electric Ind Co Ltd 3次元guiを用いた情報選択装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102385438A (zh) * 2010-08-31 2012-03-21 索尼公司 信息处理设备,信息处理方法和程序
CN104679432A (zh) * 2015-03-04 2015-06-03 成都品果科技有限公司 一种基于移动端浏览器跨平台人机交互浏览图片的方法
CN104679432B (zh) * 2015-03-04 2018-01-30 成都品果科技有限公司 一种基于移动端浏览器跨平台人机交互浏览图片的方法
JP6025280B1 (ja) * 2015-12-28 2016-11-16 株式会社タッグ 3次元画像生成サーバ、電子カタログ表示装置、3次元画像表示システム、3次元画像表示方法および3次元画像表示プログラム
JP2017120612A (ja) * 2015-12-28 2017-07-06 株式会社タッグ 3次元画像生成サーバ、電子カタログ表示装置、3次元画像表示システム、3次元画像表示方法および3次元画像表示プログラム

Also Published As

Publication number Publication date
US20090303246A1 (en) 2009-12-10
JP2007293429A (ja) 2007-11-08
US8711169B2 (en) 2014-04-29

Similar Documents

Publication Publication Date Title
WO2007123009A1 (ja) 画像閲覧装置、コンピュータの制御方法及び情報記憶媒体
EP3053145B1 (en) Generating augmented reality content for unknown objects
JP5592011B2 (ja) マルチスケール3次元配向
JP6392881B2 (ja) 応用素子の代替的グラフィック表示の事前の生成による入力に対する低レイテンシの視覚的応答およびグラフィック処理ユニットの入力処理
CN111803945B (zh) 界面渲染方法、装置、电子设备及存储介质
WO2010061661A1 (ja) 画像表示装置、画像表示方法及び情報記憶媒体
US20090262139A1 (en) Video image display device and video image display method
KR20140081840A (ko) 모션으로 제어되는 리스트 스크롤 방법
US11768576B2 (en) Displaying representations of environments
KR20120012698A (ko) 3차원 그래픽 기반 단말기에서 객체 렌더링 시 부가정보 합성 장치 및 방법
US20160239095A1 (en) Dynamic 2D and 3D gestural interfaces for audio video players capable of uninterrupted continuity of fruition of audio video feeds
JP4983793B2 (ja) 画像処理プログラムおよび画像処理装置
JP7384951B2 (ja) 遮られた物理的オブジェクトの位置を示すこと
JP5175794B2 (ja) 情報処理装置、情報処理方法、およびプログラム
KR20140078083A (ko) 증강 현실이 구현된 만화책
JPH0916315A (ja) 情報検索システム
JP7134558B2 (ja) 情報処理プログラム、情報処理装置、情報処理システムおよび情報処理方法
JP2000137834A (ja) 合成動画像生成装置および合成動画像生成方法
US20230065077A1 (en) Displaying a Rendered Volumetric Representation According to Different Display Modes
JP2000167241A (ja) 3次元コンピュータグラフィックスにより生成するゲーム映像上に注意喚起図案を表示する機能に特徴を有するビデオゲーム機およびプログラム記憶媒体
US20210096652A1 (en) Finger Orientation Touch Detection
JP3183636B2 (ja) 3次元ゲーム装置及び情報記憶媒体
JPH07271998A (ja) 立体表示方法および装置
JP2002251626A (ja) 画像の生成方法及びそれに用いるプログラム
JP2022539313A (ja) 仮想コンテンツのための仮想場所の選択

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07741201

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 12297390

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 07741201

Country of ref document: EP

Kind code of ref document: A1