WO2005032125A1 - パノラマ画像作成装置及びパノラマ画像撮影装置 - Google Patents

パノラマ画像作成装置及びパノラマ画像撮影装置 Download PDF

Info

Publication number
WO2005032125A1
WO2005032125A1 PCT/JP2004/012286 JP2004012286W WO2005032125A1 WO 2005032125 A1 WO2005032125 A1 WO 2005032125A1 JP 2004012286 W JP2004012286 W JP 2004012286W WO 2005032125 A1 WO2005032125 A1 WO 2005032125A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
still
screen
panoramic
still images
Prior art date
Application number
PCT/JP2004/012286
Other languages
English (en)
French (fr)
Inventor
Naofumi Nakazawa
Original Assignee
Sharp Kabushiki Kaisha
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Kabushiki Kaisha filed Critical Sharp Kabushiki Kaisha
Priority to US10/572,907 priority Critical patent/US20070103544A1/en
Priority to JP2005514165A priority patent/JP4180083B2/ja
Priority to EP04772242A priority patent/EP1667439A4/en
Publication of WO2005032125A1 publication Critical patent/WO2005032125A1/ja

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3876Recombination of partial images to recreate the original image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3877Image rotation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing

Definitions

  • a panoramic image is obtained by combining two captured images in the horizontal direction.
  • On the shooting operation screen shift the first shot image to the left and display the screen with the right part to be connected to the left part of the second image left on the shooting operation screen, A method of facilitating the photographing position of the second image, or a part of the entire image photographed on the first image is formed on the screen as in “Camera device and imaging method” described in Patent Document 2.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 5-142682
  • Patent Document 2 JP-A-11-75108
  • Patent Document 3 JP-A-2000-244814
  • a first technical means is a moving image processing device for generating a still image corresponding to each frame of a moving image in a movie image creating apparatus, and a plurality of the moving image processing devices created by the moving image processing device. Selecting means for selecting any two still images from the still images; and reducing or enlarging the two still images selected by the selecting means, respectively.
  • a two-screen image processing unit for arranging a part of each of the two still images so as to overlap each other and displaying the two still images as a two-screen image including two windows; Means for selecting a two-screen image to be a panoramic image from the two-screen images created by the means, and combining the two-screen image selected by the panoramic image selecting means into one image
  • a panoramic image processing means for creating a panoramic image the still image ⁇ ⁇ is the two-screen image
  • is an image display means for displaying the panoramic image on the screen
  • the still image and the Z or the panoramic image are displayed. It is characterized by having a storage medium for storing.
  • a fourth technical means is the panoramic image creating device according to any one of the first to third technical means, wherein the selecting means comprises a plurality of the still images created by the moving image processing means.
  • the plurality of still images are divided into a plurality of image candidate groups each having a predetermined number of frames and a number of still images.
  • the still images corresponding to the first frame of the divided image candidate group are sequentially and sequentially selected and displayed on the screen as the two-screen image by the two-screen image processing means, so that the still image close to the desired still image is displayed.
  • a screen is displayed as the two-screen image by a two-screen image processing means, and the panorama image selection means can select the two-screen image to be a panorama image.
  • Fifth technical means is the panoramic image creating apparatus according to any one of the first to fourth technical means, wherein the two-screen image processing means comprises two sheets selected by the selection means.
  • the two-screen image processing means comprises two sheets selected by the selection means.
  • the two images constituting the two-screen image are selected. It is characterized in that each position of a still image, or any one of the positions, can be moved or rotated in any direction of up, down, left, and right.
  • a seventh technical means is the panoramic image creation device according to any one of the first to sixth technical means, wherein the panoramic image processing means combines the two-screen image to generate the panoramic image.
  • the panorama image can be sequentially scrolled and created as a scroll image to be displayed on the screen on the image display means.
  • Eighth technical means includes photographing means for photographing a moving image, and further creates a still image corresponding to each frame of the moving image photographed by the photographing means, and generates the still image.
  • the panorama image creation device for creating a panorama image using a panorama image creation device having a panorama image creation means for creating a panorama image using the image and storing the panorama image in a recording medium includes the first to A panoramic image creation device according to any one of the seventh technical means is provided.
  • the present invention configured as described above, the following effects can be obtained. It is.
  • a means for obtaining a desired still image to be synthesized as a Vrama image a still image corresponding to each frame of a moving image is created, and two still images selected from the created still images are created. It is possible to reduce or enlarge the image and sequentially select the desired two still images to be combined as a panoramic image while sequentially displaying the two screen images in a single screen in two windows. It can be synthesized as a Vrama image, and a desired Vrama image can be easily obtained.
  • the scroll display is performed as a scroll image even if it is not possible. Can be confirmed without reducing the panoramic image.
  • an image to be combined with a Vrama image can be captured and acquired as a moving image using a moving image capturing means such as a camera.
  • the method can be simplified.
  • FIG. 1 is a block diagram showing a main part of a block configuration of a NO-rama image capturing apparatus according to the present invention.
  • FIG. 2 is a schematic diagram for explaining an example of a screen configuration method of a panorama image displayed on the image display unit in the panoramic image photographing apparatus according to the present invention.
  • FIG. 3 is a schematic diagram showing a state in which two still images are selected from a still image sequence corresponding to each frame of a moving image, and are arranged and displayed on the image display unit on the left and right sides.
  • FIG. 5 is a schematic diagram showing an example of a priority order for selecting arbitrary two still images to be combined with a panoramic image from a still image sequence.
  • Figure 6 When creating a panoramic image from a still image sequence corresponding to each frame of a moving image taken by a camera, two still images for creating a panoramic image are selected and both still images are created.
  • 9 is a flowchart illustrating an example of a first half of a processing procedure in the case of performing image alignment and creating a no-llama image.
  • FIG. 7 is a flowchart showing an example of a processing procedure of an intermediate part following the processing of FIG. 6.
  • FIG. 8 is a flowchart showing an example of a processing procedure of a latter half part subsequent to the processing of FIG. 6.
  • a panoramic image creation device includes a moving image processing unit that creates a still image corresponding to each frame of a moving image, and an arbitrary one of the still images created by the moving image processing unit.
  • a two-screen image processing means for creating a two-screen image to be displayed as a two-screen image composed of two windows, and two screens to be a panoramic image from the two-screen images sequentially created by the two-screen image processing means
  • Panorama image selecting means for selecting an image
  • panoramic image processing means for creating a panoramic image by combining the two-screen image selected by the panoramic image selecting means into one image
  • Image display means for displaying a still image, the two-screen image, or the panoramic image on a screen
  • a recording medium for storing the still image and the Z or the panoramic image.
  • the selection means may correspond to a top frame located at the top of the moving image among the still images created by the moving image processing means, as a still image to be displayed on one window of the screen.
  • a feature is that an arbitrary still image can be selected, so that a desired NOrama image can be obtained more easily.
  • the two-screen image processing means creates the two-screen image composed of the two still images selected by the selection means, and Z or the panoramic image selection means
  • the position of each of the two still images that compose the two-screen image, or one of the two positions can be set in any of the upper, lower, left, and right directions. In which the panoramic image can be obtained with higher accuracy.
  • the panoramic image processing means synthesizes the two-screen image to create a panoramic image
  • the panoramic image processing means performs a smoothing process on an overlapping portion of the two still images constituting the two-screen image.
  • the panoramic image can be sequentially scrolled and created as a scroll image to be displayed on the screen on the image display means, so that a highly accurate panoramic image can be obtained and the panoramic image can be reduced. You can check without doing.
  • the panoramic image photographing apparatus includes photographing means for photographing a moving image, and further creates still images corresponding to each frame of the moving image photographed by the photographing means.
  • the panoramic image photographing apparatus provided with a panoramic image creating means for creating a panoramic image using the obtained still image and storing the panoramic image in a recording medium, wherein the panoramic image creating means for creating a panoramic image is described above. It is characterized by having a panoramic image creating device as described above, thereby facilitating an image photographing method for obtaining an image for combining a llama.
  • FIG. 1 is a block diagram showing a main part of a block configuration of a novel llama image photographing apparatus according to the present invention.
  • each frame of the moving image photographed by the camera 1 as the photographing means is sequentially taken in and temporarily stored in the buffer memory 2.
  • the moving image processing unit 3 creates still images corresponding to each frame of the moving image, and stores them in the working memory 4 as a still image sequence arranged in time series.
  • two still images as candidates to be combined as a panoramic image are sequentially selected.
  • the two-screen image processing unit 5a of the image processing unit 5 a two-screen image for two-screen display including two windows for displaying two selected still images is created. Is displayed on the image display unit 7.
  • the left and right buttons 6b and 6c of the key input unit 6 constitute a selecting means for selecting any two still images from the still image sequence stored in the working memory 4.
  • the still images in the working memory 4 are sequentially selected and displayed on the image display unit 7 as a two-screen image, and should be a panoramic image.
  • the OK button 6a of the key input section 6 constituting the panoramic image selecting means for selecting a screen image two still images to be synthesized as a norama image are selected.
  • the selected two still images are combined as a single llama image in the panoramic image processing unit 5b of the image processing unit 5 and displayed on the screen of the image display unit 7 and checked by the operator.
  • the synthesized panoramic image is stored in the recording medium 8.
  • a key operation (not shown) of the key input unit 6 causes the two-screen image processing unit 5a of the image processing unit 5 to perform panorama image processing as a still image to be synthesized as a non-llama image.
  • the panoramic image created by the unit 5b and stored in the recording medium 8 is read out again, and the still image of the misalignment stored in the working memory 4 is further combined with the panoramic image.
  • the two-screen image processing unit 5a of the image processing unit 5 when two still images to be synthesized as a panoramic image are selected, key input is performed prior to image synthesis as a panoramic image.
  • the up / down / left / right movement processing unit 5a of the two-screen image processing unit 5a is driven, and any of the two still images can be moved in any direction.
  • adjustment can be made so that the positions of the images are aligned.
  • the above-described operation of moving, rotating, or enlarging / reducing two still images is performed by sequentially selecting two still images from the still image sequence in the working memory 4 as panoramic image selection candidates.
  • the two-screen image processing unit 5a of the image processing unit 5 can perform the same operation.
  • the panoramic image processing section 5b of the image processing section 5 when synthesizing a panoramic image, a panoramic image processing By driving the smoothing processing section 5b of the section 5b, smoothing processing between the still images can be performed to remove the unnaturalness of the composite image as a normal llama image. Further, in the image processing section 5b of the image processing section 5, when synthesizing the panorama image, the scroll image generation section of the panorama image processing section 5b is operated by a key operation not shown in the key input section 6. Drive 5b and
  • a 2 V rama image can be created as a scroll image in a state without reducing the original still image size as it is, and a scroll screen can be displayed on the image display unit 7.
  • the recording medium 8 shown in FIG. 1 can store not only the panoramic image created by the panoramic image processing unit 5b but also a still image stored in the working memory 4. Yes, and in some cases, it may be possible to accumulate moving images stored in the buffer memory 2.
  • the image display unit 7 displays the two-screen image created by the two-screen image processing unit 5a on two windows, and displays the panorama image created by the panorama image processing unit 5b on the screen. In addition to this, it is also possible to play back still images or still images stored in the working memory 4 or stored in the recording medium 8 and display them on the screen. In some cases, nofa memory It may be possible to display the moving image stored in 2 on the screen!
  • the two still images are respectively processed by the two-screen image processing unit 5a of the image processing unit 5.
  • the two windows are arranged side by side like the panorama left image 21 and the right V llama right image 22 to reduce the part of the right area of the left V llama left image 21 and the right V llama right image 2
  • the two windows ⁇ are arranged so that a part of the left region of 2 overlaps with each other in the overlapping region 23.
  • the size of the overlap region 23 is determined in advance to an optimum size according to the Nova llama synthesis algorithm.
  • FIG. 3 shows a case where two still images are selected from a still image sequence created from each frame of a moving image using the screen configuration method shown in FIG.
  • FIG. 6 is a schematic diagram showing a state where the image is arranged and displayed.
  • reference numeral 31 denotes a still image corresponding to each frame of a moving image continuously captured by the camera 1, which is converted by the moving image processing unit 3 and stored in the working memory 4 on the time axis.
  • Reference numeral 32 denotes a two-screen image in which any two still images 31 a and 31 b are selected from the still image sequence 31 and displayed on the image display unit 7.
  • the top still image 31a of the still image sequence 31 is selected as the left panoramic image 21 and then the right still image sequence 31 is selected from the still image sequence 31.
  • a 3 lb still image to be displayed as image 22 is selected.
  • the still image sequence 31 After the desired still image in the image is synthesized as a panoramic image and temporarily stored in the recording medium 8, it is also possible to select the stored panoramic image, and when the panoramic image is selected, the recording medium 8 to create a new panorama image by synthesizing it with the still images in the still image sequence 31 or between the Lama images. I don't know
  • the present invention in a case where the shooting start position of the moving image is panned from the right side to the left side, the present invention is not limited to such a case.
  • the panorama image stored in 8 may be displayed on the right side of the screen as a panorama right image 22, and then a still image to be displayed as the panorama left image 21 may be selected from the still image sequence 31.
  • FIG. 4 is a schematic diagram for explaining how the left and right panorama images and the panorama right image are aligned in the vertical direction in the screen configuration method shown in FIG. 2 and displayed on the image display unit 7 as a panorama image.
  • FIG. 4 (A) shows two still images 31a and 31b arbitrarily selected from the still image sequence 31 in FIG. 3, and the vertical positions of the still images 31a and 31b are not aligned.
  • FIG. 4B shows a state in which a panorama image 32 obtained by synthesizing the two selected still images 31a and 31b by aligning the vertical positions thereof is displayed on the image display unit 7 on the screen. I have. As shown in Fig.
  • the still image 31a is selected, and the vertical position of the still image 3 lb selected later is aligned with the V-rama left image 21 displayed on the left side of the screen.
  • the still image 31b is moved upward while using the overlapping area 23 where the images overlap each other, and is moved to a position where the image overlaps with the left Lama left image 21.
  • FIG. 4 the force that describes the manner in which the two still images 31a and 31b are aligned in the vertical direction is described.
  • the position of the two still images 31a and 31b in the left and right directions is adjusted.
  • a panorama image is displayed, and the finder of the camera 1 is set to the leftmost position (or the rightmost position in some cases) to start capturing. Then, the moving image is shot while panning to the right (or to the left in some cases).
  • the vertical position of a still image corresponding to each frame continuously taken as a moving image may be shifted due to camera shake or the like. Therefore
  • two still images 31 a and 3 lb to be displayed as a Vrama image 32 are displayed in the moving image data, that is, the still image sequence 31 by using the key input unit 6.
  • FIG. 5 is a schematic diagram showing an example of a priority order for selecting any two still images 31 a and 3 lb to be combined with a panoramic image from the still image sequence 31.
  • the still image sequence 31 is divided into a plurality of image candidate groups each having a still image capacity corresponding to a predetermined number of frames, and the number of frames of each image candidate group is divided.
  • the number of still images is skipped greatly by the number of frames set in advance as the skip frame number a , and the first still image of each image candidate group is skipped as still image B, still image C,.
  • the first method is to display each item.
  • the operator performs a long press operation of the left button 6b or the right button 6c of the key input unit 6 for a predetermined time or more, for example. , C..., when the operator detects an approximate still image indicating that it is in the vicinity of the desired still image as the panoramic image partner of the first still image ⁇ ⁇ ⁇ displayed as the left Vrama left image 21 Then, an image candidate group to which the approximated still image belongs is determined as a selected image candidate group.
  • each of the skipped frame numbers a which are present in the determined selected image candidate group and Z or in the adjacent image candidate group adjacent to the selected image candidate group!
  • the operator operates the key input unit 6 in order to select still images one by one and display them on the screen. Then, for example, by performing a single-press operation of the left button 6b or the right button 6c of the key input unit 6 shorter than a predetermined time, the selected image candidate group and Z or the adjacent image candidate group are present. To display the still images one by one, and then input the display instruction for one frame at a time.
  • FIG. 5 shows a case where an approximate still image similar to the still image of the other party in the left Vrama left image 21 is detected by selecting the skip frame number ⁇ at intervals and displaying the screen.
  • the selected image candidate group and / or the neighboring image which is displayed on the screen one frame at a time from the selected image candidate group and ⁇ selected as the image candidate group to which the approximate still image belongs or the adjacent image candidate group.
  • the number of still images belonging to each of the image candidate groups that is, the number of still images indicated by the number of skip frames ex is sequentially selected in the right or left! / ⁇ deviation direction and displayed on the screen.
  • the immediately preceding adjacent image candidate adjacent to the selected image candidate group including the still image C of the intermittent display selected as being located in the vicinity This example shows a case in which a desired still image is selected by going back to the groups ⁇ , B1, ⁇ , ⁇ , and ⁇ 5.
  • the figure shows a case where the image is displayed on the screen one frame at a time, going back to the still image ⁇ to the left. That is, in the example shown in FIG. 5, the still image assumed to be located near the desired still image as the still image of the discrete display is the first still image C of the selected image candidate group, In this example, the number of skipped frames ⁇ indicating the number of still images in each image candidate group is six.
  • the desired still image is included in the immediately preceding adjacent image candidate group adjacent to the selected image candidate group to which the still image C belongs. Is determined to exist, and as a single-frame sequential display instruction, for example, when a single press of the left button 6b of the key input section 6 is input, the numbers 2, 3, 4, 5, As shown in Figs. 6 and 7, one frame until B4, B3, B2, Bl, B and the desired still image are obtained from the still image B5 located at the last sixth frame of the adjacent image candidate group. Screen display with reverse feed selected It shows the case where it is done.
  • FIGS. 6 to 8 show a case where a panoramic image 32 is created from a still image sequence 31 corresponding to each frame of the moving image captured by the camera 1 shown in FIG. 6 is a series of flowcharts showing an example of a procedure for creating a panoramic image by selecting two still images and aligning the two still images. That is, the flowchart shown in FIG. 6 shows a flowchart of the first half showing an example of a procedure for selecting two still images, and FIG. 7 shows a flowchart of a processing procedure of the intermediate part following the processing of FIG. FIG. 8 shows a flowchart of the latter half of the procedure following the process of FIG.
  • FIGS. 6 to 8 show that the moving image captured by the panning operation from left to right by the camera 1 shown in FIG.
  • a still image sequence 31 arranged on the axis is sequentially stored in the working memory 4, and the first still image is set as the panoramic left image 21, and further stored in the working memory 4 by using a selection method as shown in FIG. 5.
  • the accuracy is high.
  • the key input section 6 shown in FIG. 1 includes, in addition to the OK button 6a for indicating whether or not the selection of the display image displayed on the image display section 7 is OK as described above, A left button 6b for instructing a leftward movement and a rightward movement for selecting the right image 22 or for aligning the selected panoramic right image 22 with the panoramic left image 21 in the horizontal direction.
  • a right button 6c for instructing movement in the up direction is also provided by an up button 6d for instructing upward movement in order to align the selected panorama right image 22 with the panorama left image 21 in the vertical direction, and ,
  • a lower button 6e for instructing a downward movement is provided.
  • the panoramic image photographing mode is set as the panoramic image photographing mode of the panoramic image photographing apparatus 10, and a moving image is photographed using the camera 1 while performing panning operation from left to right (Step Sl).
  • the captured moving images are sequentially stored in the buffer memory 2 (step S2).
  • Each frame of the moving image stored in the buffer memory 2 is sequentially converted into a still image by the moving image processing unit 3 and stored in the working memory 4 as a still image sequence 31 arranged on the time axis.
  • Step S3 Next, as described above, a still image corresponding to the first image started to be captured by the camera 1 is read from the still image sequence 31 in the working memory 4 (Step S4), The image is processed as the panoramic left image 21 by the image processing unit 5 and displayed on the left side of the screen of the image display unit 7 (step S5).
  • the first image candidate which is a candidate for the panoramic right image 22 is read (step S 6), and the image processing unit 3
  • the image is processed as a panorama right image 22 and displayed on the right side of the screen of the image display unit 7 (step S7).
  • the operator determines whether or not the combined power of the displayed left and right images is an image to be combined as the panoramic image 32 (step S8), and if it is not an image to be combined (step S8).
  • step S10 If the right button 6c is long-pressed from the key input section 6! (YES in step S10), the last image candidate of the still image sequence 31 currently stored in the working memory 4 is displayed. It is determined whether the group is in a selected state (step S11). If it is the last image candidate group (YES in step S11), the process returns to step S9 to select the next image candidate group on the front side that has been moved to the left, and the button of the key input section 6 is selected. The operation of performing the operation is repeated. On the other hand, if it is not the last image candidate group (NO in step S11), the still image sequence 31 of the working memory 4 is moved rightward to display the next image candidate group.
  • the image is moved forward to the next image candidate group (step S12), the first image candidate in the next image candidate group is read from the working memory 4 (step S13), and the panorama right
  • the image is processed as an image 22 and displayed on the right side of the screen of the image display unit 7 (step S14). Shi Thereafter, the process returns to step S8, and it is determined whether or not an image to be synthesized as the no-rama image 32 has been selected.
  • step S15 it is determined whether the left button 6b has been pressed and held. If the left button 6b is held down for a long time (YES in step S15), the first image candidate group of the still image sequence 31 that is currently stored in the working memory 4 is selected and is It is determined whether or not there is force (step S16). If it is the first image candidate group (YES in step SI6), the process returns to step S9 and performs the button operation of the key input unit 6 to select the next image candidate group on the front side in the right direction.
  • step S16 if the image is not the first image candidate group (NO in step S16), the still image sequence 31 in the working memory 4 is moved left by one in order to display the next image candidate group. (Step S17), the first image candidate in the next image candidate group is read from the working memory 4 (Step S18), and the panorama right image 22 The image is processed and displayed on the right side of the screen of the image display unit 7 (step S19). Thereafter, the process returns to step S8, and it is determined whether or not the image to be synthesized as the NO Lama image 32 has been selected.
  • Step S20 if neither the right button 6c nor the left button 6b has been pressed for a long time from the key input section 6 (NO in step S15), it is determined whether or not the right button 6c has been single-pressed.
  • Step S20 if the right button 6c is pressed down simply (YES in Step S20), the selected image candidate group (that is, the selected image candidate group and the Z or adjacent image candidate group) is selected. Then, it is determined whether the last image candidate has been selected and is in a state (step S21). If it is the last image candidate (YES in step S21), the next image candidate in the backward direction is selected from the selected image candidate group, or the next image candidate group is selected.
  • Step S24 if the left button 6b is single-pressed (YES in Step S24), the currently selected image candidate group (i.e., the selected image candidate group and / or the adjacent image candidate group) It is determined whether or not the first image candidate has been selected and is in a state (step S25). If it is the first image candidate (YES in step S25), the next image candidate group on the other side is selected from the selected image candidate group, or the next image candidate group is selected.
  • step S9 the operation returns to step S9, and the operation of operating the button of key input section 6 is repeated.
  • step S25 if it is not the first image candidate (NO in step S25), to display the next image candidate to the left of the current image candidate, the image candidate group in the working memory 4 is moved leftward. Then, the image is moved backward to the previous image candidate, the next image candidate is read out from the working memory 4 (step S26), the image is processed as the panoramic right image 22 by the image processing unit 5, and the image is displayed. The screen is displayed on the right side of the screen of the part 7 (step S27). Thereafter, the process returns to step S8, and it is determined whether or not an image to be combined as the no-rama image 32 has been selected.
  • step S24 when the right button 6c, the left button 6b, and the! Button of the left button 6b are not long-pressed or single-pressed from the key input unit 6 (NO in step S24), an invalid button operation is performed. Returning to step S9, the operation of operating the button of key input section 6 is repeated.
  • step S8 the operator determines that the combined image of both the displayed left and right images is an image to be combined as the panoramic image 32, and as a panoramic image selecting means
  • the operator proceeds to the step S8 in which the displayed positions of the left and right images are aligned, and the When the position to be combined is adjusted, it is determined whether or not the force is applied (step S28). If it is determined that the alignment is not sufficient (NO in step S28), the position of the left image is used as a reference.
  • OK button in key input section 6 to adjust the display position of the right image instead of 6a, one of the up, down, left and right buttons 6d, 6e, 6b, 6c of the key input section 6 is operated (step S32).
  • step S33 it is determined whether or not the upper button 6d is pressed and the force is applied (step S33). If the upper button is pressed (YES in step S33), the right image is shifted upward by one step. After the upper shift processing for moving the image processing unit 5 is performed by the vertical and horizontal movement processing unit 5a of the image processing unit 5 (step S34), the image processing is performed as the panoramic right image 22 by the two-screen image processing unit 5a of the image processing unit 5. Then, the screen is displayed on the right side of the screen of the image display section 7 (step S35). Thereafter, the process returns to step S28, and it is determined whether or not the left and right images have been sufficiently aligned as the no-rama image 32.
  • step S36 it is determined whether the down button 6e has been pressed. If the down button 6e has been pressed (YES in step S36), after the down-shift processing of moving the right image downward by one step is performed by the up-down / left-right movement processing section 5a of the image processing section 5, (Step S37), the image is processed as the panoramic right image 22 by the two-screen image processing unit 5a of the image processing unit 5, and is displayed on the right side of the screen of the image display unit 7 (Step S38). Thereafter, the process returns to step S28, and it is determined whether or not the left and right images have been sufficiently aligned as the no-rama image 32.
  • step S36 it is determined whether the right button 6c is pressed.
  • Step S39 if the right button 6c is pressed (YES in step S39), the right shift processing for moving the right image rightward by one step is performed by the up / down / left / right movement processing section 5a of the image processing section 5.
  • Step S40 the image is processed as a panoramic right image 22 by the two-screen image processing unit 5a of the image processing unit 5, and is displayed on the right side of the screen of the image display unit 7 (Step S41). Then, the process returns to step S28, and it is determined whether or not the left and right images have been properly aligned as the no-rama image 32.
  • the image is processed as the panorama right image 22 by the processing unit 5a and is displayed on the right side of the screen of the image display unit 7 (step S47). Thereafter, the process returns to step S28, and it is determined whether or not the left and right images have been sufficiently aligned as the panoramic image 32.
  • step S48 it is determined whether the left rotation button 6f is pressed (step S48). ), If the left rotation button 6f was pressed (YES in step S48), the left rotation processing for rotating the right image leftward by one step was performed by the left / right rotation processing unit 5a of the image processing unit 5.
  • step S48 When none of the up / down / left / right buttons 6d, 6e, 6b, 6c and the left / right rotation buttons 6f, 6g is pressed (NO in step S48), an invalid button operation is performed. Returning to step S32, the operation of operating the button of key input section 6 is repeated.
  • step S 28 the operator determines that the display positions of the displayed images on both the left and right sides of the screen are aligned, and that the position is sufficiently adjusted so as to be synthesized as the panoramic image 32.
  • the OK button 6a of the key input section 6 is operated (Y in step S28) ES)
  • the selection of the left image and the right image to be displayed on the screen as the panoramic image 32 has been completed, and the alignment of the left image and the right image has also been completed.
  • the smoothing processing unit 5b After the smoothing processing unit 5b performs the smoothing processing between the two images including the overlapping part of the left and right images, the image synthesis processing is performed as one Vrama image 32 combining the left and right images (Ste S29), the synthesized panoramic image 32 is displayed on the screen of the image display unit 7 (step S30). Further, the synthesized panoramic image 32 is stored in the recording medium 8 in response to an instruction from the operator's key input unit 6 (step S31).
  • the panoramic image 32 stored in the recording medium 8 may be used instead of using the reference image as the first still image in the still image sequence 31 in the working memory 4, the panoramic image 32 stored in the recording medium 8 may be used. Or, in some cases, arbitrarily select from both the still image sequence 31 of the working memory 4 and the panoramic image 32 of the recording medium 8 for both the left and right panorama images 21 and 22. It is also possible to make it possible to adjust the position of not only the right V llama image 22 but also the left V llama left image 21 with respect to the positioning as the V llama image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)

Abstract

 パノラマ画像を作成するための画像の取得を容易にし、かつ、任意の画像の選択を可能とする。カメラ1により撮影した動画像の各コマに該当するそれぞれの静止画像を動画処理部3により作成して時系列に配列した静止画像列として作業用メモリ4に一旦保存し、キー入力部6のボタン操作により該静止画像列の中から任意の2枚の静止画像を順次選択して、2画面画像処理部5aにより該2枚の静止画像の一部を互いに重複させた状態で画像表示部7に2画面表示して、所望の静止画像の組み合わせを選択させ、選択した各静止画像の移動・回転により位置合わせをして、パノラマ画像処理部5bによりパノラマ画像に合成し、画像表示部7に表示し、記録媒体8に蓄積する。2画面表示する一方の画像は、前記静止画像列の先頭画像又は記録媒体8のパノラマ画像を選択し、反対側の他方の画像は、前記静止画像列の中からいずれか任意の静止画像を選択する。

Description

明 細 書
パノラマ画像作成装置及びパノラマ画像撮影装置
技術分野
[0001] 本発明は、パノラマ画像作成装置及びパノラマ画像撮影装置に関し、特に、動画 像から静止画像を作成し、作成した静止画像の中から広視野角のパノラマ画像に合 成するための合成用の静止画像を画面表示しながら選択することによりパノラマ画像 に合成するパノラマ画像作成装置、及び、動画像を撮影する撮影手段を有するパノ ラマ画像撮影装置に関する。
背景技術
[0002] 従来のパノラマ画像の撮影機能を有するパノラマ画像撮影装置としては、複数の静 止画像からパノラマ画像を作成するものと、動画像からパノラマ画像を作成するものと の 2種類の装置がある。
静止画像からパノラマ画像を作成する従来技術としては、特許文献 1に示す「カメラ のノ Vラマ撮影制御装置」に記載されているように、 2枚の撮影画像を横方向に合成 してパノラマ画像を作成する場合、 1枚目の画像を撮影した後で 2枚目の画像の撮影 をアシストするために、例えば 1枚目の画像の右側に 2枚目の撮影画像をつなぐ場合 であれば、撮影操作画面上において 1枚目に撮影した画像を左方向にシフトして、 2 枚目の画像の左側部分と繋がるべき右側の一部を撮影操作画面上に残した状態で 画面表示して、 2枚目の画像の撮影位置を容易にする方法や、あるいは、特許文献 2に示す「カメラ装置及び撮像方法」のように、 1枚目に撮影した画像全体を画面上の 一部を構成する別枠 (別ウィンドウ)に画面表示することにより、ノ Vラマ化したときの 画像を確認しながら、 2枚目の画像を撮影する際に適切な角度にアングル付けを行 なうことができる方法などが提案されて!、る。
[0003] また、動画像からパノラマ画像を作成する従来技術としては、特許文献 3に示す「画 像合成装置、画像合成方法が記録された記録媒体」に記載されているように、パンニ ングしながら撮影することにより、動画像として取り込まれた各フレーム画像 (各コマ) 力 自動的に選択された 2枚のフレーム画像 (コマ)を比較して移動量を求めることに より、それぞれのフレーム画像の合成すべき位置を判別して、リアルタイムあるいは撮 影後に自動的にパノラマ合成する方法が提案されて 、る。
特許文献 1:特開平 5- 142682号公報
特許文献 2:特開平 11-75108号公報
特許文献 3:特開 2000—244814号公報
発明の開示
発明が解決しょうとする課題
[0004] しカゝしながら、静止画像を撮影しパノラマ画像を合成する従来技術にっ ヽては、撮 影時に、ノ Vラマ合成し易いように、特別な撮影方法を必要とするため、かかる特別 な撮影方法を予め習得する必要がある。また、撮影に時間を要するため、撮影対象 物の状態が変わってしま 、、所望のパノラマ画像が得られな 、場合がある。
[0005] また、動画像を用いてパノラマ画像の合成を行なう従来技術にっ 、ては、リアルタイ ムあるいは撮影後に自動合成を行なう方式が採られているため、合成時に、パノラマ 画像として合成させるべき適切な画像の組み合わせを選択することができず、所望の 画像につ 、て画像合成を行なうことができな ヽと 、う問題が生じてしまう。
[0006] 本発明は、力かる事情に鑑みてなされたものであり、動画像の各コマに該当する静 止画像を作成し、作成された各静止画像の中から、操作者が最適なパノラマ合成用 の 2枚の静止画像を、画面に表示させながら任意に手動で選択し、選択された 2枚の 静止画像の位置合わせを行なうことにより、広視野角のノ Vラマ画像に合成するため の所望の静止画像を任意の組み合わせで選択可能とし、かつ、精度の高いパノラマ 画像を容易に得ると共に、なおかつ、パノラマ画像に合成するための所望の画像を 含む撮影対象物を動画像として撮影を行なうことにより、ノ Vラマ合成用の画像を取 得する撮影方法を容易化することを目的として!、る。
課題を解決するための手段
[0007] 第 1の技術手段は、ノ Vラマ画像作成装置において、動画像の各コマに該当する それぞれの静止画像を作成する動画処理手段と、該動画処理手段により作成された 複数枚の前記静止画像の中から、任意の 2枚の静止画像を選択する選択手段と、該 選択手段により選択された前記 2枚の静止画像をそれぞれ縮小あるいは拡大させ、 かつ、該 2枚の静止画像それぞれの一部を互いに重複させて配置して、 2つのウィン ドウからなる 2画面として表示する 2画面画像を作成する 2画面画像処理手段と、該 2 画面画像処理手段により作成された前記 2画面画像の中から、パノラマ画像とすべき 2画面画像を選択するパノラマ画像選択手段と、該パノラマ画像選択手段により選択 された前記 2画面画像を 1枚の画像に合成して、パノラマ画像を作成するパノラマ画 像処理手段と、前記静止画像ある ヽは前記 2画面画像ある 、は前記パノラマ画像を 画面表示する画像表示手段と、前記静止画像及び Z又は前記パノラマ画像を蓄積 する記録媒体とを備えて 、ることを特徴として 、る。
[0008] 第 2の技術手段は、前記第 1の技術手段に記載のパノラマ画像作成装置において 、前記選択手段が、画面の一方のウィンドウに画面表示する静止画像として、前記動 画処理手段により作成された前記静止画像のうち、前記動画像の先頭に位置する先 頭コマに該当する静止画像を選択し、反対側の他方のウィンドウに画面表示する画 像として、前記動画像の先頭コマに後続する各コマに該当するいずれ力 壬意の静止 画像を選択することができることを特徴として 、る。
[0009] 第 3の技術手段は、前記第 1の技術手段に記載のパノラマ画像作成装置において 、前記選択手段が、選択する前記 2枚の静止画像のうち、画面の一方のウィンドウに 画面表示する画像として、前記記録媒体に蓄積された前記パノラマ画像を選択し、 反対側の他方のウィンドウに画面表示する画像として、前記動画像の先頭コマに後 続する各コマに該当するいずれか任意の静止画像を選択することができることを特 徴としている。
[0010] 第 4の技術手段は、前記第 1乃至第 3の技術手段のいずれかに記載のパノラマ画 像作成装置において、前記選択手段が、前記動画処理手段により作成された複数 枚の前記静止画像の中から、いずれか任意の静止画像を選択する際に、複数枚の 前記静止画像を、予め定められた所定のコマ数分の静止画像枚数カゝらなる複数の 画像候補群に分割し、分割された前記画像候補群の先頭コマに該当する静止画像 を飛び飛びに順次選択して、前記 2画面画像処理手段により前記 2画面画像として 画面表示することにより、所望の静止画像に近接する静止画像が属する画像候補群 を選択画像候補群として選択した後、該選択画像候補群の中、及び Z又は、該選択 画像候補群に隣接する隣接画像候補群の中、の各静止画像を順次選択して、前記
2画面画像処理手段により前記 2画面画像として画面表示し、前記パノラマ画像選択 手段が、パノラマ画像とすべき前記 2画面画像を選択することができることを特徴とし ている。
[0011] 第 5の技術手段は、前記第 1乃至第 4の技術手段のいずれかに記載のパノラマ画 像作成装置において、前記 2画面画像処理手段が、前記選択手段により選択された 2枚の静止画像からなる前記 2画面画像を作成する際に、及び Z又は、前記パノラマ 画像選択手段によりパノラマ画像とすべき前記 2画面画像が選択された際に、前記 2 画面画像を構成する 2枚の静止画像のそれぞれの位置を、又は、いずれか一方の位 置を、上下左右の任意の方向に移動又は回転させることができることを特徴として ヽ る。
[0012] 第 6の技術手段は、前記第 1乃至第 5の技術手段のいずれかに記載のパノラマ画 像作成装置において、前記パノラマ画像処理手段が、前記 2画面画像を合成してパ ノラマ画像を作成する際に、前記 2画面画像を構成する 2枚の静止画像の互いの重 複部分に対してスムージング処理を施すことができることを特徴としている。
[0013] 第 7の技術手段は、前記第 1乃至第 6の技術手段のいずれかに記載のパノラマ画 像作成装置において、前記パノラマ画像処理手段が、前記 2画面画像を合成して前 記パノラマ画像を作成する際に、前記パノラマ画像を順次スクロールして前記画像表 示手段に画面表示するスクロール画像として作成することができることを特徴としてい る。
[0014] 第 8の技術手段は、動画像を撮影する撮影手段を備え、更に、該撮影手段により撮 影された動画像の各コマに該当する静止画像を作成して、作成された該静止画像を 用いてパノラマ画像を作成して記録媒体に蓄積するパノラマ画像作成手段を備えた ノ Vラマ画像撮影装置にぉ ヽて、パノラマ画像を作成する前記パノラマ画像作成手 段として、前記第 1乃至第 7の技術手段のいずれかに記載のパノラマ画像作成装置 を備えて 、ることを特徴として 、る。
発明の効果
[0015] 以上のごとき各技術手段力 構成される本発明によれば、以下のような効果が得ら れる。即ち、ノ Vラマ画像として合成する所望の静止画像を得るための手段として、 動画像の各コマに該当する静止画像を作成し、作成された各静止画像のうち、選択 された 2枚の静止画像を縮小あるいは拡大して 1つの画面内に 2画面画像として 2つ のウィンドウにそれぞれ順次画面表示しながら、パノラマ画像として合成すべき所望 の 2枚の静止画像を手動で選択することにより、ノ Vラマ画像として合成することが可 能であり、容易に所望のノ Vラマ画像を得ることができる。
[0016] また、ノ Vラマ画像として合成すべき互 、の静止画像の位置が最適ではな 、場合、 最適となる位置まで互いの静止画像の拡大 '縮小、左右上下方向への移動又は回 転を行なうことにより、互いの静止画像の位置合わせをしたり、更には、互いの重複 部分の画像のスムージング処理を施すことが可能であり、精度がより高いパノラマ画 像を得ることができる。
[0017] また、合成したパノラマ画像を画面上で確認する際に、縮小表示をしなければ 1つ の画面全体では表示し切れな 、場合であっても、スクロール画像としてスクロール表 示を行なうことが可能であり、パノラマ画像を縮小することなく確認することができる。
[0018] なおかつ、ノ Vラマ画像に合成すべき画像を、カメラなどの動画撮影手段を用いて 動画像として撮影を行なって取得することが可能であり、ノ Vラマ合成用の画像の撮 影方法を容易化することができる。
図面の簡単な説明
[0019] [図 1]本発明に係るノ Vラマ画像撮影装置のブロック構成の要部を示すブロック構成 図である。
[図 2]本発明に係るパノラマ画像撮影装置において画像表示部に画面表示されるパ ノラマ画像の画面構成方法の一例を説明するための模式図である。
[図 3]動画像の各コマに該当する静止画像列の中から 2枚の静止画像を選択して、 画像表示部に左右に配置して表示する様子を示す模式図である。
[図 4]パノラマ左画像とパノラマ右画像との上下位置を揃えて、ノ Vラマ画像として画 像表示部に表示する様子を説明するための模式図である。
[図 5]静止画像列の中からパノラマ画像に合成すべき任意の 2枚の静止画像を選択 する優先順序の一例を示す模式図である。 [図 6]カメラで撮影した動画像の各コマに該当する静止画像列の中からパノラマ画像 を作成する場合において、パノラマ画像作成用の 2枚の静止画像を選択し、かつ、両 者の静止画像の位置合わせを行なって、ノ Vラマ画像を作成する場合の前半部の処 理手順の一例を示すフローチャートである。
[図 7]図 6の処理に続く中間部の処理手順の一例を示すフローチャートである。
[図 8]図 6の処理に更に続く後半部の処理手順の一例を示すフローチャートである。 発明を実施するための最良の形態
[0020] 本発明に係るパノラマ画像作成装置は、動画像の各コマに該当するそれぞれの静 止画像を作成する動画処理手段と、該動画処理手段により作成された静止画像の 中から、任意の 2枚の静止画像を選択する選択手段と、該選択手段により選択された 2枚の静止画像をそれぞれ縮小あるいは拡大させ、かつ、 2枚の静止画像それぞれ の一部を互いに重複させて配置して、 2つのウィンドウからなる 2画面として表示する 2 画面画像を作成する 2画面画像処理手段と、該 2画面画像処理手段により順次作成 された前記 2画面画像の中から、パノラマ画像とすべき 2画面画像を選択するパノラ マ画像選択手段と、該パノラマ画像選択手段により選択された前記 2画面画像を 1枚 の画像に合成して、パノラマ画像を作成するパノラマ画像処理手段と、前記静止画 像あるいは前記 2画面画像あるいは前記パノラマ画像を画面表示する画像表示手段 と、前記静止画像及び Z又は前記パノラマ画像を蓄積する記録媒体とを備えて 、る ことを特徴とし、もって、容易に所望のパノラマ画像を得ることができる。
[0021] 更に、前記選択手段が、画面の一方のウィンドウに画面表示する静止画像として、 前記動画処理手段により作成された前記静止画像のうち、前記動画像の先頭に位 置する先頭コマに該当する静止画像を、あるいは、前記記録媒体に蓄積された前記 パノラマ画像を選択し、反対側の他方のウィンドウに画面表示する静止画像として、 前記動画像の先頭コマに後続するコマに該当するいずれか任意の静止画像を選択 することができることを特徴とし、もって、より容易に所望のノ Vラマ画像を得ることが できる。
[0022] また、前記 2画面画像処理手段が、前記選択手段により選択された 2枚の静止画像 からなる前記 2画面画像を作成する際に、及び Z又は、前記パノラマ画像選択手段 によりパノラマ画像とすべき前記 2画面画像が選択された際に、前記 2画面画像を構 成する 2枚の静止画像のそれぞれの位置を、又は、いずれか一方の位置を、上下左 右の任意の方向に移動又は回転させることができることを特徴とし、もって、精度がよ り高いパノラマ画像を得ることができる。更に、前記パノラマ画像処理手段が、前記 2 画面画像を合成してパノラマ画像を作成する際に、前記 2画面画像を構成する 2枚 の静止画像の互いの重複部分に対してスムージング処理を施すことができ、また、前 記パノラマ画像を順次スクロールして前記画像表示手段に画面表示するスクロール 画像として作成することができることを特徴とし、もって、精度が高いパノラマ画像を得 ると共に、パノラマ画像を縮小することなく確認することができる。
[0023] また、本発明に係るパノラマ画像撮影装置は、動画像を撮影する撮影手段を備え、 更に、該撮影手段により撮影された動画像の各コマに該当する静止画像を作成して 、作成された該静止画像を用いてパノラマ画像を作成して記録媒体に蓄積するパノ ラマ画像作成手段を備えたパノラマ画像撮影装置にぉ 、て、パノラマ画像を作成す る前記パノラマ画像作成手段として、前述したごときパノラマ画像作成装置を備えて いることを特徴とし、もって、ノ Vラマ合成用の画像を取得するための画像撮影方法 を容易化することができる。
[0024] 以下に、本発明に係るパノラマ画像作成装置及びパノラマ画像撮影装置の実施形 態の一例について、ノ Vラマ画像撮影装置を例にとって、図面を参照しながら説明 する。図 1は、本発明に係るノ Vラマ画像撮影装置のブロック構成の要部を示すプロ ック構成図である。
図 1に示すパノラマ画像撮影装置 10において、撮影手段であるカメラ 1が撮影した 動画像の各コマは順次取り込まれて、ノ ッファメモリ 2に一時的に格納される。しかる 後、動画処理部 3により、動画像の各コマに該当する静止画像がそれぞれ作成され て、時系列に配列された静止画像列として作業用メモリ 4に格納される。作業用メモリ 4に格納された静止画像列と、静止画像の選択手段を構成するキー入力部 6からの 入力データとにより、パノラマ画像として合成する候補の 2枚の静止画像が順次選択 されて、画像処理部 5の 2画面画像処理部 5aにおいて、選択された 2枚の静止画像 をそれぞれ表示する 2つのウィンドウからなる 2画面表示用の 2画面画像が作成され て、画像表示部 7に表示される。
[0025] ここで、キー入力部 6の左右ボタン 6b, 6cは、作業用メモリ 4に格納されている静止 画像列の中から、任意の 2枚の静止画像を選択する選択手段を構成しており、左右 ボタン 6b, 6cのいずれかを操作することにより、作業用メモリ 4の静止画像が順次選 択されて画像表示部 7に 2画面画像として画面表示されていき、パノラマ画像とすべ き 2画面画像を選択するパノラマ画像選択手段を構成するキー入力部 6の OKボタン 6aの操作により、ノ Vラマ画像として合成すべき 2枚の静止画像が選択される。選択 された 2枚の静止画像は、画像処理部 5のパノラマ画像処理部 5bにおいて、 1枚の ノ Vラマ画像として合成されて、画像表示部 7に画面表示されると共に、操作者の確 認が得られたことを示すキー入力部 6の操作により、合成されたパノラマ画像は記録 媒体 8に蓄積される。
[0026] また、キー入力部 6の図示していないキー操作により、画像処理部 5の 2画面画像 処理部 5aにおいては、ノ Vラマ画像として合成する対象となる静止画像として、パノ ラマ画像処理部 5bによりー且作成されて記録媒体 8に蓄積されているパノラマ画像 を再度読み出して、該パノラマ画像に対して作業用メモリ 4に格納された 、ずれかの 静止画像を更に合成させることにより、 2枚以上の複数枚の静止画像力もなるノ Vラ マ画像を合成することも可能である。
[0027] 更に、画像処理部 5の 2画面画像処理部 5aにおいては、パノラマ画像として画像合 成する 2枚の静止画像が選択された際に、パノラマ画像としての画像合成に先立つ て、キー入力部 6の左右上下キー 6b, · · ·, 6eを操作することにより、 2画面画像処理 部 5aの上下左右移動処理部 5aを駆動して、 2枚の静止画像のいずれでも任意の方 向に静止画像の位置を移動させて、互 、の画像位置を揃えるように調整することが できる。
[0028] 同様に、画像処理部 5の 2画面画像処理部 5aにおいては、ノ Vラマ画像として画像 合成する 2枚の静止画像が選択された際に、パノラマ画像としての画像合成に先立 つて、キー入力部 6の左回転ボタン 6f,右回転ボタン 6gを操作することにより、 2画面 画像処理部 5aの左右回転処理部 5aを駆動して、 2枚の静止画像のいずれでも任
2
意の方向に静止画像の位置を回転させて、互 ヽの画像位置を揃えるように調整する ことができる。
[0029] 更には、画像処理部 5の 2画面画像処理部 5aにおいては、ノ Vラマ画像として画像 合成する 2枚の静止画像が選択された際に、パノラマ画像としての画像合成に先立 つて、キー入力部 6の拡大ボタン 6h,縮小ボタン 6iを操作することにより、 2枚の静止 画像のいずれでも、任意の大きさの画像サイズに拡大 *縮小して互いの画像サイズを 揃えるように調整することができる。
[0030] また、 2枚の静止画像に対する前述のような移動や回転あるいは拡大 ·縮小の操作 は、作業用メモリ 4の静止画像列の中からパノラマ画像の選択候補として 2枚の静止 画像を順次選択して、 2つのウィンドウにそれぞれ表示する 2画面画像を作成する際 においても、画像処理部 5の 2画面画像処理部 5aにおいて、全く同様に実施させるこ とが可能である。
[0031] 更に、画像処理部 5のパノラマ画像処理部 5bにおいては、パノラマ画像を画像合 成する際に、 2画面画像として 2枚の静止画像の互いに重複した画像部分に対して、 パノラマ画像処理部 5bのスムージング処理部 5bを駆動して、互いの静止画像間の スムージング処理を施し、ノ Vラマ画像としての合成画像の不自然さを除去すること ができる。更に、画像処理部 5のノ Vラマ画像処理部 5bにおいては、パノラマ画像を 画像合成する際に、キー入力部 6に図示していないキー操作により、パノラマ画像処 理部 5bのスクロール画像作成部 5bを駆動して、ノ
2 Vラマ画像として元の静止画像サ ィズのまま縮小しな 、状態のスクロール画像として作成して、画像表示部 7にスクロー ル画面表示を行なうことができる。
[0032] なお、図 1に示す記録媒体 8には、パノラマ画像処理部 5bにより作成されたパノラマ 画像を蓄積する以外に、作業用メモリ 4に格納されている静止画像を蓄積することが 可能であり、更には、場合によっては、ノ ッファメモリ 2に格納されている動画像を蓄 積することを可能としても良い。また、画像表示部 7は、 2画面画像処理部 5aにより作 成された 2画面画像を 2つのウィンドウにそれぞれ画面表示したり、パノラマ画像処理 部 5bにより作成されたパノラマ画像を画面表示したりする以外に、作業用メモリ 4に格 納されて 、る静止画像や記録媒体 8に蓄積されて 、るノ Vラマ画像あるいは静止画 像を再生して画面表示することも可能であり、更には、場合によっては、ノッファメモリ 2に格納されて ヽる動画像を画面表示することを可能としても良!ヽ。
[0033] 次に、本発明に係るパノラマ画像撮影装置 10の具体的な動作について更に詳細 に説明する。まず、図 2は、本発明に係るパノラマ画像撮影装置 10において画像表 示部 7に画面表示されるノ Vラマ画像の画面構成方法の一例を説明するための模式 図である。
図 2に示すように、画面構成方法としては、 2枚の静止画像をパノラマ画像の形式に 構成する場合、画像処理部 5の 2画面画像処理部 5aにより、 2枚の静止画像をそれ ぞれ縮小して例えばパノラマ左画像 21、ノ Vラマ右画像 22のように、 2つのウィンドウ を左右に並べて配置して、ノ Vラマ左画像 21の右側領域の一部と、ノ Vラマ右画像 2 2の左側領域の一部とが重複領域 23において互いに重なり合うように、 2つのウィンド ゥを配置する。ここに、該重複領域 23の大きさは、ノ Vラマ合成アルゴリズムに応じて 最適の大きさに予め決定しておく。
[0034] 図 3は、図 2に示す画面構成方法を用いて、動画像の各コマから作成された静止画 像列の中から 2枚の静止画像を選択して、画像表示部 7に左右に配置して表示する 様子を示す模式図である。
図 3において、 31は、カメラ 1により連続的に撮影された動画像の各コマに該当する 静止画像として動画処理部 3により変換されて、作業用メモリ 4に時間軸上に並べら れて格納されている静止画像列を示し、 32は、静止画像列 31の中から任意の 2枚の 静止画像 31a, 31bを選択して、画像表示部 7に表示した 2画面画像を示している。 図 3の 2画面画像の表示例においては、静止画像列 31の最も先頭の静止画像 31a 力 Sパノラマ左画像 21として選択されて、しかる後に、静止画像列 31の中から、ノ Vラ マ右画像 22として表示する静止画像 3 lbが選択される。
[0035] この時、前述したように、パノラマ左画像 21として表示する静止画像を、作業用メモ リ 4に格納されている静止画像列 31の中力も選択する代わりに、該静止画像列 31の 中の所望の静止画像をパノラマ画像として画像合成して一旦記録媒体 8に蓄積した 後、蓄積されている該パノラマ画像を選択することも可能であり、該パノラマ画像を選 択した場合、記録媒体 8から再度読み出して、静止画像列 31の静止画像との間、あ るいは、ノ Vラマ画像同士の間で画像合成して、新たなパノラマ画像を作成すること ちでさる。
[0036] また、前述の説明においては、静止画像列 31の最も先頭の静止画像 31aあるいは 記録媒体 8に蓄積されたパノラマ画像をパノラマ左画像 21として画面左側に画面表 示する例について説明した力 本発明においては、かかる場合のみに限ることなぐ 動画像の撮影開始位置が右側から左側方向にパンニングして撮影されるような場合 には、静止画像列 31の最も先頭の静止画像 31aあるいは記録媒体 8に蓄積された パノラマ画像をパノラマ右画像 22として画面右側に画面表示し、しかる後に、静止画 像列 31の中から、パノラマ左画像 21として表示する静止画像を選択するようにしても 良い。
[0037] 図 4は、図 2に示す画面構成方法において、ノ Vラマ左画像とパノラマ右画像との 上下位置を揃えて、パノラマ画像として画像表示部 7に表示する様子を説明するため の模式図であり、図 4 (A)が、図 3の静止画像列 31の中から任意に選択された 2つの 静止画像 31a, 31bを示し、静止画像 31a, 31bの互いの上下位置が揃っていない 場合を示しており、図 4 (B)が、選択された 2つの静止画像 31a, 31bの上下位置を 揃えて画像合成したパノラマ画像 32を画像表示部 7に画面表示している様子を示し ている。図 4 (B)に示すように、最初に静止画像 31aを選択して画面左側に表示され ているノ Vラマ左画像 21に対して、後から選択された静止画像 3 lbの上下位置を揃 えるために、静止画像 31bを上方向に移動させながら、互いの画像が重なり合う重複 領域 23を利用して、ノ Vラマ左画像 21と画像が重なり合う位置まで移動させている 様子を示している。なお、図 4においては、 2枚の静止画像 31a, 31bの上下方向の 位置合わせを行なう様子を説明した力 前述のように、 2枚の静止画像 31a, 31bの 左右方向の位置を合わせたり、あるいは、 2枚の静止画像 31a, 31bの回転方向の位 置を合わせたりすることも同様に可能である。
[0038] 一般に、動画像の撮影方法としては、例えばパノラマ画像として表示した 、左端の 位置 (場合によっては、右端の位置であっても良い)にカメラ 1のファインダを合わせ て、撮影を開始し、動画像として、右に (場合によっては、左に)パンユングさせながら 撮影を行なう。カゝくのごとき撮影の際には、カメラ 1がぶれたりして、動画像として連続 して撮影された各コマに該当する静止画像の上下位置がずれる場合がある。従って 、本発明に係るパノラマ画像撮影装置 10においては、キー入力部 6を用いて、ノ Vラ マ画像 32として表示する 2枚の静止画像 31a, 3 lbを動画像データ即ち静止画像列 31の中力も選択した後に、更に、キー入力部 6を用いて、図 4に示すように、 2枚の静 止画像の上下位置の位置合わせを行なう仕組みを有している。更には、図 4には示 していないが、前述のように、 2枚の静止画像の左右方向の位置合わせや左右の回 転位置に関する位置合わせを行なうことも可能である。
[0039] 図 5は、静止画像列 31の中からパノラマ画像に合成すべき任意の 2枚の静止画像 31a, 3 lbを選択する優先順序の一例を示す模式図である。
図 5においては、カメラ 1により撮影された動画像の各コマに該当する静止画像列 3 1のうち、ノ Vラマ画像 32として表示する際に、画面の左側のパノラマ左画像 21とし て表示する静止画像 3 laは、カメラ 1により撮影を開始した最も先頭の静止画像 Aに 固定されており、ノ Vラマ右画像 22として、先頭の静止画像 Aに続くどの静止画像を 選択するかを操作者に選択させる優先順序を説明している。
[0040] ここで、先頭の静止画像 Aの次に位置する静止画像 Al, A2,…と 1コマずつ逐次 表示して、操作者に選択させるような優先順序を用いた場合、所望の静止画像を得 るまでに時間が力かるので、静止画像列 31を、予め定められた所定のコマ数分の静 止画像枚数力もなる複数の画像候補群に分割して、各画像候補群のコマ数を示す スキップコマ数 aとして予め設定されているコマ数だけ静止画像の枚数を大きくスキ ップして、各画像候補群の先頭の静止画像を、静止画像 B、静止画像 C、…と飛び飛 びにまず表示していく方法を採用している。即ち、操作者は、例えばキー入力部 6の 左ボタン 6b又は右ボタン 6cを予め定めた所定時間以上に及ぶ長押し操作をすること により、スキップコマ数 αずつ飛び飛びに表示されてくる静止画像 B, C…の中から、 ノ Vラマ左画像 21として表示されている先頭の静止画像 Αのパノラマ画像相手として 所望する静止画像の近傍にあることを示す近似した静止画像を操作者が検出した際 に、該近似した静止画像が属する画像候補群を選択画像候補群として決定する。
[0041] 次いで、決定された該選択画像候補群の中、及び Z又は、該選択画像候補群に 隣接する隣接画像候補群の中に存在して!/、る前記スキップコマ数 a分の各静止画 像を 1コマずつ順次選択して画面表示させるために、操作者は、キー入力部 6を操作 して、例えばキー入力部 6の左ボタン 6b又は右ボタン 6cを予め定めた所定時間より も短い単押し操作をすることにより、該選択画像候補群及び Z又は隣接画像候補群 の中に存在して 、る静止画像を 1コマずつ順次表示して 、く 1コマ逐次表示指示を 入力する。
[0042] 1コマ逐次表示指示が入力されると、現在画像表示部 7の右側に画面表示されて V、る飛び飛び表示の静止画像の近傍に位置して!/、る静止画像が 1コマずつ逐次表 示されていくことにより、パノラマ右画像 22として所望する最適の静止画像を迅速に 選択することができる。ここで、図 5は、スキップコマ数 αずつ飛び飛びに選択して画 面表示していくことにより、ノ Vラマ左画像 21の相手の静止画像に近似している近似 静止画像が検出された後、該近似静止画像が属する画像候補群として選択された 選択画像候補群及び Ζ又は隣接画像候補群の中から 1コマずつ画面表示していく 近傍の静止画像として、選択画像候補群及び,又は隣接画像候補群にそれぞれ属 する静止画像枚数即ちスキップコマ数 exが示す静止画像枚数分だけ左右!/ヽずれか の方向に順次選択して画面表示して 、く例を示して 、る。
[0043] 図 5に示す例にぉ ヽては、近傍に位置して ヽるとして選択された飛び飛び表示の 静止画像 Cが含まれている選択画像候補群に隣接する一つ前の隣接画像候補群 Β , B1 , · · · , Β5に遡って、所望の静止画像を選択する場合の例を示しており、一つ前 の隣接画像候補群の中から、最後の静止画像 Β5から逆送り即ち左方向に静止画像 Βまで遡って順次 1コマずつ画面表示する場合を示している。即ち、図 5に示す例に ぉ ヽては、飛び飛び表示の静止画像として所望静止画像の近傍に位置して ヽるとさ れる静止画像が、選択画像候補群の先頭の静止画像 Cであり、各画像候補群の静 止画像枚数を示すスキップコマ数 αが 6コマの場合を例示している。ここで、所望の 静止画像に近似している静止画像 Cが検出された後、該静止画像 Cが属する選択画 像候補群に隣接する一つ前の隣接画像候補群の中に所望の静止画像が存在して いるものと判断されて、 1コマ逐次表示指示として、例えば、キー入力部 6の左ボタン 6bの単押しが入力されると、鍵カツコ付きの番号 2, 3, 4, 5, 6, 7に示すように、隣接 画像候補群の最後尾の 6コマ目に位置する静止画像 B5から順次遡って B4, B3, B 2, Bl , Bと所望の静止画像が得られるまで 1コマずつ逆送りに選択されて画面表示 されてくる場合を示している。
[0044] 図 6乃至図 8は、図 1に示すカメラ 1で撮影した動画像の各コマに該当する静止画 像列 31の中からパノラマ画像 32を作成する場合において、ノ Vラマ画像作成用の 2 枚の静止画像を選択し、かつ、両者の静止画像の位置合わせを行なって、パノラマ 画像を作成する場合の手順の一例を示す一連のフローチャートである。即ち、図 6に 示すフローチャートは、 2枚の静止画像を選択する手順の一例を示す前半部のフロ 一チャートを示し、図 7は、図 6の処理に続く中間部の処理手順のフローチャートを示 し、図 8は、図 6の処理に更に続く後半部の処理手順のフローチャートを示している。
[0045] なお、図 6乃至図 8のフローチャートは、図 1に示すカメラ 1により左から右方向にパ ンユング操作して撮影した動画像を、動画処理部 3により静止画像に変換して、時間 軸上に配列した静止画像列 31として作業用メモリ 4に逐次格納し、その先頭の静止 画像をパノラマ左画像 21とし、更に図 5に示すごとき選択方法を用いて、作業用メモ リ 4にある静止画像列 31の中からパノラマ右画像 22を選択すると共に、該パノラマ右 画像 22をパノラマ左画像 21に位置合わせすることにより、精度が高 ヽパノラマ画像 3 2を迅速に生成するまでの手順を説明している。
[0046] ここで、図 1に示すキー入力部 6には、前述したごとぐ画像表示部 7に表示された 表示画像の選択が OKか否かを示す OKボタン 6aの他に、ノ Vラマ右画像 22を選択 するために、あるいは、選択されたパノラマ右画像 22をパノラマ左画像 21と左右方向 の位置合わせを行なうために、左方向への移動を指示する左ボタン 6b、及び、右方 向への移動を指示する右ボタン 6cが、また、選択されたパノラマ右画像 22をパノラマ 左画像 21と上下方向の位置合わせを行なうために、上方向への移動を指示する上 ボタン 6d、及び、下方向への移動を指示する下ボタン 6eが備えられている。
更に、左ボタン 6bと右ボタン 6cとは、予め定められた所定の時間以上に亘つて長 押しをするか、該所定の時間よりも短い時間の単押しをするかにより、前述のように、 飛び飛びに静止画像を表示して所望の静止画像に近似する静止画像が属する選択 画像候補群の選択を行なうか、あるいは、 1コマずつ順次静止画像を表示して選択 画像候補群及び,又は隣接画像候補群の中の静止画像から所望の静止画像の選 択を行なうか、 V、ずれかの選択動作に切り換えることが可能とされて 、る。 [0047] まず、パノラマ画像撮影装置 10の撮影モードとしてパノラマ画像撮影モードに設定 して、カメラ 1を用いて左から右方向にパンユング操作しながら動画像を撮影する (ス テツプ Sl)。撮影された動画像は、逐次、ノ ッファメモリ 2に格納されていく(ステップ S 2)。ノ ッファメモリ 2に格納された動画像の各コマは、順次、動画処理部 3により静止 画像に変換されて、作業用メモリ 4に時間軸上に配列された静止画像列 31として保 存されていく(ステップ S3)、次に、前述したように、カメラ 1により撮影開始した先頭の 画像に該当する静止画像が、作業用メモリ 4の静止画像列 31の中から読み出されて (ステップ S4)、画像処理部 5によりパノラマ左画像 21として画像処理されて、画像表 示部 7の画面左側に画面表示される (ステップ S5)。
[0048] 次に、作業用メモリ 4に保存されている静止画像列 31の中から、パノラマ右画像 22 の候補となる最初の画像候補が読み出されて (ステップ S6)、画像処理部 3によりパノ ラマ右画像 22として画像処理されて、画像表示部 7の画面右側に画面表示される( ステップ S7)。操作者は、表示された画面左右両方の画像の組み合わせ力パノラマ 画像 32として合成すべき画像であるか否かを判断して (ステップ S8)、合成すべき画 像ではないと判断した場合 (ステップ S8の NO)、ノ Vラマ右画像 22としての次の画 像候補を選択するために、キー入力部 6の OKボタン 6aの代わりに、次の静止画像を 選択する選択手段であるキー入力部 6の左右ボタン 6b, 6cV、ずれかのボタン操作を 行なう(ステップ S9)。
[0049] キー入力部 6から、右ボタン 6cが長押しされて!、た場合 (ステップ S 10の YES)、現 在、作業用メモリ 4に保存されている静止画像列 31の最後の画像候補群が選択され ている状態にあるカゝ否かを判断する (ステップ S 11)。最後の画像候補群であった場 合 (ステップ S 11の YES)、左方向に遡った手前側の次の画像候補群を選択するた めに、ステップ S9に戻って、キー入力部 6のボタン操作を行なう動作が繰返されるが 、一方、最後の画像候補群ではない場合 (ステップ S11の NO)、次の画像候補群を 表示するために、作業用メモリ 4の静止画像列 31を右方向に一つ先の画像候補群ま で先送り移動して (ステップ S12)、次の画像候補群における最初の画像候補が作業 用メモリ 4から読み出されて (ステップ S13)、画像処理部 5によりパノラマ右画像 22と して画像処理されて、画像表示部 7の画面右側に画面表示される (ステップ S 14)。し かる後、ステップ S8に戻って、ノ Vラマ画像 32として合成すべき画像が選択されたか 否かが判断される。
[0050] 一方、キー入力部 6から、右ボタン 6cが長押しされていなかった場合 (ステップ S 10 の NO)、左ボタン 6bが長押しされていたか否かを判断して (ステップ S15)、左ボタン 6bが長押しされていた場合 (ステップ S 15の YES)、現在、作業用メモリ 4に保存され て!、る静止画像列 31の最初の画像候補群が選択されて 、る状態にある力否かを判 断する (ステップ S16)。最初の画像候補群であった場合 (ステップ SI 6の YES)、右 方向にある先方側の次の画像候補群を選択するために、ステップ S9に戻って、キー 入力部 6のボタン操作を行なう動作が繰返される力 一方、最初の画像候補群では ない場合 (ステップ S 16の NO)、次の画像候補群を表示するために、作業用メモリ 4 の静止画像列 31を左方向に一つ前の画像候補群まで逆送り移動して (ステップ S17 )、次の画像候補群における最初の画像候補が作業用メモリ 4から読み出されて (ス テツプ S18)、画像処理部 5によりパノラマ右画像 22として画像処理されて、画像表 示部 7の画面右側に画面表示される (ステップ S 19)。し力る後、ステップ S8に戻って 、 ノ Vラマ画像 32として合成すべき画像が選択された力否かが判断される。
[0051] 更に、キー入力部 6から、右ボタン 6cも左ボタン 6bも長押しされて 、なかった場合 ( ステップ S 15の NO)、右ボタン 6cが単押しされていたか否かを判断して(ステップ S2 0)、右ボタン 6cが単押しされていた場合 (ステップ S 20の YES)、現在選択されてい る画像候補群 (即ち、選択画像候補群及び Z又は隣接画像候補群)の中の、最後の 画像候補が選択されて 、る状態にあるか否かを判断する (ステップ S21)。最後の画 像候補であった場合 (ステップ S21の YES)、選択されている当該画像候補群の中 で、遡る方向の次の画像候補を選択するか、又は、次の画像候補群を選択するため に、ステップ S9に戻って、キー入力部 6のボタン操作を行なう動作が繰返される。一 方、最後の画像候補ではない場合 (ステップ S21の NO)、現在の画像候補の一つ右 側にある次の画像候補を表示するために、作業用メモリ 4の当該画像候補群の中を 右方向に一つ先の画像候補まで先送り移動して、次の画像候補が作業用メモリ 4か ら読み出されて (ステップ S22)、画像処理部 5によりパノラマ右画像 22として画像処 理されて、画像表示部 7の画面右側に画面表示される (ステップ S23)。し力る後、ス テツプ S8に戻って、ノ Vラマ画像 32として合成すべき画像が選択された力否かが判 断される。
[0052] 一方、キー入力部 6から、右ボタン 6cが単押しされて!、なかった場合 (ステップ S20 の NO)、次に、左ボタン 6bが単押しされていた力否かを判断して (ステップ S24)、左 ボタン 6bが単押しされていた場合 (ステップ S 24の YES)、現在選択されている画像 候補群 (即ち、選択画像候補群及び,又は隣接画像候補群)の中の、最初の画像 候補が選択されて 、る状態にあるか否かを判断する (ステップ S25)。最初の画像候 補であった場合 (ステップ S25の YES)、選択されている当該画像候補群の中で、先 方側にある次の画像候補を選択するか、又は、次の画像候補群を選択するために、 ステップ S9に戻って、キー入力部 6のボタン操作を行なう動作が繰返される。一方、 最初の画像候補ではない場合 (ステップ S25の NO)、現在の画像候補の一つ左側 にある次の画像候補を表示するために、作業用メモリ 4の当該画像候補群の中を左 方向に一つ前の画像候補まで逆送り移動して、次の画像候補が作業用メモリ 4から 読み出されて (ステップ S26)、画像処理部 5によりパノラマ右画像 22として画像処理 されて、画像表示部 7の画面右側に画面表示される (ステップ S27)。し力る後、ステ ップ S8に戻って、ノ Vラマ画像 32として合成すべき画像が選択された力否かが判断 される。
[0053] 更に、キー入力部 6から、右ボタン 6c、左ボタン 6bの!、ずれのボタンも長押し又は 単押しされていな力つた場合 (ステップ S24の NO)、無効なボタン操作がなされたも のとして、ステップ S9に戻って、キー入力部 6のボタン操作を行なう動作が繰返される
[0054] また、ステップ S8にお 、て、操作者は、表示された画面左右両方の画像の組み合 わせ力パノラマ画像 32として合成すべき画像であると判断して、パノラマ画像選択手 段としてのキー入力部 6の OKボタン 6aが操作された場合 (ステップ S8の YES)、次 に、操作者は、表示された画面左右両方の画像の表示位置が揃っていて、ノ Vラマ 画像 32として合成する状態に位置合わせができて 、る力否かを判断して (ステップ S 28)、位置合わせが十分ではないと判断した場合 (ステップ S28の NO)、左画像の 位置を基準にして、右画像の表示位置を調整するために、キー入力部 6の OKボタン 6aの代わりに、キー入力部 6の上下左右ボタン 6d, 6e, 6b, 6cいずれかのボタン操 作を行なう(ステップ S32)。
[0055] まず、上ボタン 6dが押されて 、た力否かを判断して (ステップ S33)、上ボタンが押 されていた場合 (ステップ S33の YES)、右画像を 1ステップ分だけ上方向に移動さ せる上ずらし処理が画像処理部 5の上下左右移動処理部 5aにより実施された後 (ス テツプ S34)、画像処理部 5の 2画面画像処理部 5aによりパノラマ右画像 22として画 像処理されて、画像表示部 7の画面右側に画面表示される (ステップ S35)。しかる後 、ステップ S28に戻って、ノ Vラマ画像 32として左右の画像の位置合わせが十分なさ れたか否かが判断される。
[0056] 一方、キー入力部 6から、上ボタン 6dが押されて!/、なかった場合 (ステップ S33の N 0)、下ボタン 6eが押されていたか否かを判断して (ステップ S36)、下ボタン 6eが押 されていた場合 (ステップ S36の YES)、右画像を 1ステップ分だけ下方向に移動さ せる下ずらし処理が画像処理部 5の上下左右移動処理部 5aにより実施された後 (ス テツプ S37)、画像処理部 5の 2画面画像処理部 5aによりパノラマ右画像 22として画 像処理されて、画像表示部 7の画面右側に画面表示される (ステップ S38)。しかる後 、ステップ S28に戻って、ノ Vラマ画像 32として左右の画像の位置合わせが十分なさ れたか否かが判断される。
[0057] 更に、キー入力部 6から、上ボタン 6dも下ボタン 6eも押されていな力つた場合 (ステ ップ S36の NO)、右ボタン 6cが押されていたか否かを判断して(ステップ S39)、右ボ タン 6cが押されていた場合 (ステップ S39の YES)、右画像を 1ステップ分だけ右方 向に移動させる右ずらし処理が画像処理部 5の上下左右移動処理部 5aにより実施 された後(ステップ S40)、画像処理部 5の 2画面画像処理部 5aによりパノラマ右画像 22として画像処理されて、画像表示部 7の画面右側に画面表示される (ステップ S41 )。し力る後、ステップ S28に戻って、ノ Vラマ画像 32として左右の画像の位置合わせ が十分なされたか否力が判断される。
[0058] 一方、キー入力部 6から、右ボタン 6cが押されて!/、なかった場合 (ステップ S39の N O)、左ボタン 6bが押されていた力否かを判断して (ステップ S42)、左ボタン 6bが押 されていた場合 (ステップ S42の YES)、右画像を 1ステップ分だけ左方向に移動さ せる左ずらし処理が画像処理部 5の上下左右移動処理部 により実施された後 (ス テツプ S43)、画像処理部 5の 2画面画像処理部 5aによりパノラマ右画像 22として画 像処理されて、画像表示部 7の画面右側に画面表示される (ステップ S44)。しかる後 、ステップ S28に戻って、ノ Vラマ画像 32として左右の画像の位置合わせが十分なさ れたか否かが判断される。
[0059] 更に、キー入力部 6から、上下左右ボタン 6d, 6e, 6b, 6cのいずれのボタンも押さ れていなかった場合 (ステップ S42の NO)、右回転ボタン 6gが押されていたか否か を判断して (ステップ S45)、右回転ボタン 6gが押されて 、た場合 (ステップ S45の Y ES)、右画像を 1ステップ分だけ右方向に回転させる右回転処理が画像処理部 5の 左右回転処理部 5aにより実施された後 (ステップ S46)、画像処理部 5の 2画面画像
2
処理部 5aによりパノラマ右画像 22として画像処理されて、画像表示部 7の画面右側 に画面表示される (ステップ S47)。し力る後、ステップ S28に戻って、パノラマ画像 3 2として左右の画像の位置合わせが十分なされた力否かが判断される。
[0060] 一方、キー入力部 6から、右回転ボタン 6gが押されて 、な力つた場合 (ステップ S45 の NO)、左回転ボタン 6fが押されていた力否かを判断して (ステップ S48)、左回転 ボタン 6fが押されていた場合 (ステップ S48の YES)、右画像を 1ステップ分だけ左方 向に回転させる左回転処理が画像処理部 5の左右回転処理部 5aにより実施された
2
後(ステップ S49)、画像処理部 5の 2画面画像処理部 5aによりパノラマ右画像 22とし て画像処理されて、画像表示部 7の画面右側に画面表示される (ステップ S50)。し かる後、ステップ S28に戻って、ノ Vラマ画像 32として左右の画像の位置合わせが十 分なされた力否力が判断される。
[0061] また、上下左右ボタン 6d, 6e, 6b, 6c及び左右回転ボタン 6f, 6gのいずれのボタ ンも押されていなカゝつた場合 (ステップ S48の NO)、無効なボタン操作がなされたも のとして、ステップ S32に戻って、キー入力部 6のボタン操作を行なう動作が繰返され る。
[0062] また、ステップ S 28において、操作者が、表示された画面左右両方の画像の表示 位置が揃っていて、パノラマ画像 32として合成する状態に位置合わせが十分にでき ていると判断して、キー入力部 6の OKボタン 6aが操作された場合 (ステップ S28の Y ES)、パノラマ画像 32として画面表示すべき左画像と右画像との選択が終了し、力 つ、左画像と右画像との位置合わせも終了している状態にあるので、画像処理部 5の スムージング処理部 5bにより左右の画像の重複部分を含む両者の画像間のスムー ジング処理が施された後、左右の画像を纏め合わせた 1枚のノ Vラマ画像 32として 画像合成処理がなされて (ステップ S29)、合成されたパノラマ画像 32は、画像表示 部 7に画面表示される (ステップ S30)。更に、合成されたパノラマ画像 32は、操作者 力ものキー入力部 6を介した指示により、記録媒体 8に蓄積される (ステップ S31)。
[0063] 図 6に示したフローチャートにおいては、作業用メモリ 4に格納された静止画像列 3 1の先頭の静止画像をパノラマ左画像 21として固定して、作業用メモリ 4にある静止 画像列 31の中からパノラマ右画像 22を選択し、該パノラマ右画像 22をパノラマ左画 像 21に位置合わせをする場合を示したが、本発明は、カゝかる場合に限るものではな ぐ左右を逆にして、作業用メモリ 4に格納された静止画像列 31の先頭の静止画像を ノ Vラマ右画像 22として固定して、作業用メモリ 4にある静止画像列 31の中からパノ ラマ左画像 21を選択し、該パノラマ左画像 21をパノラマ右画像 22に位置合わせを するようにしても良い。
[0064] 更には、基準とする画像を、作業用メモリ 4の静止画像列 31の先頭の静止画像とす る代わりに、記録媒体 8に蓄積されたパノラマ画像 32を用いることとしても良い。ある いは、場合によっては、ノ Vラマ左画像 21とパノラマ右画像 22との双方共に、作業用 メモリ 4の静止画像列 31及び記録媒体 8のパノラマ画像 32の中から、任意に選択す ることとしても良いし、更に、ノ Vラマ画像としての位置合わせについても、ノ Vラマ右 画像 22のみならず、ノ Vラマ左画像 21についても位置合わせの調整を行なうことを 可能としても良い。
符号の説明
[0065] 1…カメラ、 2· ··バッファメモリ、 3…動画処理部、 4…作業用メモリ、 5…画像処理部、 5&· ·· 2画面画像処理部、 5a…上下左右移動処理部、 5a…左右回転処理部、 5b
1 2
…パノラマ画像処理部、 5b …スム一ジング処理部、 5b …スクロール画像作成部、 6
1 2
…キー入力部、 6a"-OKボタン、 6b…左ボタン、 6c…右ボタン、 6d…上ボタン、 6e …下ボタン、 6f…左回転ボタン、 6g…右回転ボタン、 6h…拡大ボタン、 6i…縮小ボ タン、 7…画像表示部、 8…記録媒体、 10···パノラマ画像撮影装置、 21···パノラマ左 画像、 22···パノラマ右画像、 23…重複領域、 31···静止画像列、 31a, 31b…静止 画像、 32···パノラマ画像。

Claims

請求の範囲
[1] 動画像の各コマに該当するそれぞれの静止画像を作成する動画処理手段と、該動 画処理手段により作成された複数枚の前記静止画像の中から、任意の 2枚の静止画 像を選択する選択手段と、該選択手段により選択された前記 2枚の静止画像をそれ ぞれ縮小あるいは拡大させ、かつ、該 2枚の静止画像それぞれの一部を互いに重複 させて配置して、 2つのウィンドウからなる 2画面として表示する 2画面画像を作成する 2画面画像処理手段と、該 2画面画像処理手段により作成された前記 2画面画像の 中から、パノラマ画像とすべき 2画面画像を選択するパノラマ画像選択手段と、該パノ ラマ画像選択手段により選択された前記 2画面画像を 1枚の画像に合成して、ノ Vラ マ画像を作成するパノラマ画像処理手段と、前記静止画像あるいは前記 2画面画像 あるいは前記パノラマ画像を画面表示する画像表示手段と、前記静止画像及び Z 又は前記パノラマ画像を蓄積する記録媒体とを備えていることを特徴とするパノラマ 画像作成装置。
[2] 請求項 1に記載のパノラマ画像作成装置にお!、て、前記選択手段が、画面の一方 のウィンドウに画面表示する静止画像として、前記動画処理手段により作成された前 記静止画像のうち、前記動画像の先頭に位置する先頭コマに該当する静止画像を 選択し、反対側の他方のウィンドウに画面表示する静止画像として、前記動画像の先 頭コマに後続する各コマに該当するいずれか任意の静止画像を選択することができ ることを特徴とするパノラマ画像作成装置。
[3] 請求項 1に記載のパノラマ画像作成装置にお!、て、前記選択手段が、画面の一方 のウィンドウに画面表示する静止画像として、前記記録媒体に蓄積された前記パノラ マ画像を選択し、反対側の他方のウィンドウに画面表示する静止画像として、前記動 画像の先頭コマに後続する各コマに該当するいずれか任意の静止画像を選択する ことができることを特徴とするパノラマ画像作成装置。
[4] 請求項 1乃至 3のいずれかに記載のパノラマ画像作成装置において、前記選択手 段が、前記動画処理手段により作成された複数枚の前記静止画像の中から、いずれ 力任意の静止画像を選択する際に、複数枚の前記静止画像を、予め定められた所 定のコマ数分の静止画像枚数カゝらなる複数の画像候補群に分割し、分割された前 記画像候補群の先頭コマに該当する静止画像を飛び飛びに順次選択して、前記 2 画面画像処理手段により前記 2画面画像として画面表示することにより、所望の静止 画像に近接する静止画像が属する画像候補群を選択画像候補群として選択した後 、該選択画像候補群の中、及び Z又は、該選択画像候補群に隣接する隣接画像候 補群の中、の各静止画像を順次選択して、前記 2画面画像処理手段により前記 2画 面画像として画面表示し、前記パノラマ画像選択手段が、パノラマ画像とすべき前記 2画面画像を選択することができることを特徴とするパノラマ画像作成装置。
[5] 請求項 1乃至 4のいずれかに記載のパノラマ画像作成装置において、前記 2画面 画像処理手段が、前記選択手段により選択された 2枚の静止画像力 なる前記 2画 面画像を作成する際に、及び Z又は、前記パノラマ画像選択手段によりパノラマ画 像とすべき前記 2画面画像が選択された際に、前記 2画面画像を構成する 2枚の静 止画像のそれぞれの位置を、又は、いずれか一方の位置を、上下左右の任意の方 向に移動又は回転させることができることを特徴とするパノラマ画像作成装置。
[6] 請求項 1乃至 5のいずれかに記載のパノラマ画像作成装置において、前記パノラマ 画像処理手段が、前記 2画面画像を合成してパノラマ画像を作成する際に、前記 2 画面画像を構成する 2枚の静止画像の互いの重複部分に対してスムージング処理を 施すことができることを特徴とするパノラマ画像作成装置。
[7] 請求項 1乃至 6のいずれかに記載のパノラマ画像作成装置において、前記パノラマ 画像処理手段が、前記 2画面画像を合成して前記パノラマ画像を作成する際に、前 記パノラマ画像を順次スクロールして前記画像表示手段に画面表示するスクロール 画像として作成することができることを特徴とするパノラマ画像作成装置。
[8] 動画像を撮影する撮影手段を備え、更に、該撮影手段により撮影された動画像の 各コマに該当する静止画像を作成して、作成された該静止画像を用いてパノラマ画 像を作成して記録媒体に蓄積するパノラマ画像作成手段を備えたパノラマ画像撮影 装置において、パノラマ画像を作成する前記パノラマ画像作成手段として、請求項 1 乃至 7の ヽずれかに記載のパノラマ画像作成装置を備えて!/ヽることを特徴とするパノ ラマ画像撮影装置。
PCT/JP2004/012286 2003-09-26 2004-08-26 パノラマ画像作成装置及びパノラマ画像撮影装置 WO2005032125A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US10/572,907 US20070103544A1 (en) 2004-08-26 2004-08-26 Panorama image creation device and panorama image imaging device
JP2005514165A JP4180083B2 (ja) 2003-09-26 2004-08-26 パノラマ画像作成装置及びパノラマ画像撮影装置
EP04772242A EP1667439A4 (en) 2003-09-26 2004-08-26 DEVICE FOR GENERATING A PANORAMIC IMAGE AND PICTORIAL IMAGING APPARATUS

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003-334728 2003-09-26
JP2003334728 2003-09-26

Publications (1)

Publication Number Publication Date
WO2005032125A1 true WO2005032125A1 (ja) 2005-04-07

Family

ID=34386040

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/012286 WO2005032125A1 (ja) 2003-09-26 2004-08-26 パノラマ画像作成装置及びパノラマ画像撮影装置

Country Status (3)

Country Link
EP (1) EP1667439A4 (ja)
JP (1) JP4180083B2 (ja)
WO (1) WO2005032125A1 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2005387A1 (en) * 2006-04-10 2008-12-24 Nokia Corporation Constructing image panorama using frame selection
WO2009028409A1 (ja) * 2007-08-24 2009-03-05 Sony Corporation 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム
WO2009028413A1 (ja) * 2007-08-24 2009-03-05 Sony Corporation 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム
WO2009072551A1 (ja) * 2007-12-07 2009-06-11 Sony Corporation 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム
WO2009081732A1 (ja) * 2007-12-26 2009-07-02 Sony Corporation 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム
WO2009081806A1 (ja) * 2007-12-21 2009-07-02 Sony Corporation 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム
WO2009084410A1 (ja) * 2007-12-27 2009-07-09 Sony Corporation 撮像装置、その制御方法およびプログラム
JP2010136387A (ja) * 2009-12-17 2010-06-17 Casio Computer Co Ltd 静止画生成装置、静止画生成プログラム及び静止画生成方法
KR20110048892A (ko) * 2009-11-03 2011-05-12 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US8208064B2 (en) 2007-04-09 2012-06-26 Sony Corporation Wipe video signal processing apparatus, wipe video signal processing method, computer program product, and image display apparatus
JP2012170055A (ja) * 2011-01-24 2012-09-06 Panasonic Corp 撮像装置
US8421871B2 (en) 2008-09-22 2013-04-16 Sony Corporation Method and apparatus for image pickup and image processing
US8570390B2 (en) 2007-12-07 2013-10-29 Sony Corporation Image processing apparatus, dynamic picture reproduction apparatus, and processing method and program for the same
US8599320B2 (en) 2008-01-21 2013-12-03 Sony Corporatiion Picture processing apparatus, processing method for use therewith, and program
CN108898555A (zh) * 2018-07-27 2018-11-27 维沃移动通信有限公司 一种图像处理方法及终端设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100883106B1 (ko) * 2007-04-03 2009-02-11 삼성전자주식회사 비디오 데이터 표시 방법 및 이를 이용하는 휴대 단말기
JP5133816B2 (ja) * 2008-08-22 2013-01-30 オリンパスイメージング株式会社 カメラ、画像合成方法、およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06326965A (ja) * 1992-10-09 1994-11-25 Sony Corp 画像信号記録装置及び画像信号記録再生装置
JPH07203278A (ja) * 1993-12-28 1995-08-04 Olympus Optical Co Ltd 画像取り扱い装置
JPH09322059A (ja) * 1996-05-28 1997-12-12 Canon Inc 画像合成装置及び撮像装置
JPH114398A (ja) * 1997-06-11 1999-01-06 Hitachi Ltd デジタルワイドカメラ
JP2000244814A (ja) * 1999-02-24 2000-09-08 Hitachi Ltd 画像合成装置、画像合成方法が記録された記録媒体

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6549681B1 (en) * 1995-09-26 2003-04-15 Canon Kabushiki Kaisha Image synthesization method
US6075905A (en) * 1996-07-17 2000-06-13 Sarnoff Corporation Method and apparatus for mosaic image construction
JP3974964B2 (ja) * 1996-11-08 2007-09-12 オリンパス株式会社 画像処理装置
US6895126B2 (en) * 2000-10-06 2005-05-17 Enrico Di Bernardo System and method for creating, storing, and utilizing composite images of a geographic location

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06326965A (ja) * 1992-10-09 1994-11-25 Sony Corp 画像信号記録装置及び画像信号記録再生装置
JPH07203278A (ja) * 1993-12-28 1995-08-04 Olympus Optical Co Ltd 画像取り扱い装置
JPH09322059A (ja) * 1996-05-28 1997-12-12 Canon Inc 画像合成装置及び撮像装置
JPH114398A (ja) * 1997-06-11 1999-01-06 Hitachi Ltd デジタルワイドカメラ
JP2000244814A (ja) * 1999-02-24 2000-09-08 Hitachi Ltd 画像合成装置、画像合成方法が記録された記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1667439A4 *

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2005387A1 (en) * 2006-04-10 2008-12-24 Nokia Corporation Constructing image panorama using frame selection
EP2005387A4 (en) * 2006-04-10 2010-01-06 Nokia Corp DEVELOPING A PANORAMA IMAGE BY SELECTING FRAMES
US7860343B2 (en) 2006-04-10 2010-12-28 Nokia Corporation Constructing image panorama using frame selection
US8208064B2 (en) 2007-04-09 2012-06-26 Sony Corporation Wipe video signal processing apparatus, wipe video signal processing method, computer program product, and image display apparatus
WO2009028409A1 (ja) * 2007-08-24 2009-03-05 Sony Corporation 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム
WO2009028413A1 (ja) * 2007-08-24 2009-03-05 Sony Corporation 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム
US8754959B2 (en) 2007-08-24 2014-06-17 Sony Corporation Image processing device, dynamic image reproduction device, and processing method and program in them
US8963951B2 (en) 2007-08-24 2015-02-24 Sony Corporation Image processing apparatus, moving-image playing apparatus, and processing method and program therefor to allow browsing of a sequence of images
US8768097B2 (en) 2007-12-07 2014-07-01 Sony Corporation Image processing apparatus, moving image reproducing apparatus, and processing method and program therefor
WO2009072551A1 (ja) * 2007-12-07 2009-06-11 Sony Corporation 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム
US8570390B2 (en) 2007-12-07 2013-10-29 Sony Corporation Image processing apparatus, dynamic picture reproduction apparatus, and processing method and program for the same
US9402015B2 (en) 2007-12-07 2016-07-26 Sony Corporation Image processing apparatus, dynamic picture reproduction apparatus, and processing method and program for the same
US8810708B2 (en) 2007-12-21 2014-08-19 Sony Corporation Image processing apparatus, dynamic picture reproduction apparatus, and processing method and program for the same
WO2009081806A1 (ja) * 2007-12-21 2009-07-02 Sony Corporation 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム
US8305457B2 (en) 2007-12-21 2012-11-06 Sony Corporation Image processing apparatus, dynamic picture reproduction apparatus, and processing method and program for the same
US8515256B2 (en) 2007-12-26 2013-08-20 Sony Corporation Image processing apparatus, moving image reproducing apparatus, and processing method and program therefor
JP2009159330A (ja) * 2007-12-26 2009-07-16 Sony Corp 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム
JP4697221B2 (ja) * 2007-12-26 2011-06-08 ソニー株式会社 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム
WO2009081732A1 (ja) * 2007-12-26 2009-07-02 Sony Corporation 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム
JP2009159514A (ja) * 2007-12-27 2009-07-16 Sony Corp 撮像装置、その制御方法およびプログラム
JP4678404B2 (ja) * 2007-12-27 2011-04-27 ソニー株式会社 撮像装置、その制御方法およびプログラム
US8350929B2 (en) 2007-12-27 2013-01-08 Sony Corporation Image pickup apparatus, controlling method and program for the same
WO2009084410A1 (ja) * 2007-12-27 2009-07-09 Sony Corporation 撮像装置、その制御方法およびプログラム
CN101595728B (zh) * 2007-12-27 2011-04-06 索尼株式会社 图像拾取设备及其控制方法和程序
US8599320B2 (en) 2008-01-21 2013-12-03 Sony Corporatiion Picture processing apparatus, processing method for use therewith, and program
US8717504B2 (en) 2008-01-21 2014-05-06 Sony Corporation Picture processing apparatus, processing method for use therewith, and program
US8421871B2 (en) 2008-09-22 2013-04-16 Sony Corporation Method and apparatus for image pickup and image processing
KR20110048892A (ko) * 2009-11-03 2011-05-12 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR101631912B1 (ko) 2009-11-03 2016-06-20 엘지전자 주식회사 이동 단말기 및 그 제어 방법
JP2010136387A (ja) * 2009-12-17 2010-06-17 Casio Computer Co Ltd 静止画生成装置、静止画生成プログラム及び静止画生成方法
JP2012170055A (ja) * 2011-01-24 2012-09-06 Panasonic Corp 撮像装置
CN108898555A (zh) * 2018-07-27 2018-11-27 维沃移动通信有限公司 一种图像处理方法及终端设备
CN108898555B (zh) * 2018-07-27 2022-09-23 维沃移动通信有限公司 一种图像处理方法及终端设备

Also Published As

Publication number Publication date
EP1667439A1 (en) 2006-06-07
JP4180083B2 (ja) 2008-11-12
JPWO2005032125A1 (ja) 2008-06-12
EP1667439A4 (en) 2006-11-08

Similar Documents

Publication Publication Date Title
WO2005032125A1 (ja) パノラマ画像作成装置及びパノラマ画像撮影装置
JP4980779B2 (ja) 撮影装置、方法およびプログラム
JP4956988B2 (ja) 撮像装置
US20070103544A1 (en) Panorama image creation device and panorama image imaging device
US20090080930A1 (en) Imaging device and its control method
JP4178657B2 (ja) パノラマ撮影方法及び撮像装置
JP2004304801A (ja) 合成パノラマ画像を作成するのに用いられる画像をコンポーズして取り込む際にユーザをガイドする方法及びシステム、並びに、カメラ
JPWO2014069228A1 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP4635477B2 (ja) 画像撮影装置、擬似3次元画像生成方法、及び、プログラム
JP4296032B2 (ja) 画像処理装置
JP2006174128A (ja) 撮像装置および撮像システム
JP5785038B2 (ja) 撮影機器
JP2007174301A (ja) 画像撮影装置
JP4148817B2 (ja) パノラマ画像撮影装置及びパノラマ画像撮影方法
JP5965037B2 (ja) 撮影機器
JP4239271B2 (ja) 電子スチルカメラ
CN108215536A (zh) 打印机及带有打印机的数码相机和打印方法
JP3298176B2 (ja) カメラ装置
JP2006020105A (ja) 撮像装置、スロット写真撮影方法、及びプログラム
JP3206139B2 (ja) 画像処理装置及びその方法
JP4741434B2 (ja) Cg合成装置およびcg合成プログラム
JP3772563B2 (ja) パノラマ撮影方法および撮像装置
JP6205464B2 (ja) 撮影機器
JP5143816B2 (ja) 撮像装置
JP2006174042A (ja) カメラ及び撮影方法

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
DPEN Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2005514165

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2007103544

Country of ref document: US

Ref document number: 10572907

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2004772242

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2004772242

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 10572907

Country of ref document: US