WO2021161709A1 - 画像生成装置、画像生成方法、画像生成プログラム及び記録媒体 - Google Patents

画像生成装置、画像生成方法、画像生成プログラム及び記録媒体 Download PDF

Info

Publication number
WO2021161709A1
WO2021161709A1 PCT/JP2021/000914 JP2021000914W WO2021161709A1 WO 2021161709 A1 WO2021161709 A1 WO 2021161709A1 JP 2021000914 W JP2021000914 W JP 2021000914W WO 2021161709 A1 WO2021161709 A1 WO 2021161709A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
frame
importance
frame images
moving
Prior art date
Application number
PCT/JP2021/000914
Other languages
English (en)
French (fr)
Inventor
慶浩 黄
昌夫 中根
Original Assignee
パイオニア株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パイオニア株式会社 filed Critical パイオニア株式会社
Priority to JP2022500272A priority Critical patent/JP7448629B2/ja
Publication of WO2021161709A1 publication Critical patent/WO2021161709A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor

Definitions

  • the present invention relates to an image generation device that generates one image based on a plurality of images, an image generation method, an image generation program, and a recording medium.
  • Patent Document 1 includes a time-direction search means for searching the moving image content in the time direction, extracts thumbnails from the moving image content using a time code string, and displays the search result. Is disclosed.
  • Patent Document 2 two line cameras are mounted on a moving body, and images taken by each line camera are joined while moving to obtain a panoramic image that extends beyond the viewing angle of each of the two cameras.
  • the method of making is disclosed.
  • the present invention has been made in view of the above points, and an object of the present invention is to provide an image generation device that generates an image capable of efficient search when a user searches for a desired portion in an image. It is one.
  • the invention according to claim 1 is a moving image acquisition unit that acquires a landscape moving image in which a landscape from a moving body is photographed, a frame selecting unit that selects a plurality of frame images from the landscape moving object, and the selected plurality.
  • the index acquisition unit that acquires the importance index indicating the importance of each of the frame images of the above, and each of the selected plurality of frame images have small dimensions in the first direction corresponding to the movement direction of the moving body. It has a composite image generation unit that is reduced according to the importance indicated by the importance index associated with each of the plurality of images, and is combined in the order in which the images were taken to generate one composite image. It is characterized by that.
  • the invention according to claim 8 is an image generation method in which an image generation device generates an image, in which a moving image acquisition unit acquires a landscape moving image in which a landscape from a moving body is photographed, and a frame selection.
  • a frame selection step in which the unit selects a plurality of frame images from the landscape moving image
  • an index acquisition step in which the index acquisition unit acquires an importance index indicating the importance of each of the selected plurality of frame images.
  • the composite image generation unit attaches each of the plurality of frame images selected in the frame selection step to each of the plurality of images so that the dimension in the first direction corresponding to the moving direction of the moving body becomes smaller. It is characterized by including a composite image generation step of reducing according to the importance indicated by the associated importance index and synthesizing in the order in which the images were taken to generate one composite image.
  • the invention according to claim 9 is an image generation program executed by an image generation device including a computer, wherein a moving image acquisition unit acquires a landscape moving image in which a scenery from a moving body is photographed on the computer.
  • the index acquisition step to be acquired and the composite image generation unit so that each of the plurality of frame images selected in the frame selection step has a smaller dimension in the first direction corresponding to the movement direction of the moving body.
  • FIG. 1 is a diagram schematically showing a configuration of an image generation device 10 according to an embodiment of the present invention.
  • the image generation device 10 is a device that processes a moving image taken by a movable imaging device.
  • the image generation device 10 can, for example, be mounted on a moving body, capture a landscape moving image taken while the moving body is traveling by a camera mounted on the moving body, reproduce the scenery moving body, and output the image. It is configured in. Further, the image generation device 10 is configured to be able to generate a composite image from the frame images constituting the landscape moving image.
  • the image generation device 10 outputs a composite image to a display device mounted on the moving body. Further, for example, the image generation device 10 outputs a video in which a landscape moving image is reproduced toward a display device mounted on the moving body.
  • the image generation device 10 displays a composite image on the display device, accepts a selection operation for selecting a position 1 in the horizontal direction in the composite image, and cue from the frame image corresponding to the selected position. Is performed to output the reproduced video of the landscape video.
  • the image generator 10 is mounted on the automobile M as a moving body. As shown in FIG. 1, the image generator 10 is mounted in, for example, the dashboard of an automobile M.
  • the camera 13 is, for example, a video camera attached to the roof portion or the door panel portion of the automobile M so that the side surface of the automobile M can be photographed.
  • the camera 13 is communicatively connected to the image generation device 10, and is configured to be able to transmit a captured still image or moving image to the image generation device 10.
  • the moving image taken by the camera 13 is taken into the image generation device 10.
  • the camera 13 is set to start shooting when the automobile M starts the engine and starts running.
  • a video camera capable of photographing the front and the rear of the automobile M may be further attached to the automobile M.
  • the first display 15 is a display device provided in the window portion of the automobile M.
  • the case where the first display 15 is a transparent display attached to the window glass of the automobile M will be described.
  • the first display 15 is attached to the rear door DR.
  • the first display 15 may be attached instead of the window glass of the automobile M, or may be attached to the inside of the window glass of the automobile M.
  • the first display 15 may be attached to, for example, the front door DF, or may be attached to the inside of the windshield, for example.
  • the first display 15 is, for example, a display composed of a transparent liquid crystal, an organic EL, or an inorganic EL.
  • the first display 15 has a visible light transmittance of a predetermined value or higher at least when no moving image is displayed, and is configured so that the external landscape can be seen with the naked eye.
  • the first display 15 is connected to the image generator 10 by wire or wirelessly.
  • the first display 15 has a display surface facing the interior (inside the cabin) side of the automobile M, and displays the moving image output from the image generator 10 toward the passenger compartment side of the automobile M. For example, a user in the room of the automobile M can watch a moving image of a landscape taken from the automobile M in a manner as if looking out from a window.
  • FIG. 2 is a diagram schematically showing a part of the first display 15 (that is, the window of the automobile M) and the rear door DR seen from the indoor side of the automobile M.
  • FIG. 2 shows a state in which the rear door DR is viewed from the rear seat.
  • the first display 15 has a moving image display surface 15A facing the inside of the automobile M.
  • a moving image taken from the automobile M in the past is reproduced and displayed by the image generation device 10.
  • the touch panel 17 is a touch panel display mounted inside the door panel of the rear door DR.
  • the touch panel 17 extends to the surface of the inner panel IP of the rear door DR along the upper end portion of the inner panel IP.
  • the touch panel 17 has a rectangular shape whose longitudinal direction is along the upper end of the inner panel.
  • the touch panel 17 is a touch panel composed of a second display 17A and a touch pad 17B.
  • the second display 17A is a display device such as a liquid crystal display device or an organic EL display device.
  • the touch pad 17B is, for example, a pressure-sensitive or electrostatic transparent touch pad that is attached to the display surface of the second display 17A and accepts operations with a human finger or the like.
  • the touch panel 17 is communicably connected to the image generation device 10 and can display the image output from the image generation device 10. Further, the touch panel 17 can accept the operation of playing, fast-forwarding, or fast-rewinding the moving image displayed on the first display 15, and can transmit an instruction based on the acceptance of the operation to the image generation device 10.
  • FIG. 3 is a functional block diagram of the image generation device 10.
  • the image generation device 10 is, for example, a device in which each part cooperates via a system bus 18.
  • the input unit 19 is an interface for acquiring data from an external device of the image generation device 10.
  • the input unit 19 is connected to the camera 13, which is a device provided in the automobile M.
  • the image generation device 10 can capture a landscape moving image from the camera 13 via the input unit 19.
  • the input unit 19 is a global positioning system (GNSS: Global Navigation Satellite System), which is one of a speed sensor 21 capable of acquiring the speed of the vehicle M and a position information of the vehicle M. It is connected to a GPS receiver 22 capable of receiving GPS: Global Positioning System) information. That is, the image generator 10 is configured so that the speed of the automobile M can be acquired from the speed sensor 21 and GPS information can be acquired from the GPS receiver 22.
  • GNSS Global Navigation Satellite System
  • the output unit 23 is an interface that outputs data to an external device of the image generation device 10.
  • the output unit 23 is connected to the first display 15 and the second display 17A of the touch panel 17.
  • the output unit 23 outputs a video in which a series of moving images are reproduced by the image generation device 10 to the first display 15.
  • the output unit 23 outputs an operation image for a reproduction operation to the second display 17A.
  • the output unit 23 outputs the composite image generated by the image generation device 10 to the second display 17A.
  • the operation input unit 25 is an interface for acquiring an operation input signal via the touch pad 17B of the touch panel 17.
  • the operation input unit 25 is connected to the touch pad 17B and acquires an operation input signal for the operation image displayed on the second display 17A.
  • the storage unit 27 is composed of, for example, a hard disk device, an SSD (solid state drive), a flash memory, or the like, and stores various programs related to image processing, video reproduction, and the like in the image generation device 10.
  • the storage unit 27 stores a map database in which map information is stored.
  • the various programs or map information may be acquired from another server device or the like via a network (not shown), or may be recorded on a recording medium and read via various drive devices. You may do so.
  • Various programs stored in the storage unit 27 can be transmitted via a network, and can be recorded on a computer-readable recording medium and transferred.
  • the control unit 29 is composed of a CPU (Central Processing Unit) 29A, a ROM (Read Only Memory) 29B, a RAM (Random Access Memory) 29C, and the like, and functions as a computer. Then, the CPU 29A realizes various functions by reading and executing various programs stored in the ROM 29B and the storage unit 27.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • control unit 29 acquires a moving image taken by the camera 13 via the input unit 19 and functions as a moving image acquisition unit.
  • control unit 29 acquires the speed of the automobile M via the input unit 19, and acquires the cumulative mileage from the speed and the traveling time.
  • control unit 29 acquires the current position information of the vehicle M from the data of the GPS receiver 22 via the input unit 19, and calculates the cumulative mileage of the vehicle M from the position and time of the vehicle M.
  • the control unit 29 acquires the cumulative mileage (that is, the integrated mileage) from the start of the vehicle M to the present based on the information acquired from the speed sensor 21 or the GPS receiver 22 via the input unit 19. At that time, it functions as a moving distance acquisition unit.
  • control unit 29 associates each of the frame images constituting the series of moving images acquired from the camera 13 via the input unit 19 with the cumulative mileage of the automobile M at the time when each of the frame images is taken. It functions as an information-holding video generation unit that generates information-holding videos. Further, the control unit 29 functions as a recording control unit that stores the generated information-holding moving image in the storage unit 27.
  • control unit 29 functions as a frame selection unit that selects a plurality of frame images from all the frame images constituting the information-holding moving image.
  • control unit 29 selects a plurality of frame images (hereinafter, also referred to as selected frame images) from the information-holding moving image, the control unit 29 extracts each frame image according to the cumulative mileage at the imaging position.
  • the control unit 29 when selecting a plurality of frame images from the information-holding moving image, extracts a plurality of frame images so that the cumulative movement distances at the imaging positions of the frame images are evenly spaced. In other words, the control unit 29 selects a plurality of frame images so that the points where each of the frame images is captured are equidistant.
  • the distance interval at the point where each of the plurality of frame images is captured is always set to a constant distance interval.
  • control unit 29 selects a plurality of frame images at equidistant intervals
  • the control unit 29 arranges the distance intervals at the points where each of the plurality of frame images is captured in the order in which the plurality of frame images are captured. Select at a distance interval that causes an overlapping part of the shooting range (shooting area) between the image and the adjacent frame image.
  • control unit 29 functions as an index acquisition unit that acquires an importance index indicating the importance of each of the selected plurality of frame images.
  • the importance is determined based on the degree of appearance of the landscape for each position on the map.
  • the degree of appearance is associated with the map information in the map database in advance based on judgment materials such as the number of buildings and commercial facilities and the presence or absence of tourist attractions for each position or area on the map.
  • the degree of appearance is a predetermined numerical value, and is associated with a position on a map of a map database, for example, as a "highlight rank".
  • the frame image taken when the automobile M is at a high position on the map database (for example, the highlight rank) is judged to be of high importance.
  • the frame image taken when the automobile M is in a position having a low highlight rank on the map database is determined to be of low importance.
  • control unit 29 as the index acquisition unit determines the position of the automobile M at the time when each of the frame images or the selected frame images constituting the landscape moving image is taken, and the appearance of the landscape for each position on the map. Based on the map data in which the information about the frame image is stored in advance, the importance index indicating the importance of each of the frame images is specified. For example, the control unit 29 acquires the importance by referring to the position information of the automobile M by GPS and the map database previously recorded in the storage unit 27.
  • the importance may be determined by comparing each of the plurality of frame images constituting the landscape moving image or each of the selected frame images and determining the degree of change. For example, even if the control unit 29 as the index acquisition unit determines that the frame image having a large change in the image as compared with the adjacent frame images in the order of being photographed has a high degree of change, and determines that the degree of importance is high. good.
  • the importance may be determined by the complexity of the image for each of the plurality of frame images constituting the landscape moving image or each of the selected frame images.
  • the control unit 29 as an index acquisition unit analyzes each of a plurality of frame images or selected frame images to calculate the complexity of each image, and determines that the higher the complexity of the frame image, the higher the importance. You may.
  • control unit 29 as the index acquisition unit may determine that the importance is high when the positioning in the predetermined position range is detected from the positioning information such as GPS.
  • the control unit 29 as the index acquisition unit may determine that the importance of the landscape moving image taken in the situation where the GPS information cannot be acquired for a predetermined time or longer is low.
  • the control unit 29 as the index acquisition unit may determine that the landscape moving image on the side in the traveling direction is more important than the landscape moving image in front of or behind the traveling direction. That is, the importance may be determined, for example, based on the shooting direction taken by the camera 13 with reference to the traveling direction of the automobile M.
  • the above importance judgment conditions can be set arbitrarily.
  • the conditions for determining the importance are the shooting position of the automobile M, the appearance of the landscape associated with the position on the map information corresponding to the shooting position, the degree of change in the image between adjacent frame images, and the complexity of the frame image.
  • the importance may be determined by a plurality of determination conditions, not limited to any one of the degree, the acquisition status of the positioning information from the satellite system, and the imaging direction of the photographing unit with respect to the traveling direction of the automobile M.
  • the index acquisition unit determines the importance of the shooting position of the automobile M, the appearance of the landscape associated with the position on the map information corresponding to the shooting position, the degree of change in the image between adjacent frame images, and the frame.
  • the importance index is acquired based on at least one of the complexity of the image, the acquisition status of the positioning information from the satellite system, and the photographing direction of the photographing unit with respect to the traveling direction of the automobile M.
  • the importance may be associated with each of the frame images constituting the landscape moving image to generate an information-holding moving image.
  • at least one of the cumulative mileage and the importance may be associated with each of the frame images constituting the information-holding moving image.
  • control unit 29 functions as a composite image generation unit that generates a composite image from the information-holding moving image.
  • the control unit 29 as a composite image generation unit joins and synthesizes each of the plurality of frame images (selected frame images) selected by the frame selection unit in the order in which they are taken, that is, in the order corresponding to the moving direction of the automobile M. , Generate a composite image.
  • the composite image is generated by joining the landscapes in the plurality of selected frame images so as not to be interrupted, and becomes a panoramic image.
  • each of the selected frame images is reduced so that the dimension in the direction (first direction) corresponding to the moving direction of the automobile M becomes smaller according to the importance indicated by the importance index.
  • NS For example, each of the selected frame images is reduced at a greater reduction rate as it becomes less important.
  • control unit 29 functions as a display control unit that controls the display of the generated composite image on the second display 17A.
  • the control unit 29 as the display control unit may, for example, control to display the entire composite image, or may control to display a part of the composite image. For example, when displaying a part of the composite image, it may be controlled so that the part of the composite image is scrolled.
  • control unit 29 functions as an operation reception unit that receives an instruction operation related to playback of the landscape moving image via the operation input unit 25.
  • control unit 29 as an operation receiving unit receives an instruction operation for instructing the playback control unit to play, fast forward, or fast rewind through an input operation to the touch pad 17B using an image for playback operation. ..
  • the control unit 29 controls the reproduction of a moving image to be displayed on the first display 15 via the output unit 23 in response to the instruction operation.
  • the control unit 29 functions as a playback control unit that controls the playback of a landscape moving image or the fast-forwarding or fast-rewinding.
  • control unit 29 when the control unit 29 receives a selection operation for selecting a position 1 in the direction (horizontal direction) corresponding to the movement direction of the automobile M in the composite image, the control unit 29 receives a frame corresponding to the position selected by the selection operation.
  • An image obtained by cueing from an image and reproducing a landscape moving image or an information-holding moving image is supplied to the first display 15 via an output unit 23.
  • the reproduction means that the captured landscape moving image is played back in the forward direction at a basic speed determined based on the time code attached to the moving image.
  • fast-forwarding refers to playing back a captured landscape moving image in a forward direction at a speed faster than the above-mentioned basic speed.
  • fast-rewinding refers to playing back a captured landscape movie in the opposite direction at a speed faster than the basic speed.
  • FIG. 4 shows the mileage of the automobile M at the time when each of the frame images was taken and the importance of the shot point in each of the frame images constituting the landscape video when the information holding video was generated. It is a figure which shows the table TB1 which is an example of the data with which the index is associated.
  • the frame number which is a number assigned to each of the frame images constituting the landscape moving image, the elapsed time from the start of shooting at the time when each frame image is shot, and the corresponding The cumulative mileage from the start of shooting at the time point is associated with.
  • An example shows a case where a landscape moving image is shot by the camera 13 at a shooting frame rate of 30 fps on the table TB1.
  • the frame image of the frame number 0 taken at the start of shooting is associated with the mileage 0 (m) from the start of shooting. That is, the time when the shooting starts and the time when the mileage integration starts coincide with each other.
  • the time may be associated with the elapsed time instead of the elapsed time.
  • each frame number is associated with an importance index indicating the importance of the frame image at the point where the corresponding frame image was taken.
  • the importance index is a highlight rank associated with map information in a map database in advance.
  • the highlight rank is specified by comparing the position information of the automobile M by GPS with the map information.
  • the frame images are selected at predetermined intervals from the frame images indicated by the frame numbers in FIG.
  • the predetermined interval may be, for example, an interval based on the cumulative mileage of the automobile M.
  • frame images may be selected at equidistant intervals so that the points at which the corresponding frame images are taken are equidistant.
  • the predetermined distance interval is a distance interval in which an overlapping portion occurs in a shooting range or a shooting area between adjacent frame images when the selected frame images are arranged in the shooting order.
  • the predetermined interval when the frame image is selected may be an interval based on time.
  • frame images may be selected at equal time intervals.
  • the time interval in which the frame image is selected may be adjusted according to the speed of the automobile M.
  • the frame image taken in the time zone in which the automobile M was traveling at high speed may be selected at a shorter time interval than the time zone in which the automobile M was traveling at low speed.
  • the time interval may be adjusted so that a frame image in which a desired shooting range is shot is selected.
  • FIG. 5 is a diagram showing a table TB2 which is an example of data in which the importance associated with each of the frame images and the reduction ratio according to the importance are described when the composite image is generated.
  • each of the selected frame images is reduced in size in the direction (first direction) corresponding to the moving direction of the automobile M according to the importance.
  • the table TB2 shows four levels of importance of 0, 1, 2, and 3. Table TB2 shows that the less important the frame image is, the higher the reduction rate is. Further, the table TB2 shows that the frame image to which the most important "3" is associated is not reduced.
  • FIG. 6 is a diagram showing a panoramic image FM in which selected frame images, which are a plurality of frame images selected from the frame images constituting the information-holding moving image, are joined, and a composite image SY generated from the panoramic image FM.
  • the panoramic image FM is shown above.
  • the selected frame images F1 to F8 are arranged and joined in a direction corresponding to the moving direction of the automobile M (in the figure, the X direction).
  • the importance index attached to each of the selected frame images F1 to F8 is shown in parentheses. For example, “F1 (3)” indicates that the importance attached to the selected frame image F1 is "3".
  • FIG. 6 schematically shows how a higher importance index is attached to a selected frame image in which many buildings and the like are shown.
  • the tunnel wall appears in the images.
  • the selected frame images F1 to F8 are selected at equidistant intervals, for example, and have a portion where the shooting range overlaps with the adjacent frame images in the shooting order.
  • the overlapping portion OL which is the overlapping portion, is hatched.
  • the selected frame image F1 has an overlapping portion OL with the adjacent selected frame image F2.
  • the selected frame images F2 to F7 also have an overlapping portion OL between the selected frame images F2 and F7.
  • a continuous landscape image can be generated by deleting the overlapping part of one image and joining the two frame images. For example, when the overlapping portion is deleted, the frame image having a small importance index is deleted, and the overlapping portion of the frame image having a large importance index is left.
  • the portions derived from the selected frame images F1 to F8 are shown as the portions FA1 to FA8 surrounded by the broken line.
  • the selected frame image F1 has a higher importance index than the selected frame image F2
  • the overlapping portion OL is deleted from the selected frame image F2
  • the remaining portion is the partial FA2.
  • the partials FA1 to FA8 are reduced in the direction (X direction) corresponding to the moving direction of the automobile M, for example, at a reduction rate according to the importance.
  • the less important part indicated by the importance index is reduced at a higher reduction rate in the X direction.
  • the composite image SY is shown in the lower part of FIG.
  • the composite image SY is an image in which the portions FA1 to FA8 of the image in which the overlapping portion OL is deleted from the panoramic image FM are reduced and joined according to the magnitude of the importance index.
  • the portion of the reduced image is shown as FB1 to FB8.
  • the image FB2 in the composite image SY is a part of the image in which the part FA2 of the image after the deletion process is reduced.
  • the portion FA4 with the importance index “2” has the dimension in the X direction reduced by half and the portion with the importance index “1” is attached.
  • the FA2 has a reduction ratio larger than that of the partial FA4, and the dimension in the X direction is reduced to one-third.
  • FA3, FA6 and FA7 with the lowest importance index "0" are reduced to one-fifth.
  • FA1, FA5, and FA8 with the highest importance index "3" are not reduced, and the reduction rate is 0%.
  • the less important parts FA1 to FA8 of the image are reduced at a higher reduction ratio in the X direction, so that most of the parts of the image in which many buildings and the like are reflected in the composite image SY.
  • the proportion of the part where the buildings etc. are not so much reflected is small. Therefore, when searching for a desired moving image portion using the composite image SY as a clue, the proportion of the portion not required by the user is small, so that the desired moving image portion can be easily found.
  • FIG. 7 is a diagram showing an example of a playback operation image PC which is an operation image for playing a moving image displayed on the touch panel 17.
  • FIG. 7 shows the finger FN of a user performing an operation using the reproduction operation image PC together with the reproduction operation image PC.
  • the playback operation image PC has a button area AR1 which is an area where buttons for operation are displayed and a search area AR2 which is an area where an image for searching a moving image is displayed.
  • the play button PL, the stop button ST, the fast forward button FF, and the fast rewind button RW are displayed.
  • the user can perform operation input for playing, stopping, fast-forwarding, or fast-rewinding the moving image by touching the finger FN to the area where these buttons are displayed.
  • the user by touching the area where the play button PL is displayed with the finger FN, the user causes the image generation device 10 to reproduce the landscape moving image and displays it on the moving image display surface 15A (see FIG. 2) of the first display 15. Can be made to.
  • a composite image SY as a panoramic image is displayed in the search area AR2.
  • the composite image SY extends along a direction parallel to the long side of the reproduction operation image PC.
  • a marker MK which is reproduced by the image generation device 10 and indicates which part of the moving image the image currently displayed on the first display 15 is, indicates a corresponding part in the composite image SY. It is displayed to do.
  • the mileage of the automobile M corresponding to the point where the part of the moving image indicated by the marker MK was shot may be displayed.
  • the image displayed on the first display 15 (FIG. 2) is the time when the cumulative mileage of the automobile M is the mileage indicated by the marker MK among the information-holding moving images generated from the landscape moving image.
  • the image is taken at the point where the car M was running.
  • the search area AR2 may display the time at the time when the portion of the moving image indicated by the marker MK was shot or the elapsed time from the start of shooting.
  • the composite image SY is scrolled and displayed.
  • the user can scroll the composite image SY by moving the finger FN along the long side of the composite image SY, that is, in the direction of the arrow in FIG. 7 and performing an operation such as dragging. Therefore, the composite image SY serves as a clue for the user to search for a portion to reproduce the landscape moving image or to find a cue.
  • the finger FN selects the position 1 in the X direction on the composite image SY
  • the portion of the moving image cueed from the frame image corresponding to the position 1 is displayed on the first display 15.
  • the input operation for selecting the position 1 is accepted via the touch pad 17B when the finger FN touches the area where the composite image SY of the second display 17A of the touch panel 17 is displayed.
  • the selection operation may be performed by aligning the image to be reproduced with the position of the marker MK.
  • FIG. 8 is a flowchart showing an information holding moving image generation routine RT1 which is an example of a routine executed by the control unit 29. For example, when the engine of the automobile M is turned on, the control unit 29 starts the information holding moving image generation routine RT1.
  • control unit 29 determines whether or not the landscape video is stored in the storage unit 27 (step S11). When the control unit 29 determines that the landscape moving image is not stored (step S11: NO), the control unit 29 repeats step S11 and determines again whether or not the landscape moving image is stored.
  • step S11 When the control unit 29 determines in step S11 that the landscape moving image is stored (step S11: YES), the control unit 29 reads out the landscape moving image and accumulates the scenery moving images in each of the frame images constituting the scenery moving image at the time of each shooting. The moving distance is given (step S12).
  • step S12 the control unit 29 captures each of the frame images from the time when the capture of the landscape moving image is started based on the information acquired from the speed sensor 21 or the GPS receiver 22 via the input unit 19. Calculate the cumulative mileage up to that point.
  • step S12 for example, as in the table TB1 shown in FIG. 4, each frame number of the frame image is associated with the elapsed time from the start of shooting and the cumulative mileage of the automobile M.
  • step S13 assigns an importance index indicating the importance of each frame image to each of the frame images constituting the landscape moving image.
  • the control unit 29 refers to the map data and identifies and assigns the importance from the highlight rank at the point where each of the frame images is captured.
  • step S13 for example, as shown in table TB1, each frame number is associated with the importance of the corresponding frame image.
  • the control unit 29 functions as an index acquisition unit.
  • control unit 29 After the execution of step S13, the control unit 29 stores the information holding video in which the cumulative mileage and the importance index are associated with each of the frame images in the storage unit 27 (step S14). The control unit 29 ends the information-holding moving image generation routine RT1 and returns to the beginning, and repeatedly executes the information-holding moving image generation routine RT1.
  • FIG. 9 is a flowchart showing a composite image generation routine RT2 which is an example of a routine executed by the control unit 29 when a composite image is generated in this embodiment.
  • the control unit 29 starts the composite image generation routine RT2 when the operation for instructing the reproduction of the landscape moving image is accepted.
  • step S21 the control unit 29 acquires the information holding video generated from the landscape video (step S21).
  • step S21 as the moving image acquisition step, for example, the control unit 29 associates the cumulative mileage and the importance index with each of the frame images constituting the landscape moving image and stores the information holding moving image in the storage unit 27. Is read.
  • step S21 the control unit 29 functions as a moving image acquisition unit.
  • step S21 the control unit 29 selects a plurality of frame images from the frame images constituting the information holding video (step S22).
  • step S22 as the frame selection step, for example, the control unit 29 selects a plurality of frame images at predetermined intervals. For example, in step S22, the points where each of the frame images is captured are selected so as to be equidistant.
  • step S22 the control unit 29 functions as a frame selection unit.
  • control unit 29 may generate a panoramic image FM (see FIG. 6) by connecting each of the selected frame images in the order in which they were taken.
  • step S22 the control unit 29 reduces each of the selected frame images in a direction parallel to the moving direction of the automobile M at a reduction rate according to the importance index (step S23).
  • step S23 for example, as shown in FIG. 6, the control unit 29 reduces each of the selected frame images at a reduction rate as the importance index becomes smaller.
  • step S23 the control unit 29 deletes a portion where the shooting range overlaps between the frame images arranged in the shooting order, and reduces the remaining portion (see FIG. 6).
  • step S23 the control unit 29 connects each of the reduced frame images to generate a composite image (step S24).
  • step S24 the control unit 29 arranges and joins each of the selected frame images reduced according to the importance index in the order in which they were taken.
  • step S23 and step S24 as the composite image generation step the control unit 29 functions as a composite image generation unit.
  • control unit 29 ends the composite image generation routine RT2 and repeatedly executes the composite image generation routine RT2.
  • the image generation device 10 is configured so that the moving distance range displayed on the composite image SY as a part of the reproduction operation image PC can be changed by the user.
  • the image generation device 10 includes an operation icon for designating the distance scale of the composite image SY by the user in the playback operation image PC of the touch panel 17, and the control unit 29 displays the above-mentioned information.
  • step S21 of the possessed moving image generation routine RT1 the range of the cumulative movement distance corresponding to the distance scale specified by the user's operation is acquired from the information possessed moving image. This makes it possible to arbitrarily change the distance scale of the composite image SY to search for a desired scene from a limited distance range, or to search for a desired scene from a relatively long distance range. It is possible to generate a composite image SY effective in the above.
  • a composite image is presented as an image that serves as a clue for the user when playing back a moving image in which a landscape taken from the moving body is captured by a camera mounted on the moving body. can do.
  • the composite image is an image generated by selecting a plurality of frame images from the frame images constituting the landscape moving image at predetermined intervals, reducing them in the horizontal direction according to the importance associated with each, and joining them together. Is. Therefore, the importance is low, and in the direction corresponding to the moving direction of the moving body (horizontal direction when viewed from the user), the range occupied by the unnecessary image is small, and it is easy to find the desired image. Therefore, it is possible to provide an image generation device that enables an efficient search when a user searches for a desired portion in an image and generates an image that enables the user to easily find the desired portion. ..
  • a plurality of frame images selected from the frame images constituting the landscape moving image are provided with a change degree index indicating the degree of change of the images from the adjacent frame images in the order of being taken as the importance index. Granted. Specifically, among the plurality of selected frame images, when there is a large change in the image between one frame image and another frame image adjacent to each other in the order in which the image was taken, that is, when the change in the landscape is large. Since the degree of appearance is high as the landscape changes, an importance index indicating that such a frame image is of high importance is given.
  • the degree of change is specified by classifying the landscape recorded in each of the selected frame images into predetermined items and comparing the landscape classification results with the adjacent selected frame images.
  • NS the landscape recorded in each of the selected frame images may be classified into one of four classification items of "forest”, “cityscape”, “open road”, and "other” according to the characteristics of each image.
  • FIG. 10 is a diagram showing a table TB3 in which an example of the degree of change index in the present modification 1 is listed.
  • FIG. 10 shows an example in which the index of the degree of change is determined in two stages of “0” and “1”.
  • the degree of change index may be specified based on whether or not the classification item of the landscape recorded in the frame image has changed.
  • the next frame image changes.
  • the degree is determined to be "0".
  • the degree of change is determined to be "0".
  • the degree of change is determined to be "1" for the next frame image. For example, when the frame image next to the frame image classified as "forest” is classified as "cityscape", the degree of change is determined to be "1".
  • the change degree index of the next frame image is specified as "0", and the specified change degree index " "0” is given to the next frame image as an importance index indicating that the importance is low.
  • the change degree index of the next frame image is specified as "1”
  • the specified change degree index " "1” is given to the next frame image as an importance index indicating that the importance is high.
  • the degree of change may be specified by comparing one frame image with the previous frame image when the selected frame images are arranged in the order in which they were taken.
  • the degree of change index is not limited to the case where the judgment is made in two stages as illustrated in FIG. 10, and may be judged in three or more stages.
  • each of the selected frame images is divided into a plurality of image pieces, and the result of analyzing the characteristics of each image piece is used. May be good.
  • the analysis result of the image piece may be classified into a plurality of categories according to the feature of the image piece, and the contribution rate of the image piece in each category may be quantified by quantifying each feature of the selected frame image. ..
  • the analysis of the image piece may be performed by color analysis, fractal dimension analysis, or artificial quantity analysis.
  • color analysis analyzes the color properties of each pixel in each image piece of a frame image.
  • fractal dimension analysis gives a fractal dimension value for each pixel piece, which is, for example, an index of image complexity.
  • the amount of artificial material contained in one pixel piece is quantified by counting the number of edge components having a predetermined length or longer that continuously extend in the vertical direction in one image piece. You may.
  • each of the image pieces may be classified into classification items such as "vegetation", "sky", and "artificial object".
  • the frame image may be classified by calculating the characteristics of each frame image from the classification result of the image piece.
  • FIG. 11 is a flowchart showing the composite image generation routine RT3 executed by the control unit 29 in the present modification 1. A part of the description of the steps substantially equivalent to the composite image generation routine RT2 described in FIG. 9 will be omitted.
  • step S31 the information holding video does not necessarily have to be associated with the importance index.
  • control unit 29 selects a plurality of frame images from the frame images constituting the information-holding moving image in the same manner as in step S22 of the composite image generation routine RT2 (step S32).
  • step S33 the control unit 29 acquires the change degree index and assigns it to the frame image of 1 as the importance index.
  • the control unit 29 classifies the landscapes recorded in each of the frame images selected in step S32 into predetermined classification items, and changes the landscapes in the order in which they are taken by comparing them with the adjacent selected frame images.
  • Judge the degree For example, as described above, when the classification items of one frame image and the next frame image are the same item, it is determined as the degree of change "0", and when the classification items are different, the degree of change " 1 ”is determined.
  • the control unit 29 functions as an index acquisition unit.
  • step S33 the control unit 29 reduces each of the selected frame images in a direction parallel to the moving direction of the automobile M at a reduction rate according to the importance index given in step S33 (step S34). ).
  • step S34 the control unit 29 reduces each of the selected frame images at a larger reduction rate as the importance index becomes smaller. Regardless of the stage at which the importance index is judged, the reduction rate is set to 0% (that is, reduction is not performed) in the importance index indicating that the importance is the highest. May be good.
  • step S34 the control unit 29 connects each of the reduced frame images to generate a composite image (step S35).
  • step S35 the control unit 29 joins each of the selected frame images reduced according to the importance index in the order in which they were taken.
  • the change degree index as the importance index
  • the image generation device 10 according to the second modification of this embodiment will be described.
  • the image generation device 10 of the second modification is configured in the same manner as the image generation device 10 in the above embodiment.
  • a flowchart showing a composite image generation routine executed by the control unit 29 in the second modification is shown in FIG. 11 as in the first modification.
  • the change index indicating the degree of change in the image is adopted as the importance index in the first modification, but instead, the complexity index of the image is adopted as the importance index. It differs from the modified example 1 only in that point. That is, the composite image generation routine of the present modification 2 differs from the modification 1 only in the processing content of step S33 of the composite image generation routine RT3 shown in FIG. Therefore, the description of the steps substantially equivalent to the composite image generation routine RT3 described with reference to FIG. 11 will be omitted.
  • step S33 the control unit 29 of the present modification 2 analyzes each of a plurality of frame images selected from the frame images constituting the information-holding moving image, determines the complexity of each image, and determines the complexity index. Is specified and given to each of the frame images as an importance index.
  • control unit 29 calculates the complexity of the frame image by a known analysis method using, for example, fractal dimension analysis, and compares this with a predetermined threshold value to compare the complexity of each frame image. Identify indicators. Since a frame image having a high degree of complexity contains a large amount of visual information in the image and therefore has a high degree of appearance, it is considered that such a frame image is of high importance.
  • the control unit 29 assigns the specified complexity index to each of the frame images as the importance index so that the higher the complexity indicated by the specified complexity index, the higher the importance indicated by the importance index. ..
  • the complexity index may be specified at any stage of two or more stages.
  • control unit 29 as the index acquisition unit determines the characteristics exhibited by each of the plurality of frame images by performing image analysis on each of the plurality of frame images in the present modification 2, and obtains the characteristics. Based on this, it is possible to obtain an importance index indicating the importance of each of the plurality of frame images.
  • the control unit 29 as the index acquisition unit can adopt the complexity of the image as one of the characteristics exhibited by each of the plurality of frame images.
  • the complexity index as the importance index
  • the image generation device 10 according to the third modification of this embodiment will be described.
  • the image generation device 10 of the third modification is configured in the same manner as the image generation device 10 in the above embodiment.
  • a flowchart showing a composite image generation routine executed by the control unit 29 in the present modification 3 is shown in FIG. 11 in the same manner as the modification 1 and the modification 2.
  • the complexity index of the image is adopted as the importance index in the modification 2, but instead of this, it is set for each classification item of the landscape recorded in the image as the importance index. It differs from the modified example 2 only in that the importance is adopted. That is, the composite image generation routine of the present modification 3 differs from the modification 1 and the modification 2 only in the processing content of step S33 of the composite image generation routine RT3 shown in FIG. Therefore, the description of the steps substantially equivalent to the composite image generation routine RT3 described with reference to FIG. 11 will be omitted.
  • step S33 the control unit 29 of the present modification 3 sets the landscape recorded in each frame image from the characteristics of each of the plurality of frame images selected from the frame images constituting the information-holding moving image, for example, "forest” or “forest”. It classifies into one of a plurality of classification items such as "cityscape”, “open road”, and “others”, acquires the importance set in advance for each classification item, and assigns it to each of the frame images as an importance index.
  • control unit 29 divides each of the selected frame images into a plurality of image pieces and records them in each frame image using the result of analyzing the characteristics of each image piece as in the first embodiment.
  • Landscapes may be classified.
  • the importance of each classification of the landscape may be predetermined for each classification item, and the importance of a plurality of stages is set by the user himself / herself according to the degree of attention of the user to each of the classification items of the landscape. It may be configurable.
  • the control unit 29 as the index acquisition unit may adopt a classification item that classifies the landscape recorded in the image as one of the characteristics exhibited by each of the plurality of frame images.
  • the landscape can be classified by, for example, image analysis.
  • the control unit 29 as the index acquisition unit determines the characteristics exhibited by each of the plurality of frame images by performing image analysis on each of the plurality of frame images in the present modification 3, and obtains the characteristics. Based on this, it is possible to obtain an importance index indicating the importance of each of the plurality of frame images.
  • an image of low importance can be included in the composite image. It is possible to reduce the continuous display. Therefore, in the direction corresponding to the moving direction of the moving body, the range occupied by the unnecessary image becomes small, and it becomes easy to find the desired image. Therefore, it is possible to provide an image generation device that enables an efficient search when a user searches for a desired portion in an image and generates an image that enables the user to easily find the desired portion. ..
  • the image generation device 10 is mounted on the moving body has been described in the above-described embodiment and modification, the present invention is not limited to this.
  • the image generation device 10 may be mounted on a terminal device carried by the user.
  • the present invention is not limited to this.
  • the acquisition of the moving image should be accompanied by movement.
  • the camera may be mounted on a terminal device carried by the user.
  • the shooting direction of the camera is not limited to the sideways with respect to the moving direction, and any direction may be shot as long as it is not in the direction along the moving direction (that is, the front-back direction). For example, you may be shooting in the upward or downward direction.
  • the image generation device 10 may be provided at a place different from the moving camera, and it is sufficient that the moving image taken by the camera can be acquired.
  • the first display 15 may be provided so as to be able to display the image reproduced by the control unit 29 as the reproduction control unit.
  • the first display 15 is not limited to the case where it is transparent, and may be translucent or opaque.
  • a reproduction operation image PC may be displayed by providing an area capable of displaying an operation image on a part of the moving image display surface 15A of the first display 15.
  • the cumulative movement distance is associated with the information-holding video, and an example of selecting frame images at equidistant intervals based on the information-holding video has been described, but the present invention is not limited to this. The distance does not have to be associated with the information-holding video.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

移動体からの風景が撮影された風景動画を取得する動画取得部と、前記風景動画から複数のフレーム画像を選択するフレーム選択部と、当該選択された前記複数のフレーム画像の各々の重要度を示す重要度指標を取得する指標取得部と、当該選択された前記複数のフレーム画像の各々を、前記移動体の移動方向に対応する第１方向の寸法が小さくなるように、前記複数の画像の各々に対応付けられた前記重要度指標が示す重要度に応じた縮小率で縮小した画像の各々を撮影された順に合成して１の合成画像を生成する合成画像生成部と、を有する。

Description

画像生成装置、画像生成方法、画像生成プログラム及び記録媒体
　本発明は、複数の画像を基に１の画像を生成する画像生成装置、画像生成方法、画像生成プログラム及び記録媒体に関する。
　動画像の再生を開始したい箇所をユーザに指定させるために手掛かりとなる画像を提示する技術が知られている。
　例えば、特許文献１には、動画像コンテンツの時間方向の検索を行う時間方向検索手段を備え、タイムコード列を用いて動画像コンテンツからサムネイルを抽出し、検索結果の表示を行う動画像検索装置が開示されている。
　また、撮影した画像を繋ぎ合わせて、当該撮影したカメラの視野角よりも広範囲の画像を合成する技術が知られている。
　例えば、特許文献２には、２つのラインカメラを移動体に搭載し、移動しながら各ラインカメラで撮影した映像を繋ぎ合わせることによって、当該２つのカメラの各々の視野角以上に広がるパノラマ映像を作成する方法が開示されている。
特開２００２－２８１４３２号公報 特許第４５５１９９０号公報
　例えば、移動体に搭載されたカメラによって当該移動体からの風景が撮影された動画を再生する際に、ユーザの手掛かりとなる画像としてパノラマ画像を提示する場合、必要としない画像の部分が多く表示されて、所望の動画の箇所を見つけ難いことが課題の一つとして挙げられる。
　本発明は上記した点に鑑みてなされたものであり、ユーザが画像中から所望の箇所を検索する際に、効率の良い検索が可能な画像を生成する画像生成装置を提供することを目的の１つとしている。
　請求項１に記載の発明は、移動体からの風景が撮影された風景動画を取得する動画取得部と、前記風景動画から複数のフレーム画像を選択するフレーム選択部と、当該選択された前記複数のフレーム画像の各々の重要度を示す重要度指標を取得する指標取得部と、当該選択された前記複数のフレーム画像の各々を、前記移動体の移動方向に対応する第１方向の寸法が小さくなるように前記複数の画像の各々に対応付けられた前記重要度指標が示す重要度に応じて縮小し、撮影された順に合成して１の合成画像を生成する合成画像生成部と、を有することを特徴とする。
　請求項８に記載の発明は、画像生成装置が画像を生成する画像生成方法であって、動画取得部が、移動体からの風景が撮影された風景動画を取得する動画取得ステップと、フレーム選択部が、前記風景動画から複数のフレーム画像を選択するフレーム選択ステップと、指標取得部が、当該選択された前記複数のフレーム画像の各々の重要度を示す重要度指標を取得する指標取得ステップと、合成画像生成部が、前記フレーム選択ステップにおいて選択された前記複数のフレーム画像の各々を、前記移動体の移動方向に対応する第１方向の寸法が小さくなるように前記複数の画像の各々に対応付けられた前記重要度指標が示す重要度に応じて縮小し、撮影された順に合成して１の合成画像を生成する合成画像生成ステップと、を含むことを特徴とする。
　請求項９に記載の発明は、コンピュータを備える画像生成装置によって実行される画像生成プログラムであって、前記コンピュータに、動画取得部が、移動体からの風景が撮影された風景動画を取得する動画取得ステップと、フレーム選択部が、前記風景動画から複数のフレーム画像を選択するフレーム選択ステップと、指標取得部が、当該選択された前記複数のフレーム画像の各々の重要度を示す重要度指標を取得する指標取得ステップと、合成画像生成部が、前記フレーム選択ステップにおいて選択された前記複数のフレーム画像の各々を、前記移動体の移動方向に対応する第１方向の寸法が小さくなるように、前記複数の画像の各々に対応付けられた前記重要度指標が示す重要度に応じた縮小率で縮小した画像の各々を撮影された順に合成して１の合成画像を生成する合成画像生成ステップと、を実行させることを特徴とする。
実施例に係る画像生成装置を搭載した自動車の斜視図である。 実施例に係る画像生成装置を搭載した自動車の内側から見た表示部を模式的に示す図である。 実施例に係る画像生成装置の機能ブロック図である。 実施例に係る画像生成装置において用いられるデータの一例を示す図である。 実施例に係る画像生成装置におけるフレーム画像の重要度に応じた縮小率の一例を示す図である。 実施例に係る画像生成装置において選択されたフレーム画像の一例を示す図である。 実施例に係る画像生成装置の操作画面の一例を示す図である。 実施例において実行されるルーチンの一例を示すフローチャートである。 実施例において実行されるルーチンの一例を示すフローチャートである。 変形例に係る変化度の一例を示す図である。 変形例において実行されるルーチンの一例を示すフローチャートである。
　以下に本発明の実施例について詳細に説明する。なお、以下の説明及び添付図面においては、実質的に同一又は等価な部分には同一の参照符号を付している。
　図１は、本発明の実施例に係る画像生成装置１０の構成を模式的に示す図である。画像生成装置１０は、移動可能な撮像装置によって撮影された動画を処理する装置である。画像生成装置１０は、例えば移動体に搭載されて、当該移動体に搭載されたカメラによって移動体が走行している間に撮影された風景動画を取り込み、当該風景動画を再生して映像出力可能に構成されている。また、画像生成装置１０は、当該風景動画を構成するフレーム画像から合成画像を生成可能に構成されている。
　例えば、画像生成装置１０は、当該移動体に搭載された表示装置に向けて合成画像を出力する。また、例えば画像生成装置１０は、当該移動体に搭載された表示装置に向けて風景動画を再生した映像を出力する。
　また、例えば画像生成装置１０は、表示装置に合成画像を表示して、当該合成画像中の水平方向における１の位置を選択する選択操作を受け付け、選択された位置に対応するフレーム画像から頭出しを行って風景動画を再生した映像を出力する。
　本実施例においては、画像生成装置１０が移動体としての自動車Ｍに搭載されている例について説明する。図１に示すように、画像生成装置１０は、例えば自動車Ｍのダッシュボード内に搭載されている。
　カメラ１３は、例えば、自動車Ｍのルーフ部分又はドアパネル部分等に、自動車Ｍの側方を撮影可能に取り付けられたビデオカメラである。カメラ１３は、画像生成装置１０と通信可能に接続されており、撮影した静止画又は動画を画像生成装置１０に送信可能に構成されている。
　カメラ１３が撮影した動画は、画像生成装置１０に取り込まれる。例えば、カメラ１３は、自動車Ｍがエンジンを始動させて走行を開始すると、撮影を開始するように設定されている。なお、自動車Ｍには、例えば、自動車Ｍの前方及び後方を撮影可能なビデオカメラがさらに取り付けられていても良い。
　第１ディスプレイ１５は、自動車Ｍの窓部分に備えられた表示装置である。本実施例において、第１ディスプレイ１５は、自動車Ｍの窓ガラスに取り付けられた透明のディスプレイである場合について説明する。
　例えば、第１ディスプレイ１５は、リアドアＤＲに取り付けられている。なお、第１ディスプレイ１５は、自動車Ｍの窓ガラスの代わりに取り付けられていてもよいし、自動車Ｍの窓ガラスの内側に貼り付けられていてもよい。また、第１ディスプレイ１５は、例えば、フロントドアＤＦに取り付けられていてもよく、例えば、フロントガラスの内側に貼り付けられていてもよい。
　第１ディスプレイ１５は、例えば、透明な液晶、有機ＥＬ又は無機ＥＬで構成されたディスプレイである。例えば、第１ディスプレイ１５は、少なくとも動画を表示していない場合には可視光の透過率が所定以上であり、肉眼で外部の風景が見えるように構成されている。
　第１ディスプレイ１５は、画像生成装置１０に有線又は無線で接続されている。第１ディスプレイ１５は、自動車Ｍの室内（キャビン内）側に向いた表示面を有し、画像生成装置１０から出力された動画を自動車Ｍの客室側に向けて表示する。例えば、自動車Ｍの室内に居るユーザは、自動車Ｍからの風景が撮影された動画を、窓から外を見るような態様で見ることができる。
　図２は、自動車Ｍの室内側から見た第１ディスプレイ１５（すなわち自動車Ｍの窓）及びリアドアＤＲの一部を模式的に示す図である。図２は、リアドアＤＲを後部座席から見た状態を示している。
　第１ディスプレイ１５は、自動車Ｍの内側に面した動画表示面１５Ａを有している。図２において、動画表示面１５Ａには、過去に自動車Ｍから撮影された動画が、画像生成装置１０によって再生されて表示されている。
　タッチパネル１７は、リアドアＤＲのドアパネルの内側に取り付けられているタッチパネルディスプレイである。例えば、タッチパネル１７は、図２に示すように、リアドアＤＲの内側パネルＩＰの表面に、内側パネルＩＰの上端部に沿って伸張している。タッチパネル１７は、内側パネルの上端部に沿った方向を長手方向とする矩形の形状を有している。
　タッチパネル１７は、第２ディスプレイ１７Ａ及びタッチパッド１７Ｂから構成されたタッチパネルである。第２ディスプレイ１７Ａは、例えば液晶表示装置又は有機ＥＬ表示装置等の表示装置である。タッチパッド１７Ｂは、例えば、第２ディスプレイ１７Ａの表示面に貼り付けられた人の指等での操作を受け付ける感圧式または静電式の透明タッチパッドである。
　タッチパネル１７は、画像生成装置１０に通信可能に接続されており、画像生成装置１０から出力された画像を表示することが可能である。また、タッチパネル１７は、第１ディスプレイ１５に表示される動画の再生、早送り又は早戻しの操作を受け付けて、当該操作の受付に基づく指示を画像生成装置１０に送信することが可能である。
　図３は、画像生成装置１０の機能ブロック図である。画像生成装置１０は、例えば、システムバス１８を介して各部が協働する装置である。
　入力部１９は、画像生成装置１０の外部の機器からデータを取得するインターフェースである。入力部１９は、自動車Ｍに備えられている機器であるカメラ１３に接続されている。例えば、画像生成装置１０は、入力部１９を介してカメラ１３から風景動画を取り込むことが可能である。
　また、入力部１９は、自動車Ｍの速度を取得可能な速度センサ２１及び自動車Ｍの位置情報を取得する全地球航法衛星システム（ＧＮＳＳ：Global Navigation Satellite System）の１つである全地球測位システム（ＧＰＳ：Global Positioning System）の情報を受信可能なＧＰＳ受信機２２に接続されている。すなわち、画像生成装置１０は、速度センサ２１から自動車Ｍの速度を取得可能であり、かつＧＰＳ受信機２２からＧＰＳ情報を取得可能に構成されている。
　出力部２３は、画像生成装置１０の外部の機器にデータを出力するインターフェースである。出力部２３は、第１ディスプレイ１５及びタッチパネル１７の第２ディスプレイ１７Ａに接続されている。
　例えば、出力部２３は、画像生成装置１０によって一連の動画が再生された映像を第１ディスプレイ１５に出力する。例えば、出力部２３は、再生操作のための操作画像を第２ディスプレイ１７Ａに出力する。また、例えば、出力部２３は、画像生成装置１０において生成された合成画像を第２ディスプレイ１７Ａに出力する。
　操作入力部２５は、タッチパネル１７のタッチパッド１７Ｂを介した操作入力の信号を取得するインターフェースである。操作入力部２５は、タッチパッド１７Ｂに接続されており、第２ディスプレイ１７Ａに表示された操作用の画像に対する操作入力の信号を取得する。
　記憶部２７は、例えば、ハードディスク装置、ＳＳＤ（solid state drive）、フラッシュメモリ等により構成されており、画像生成装置１０における画像処理や動画の再生等に関する各種プログラムを記憶する。また、記憶部２７は、地図情報が格納された地図データベースを記憶する。
　なお、各種プログラム又は地図情報は、例えば、他のサーバ装置等からネットワーク（図示せず）を介して取得されるようにしてもよいし、記録媒体に記録されて各種ドライブ装置を介して読み込まれるようにしてもよい。
　記憶部２７に記憶される各種プログラムは、ネットワークを介して伝送可能であり、また、コンピュータ読み取り可能な記録媒体に記録して譲渡することが可能である。
　制御部２９は、ＣＰＵ（Central Processing Unit）２９Ａ、ＲＯＭ（Read Only Memory）２９Ｂ、ＲＡＭ（Random Access Memory）２９Ｃ等により構成され、コンピュータとして機能する。そして、ＣＰＵ２９Ａが、ＲＯＭ２９Ｂや記憶部２７に記憶された各種プログラムを読み出し実行することにより各種機能を実現する。
　例えば、制御部２９は、入力部１９を介してカメラ１３が撮影した動画を取得し、動画取得部として機能する。
　例えば、制御部２９は、入力部１９を介して自動車Ｍの速度を取得し、当該速度と走行時間から累積走行距離を取得する。
　例えば、制御部２９は、入力部１９を介してＧＰＳ受信機２２のデータから自動車Ｍの現在位置情報を取得し、自動車Ｍの位置と時刻から自動車Ｍの累積走行距離を算出する。
　制御部２９は、入力部１９を介して速度センサ２１又はＧＰＳ受信機２２から取得した情報に基づいて自動車Ｍが走行を開始してから現在までの累積走行距離（すなわち積算走行距離）を取得する際に、移動距離取得部として機能する。
　例えば、制御部２９は、入力部１９を介してカメラ１３から取得した一連の動画を構成するフレーム画像の各々に、当該フレーム画像の各々が撮影された時点における自動車Ｍの累積走行距離を対応付けて情報保有動画を生成する情報保有動画生成部として機能する。また、制御部２９は、当該生成した情報保有動画を記憶部２７に記憶する録画制御部として機能する。
　例えば、制御部２９は、情報保有動画を構成する全てのフレーム画像から複数のフレーム画像を選択するフレーム選択部として機能する。
　例えば、制御部２９は、情報保有動画から複数のフレーム画像（以下、選択フレーム画像とも称する）を選択する際に、各々のフレーム画像の撮像位置における累積走行距離に応じて抽出する。
　例えば、制御部２９は、情報保有動画から複数のフレーム画像を選択する際に、各々のフレーム画像の撮像位置における累積移動距離が等間隔となるように複数のフレーム画像を抽出する。言い換えれば、制御部２９は、フレーム画像の各々が撮像された地点が等距離間隔となるように複数のフレーム画像を選択する。
　例えば、制御部２９は、等距離間隔で複数のフレーム画像を選択する際に、複数のフレーム画像の各々が撮像された地点の距離間隔を常に一定の距離間隔とする。
　また、例えば、制御部２９は、等距離間隔で複数のフレーム画像を選択する際に、複数のフレーム画像の各々が撮像された地点の距離間隔を、当該複数のフレーム画像を撮影された順に並べた際に隣のフレーム画像との間に撮影範囲（撮影領域）の重複部分を生じさせる距離間隔で選択する。
　例えば、制御部２９は、選択された前記複数のフレーム画像の各々の重要度を示す重要度指標を取得する指標取得部として機能する。
　例えば、重要度は、地図上の位置毎の風景の見ごたえの程度に基づいて判定される。例えば、見ごたえの程度は、地図上の位置又は領域毎に、建造物や商業施設の多さ、観光名所の有無等の判断材料に基づいて、地図データベースの地図情報に予め対応付けられる。例えば見ごたえの程度は、予め定められた数値で、例えば「見どころランク」として、地図データベースの地図上の位置に対応付けられている。
　例えば、自動車Ｍが地図データベース上で見ごたえ（例えば、見どころランク）の高い位置にある場合に撮影されたフレーム画像は重要度が高いと判定される。反対に、自動車Ｍが地図データベース上で見どころランクの低い位置にある場合に撮影されたフレーム画像は、重要度が低いと判定される。
　換言すれば、指標取得部としての制御部２９は、風景動画を構成するフレーム画像の各々又は選択フレーム画像の各々が撮影された時点の自動車Ｍの位置と、地図上の位置毎の風景の見ごたえに関する情報が予め記憶された地図データとに基づいて、フレーム画像の各々の重要度を示す重要度指標を特定する。例えば、制御部２９は、ＧＰＳによる自動車Ｍの位置情報と予め記憶部２７に記録された地図データベースとを参照して重要度を取得する。
　また、重要度は、風景動画を構成する複数のフレーム画像の各々又は選択フレーム画像の各々を比較して、変化の度合いの大小によって判定されてもよい。例えば、指標取得部としての制御部２９は、撮影された順において隣接するフレーム画像と比較して画像の変化の大きいフレーム画像を変化度が高いと判定し、重要度が高いと判定してもよい。
　また、重要度は、風景動画を構成する複数のフレーム画像の各々又は選択フレーム画像の各々についての画像の複雑度によって判定されてもよい。例えば、指標取得部としての制御部２９は、複数のフレーム画像又は選択フレーム画像の各々を解析して各画像の複雑度を算出し、当該複雑度が大きいフレーム画像ほど、重要度が高いと判定してもよい。
　また、例えば、標高の高い山間部においては、景色等の見ごたえが高い場合がある。従って、指標取得部としての制御部２９は、ＧＰＳ等の測位情報から所定の位置の範囲の測位を検出した時点で重要度を高いと判定してもよい。
　また、例えば、ＧＰＳ受信機２２がＧＰＳ情報を所定時間以上に亘って取得できない場合は、自動車Ｍが例えばトンネル等の構造物の中を走行している可能性が高く、このような場合、風景動画は単調な内容が継続することになる。従って、指標取得部としての制御部２９は、ＧＰＳ情報が所定時間以上に亘って取得できない状況において撮影された風景動画の重要度を低いと判定してもよい。
　また、自動車Ｍが走行中の風景動画においては、自動車Ｍの進行方向の前方又は後方を撮影した風景動画に対して進行方向の側方の風景動画は短時間で大きく変化する。従って、指標取得部としての制御部２９は、進行方向の前方又は後方の風景動画に対して進行方向の側方の風景動画の重要度を高いと判定してもよい。すなわち、重要度は、例えば、自動車Ｍの走行方向を基準としたカメラ１３が撮影する撮影方向に基づいて判定されてもよい。
　上記の重要度の判定条件は、任意に設定可能である。また、重要度の判定条件は、自動車Ｍの撮影位置、撮影位置に対応する地図情報上の位置に関連付けられた風景の見ごたえ度、隣接するフレーム画像間の画像の変化の度合い、フレーム画像の複雑度、衛星システムからの測位情報の取得状況、又は自動車Ｍの走行方向に対する撮影部の撮影方向のいずれか１つに限らず、複数の判定条件による重要度判定がなされてもよい。
　換言すれば、指標取得部は、重要度を自動車Ｍの撮影位置、撮影位置に対応する地図情報上の位置に関連付けられた風景の見ごたえ度、隣接するフレーム画像間の画像の変化の度合い、フレーム画像の複雑度、衛星システムからの測位情報の取得状況、及び自動車Ｍの走行方向に対する撮影部の撮影方向のうちの少なくとも１つに基づいて重要度指標を取得する。
　なお、重要度は、風景動画を構成するフレーム画像の各々に対応付けられて、情報保有動画が生成されてもよい。換言すれば、情報保有動画を構成するフレーム画像の各々には、累積走行距離及び重要度のうち少なくとも一方が対応付けられていればよい。
　また、例えば、制御部２９は、情報保有動画から合成画像を生成する合成画像生成部として機能する。合成画像生成部としての制御部２９は、フレーム選択部によって選択された複数のフレーム画像（選択フレーム画像）の各々を撮影された順、すなわち自動車Ｍの移動方向に対応する順に繋ぎ合わせて合成し、合成画像を生成する。例えば、合成画像は、複数の選択フレーム画像中の風景が途切れないようにつなぎ合わされて生成され、パノラマ画像となる。
　例えば、合成画像の生成の際に、選択フレーム画像の各々は、重要度指標が示す重要度に応じて自動車Ｍの移動方向に対応する方向（第１方向）の寸法が小さくなるように縮小される。例えば、選択フレーム画像の各々は、重要度が低いほど大きい縮小率で縮小される。
　例えば、制御部２９は、生成された合成画像を第２ディスプレイ１７Ａに表示させる制御を行う表示制御部として機能する。
　表示制御部としての制御部２９は、例えば、合成画像の全体を表示する制御を行ってもよく、合成画像の一部を表示する制御を行ってもよい。例えば、合成画像の一部を表示する場合、合成画像の一部がスクロール表示されるように制御してもよい。
　また、制御部２９は、操作入力部２５を介して、風景動画の再生に関する指示操作を受け付ける操作受付部として機能する。例えば、操作受付部としての制御部２９は、再生操作用の画像を用いたタッチパッド１７Ｂへの入力操作を介して、再生制御部に対して再生、早送り又は早戻しを指示する指示操作を受け付ける。
　制御部２９は、当該指示操作に応じて、出力部２３を介して第１ディスプレイ１５に表示させるための動画の再生に関する制御を行う。例えば、制御部２９は、風景動画を再生するか、早送り又は早戻しをする制御を行う再生制御部として機能する。
　例えば、制御部２９は、合成画像中の自動車Ｍの移動方向に対応する方向（水平方向）における１の位置を選択する選択操作が受け付けられると、当該選択操作によって選択された位置に対応するフレーム画像から頭出しを行って、風景動画又は情報保有動画を再生した映像を、出力部２３を介して第１ディスプレイ１５に供給する。
　尚、本実施例においては、再生とは、撮影された風景動画を、動画に付されたタイムコードに基づいて決まる基本速度で順方向に再生することを指す。また、早送りとは、撮影された風景動画を、上記基本速度よりも速い速度で順方向に再生することを指す。また、早戻しとは、撮影された風景動画を、基本速度よりも早い速度で逆方向に再生することを指す。
　図４は、情報保有動画が生成される際に、風景動画を構成するフレーム画像の各々に、当該フレーム画像の各々が撮影された時点における自動車Ｍの走行距離及び当該撮影された地点の重要度指標が対応付けられたデータの一例であるテーブルＴＢ１を示す図である。
　図４に示すように、テーブルＴＢ１において、風景動画を構成するフレーム画像の各々に付された番号であるフレーム番号と、各々のフレーム画像が撮影された時点における撮影開始からの経過時間と、当該時点における撮影開始時点からの累積走行距離と、が対応付けられている。テーブルＴＢ１において、カメラ１３によって撮影フレームレートを３０ｆｐｓとして風景動画が撮影された場合について例示している。
　例えば、テーブルＴＢ１において、撮影開始時に撮影されたフレーム番号０のフレーム画像には、撮影開始からの走行距離０（ｍ）が対応付けられている。すなわち、撮影開始の時点と、走行距離の積算の開始時点が一致している。なお、経過時間の代わりに時刻が対応付けられていてもよい。
　また、図４に示すように、テーブルＴＢ１において、フレーム番号の各々に、対応するフレーム画像が撮影された地点における当該フレーム画像の重要度を示す重要度指標が対応付けられている。
　例えば、重要度指標は、上述したように、地図データベースの地図情報に予め対応付けられた見どころランクである。例えば、見どころランクは、ＧＰＳによる自動車Ｍの位置情報と当該地図情報とを照らし合わせることによって特定される。
　図４に示す例においては、見どころランクを０、１、２、３の４段階で表した重要度指標が付与されている場合について示している。
　本実施例において、合成画像が生成される際に、図４においてフレーム番号によって示されるフレーム画像の中から、所定の間隔でフレーム画像が選択される。当該所定の間隔は、例えば、自動車Ｍの累積走行距離に基づく間隔であってもよい。例えば、対応するフレーム画像が撮影された地点が等間隔となるように、等距離間隔でフレーム画像が選択されてもよい。
　例えば、当該所定距離間隔は、選択されたフレーム画像を撮影された順に並べた際に、隣り合うフレーム画像との間で、撮影範囲又は撮影領域に重複部分が生じる距離間隔である。
　なお、例えば、フレーム画像が選択される際の所定の間隔は、時間を基準とした間隔であってもよい。例えば、等時間間隔でフレーム画像が選択されてもよい。その場合、自動車Ｍの速度に応じて、フレーム画像が選択される時間間隔が調整されてもよい。
　例えば、自動車Ｍが高速で走行していた時間帯に撮影されたフレーム画像は、低速で走行していた時間帯よりも短い時間間隔で選択されてもよい。例えば、所望の撮影範囲が撮影されたフレーム画像が選択されるように、時間間隔が調整されてもよい。
　図５は、合成画像が生成される際に、フレーム画像の各々に対応付けられた重要度及び重要度に応じた縮小率が記載されたデータの一例であるテーブルＴＢ２を示す図である。合成画像が生成される際に、選択されたフレーム画像の各々は、重要度に応じて、自動車Ｍの移動方向に対応する方向（第１方向）の寸法が小さくなるように縮小される。
　図５に示すように、テーブルＴＢ２には、０、１、２、３の４段階の重要度が記載されている。テーブルＴＢ２は、重要度が低いフレーム画像ほど高い縮小率で縮小されることを示している。また、テーブルＴＢ２は、重要度が最も高い「３」が対応付けられているフレーム画像については縮小しないことを示している。
　図６は、情報保有動画を構成するフレーム画像の中から選択された複数のフレーム画像である選択フレーム画像が繋ぎ合わされたパノラマ画像ＦＭ及び当該パノラマ画像ＦＭから生成された合成画像ＳＹを示す図である。図６中、上方にパノラマ画像ＦＭが示されている。パノラマ画像ＦＭは、選択フレーム画像Ｆ１～Ｆ８が自動車Ｍの移動方向に対応する方向（図中、Ｘ方向）に並べられて繋ぎ合わされたものである。
　図６において、選択フレーム画像Ｆ１～Ｆ８の各々に付されている重要度指標を括弧内に示している。例えば、「Ｆ１（３）」は、選択フレーム画像Ｆ１に付されている重要度が「３」であることを示す。
　図６は、例えば建造物等が多く映っている選択フレーム画像ほど高い重要度指標が付されている様子を模式的に示している。なお、選択フレーム画像Ｆ６及び選択フレーム画像Ｆ７では、自動車Ｍがトンネル内を走行していたため、画像中にトンネルの壁が現れている。
　選択フレーム画像Ｆ１～Ｆ８は、例えば、等距離間隔で選択されており、撮影された順において隣のフレーム画像との間に、撮影範囲が重複する部分を有している。図６中、当該重複する部分である重複部分ＯＬにハッチングを施している。
　例えば、図６中、選択フレーム画像Ｆ１は、隣接する選択フレーム画像Ｆ２との間に重複部分ＯＬを有している。同様に、選択フレーム画像Ｆ２からＦ７についても、隣接する選択フレーム画像との間に重複部分ＯＬを有している。
　例えば、重複部分を有する２つのフレーム画像について、一方の画像の当該重複部分を削除し、当該２つのフレーム画像を繋ぎ合わせることで、連続した風景の画像を生成することができる。例えば、当該重複部分を削除する場合に、重要度指標の小さいフレーム画像について削除し、重要度指標の大きいフレーム画像の当該重複部分を残すこととして説明する。
　図６中、パノラマ画像ＦＭから重複部分ＯＬを削除後、選択フレーム画像Ｆ１～Ｆ８に由来する部分を破線で囲まれた部分ＦＡ１～ＦＡ８として示している。例えば、選択フレーム画像Ｆ１は、選択フレーム画像Ｆ２よりも重要度指標が大きいので、選択フレーム画像Ｆ２から重複部分ＯＬが削除され、残った部分が部分ＦＡ２である。
　部分ＦＡ１～ＦＡ８は、合成画像が生成される際に、例えば、重要度に応じた縮小率で自動車Ｍの移動方向に対応する方向（Ｘ方向）に縮小される。例えば、画像の部分ＦＡ１～ＦＡ８のうち、重要度指標が示す重要度が低い部分ほどＸ方向において高い縮小率で縮小される。
　図６中の下方には、合成画像ＳＹが示されている。合成画像ＳＹは、パノラマ画像ＦＭから重複部分ＯＬが削除された画像の部分ＦＡ１～ＦＡ８が重要度指標の大小に応じて縮小されて繋ぎ合わされた画像である。図６において、当該縮小された画像の部分をＦＢ１～ＦＢ８として示している。例えば、合成画像ＳＹ中の画像ＦＢ２は、削除処理後の画像の部分ＦＡ２が縮小された画像の部分である。
　例えば、図６に示す例においては、重要度指標「２」が付されている部分ＦＡ４は、Ｘ方向の寸法が２分の１に縮小され、重要度指標「１」が付されている部分ＦＡ２は、部分ＦＡ４より大きい縮小率で、Ｘ方向の寸法が３分の１に縮小されている。
　また、最も低い重要度指標「０」が付されているＦＡ３、ＦＡ６及びＦＡ７は５分の１に縮小されている。最も高い重要度指標「３」が付されているＦＡ１、ＦＡ５、及びＦＡ８は縮小されず、縮小率は０％である。
　このように、画像の部分ＦＡ１～ＦＡ８が重要度の低い部分ほどＸ方向において高い縮小率で縮小されたことで、合成画像ＳＹにおいては、建造物等が多く映っている画像の部分が大部分を占めており、建造物等があまり映っていない部分が占める割合は小さくなっている。従って、合成画像ＳＹを手掛かりとして、所望の動画の箇所を検索する際に、ユーザが必要としない部分が占める割合が小さいので、所望の動画の箇所を見つけ易くなっている。
　図７は、タッチパネル１７に表示される、動画を再生するための操作用の画像である再生操作画像ＰＣの一例を示す図である。図７において、再生操作画像ＰＣとともに再生操作画像ＰＣを用いて操作を行っているユーザの指ＦＮを示している。
　図７に示すように、再生操作画像ＰＣは、操作用のボタンが表示されている領域であるボタン領域ＡＲ１及び動画の部分を検索するための画像が表示されている領域である検索領域ＡＲ２を含む。
　ボタン領域ＡＲ１には、再生ボタンＰＬ、停止ボタンＳＴ、早送りボタンＦＦ及び早戻しボタンＲＷが表示されている。例えば、ユーザは、これらのボタンが表示されている領域に指ＦＮを接触させることで、動画の再生、停止、早送り又は早戻しの操作入力を行うことができる。例えば、ユーザは、再生ボタンＰＬが表示されている領域に指ＦＮを接触させることで、画像生成装置１０に風景動画を再生させて第１ディスプレイ１５の動画表示面１５Ａ（図２参照）に表示させることができる。
　検索領域ＡＲ２には、パノラマ画像としての合成画像ＳＹが表示されている。合成画像ＳＹは、再生操作画像ＰＣの長辺に平行な方向に沿って伸長している。また、検索領域ＡＲ２には、画像生成装置１０によって再生され、第１ディスプレイ１５に現在表示されている映像が動画のどの部分であるかを示すマーカＭＫが、合成画像ＳＹにおいて対応する部分を指示するように表示されている。
　例えば、マーカＭＫによって示される動画の部分が撮影された地点に対応する自動車Ｍの走行距離が表示されていてもよい。この場合、第１ディスプレイ１５（図２）に表示されている映像は、風景動画から生成された情報保有動画のうち、自動車Ｍの累積走行距離がマーカＭＫによって示される走行距離であった時点に、自動車Ｍが走行していた地点で撮影された映像となる。なお、検索領域ＡＲ２には、マーカＭＫによって示される動画の部分が撮影された時点における時刻又は撮影開始からの経過時間が表示されてもよい。
　例えば、合成画像ＳＹは、スクロール表示される。例えば、ユーザは、指ＦＮを合成画像ＳＹの長辺に沿った方向、すなわち図７中の矢印の方向に動かしてドラッグ等の操作を行うことで、合成画像ＳＹをスクロールすることができる。従って、合成画像ＳＹは、ユーザが風景動画をどの部分から再生するかを検索したり、頭出しを行ったりする手がかりとなる。
　例えば、指ＦＮが合成画像ＳＹ上のＸ方向における１の位置を選択すると、当該１の位置に対応するフレーム画像から頭出しをされた動画の部分が第１ディスプレイ１５に表示される。
　例えば、当該１の位置を選択するための入力操作は、タッチパネル１７の第２ディスプレイ１７Ａの合成画像ＳＹが表示されている領域に指ＦＮが接触することで、タッチパッド１７Ｂを介して受け付けられる。なお、選択操作は、再生したい画像をマーカＭＫの位置に合わせることにより行われてもよい。
　図８は、制御部２９によって実行されるルーチンの一例である情報保有動画生成ルーチンＲＴ１を示すフローチャートである。制御部２９は、例えば自動車ＭのエンジンがＯＮになると、情報保有動画生成ルーチンＲＴ１を開始する。
　制御部２９は、情報保有動画生成ルーチンＲＴ１を開始すると、風景動画が記憶部２７に記憶されているか否かを判定する（ステップＳ１１）。制御部２９は、風景動画か記憶されていないと判定する（ステップＳ１１：ＮＯ）と、ステップＳ１１を繰り返し、風景動画が記憶されているか否かを再び判定する。
　制御部２９は、ステップＳ１１において、風景動画が記憶されていると判定する（ステップＳ１１：ＹＥＳ）と、風景動画を読み出して、風景動画を構成するフレーム画像の各々に、各々の撮影時点における累積移動距離を付与する（ステップＳ１２）。
　例えば、制御部２９は、ステップＳ１２において、入力部１９を介して速度センサ２１又はＧＰＳ受信機２２から取得した情報に基づいて、風景動画の撮影が開始された時点から、フレーム画像の各々が撮影された時点までの累積走行距離を算出する。ステップＳ１２において、例えば、図４に示したテーブルＴＢ１のように、フレーム画像の各々のフレーム番号に、撮影開始からの経過時間及び自動車Ｍの累積走行距離が対応付けられる。
　制御部２９は、ステップＳ１２の実行後、風景動画を構成するフレーム画像の各々に、フレーム画像の各々の重要度を示す重要度指標を付与する（ステップＳ１３）。指標取得ステップとしてのステップＳ１３において、例えば、制御部２９は、地図データを参照し、フレーム画像の各々が撮影された地点における見どころランクから、重要度を特定して付与する。ステップＳ１３において、例えば、テーブルＴＢ１に示したように、フレーム番号の各々に、対応するフレーム画像の重要度が対応付けられる。ステップＳ１３において、制御部２９は、指標取得部として機能する。
　制御部２９は、ステップＳ１３の実行後、フレーム画像の各々に、累積走行距離及び重要度指標が対応付けられた情報保有動画を記憶部２７に記憶する（ステップＳ１４）。制御部２９は、情報保有動画生成ルーチンＲＴ１を終了して最初に戻り、情報保有動画生成ルーチンＲＴ１を繰り返し実行する。
　図９は、本実施例において、合成画像が生成される際に、制御部２９によって実行されるルーチンの一例である合成画像生成ルーチンＲＴ２を示すフローチャートである。例えば、制御部２９は、風景動画の再生を指示する操作が受け付けられると、合成画像生成ルーチンＲＴ２を開始する。
　制御部２９は、合成画像生成ルーチンＲＴ２を開始すると、風景動画から生成された情報保有動画を取得する（ステップＳ２１）。動画取得ステップとしてのステップＳ２１において、例えば、制御部２９は、風景動画を構成するフレーム画像の各々に、累積走行距離及び重要度指標が対応付けられて記憶部２７に記憶されている情報保有動画を読み出す。ステップＳ２１において、制御部２９は、動画取得部として機能する。
　制御部２９は、ステップＳ２１の実行後、情報保有動画を構成するフレーム画像の中から複数のフレーム画像を選択する（ステップＳ２２）。フレーム選択ステップとしてのステップＳ２２において、例えば、制御部２９は、所定の間隔で複数のフレーム画像を選択する。例えば、ステップＳ２２において、フレーム画像の各々が撮影された地点が等距離間隔となるように選択される。ステップＳ２２において、制御部２９は、フレーム選択部として機能する。
　例えば、ステップＳ２２において、制御部２９は、選択したフレーム画像の各々を撮影された順に繋ぎ合わせてパノラマ画像ＦＭ（図６参照）を生成してもよい。
　制御部２９は、ステップＳ２２の実行後、選択したフレーム画像の各々を、重要度指標に応じた縮小率で、自動車Ｍの移動方向に平行な方向に縮小する（ステップＳ２３）。ステップＳ２３において、制御部２９は、例えば図６に示したように、重要度指標が小さいほど大きい縮小率で、選択されたフレーム画像の各々を縮小する。
　例えば、ステップＳ２３において、制御部２９は、撮影された順に並んだフレーム画像間で撮影範囲が重複している部分を削除して残りの部分を縮小する（図６参照）。
　制御部２９は、ステップＳ２３の実行後、縮小後のフレーム画像の各々を繋ぎ合わせて合成画像を生成する（ステップＳ２４）。ステップＳ２４において、制御部２９は、選択されて重要度指標に応じて縮小されたフレーム画像の各々を、撮影された順に並べて繋ぎ合わせる。
　例えば図６に示したように、隣り合うフレーム画像の重複部分が削除されていることで、フレーム画像中の風景が途切れることなく連続的に繋ぎ合わされる。合成画像生成ステップとしてのステップＳ２３及びステップＳ２４において、制御部２９は、合成画像生成部として機能する。
　制御部２９は、ステップＳ２４の終了後、合成画像生成ルーチンＲＴ２を終了し、合成画像生成ルーチンＲＴ２を繰り返し実行する。
　尚、ユーザが撮影された風景動画から所望の場面を検索しようとする場合、例えば、ユーザが所望の場面が風景動画中のどのあたりに記録されているかの見当がついている場合と、見当がついていない場合とでは、再生操作画像ＰＣの検索領域ＡＲ２に表示する合成画像ＳＹの好適な距離的スケールが異なる。前者の場合は、既に見当がついている累積移動距離に対応する位置周辺の限られた範囲の合成画像ＳＹが有効となり、後者の場合は、まずは所望の場面がどのあたりに記録されているかの見当をつける必要があるため、比較的広い範囲の合成画像ＳＹの有効となる。これに対応するため、画像生成装置１０は、再生操作画像ＰＣの一部として合成画像ＳＹに表示する移動距離範囲を、ユーザにより変更可能に構成されていることが好ましい。
　具体的には、画像生成装置１０は、合成画像ＳＹの距離的スケールをユーザに指定されるための操作アイコンをタッチパネル１７の再生操作画像ＰＣに含めて表示させ、制御部２９は、上述した情報保有動画生成ルーチンＲＴ１のステップＳ２１において、ユーザの操作により指定された距離的スケールに対応する累積移動距離の範囲を情報保有動画から取得する。これにより、合成画像ＳＹの距離的スケールを任意に変更可能とすることで、限定的な距離範囲の中から所望の場面を探す場合、及び比較的長い距離範囲の中から所望の場面を探す場合において有効な合成画像ＳＹを生成することができる。
　以上、説明したように、本実施例によれば、移動体に搭載されたカメラによって当該移動体からの風景が撮影された動画を再生する際に、ユーザの手掛かりとなる画像として合成画像を提示することができる。合成画像は、風景動画を構成するフレーム画像の中から複数のフレーム画像が所定の間隔で選択され、各々に対応付けられた重要度に応じて横方向に縮小されて繋ぎ合わされて生成された画像である。従って、重要度が低く、移動体の移動方向に対応する方向（ユーザから見て横方向）において、必要とされない画像が占める範囲が小さくなっており、所望の画像を見つけ易くなっている。従って、ユーザが画像中から所望の箇所を検索する際に、効率の良い検索を可能とし、当該所望の箇所を容易に見つけることを可能にする画像を生成する画像生成装置を提供することができる。
　［変形例１］
　図１０および図１１を参照しつつ、本実施例の変形例１に係る画像生成装置１０について説明する。本変形例１の画像生成装置１０は、上記の実施例における画像生成装置１０と同様に構成されている。
　本変形例１において、風景動画を構成するフレーム画像から選択された複数のフレーム画像に、重要度指標として、撮影された順において隣接するフレーム画像からの画像の変化の度合いを示す変化度指標が付与される。具体的には、選択された複数のフレーム画像の中で、１のフレーム画像と撮影された順において隣接する他のフレーム画像の間で画像の変化が大きい場合、すなわち風景の変化が大きい場合は、風景の切り替わりに伴い見ごたえの程度が高いことから、このようなフレーム画像については重要度が高いことを示す重要度指標が付与される。また、選択された複数のフレーム画像の中で、１のフレーム画像と撮影された順において隣接する他のフレーム画像の間で画像の変化が小さい場合、すなわち風景の変化が小さい場合は、同じような風景が継続しているため見ごたえの程度が低いことから、このようなフレーム画像については重要度が低いことを示す重要度指標が付与される。そして、本変形例１において、合成画像が生成される際に、重要度指標に応じた縮小率で選択フレーム画像の各々が縮小される。
　例えば、変化の度合いは、選択されたフレーム画像の各々に記録された風景を予め定められた項目に分類し、隣接する選択フレーム画像との間で風景の分類結果の比較をすることで特定される。例えば、選択フレーム画像の各々に記録された風景を、各々の画像の特徴から「森林」「街並み」「開けた道」「その他」の４つの分類項目のいずれかに分類してもよい。
　図１０は、本変形例１における変化度指標の一例が記載されているテーブルＴＢ３を示す図である。図１０において、変化度の指標を「０」、「１」の２段階で判断する例について示している。例えば、図１０に示すように、変化度指標は、フレーム画像に記録された風景の分類項目が変化したか否かに基づいて特定されてもよい。
　図１０に示す例においては、選択フレーム画像撮影された順に並べた場合に、１のフレーム画像と次のフレーム画像との分類が同じ項目であった場合には、当該次のフレーム画像について、変化度「０」と判定される。例えば、「森林」に分類されたフレーム画像の次のフレーム画像も「森林」に分類される場合、変化度「０」と判定される。
　また、１のフレーム画像と次のフレーム画像との分類が異なる項目であった場合には、当該次のフレーム画像について変化度「１」と判定される。例えば、「森林」に分類されたフレーム画像の次のフレーム画像は「街並み」に分類される場合、変化度「１」と判定される。
　すなわち、１のフレーム画像と次のフレーム画像との間で、所定基準を満たす変化がない場合は当該次のフレーム画像の変化度指標は「０」と特定され、特定された変化度指標の「０」は重要度が低いことを示す重要度指標として当該次のフレーム画像に付与される。また、１のフレーム画像と次のフレーム画像との間で、所定基準を満たす変化がある場合は当該次のフレーム画像の変化度指標は「１」と特定され、特定された変化度指標の「１」は重要度が高いことを示す重要度指標として当該次のフレーム画像に付与される。なお、変化度は、選択フレーム画像を撮影された順に並べた場合に、１のフレーム画像と１つ前のフレーム画像とを比較して特定されてもよい。
　また、変化度指標は、図１０に例示したように２段階で判断される場合に限られず、３段階以上で判断されてもよい。
　この場合、選択フレーム画像の各々に記録された風景を分類するための手法の一例として、選択フレーム画像の各々を、複数の画像片に分割し、画像片毎の特徴を分析した結果を用いてもよい。例えば、画像片の分析結果から画像片の特徴ごとに複数のカテゴリーに分類し、各カテゴリーの画像片の寄与率から、選択フレーム画像の各々の特徴を数値化することで分類を行ってもよい。このような手法により、より詳細な分類が可能となり、より多段階で変化度指標の付与が可能となる。
　具体的には、例えば、当該画像片の分析は、色分析、フラクタル次元解析、人工物量分析によって行われてもよい。例えば、色分析によってフレーム画像の各画像片中の画素毎の色の性質が分析される。例えば、フラクタル次元解析により各画素片についてフラクタル次元値が得られ、例えば画像の複雑さの指標となる。例えば、人工物量分析では、１の画像片中において連続的に垂直方向に延びる所定長さ以上のエッジ成分の数をカウントすることで、１個の画素片に含まれる人工物の量を定量化してもよい。例えば、これらの分析結果から、画像片の各々は、「草木」「空」「人工物」等の分類項目に分類されてもよい。さらに、画像片の分類結果から、フレーム画像毎の特徴を算出することでフレーム画像の分類を行ってもよい。
　図１１は、本変形例１において制御部２９によって実行される合成画像生成ルーチンＲＴ３を示すフローチャートである。なお、図９において説明した合成画像生成ルーチンＲＴ２と実質的に同等のステップについて、説明の一部を省略する。
　制御部２９は、合成画像生成ルーチンＲＴ３を開始すると、合成画像生成ルーチンＲＴ２（図９）のステップＳ２１と同様に、風景動画から生成された情報保有動画を取得する（ステップＳ３１）。ステップＳ３１において、情報保有動画には、重要度指標が必ずしも対応付けられていなくともよい。
　制御部２９は、ステップＳ３１の実行後、合成画像生成ルーチンＲＴ２のステップＳ２２と同様に、情報保有動画を構成するフレーム画像の中から複数のフレーム画像を選択する（ステップＳ３２）。
　制御部２９は、ステップＳ３２の実行後、変化度指標を取得し、重要度指標として１のフレーム画像に付与する（ステップＳ３３）。例えば、ステップＳ３３において、制御部２９は、ステップＳ３２において選択されたフレーム画像の各々に記録された風景を所定の分類項目に分類し、撮影された順において隣接する選択フレーム画像と比較して変化度の判定を行う。例えば、上述したように、１のフレーム画像と次のフレーム画像との分類項目が同じ項目であった場合には、変化度「０」と判定し、分類項目が異なる場合には、変化度「１」と判定する。ステップＳ３３において、制御部２９は、指標取得部として機能する。
　制御部２９は、ステップＳ３３の実行後、選択したフレーム画像の各々を、ステップＳ３３において付与された重要度指標に応じた縮小率で、自動車Ｍの移動方向に平行な方向に縮小する（ステップＳ３４）。ステップＳ３４において、制御部２９は、重要度指標が小さいほど大きい縮小率で、選択されたフレーム画像の各々を縮小する。なお、重要度指標が何段階で判断される場合であっても、最も重要度が高いことを示す重要度指標においては、当該縮小率は０％とする（すなわち縮小は行わない）ようにしてもよい。
　制御部２９は、ステップＳ３４の実行後、縮小後のフレーム画像の各々を繋ぎ合わせて合成画像を生成する（ステップＳ３５）。ステップＳ３５において、制御部２９は、選択されて重要度指標に応じて縮小されたフレーム画像の各々を、撮影された順に繋ぎ合わせる。
　このように、本変形例１によれば、重要度指標として変化度指標を採用することで、合成画像中に、変化の少ない画像が連続して表示されることを軽減することができる。従って、隣接するフレーム画像からの変化が少なく、移動体の移動方向に対応する方向において、必要とされない画像が占める範囲が小さくなり、所望の画像を見つけ易くなる。従って、ユーザが画像中から所望の箇所を検索する際に、効率の良い検索を可能とし、当該所望の箇所を容易に見つけることを可能にする画像を生成する画像生成装置を提供することができる。
　［変形例２］
　本実施例の変形例２に係る画像生成装置１０について説明する。本変形例２の画像生成装置１０は、上記の実施例における画像生成装置１０と同様に構成されている。本変形例２において制御部２９によって実行される合成画像生成ルーチンを示すフローチャートは、変形例１と同様に図１１に示される。
　本変形例２は、変形例１において、重要度指標として画像の変化の度合いを示す変化度指標を採用しているところを、これに代えて、重要度指標として画像の複雑度指標を採用している点についてのみ変形例１と相違する。すなわち、本変形例２の合成画像生成ルーチンは、図１１に示す合成画像生成ルーチンＲＴ３のステップＳ３３の処理内容のみが変形例１と相違する。このため、図１１において説明した合成画像生成ルーチンＲＴ３と実質的に同等のステップについては説明を省略する。
　ステップＳ３３において、本変形例２の制御部２９は、情報保有動画を構成するフレーム画像の中から選択した複数のフレーム画像の各々を解析し、各々の画像の複雑度を判定して複雑度指標を特定し、重要度指標としてフレーム画像の各々に付与する。
　具体的には、制御部２９は、フレーム画像を例えばフラクタル次元解析などを利用した公知の解析方法により複雑度を算出し、これを所定の閾値と比較することで、フレーム画像の各々の複雑度指標を特定する。複雑度が高いフレーム画像では、画像中に視覚的情報量を多く含んでいるため、見ごたえの程度が高いことから、このようなフレーム画像については重要度が高いと考えられる。制御部２９は、特定された複雑度指標が示す複雑度が高いほど、重要度指標が示す重要度が高くなるように、特定された複雑度指標を重要度指標としてフレーム画像の各々に付与する。なお、複雑度指標は、２段階以上の任意の段階で特定されるようにしてよい。
　換言すれば、指標取得部としての制御部２９は、本変形例２において、複数のフレーム画像の各々を画像解析することで、当該複数のフレーム画像の各々が示す特性を判定し、当該特性に基づいて、複数のフレーム画像の各々の重要度を示す重要度指標を取得することができる。本変形例２において、指標取得部としての制御部２９は、複数のフレーム画像の各々が示す特性の１つとして、画像の複雑度を採用することができる。
　このように、本変形例２によれば、重要度指標として複雑度指標を採用することで、合成画像中に、視覚的情報量の少ない画像が連続して表示されることを軽減することができる。従って、移動体の移動方向に対応する方向において、必要とされない画像が占める範囲が小さくなり、所望の画像を見つけ易くなる。従って、ユーザが画像中から所望の箇所を検索する際に、効率の良い検索を可能とし、当該所望の箇所を容易に見つけることを可能にする画像を生成する画像生成装置を提供することができる。
　［変形例３］
　本実施例の変形例３に係る画像生成装置１０について説明する。本変形例３の画像生成装置１０は、上記の実施例における画像生成装置１０と同様に構成されている。本変形例３において制御部２９によって実行される合成画像生成ルーチンを示すフローチャートは、変形例１および変形例２と同様に図１１に示される。
　本変形例３は、変形例２において、重要度指標として画像の複雑度指標を採用しているところを、これに代えて、重要度指標として画像に記録された風景の分類項目ごとに設定された重要度を採用している点についてのみ変形例２と相違する。すなわち、本変形例３の合成画像生成ルーチンは、図１１に示す合成画像生成ルーチンＲＴ３のステップＳ３３の処理内容のみが変形例１および変化例２と相違する。このため、図１１において説明した合成画像生成ルーチンＲＴ３と実質的に同等のステップについては説明を省略する。
　ステップＳ３３において、本変形例３の制御部２９は、情報保有動画を構成するフレーム画像の中から選択した複数のフレーム画像の各々の特徴から各フレーム画像に記録された風景を例えば「森林」「街並み」「開けた道」「その他」等の複数の分類項目のいずれかに分類し、当該分類項目ごとに予め設定された重要度を取得し、重要度指標としてフレーム画像の各々に付与する。
　具体的には、制御部２９は、実施例１と同様に選択フレーム画像の各々を、複数の画像片に分割し、画像片毎の特徴を分析した結果を用いて各フレーム画像に記録された風景の分類を行ってもよい。また、風景の分類ごとの重要度は、分類項目ごとに予め定められていてもよいし、風景の各分類項目のそれぞれに対するユーザの注目度合いに応じて、ユーザ自身により複数の段階の重要度を設定可能とされてもよい。
　このように、本変形例３において、指標取得部としての制御部２９は、複数のフレーム画像の各々が示す特性の１つとして、画像に記録された風景を分類した分類項目を採用することができる。上記したように、当該風景の分類は、例えば画像解析によって行うことができる。換言すれば、指標取得部としての制御部２９は、本変形例３において、複数のフレーム画像の各々を画像解析することで、当該複数のフレーム画像の各々が示す特性を判定し、当該特性に基づいて、複数のフレーム画像の各々の重要度を示す重要度指標を取得することができる。
　以上のように、本変形例３によれば、重要度指標として画像に記録された風景の分類項目ごとに設定された重要度を採用することで、合成画像中に、重要度の低い画像が連続して表示されることを軽減することができる。従って、移動体の移動方向に対応する方向において、必要とされない画像が占める範囲が小さくなり、所望の画像を見つけ易くなる。従って、ユーザが画像中から所望の箇所を検索する際に、効率の良い検索を可能とし、当該所望の箇所を容易に見つけることを可能にする画像を生成する画像生成装置を提供することができる。
　なお、上記の実施例及び変形例において、画像生成装置１０が移動体に搭載される場合について説明したが、これに限られない。例えば、画像生成装置１０は、ユーザが携帯する端末装置に搭載されていてもよい。
　また、上記の実施例及び変形例において、動画を取得するカメラが移動体に設けられている例について説明したが、これに限られない。少なくとも動画の取得に移動が伴っていればよい。例えば、カメラはユーザが携帯する端末装置に搭載されていてもよい。またカメラの撮影方向は移動方向に対して真横に限定されるものではなく、移動方向に沿った方向（すなわち前後方向）でなければ、いかなる方向を撮影していてもよい。例えば上方向や下方向を撮影していてもよい。さらに画像生成装置１０は、移動するカメラと別の場所に設けられていてもよく、当該カメラによって撮影された動画を取得できればよい。
　また、第１ディスプレイ１５は、自動車Ｍの窓に設けられている例について説明したが、これに限られない。第１ディスプレイ１５は、再生制御部としての制御部２９によって再生された映像を表示可能に設けられていればよい。
　また、第１ディスプレイ１５は、透明である場合に限られず、半透明又は不透明であってもよい。
　なお、第２ディスプレイ１７Ａが第１ディスプレイ１５とは別体として設けられている例について説明したが、これに限られない。例えば、第１ディスプレイ１５の動画表示面１５Ａの一部に、操作用の画像を表示可能な領域を設けて、再生操作画像ＰＣを表示してもよい。
　なお、情報保有動画に累積移動距離が対応付けられており、情報保有動画に基づいて等距離間隔でフレーム画像を選択する例について説明したが、これに限られない。情報保有動画には、距離は対応付けられていなくともよい。
　上述した実施例及び変形例における構成は例示に過ぎず、用途等に応じて適宜選択及び変更可能である。
１０　画像生成装置
１３　カメラ
１５　第１ディスプレイ
１７　タッチパネル
１７Ａ　第２ディスプレイ
１７Ｂ　タッチパッド
１８　システムバス
１９　入力部
２１　速度センサ
２２　ＧＰＳ受信機
２３　出力部
２４　速度センサ
２５　操作入力部
２７　記憶部
２９　制御部
 

Claims (10)

  1. 　移動体からの風景が撮影された風景動画を取得する動画取得部と、
    　前記風景動画から複数のフレーム画像を選択するフレーム選択部と、
    　当該選択された前記複数のフレーム画像の各々の重要度を示す重要度指標を取得する指標取得部と、
    　当該選択された前記複数のフレーム画像の各々を、前記移動体の移動方向に対応する第１方向の寸法が小さくなるように前記複数の画像の各々に対応付けられた前記重要度指標が示す重要度に応じて縮小し、撮影された順に合成して１の合成画像を生成する合成画像生成部と、を有することを特徴とする画像生成装置。
  2. 　前記合成画像生成部は、前記重要度が低いほど大きい縮小率で前記複数のフレーム画像の各々を縮小して前記合成画像を生成することを特徴とする請求項１に記載の画像生成装置。
  3. 　前記指標取得部は、前記フレーム選択部によって選択された前記複数のフレーム画像の各々を画像解析することで判定した当該複数のフレーム画像の各々が示す特性に基づいて、前記複数のフレーム画像の各々の重要度を示す重要度指標を取得することを特徴とする請求項１又は２に記載の画像生成装置。
  4. 　前記指標取得部は、前記フレーム選択部によって選択された前記複数のフレーム画像の各々が撮影された時点の前記移動体の位置と、地図上の位置に対応する風景の見ごたえに関する情報が予め記憶された地図データとに基づいて、前記複数のフレーム画像の各々の重要度を示す重要度指標を取得することを特徴とする請求項１又は２に記載の画像生成装置。
  5. 　前記指標取得部は、前記フレーム選択部によって選択された前記複数のフレーム画像の各々の、前記複数のフレーム画像が撮影された順において隣接するフレーム画像からの画像の変化の度合いを示す変化度指標を前記重要度指標として取得することを特徴とする請求項１又は２に記載の画像生成装置。
  6. 　前記風景動画の撮影が開始された時点から前記風景動画を構成するフレーム画像の各々が撮影された時点までの前記移動体の累積移動距離を取得する移動距離取得部と、
    　前記フレーム画像の各々に撮影時点での前記累積移動距離が対応付けられた前記風景動画である情報保有動画を生成する情報保有動画生成部と、を有し、
    　前記フレーム選択部は、前記情報保有動画の前記フレーム画像から、前記風景動画が撮影された際の前記移動体の前記累積移動距離における所定距離間隔毎に複数のフレームを選択し、
    　前記所定距離間隔は、前記複数のフレーム画像を撮影された順に並べた際に前記複数のフレーム画像の各々と隣のフレーム画像との間に撮影範囲の重複部分を生じさせる距離間隔であることを特徴とする請求項１乃至５のいずれか１つに記載の画像生成装置。
  7. 　前記風景動画を再生した映像を出力する再生制御部と、
    　前記合成画像中の前記第１方向における１の位置を選択する選択操作を受け付ける操作受付部と、を有し、
    　前記再生制御部は、前記操作受付部を介して選択された前記位置に対応するフレーム画像から頭出しをして前記風景動画を再生した映像を出力することを特徴とする請求項１乃至６のいずれか１つに記載の画像生成装置。
  8. 　画像生成装置が画像を生成する画像生成方法であって、
    　動画取得部が、移動体からの風景が撮影された風景動画を取得する動画取得ステップと、
    　フレーム選択部が、前記風景動画から複数のフレーム画像を選択するフレーム選択ステップと、
    　指標取得部が、当該選択された前記複数のフレーム画像の各々の重要度を示す重要度指標を取得する指標取得ステップと、
    　合成画像生成部が、前記フレーム選択ステップにおいて選択された前記複数のフレーム画像の各々を、前記移動体の移動方向に対応する第１方向の寸法が小さくなるように前記複数の画像の各々に対応付けられた前記重要度指標が示す重要度に応じて縮小し、撮影された順に合成して１の合成画像を生成する合成画像生成ステップと、を含むことを特徴とする画像生成方法。
  9. 　コンピュータを備える画像生成装置によって実行される画像生成プログラムであって、前記コンピュータに、
    　動画取得部が、移動体からの風景が撮影された風景動画を取得する動画取得ステップと、
    　フレーム選択部が、前記風景動画から複数のフレーム画像を選択するフレーム選択ステップと、
    　指標取得部が、当該選択された前記複数のフレーム画像の各々の重要度を示す重要度指標を取得する指標取得ステップと、
    　合成画像生成部が、前記フレーム選択ステップにおいて選択された前記複数のフレーム画像の各々を、前記移動体の移動方向に対応する第１方向の寸法が小さくなるように前記複数の画像の各々に対応付けられた前記重要度指標が示す重要度に応じて縮小し、撮影された順に合成して１の合成画像を生成する合成画像生成ステップと、を実行させることを特徴とする画像生成プログラム。
  10. 　請求項９に記載の画像生成プログラムを格納したことを特徴とするコンピュータが読取可能な記録媒体。
     
PCT/JP2021/000914 2020-02-12 2021-01-13 画像生成装置、画像生成方法、画像生成プログラム及び記録媒体 WO2021161709A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022500272A JP7448629B2 (ja) 2020-02-12 2021-01-13 画像生成装置、画像生成方法、画像生成プログラム及び記録媒体

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020021779 2020-02-12
JP2020-021779 2020-02-12

Publications (1)

Publication Number Publication Date
WO2021161709A1 true WO2021161709A1 (ja) 2021-08-19

Family

ID=77293038

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/000914 WO2021161709A1 (ja) 2020-02-12 2021-01-13 画像生成装置、画像生成方法、画像生成プログラム及び記録媒体

Country Status (2)

Country Link
JP (1) JP7448629B2 (ja)
WO (1) WO2021161709A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008087721A1 (ja) * 2007-01-18 2008-07-24 Fujitsu Limited 画像合成装置、画像合成方法、プログラム
JP2013030875A (ja) * 2011-07-27 2013-02-07 Olympus Corp 画像処理システム、情報処理装置及びプログラム
JP2019212967A (ja) * 2018-05-31 2019-12-12 キヤノン株式会社 撮像装置及びその制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008087721A1 (ja) * 2007-01-18 2008-07-24 Fujitsu Limited 画像合成装置、画像合成方法、プログラム
JP2013030875A (ja) * 2011-07-27 2013-02-07 Olympus Corp 画像処理システム、情報処理装置及びプログラム
JP2019212967A (ja) * 2018-05-31 2019-12-12 キヤノン株式会社 撮像装置及びその制御方法

Also Published As

Publication number Publication date
JPWO2021161709A1 (ja) 2021-08-19
JP7448629B2 (ja) 2024-03-12

Similar Documents

Publication Publication Date Title
US20220132036A1 (en) Display Control Apparatus, Display Control Method, And Program
JP7422426B2 (ja) ドライブレコーダー、ドライブレコーダー用表示装置及びプログラム
JP4965475B2 (ja) 仮想移動表示装置
US20060039674A1 (en) Image editing apparatus, method, and program
CN103491331A (zh) 显示控制设备、显示控制方法和程序
CN112422804B (zh) 视频特效生成方法及终端
WO2014181529A1 (en) Display control apparatus, display control method, and program
US20060050166A1 (en) Digital still camera
WO2023151611A1 (zh) 视频录制方法、装置和电子设备
US20140111668A1 (en) Content acquisition apparatus and storage medium
JP2015069313A (ja) 電子アルバム装置
JP4640578B2 (ja) 画像処理システム及び画像処理方法
JP2006166208A (ja) コマ分類情報付与装置及びプログラム
WO2021161709A1 (ja) 画像生成装置、画像生成方法、画像生成プログラム及び記録媒体
CN114662018A (zh) 基于车载终端的出行打卡推荐和分享***及方法
JP2021129216A (ja) 画像処理装置及び画像処理方法
JP4363318B2 (ja) ナビゲーションアルバムシステム
WO2021161711A1 (ja) 画像生成装置、画像生成方法、画像生成プログラム及び記録媒体
JP2024028904A (ja) 動画再生装置、動画再生方法、動画再生プログラム及び記録媒体
JP2001004389A (ja) 動画表示装置
JP2004069353A (ja) 地図情報記憶再生装置
JP2006126954A (ja) 画像処理システム及び画像処理方法
JP5298214B2 (ja) 仮想移動表示装置
JP5690376B2 (ja) 画像ファイル作成装置
JP4492277B2 (ja) ナビゲーションアルバムシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21753859

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022500272

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21753859

Country of ref document: EP

Kind code of ref document: A1