WO2020162320A1 - 撮影装置、撮影方法、及びプログラム - Google Patents

撮影装置、撮影方法、及びプログラム Download PDF

Info

Publication number
WO2020162320A1
WO2020162320A1 PCT/JP2020/003438 JP2020003438W WO2020162320A1 WO 2020162320 A1 WO2020162320 A1 WO 2020162320A1 JP 2020003438 W JP2020003438 W JP 2020003438W WO 2020162320 A1 WO2020162320 A1 WO 2020162320A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information
item
user
shooting
Prior art date
Application number
PCT/JP2020/003438
Other languages
English (en)
French (fr)
Inventor
禎 山口
靖二郎 稲葉
石井　聡
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2020571139A priority Critical patent/JP7428143B2/ja
Priority to CN202080011729.2A priority patent/CN113366826A/zh
Priority to US17/426,079 priority patent/US11523047B2/en
Priority to EP20752992.6A priority patent/EP3917132A4/en
Publication of WO2020162320A1 publication Critical patent/WO2020162320A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/18—Signals indicating condition of a camera member or suitability of light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image

Definitions

  • the present disclosure relates to a photographing device, a photographing method, and a program.
  • Patent Document 1 discloses a technique capable of performing shooting with the same settings as those in the case where good shooting has been performed in the past.
  • the production assistance function in the background art includes "composition”, "manual setting” (setting of the photographing device at the time of photographing. For example, setting of shutter speed, aperture value, ISO sensitivity, exposure, white balance, etc.), "accessories”. (This is often done for a specific item such as an item used with an image capturing device at the time of shooting. For example, a flash, a lens, a filter, etc.), or the user selects an item for assisting production based on his/her skill level. I had to choose.
  • the reference image presented to the user includes not only the element “composition” but also various elements such as “manual setting” and “accessories”. Therefore, even if the user shoots the composition in accordance with the reference image, it is often impossible to obtain an image similar to the reference image.
  • the present disclosure has been made in view of the above circumstances, and a new and improved photographing apparatus and photographing method capable of more appropriately assisting the effect of photographing based on the user's proficiency level regarding photographing. , And provide the program.
  • an auxiliary control unit that determines an item presented for assisting the shooting, and item information that is information about the item are presented to the user.
  • An imaging device including a presentation unit is provided.
  • determining an item to be presented for assisting the shooting based on the user's proficiency information regarding shooting, determining an item to be presented for assisting the shooting, and presenting to the user item information that is information about the item. And a computer-implemented imaging method.
  • determining an item to be presented for assisting the shooting based on the user's proficiency information regarding shooting, determining an item to be presented for assisting the shooting, and presenting to the user item information that is information about the item.
  • FIG. 6 is a flowchart showing an example of a processing flow of overall shooting processing by the shooting apparatus according to the present embodiment.
  • 7 is a flowchart showing an example of a processing flow of a shooting process performed in step S1016 of FIG.
  • Step S1104 of Drawing 6 It is a flow chart which shows the example of a processing flow of production auxiliary processing performed at Step S1104 of Drawing 6.
  • 9 is a flowchart showing a processing flow example of item information and reference image presentation processing performed in steps S1208, S1216, and S1224 of FIG. 7.
  • 7 is a flowchart showing a processing flow example of the skill level calculation processing performed in step S1120 of FIG. 6.
  • the image capturing apparatus includes various cameras (for example, a single-lens reflex camera, a digital camera, a video camera, etc.), a smart phone or a mobile phone having an image capturing function, and is not necessarily limited to these. More specifically, the imaging device according to the present embodiment may be any device having an imaging function, and may include, for example, an endoscope, a microscope, a drive recorder, or the like.
  • the image capturing apparatus according to the present embodiment is various cameras will be described.
  • a camera having a shooting effect assisting function is disclosed.
  • Patent Document 1 it is necessary to appropriately perform shooting effect assisting based on the user's proficiency level regarding shooting. I could't.
  • the user's proficiency information regarding shooting (hereinafter, may be simply referred to as “proficiency information”) is information indicating the overall technical capability (skill) of the user regarding shooting. More specifically, the proficiency level information is information indicating the depth of knowledge of the user about shooting itself, the level of skill in operating the shooting apparatus, the level of skill in editing a shot image, and the like. (Note that the proficiency information is not limited to this information).
  • “items presented to assist shooting” are items related to image composition, items related to shooting processing settings, or accessories used for shooting processing. At least one of the items related to. More specifically, the item includes at least one of “composition”, “manual setting”, and “accessory”.
  • the imaging device determines the items to be presented based on the proficiency level information. For example, if the proficiency level is low, the item to be presented is “composition”, if the proficiency level is medium, the item to be presented is “manual setting”, and if the proficiency level is high, the item is presented.
  • Items that are marked may be referred to as "accessories.”
  • the content of the item and the content of the item corresponding to the high degree of proficiency are not necessarily limited to these.
  • the item may include "retouch".
  • the captured image is retouched by the user in the subsequent processing.
  • retouch By including "retouch” in the item, for example, when performing retouching on a PC (Personal Computer), retouching is performed or retouching is performed. It is possible to realize shooting with consideration. This allows the user to learn not only shooting, but also a series of steps until the work is completed by retouching.
  • the “item information” is information about these items, and is information of specific contents such as “composition”, “manual setting”, or “accessory”.
  • the item information may be information on setting values such as shutter speed, aperture value, ISO sensitivity, exposure, or white balance, and when the item is “accessory”
  • the item information may be information indicating a lens, a filter, a flash, or the like, information indicating their characteristics, or information on their setting values.
  • the item information may be information on the position and size of the main subject in the reference image or the reference image itself (information on the position and size of the main subject. Is not displayed in text, only the reference image is displayed).
  • the "reference image” is an image corresponding to the item information. More specifically, the reference image related to the item “composition” is an image taken with the specific composition, and the reference image related to the item “manual setting” is taken with the manual setting which is the specific example.
  • the reference image related to the item “accessory” is an image captured using the accessory, which is a specific example. As described above, it is assumed that the reference image is a reference image for shooting, and for example, an image shot by a user with high proficiency level (for example, a professional photographer or the like) or an image highly evaluated. (For example, images highly evaluated on SNS or community sites).
  • FIG. 1 is a diagram showing a specific example of a reference image or the like presented to the user by the imaging device when the item is “composition”.
  • FIG. 1 shows a specific example of an image displayed in a display area 10 such as an EVF (Electric View Finder/Electronic View Finder) of a photographing device or a monitor (the same applies to FIGS. 2 and 3).
  • a live view image 11 an image generated using a pixel signal read from an image sensor at a predetermined frame rate
  • Displays reference images 12a to 12c related to the item "composition" in the example of FIG. 1, reference images 12a to 12c are presented as item information).
  • the image capturing apparatus estimates a shooting scene by analyzing the live view image 11 and presents a reference image based on the scene (also in FIGS. 2 and 3).
  • the image capturing apparatus presents a reference image in which “soccer” is similarly used as the image capturing scene based on the fact that the image capturing scene is “soccer”.
  • FIG. 2 is a diagram showing a specific example of a reference image or the like presented to the user by the imaging device when the item is “manual setting” (in the example of FIG. 2, when the shooting scene is “waterfall”). Reference image is shown). As shown in FIG. 2, reference images 13a to 13c related to the item “manual setting” are displayed on the right side of the display area 10, and item information corresponding to each reference image (in the example of FIG. 2, “shutter speed: 10 seconds”). , “Aperture value: F16”, “ISO sensitivity: ISO1600”).
  • FIG. 3 is a diagram showing a specific example of a reference image or the like which the image capturing apparatus presents to the user when the item is “accessory” (in the example of FIG. 3, reference when the shooting scene is “plant”). Image is shown).
  • reference images 14a to 14c related to the item “accessory” are displayed as item information (“lens: S1018” (lens in the example of FIG. 3) corresponding to each reference image. (Assuming the model number), “guide number: 56”, “ND filter: ND8”).
  • the content displayed in the display area 10 is not limited to the examples of FIGS. 1 to 3.
  • the number of reference images displayed in the display area 10 is not particularly limited, and the displayed reference images may be switched by scrolling or the like.
  • the layout of the live view image 11 and the reference image in the display area 10 is not particularly limited.
  • the display content may be appropriately controlled so that the user can concentrate on the presented items. For example, if the item is “composition”, the EVF or monitor may be displayed in black and white so that the user can concentrate on the composition, or menus related to other functions (for example, manual setting function) may be hidden. May be.
  • FIG. 4 is a block diagram showing a configuration example of the image capturing apparatus according to this embodiment.
  • the image pickup unit 101 is configured to include a lens group, a shutter, various filters, an image pickup device, and the like.
  • the lens group includes, for example, a front lens located closest to the subject, a focusing lens used to control the focus position of the subject image, and a blur correction lens used to correct the image blur of the subject image.
  • the type and number of lenses included in the lens group are not particularly limited.
  • the shutter controls the exposure state of the image sensor by opening and closing the optical path.
  • the various filters are used for transmitting only light having a desired wavelength, and may be, for example, an optical low pass filter or an infrared cut filter, but the type of the filter is not particularly limited.
  • the image sensor has a configuration in which a plurality of pixels are provided on the image forming surface, and each pixel converts the subject image formed by the lens group into an electrical signal (pixel signal).
  • the image pickup device may be, for example, a CCD (Charge Coupled Device) sensor array, a CMOS (Complementary Metal Oxide Semiconductor) sensor array, or the like, but is not necessarily limited thereto.
  • the signal processing unit 102 is configured to perform various types of processing on the pixel signals provided from the image pickup device of the image pickup unit 101. For example, the signal processing unit 102 removes noise from a pixel signal, gain adjustment, waveform shaping, A/D conversion, white balance adjustment, brightness adjustment, contrast value adjustment, sharpness (edge enhancement) adjustment, color correction, or Perform blur correction.
  • the processing content of the signal processing unit 102 is not limited to these.
  • the image storage unit 103 is configured to temporarily store the captured image that has been subjected to various processes by the signal processing unit 102.
  • the image storage unit 103 may be realized by, for example, various memories, but is not necessarily limited to this.
  • the recording unit 104 is configured to record the captured image temporarily stored in the image storage unit 103 for a long time.
  • the recording unit 104 can be realized by, for example, various hard disks, but is not necessarily limited to this (the same applies to the reference image recording unit 106, the proficiency level recording unit 110, and the possession property recording unit 112).
  • FIG. 4 shows the case where the recording unit 104 is provided in the image capturing apparatus 100 as an example, the recording unit 104 may be provided outside the image capturing apparatus 100 (reference image recording unit 106, proficiency level recording unit). The same applies to 110 and the property recording unit 112).
  • the recording unit 104 may be realized by an external recording device (for example, a memory card or an external hard disk) or an external device (for example, an external storage or a cloud server).
  • the scene estimation unit 105a is configured to estimate a shooting scene based on a shot image (live view image). More specifically, the scene estimation unit 105a recognizes the position and size of the main subject in the captured image by analyzing the captured image, and the content of the subject to determine the scene of the capturing. presume.
  • the “shooting scene” may be information indicating the shooting target, the situation, and the like. More specifically, the scene may include elements related to the subject. For example, in the scene, the contents of the subject (for example, “landscape”, “human”, “animal”, more detailed “mountain”, “sea”, “child”, “elderly”, “dog”, “cat”) Etc.), the behavior of the subject (for example, “soccer”, “run”, “swim”, “still”, etc.), the location of the subject (for example, “indoors", “outdoors", “amusement park”, etc.) ), the position (eg, “left side”, “near center”, etc.), size (area), or number (eg, “2 people”, “3”, etc.) of the subject in the captured image may be included.
  • the contents of the subject for example, “landscape”, “human”, “animal”, more detailed “mountain”, “sea”, “child”, “elderly”, “dog”, “cat”) Etc.
  • the scene may include an element related to a shooting situation.
  • the scene includes a shooting environment (eg, weather, time zone, brightness, etc.), a shooting location (eg, “indoor”, “outdoor”, etc.), a shooting method (eg, “telephoto”, “close proximity”, etc.) Can be included.
  • the scene may be a combination of the above elements. For example, by combining "children”, “soccer”, “two people”, “telephoto”, etc., the shooting scene is "a scene where two children are playing soccer in a telephoto scene”. May be represented as By representing a scene by combining a plurality of elements in this way, more appropriate production assistance can be performed in the subsequent processing.
  • the scene estimation method by the scene estimation unit 105a is not limited to the above.
  • the scene estimation unit 105a determines the position and orientation of the image capturing apparatus 100 based on sensor data from various sensors (not shown in FIG. 4, such as a position sensor and a gyro sensor) included in the image capturing apparatus 100.
  • the scene may be estimated by specifying and identifying such information. For example, when the image capturing apparatus 100 is located at a shooting spot of a famous landscape, the scene estimation unit 105a may estimate that the scene is “landscape”. Thereby, the scene estimation unit 105a can improve the scene estimation accuracy.
  • the trigger for the scene estimation unit 105a to estimate the shooting scene is not particularly limited.
  • the reference image acquisition unit 105 is configured to acquire a reference image from inside or outside the device based on a captured image (for example, live view image). More specifically, the reference image acquisition unit 105 uses the captured image as a reference image based on the scene estimated by the scene estimation unit 105a, and outputs the reference image to the reference image recording unit 106 or an external device (for example, a memory card or an external device). Hard disk, storage, cloud server, etc.). For example, the reference image acquisition unit 105 acquires a reference image regarding a scene that is the same as or similar to the scene estimated by the scene estimation unit 105a. As a result, a reference image suitable for the shooting target, the situation, etc. is presented in the subsequent processing.
  • a captured image for example, live view image
  • the reference image acquisition unit 105 uses the captured image as a reference image based on the scene estimated by the scene estimation unit 105a, and outputs the reference image to the reference image recording unit 106 or an external device (for example, a memory card or an external device
  • the method for the reference image acquisition unit 105 to acquire the reference image based on the scene is not particularly limited.
  • the reference image recording unit 106 which will be described later, records a plurality of reference images and metadata relating to the scene in association with each other, and the reference image acquisition unit 105 uses the metadata and the scene estimation unit 105a.
  • the reference image may be acquired based on the degree of similarity (or degree of association) with each other by comparing the estimated scene.
  • the reference image acquisition unit 105 can acquire a more appropriate reference image by more preferentially acquiring a reference image having a high degree of similarity.
  • the method of determining the priority order of reference images is not particularly limited.
  • the priority of the reference image is determined. May be lower.
  • the reference image acquisition unit 105 also acquires item information corresponding to the reference image from the reference image recording unit 106.
  • the reference image acquisition unit 105 provides information on the position and size of the main subject in the reference image when the item is “composition”, and the shutter speed and aperture value when the item is “manual setting”. , ISO sensitivity, exposure, white balance, and other setting value information, when the item is an “accessory”, information indicating a lens, filter, flash, etc., information indicating those characteristics, or their setting. Acquires each value information. This makes it possible to present the item information to the user together with the reference information.
  • the user selects a reference image as a reference from a plurality of reference images acquired by the reference image acquisition unit 105 (note that the reference image does not necessarily have to be selected).
  • the proficiency level calculation unit 109 can calculate the proficiency level information by comparing the captured image with the reference image.
  • the method of selecting the reference image by the user is not particularly limited.
  • the user can select a desired reference image from a plurality of reference images by pressing a predetermined button, touching a touch panel, a line-of-sight recognition function, or the like.
  • the same or similar manual setting as the reference image may be automatically performed. This allows the user to more easily take an image similar to the reference image.
  • the presentation control unit 107 is configured to control the information presented to the user by the presentation unit 108.
  • the presentation control unit 107 controls the content such as the live view image, the reference image, or the item information displayed on the EVF or the monitor included in the presentation unit 108, the layout, or the like. If the acquired reference image is captured using an accessory that the user does not own, or if the performance or function of the image capturing apparatus 100 cannot capture the image, the presentation control unit 107
  • the reference image may be presented to the presentation unit 108 in a manner that can be distinguished from other reference images (for example, grayed out), or a predetermined warning may be presented.
  • the proficiency level calculation unit 109 is configured to calculate proficiency level information by comparing a captured image and a reference image. More specifically, the proficiency level calculation unit 109 determines, based on how much the captured image satisfies a point (hereinafter, referred to as “imaging point”) when the capturing is performed with reference to the reference image. Calculate proficiency information.
  • the shooting point depends on the content of the item.
  • the weight of the element relating to the position and size of the main subject may be set to be larger than that of other elements (the same applies to the item “manual setting” and the item “accessory”). ..
  • the proficiency level calculation unit 109 analyzes each captured image itself or refers to metadata or the like added to the captured image (for example, Exif (Exchangeable image file format), etc.), and becomes each of the above-mentioned capturing points. Element information (hereinafter, referred to as “first shooting point information”) is acquired. Further, the proficiency level calculation unit 109 analyzes the reference image acquired by the reference image acquisition unit 105 or refers to the item information acquired in the same manner to determine the same or similar element as the first shooting point information. Information (hereinafter, referred to as “second shooting point information”). Then, the proficiency level calculation unit 109 compares the first shooting point information with the second shooting point information, and calculates the degree of similarity (not necessarily limited to the degree of similarity) of each other as the skill level information.
  • the method of calculating the skill level information by the skill level calculation unit 109 is not limited to the above.
  • the proficiency level calculation unit 109 uses information corresponding to the proficiency level of the user (for example, the evaluation of the user's work, the qualification of the user, the work history of the user, the employer company, etc.) as an external device (for example, SNS or community). It may be acquired from the site management server or the like), and the proficiency level information may be calculated also based on these information.
  • the proficiency level calculation unit 109 has a “proficiency level counter” as the proficiency level information. For example, if the captured image satisfies the shooting point, the proficiency level counter is added, and if not, the proficiency level counter is subtracted. Therefore, the proficiency level information may be calculated.
  • a value that is added or subtracted for a more important element of the shooting points may be set to be larger than that of other elements.
  • the value to be added is set to be larger than that of other elements when the higher difficulty element of the shooting points is satisfied, or subtracted when the lower difficulty element is not satisfied.
  • the value to be set may be set larger than that of other elements.
  • the proficiency level recording unit 110 is configured to record proficiency level information. More specifically, after the skill level calculating unit 109 calculates the skill level information, the skill level recording unit 110 receives and records the skill level information. If there are a plurality of users who use the image capturing apparatus 100, the proficiency level recording unit 110 can manage the property information for each user. In that case, the user who is using the image capturing apparatus 100 is authenticated by a predetermined method (for example, authentication by ID and password, biometric authentication, etc.).
  • the step counter 111 is a configuration that manages information used to determine the items presented to assist shooting. More specifically, the step counter 111 calculates a value used to determine the item to be presented, based on the proficiency level information.
  • the step counter 111 associates a numerical value in a certain range with the value “1”, A numerical value is associated with the value “2”, and a numerical value in another range is associated with the value “3”. Then, for example, if the value is “1”, the item “composition” is presented, if the value is “2”, the item “manual setting” is presented, and if the value is “3”, the item “accessory” is presented.
  • the step counter 111 functions as an auxiliary control unit that determines items to be presented for assisting the shooting based on the user's proficiency information regarding the shooting (other reference image acquisition unit 105 and the like).
  • the configuration may also function as an auxiliary control unit).
  • the step counter 111 may appropriately change the method of associating these values with the proficiency level information (in the above example, a range of numerical values that are proficiency level information).
  • the step counter 111 may change the method of associating these values with the proficiency level information based on the size of the numerical value that is the proficiency level information.
  • the possession list 113 is configured to manage information used when a reference image or the like is acquired based on the possession (accessory) of the user. For example, information is set in the property list 113 based on the property information recorded in the property recording unit 112, and the reference image acquisition unit 105 outputs the reference image and the like from the reference image recording unit 106 based on the information. Can be obtained.
  • the information set in the property list 113 is information extracted from the property information (in other words, information after information unnecessary for obtaining a reference image or the like is removed from the property information) or property information.
  • the information is not limited to these, although it may be information that is a superordinate concept (for example, when the property information includes the product number of the lens, information indicating the type of the lens).
  • a part of the configuration shown in FIG. 4 (for example, the scene estimation unit 105a, the reference image acquisition unit 105, the proficiency calculation unit 109, etc.) is realized by artificial intelligence (AI: Artificial Intelligence) technology or machine learning technology. May be done.
  • AI Artificial Intelligence
  • some of the functions of the configuration shown in FIG. 4 can be realized by a machine learning technique such as a neural network or a regression model.
  • FIG. 5 is a flowchart showing an example of the overall processing flow of the image capturing process performed by the image capturing apparatus 100.
  • step S1000 the proficiency level information recorded in the proficiency level recording unit 110 is read out, and in step S1004, a value is set in the step counter 111 based on the read proficiency level information.
  • step S1008 the property information recorded in the property recording unit 112 is read, and in step S1012, a value is set in the property list 113 based on the read property information. Then, in step S1016, the shooting process is performed, and the process of the entire shooting process ends.
  • FIG. 6 is a flowchart showing an example of the processing flow of the shooting processing performed in step S1016 of FIG.
  • step S1108 a preliminary operation for shooting is performed.
  • the user attaches an accessory to the image capturing apparatus 100, performs manual setting, or selects a desired reference image from a plurality of reference images.
  • the content of the pre-operation is not limited to these.
  • step S1112 it is determined whether the user has pressed the shooting button. When the user presses the shooting button (step S1112/Yes), a shot image is recorded in step S1116. More specifically, each pixel in the image pickup device of the image pickup unit 101 converts a subject image into a pixel signal, and the signal processing unit 102 performs various processes on the pixel signal to generate a captured image, and the image storage unit It stores in 103. After that, the recording unit 104 receives and records the captured image from the image storage unit 103.
  • step S1120 calculation processing of the user's proficiency level regarding shooting is performed. Details of the skill level calculation process will be described later. Note that the example of FIG. 6 shows that the proficiency level is calculated each time the shooting button is pressed and shooting is performed, but the present invention is not limited to this. For example, the proficiency level may be set every predetermined number of times of photographing or every predetermined period.
  • step S1124/Yes When the user turns off the power of the image capturing apparatus 100 (step S1124/Yes), a series of image capturing processing ends. If the power of the image capturing apparatus 100 has not been turned off by the user (step S1124/No), the process returns to step S1100, and the effect assistance process and the recording of the captured image are continuously performed.
  • FIG. 7 is a flowchart showing an example of a process flow of the production assistance process performed in step S1104 of FIG.
  • step S1200 the reference image acquisition unit 105 acquires a value from the step counter 111. For example, when the value of the step counter 111 is “1” (step S1204/Yes), a series of production assistance processing ends by presenting item information and a reference image regarding the item “composition” in step S1208. .. Details of the item information and reference image presentation processing will be described later (the same applies to step S1216 and step S1224).
  • step S1204/No and step S1212/Yes When the value of the step counter 111 is "2" (step S1204/No and step S1212/Yes), a series of performance assistance is provided by presenting item information and a reference image regarding the item "manual setting" in step S1216. The process ends.
  • FIG. 8 is a flowchart showing a processing flow example of the item information/reference image presentation processing performed in steps S1208, S1216, and S1224 of FIG. 7.
  • step S1300 the captured image (live view image) is stored in the image storage unit 103. More specifically, each pixel in the image pickup device of the image pickup unit 101 converts a subject image into a pixel signal, and the signal processing unit 102 performs various processes on the pixel signal to generate a captured image, and the image storage unit It stores in 103.
  • the scene estimation unit 105a, the reference image acquisition unit 105, and the like may be realized by artificial intelligence technology or machine learning technology.
  • the display image is displayed. More specifically, the presentation control unit 107 generates a display image using the live view image and the reference image (reference image with high priority), and the presentation unit 108 displays the image.
  • the reference image is displayed as the item information as shown in FIG. 1 (note that the item information is not necessarily displayed, but the item information is the main subject in the reference image). It contains information about the position and size of the).
  • the item is “manual setting”, as shown in FIG. 2, information of set values such as shutter speed, aperture value, ISO sensitivity, exposure, or white balance is displayed as the item information together with the reference image. To be done.
  • the item is an “accessory”, as shown in FIG. 3, as the item information together with the reference image, information indicating, for example, a lens, a filter, a flash, or the like, information indicating the characteristics thereof, or setting values thereof is set. Information is displayed. With the above, the process of presenting the item information and the reference image ends.
  • step S1400 the proficiency level calculation unit 109 performs the determination process of the captured image. More specifically, the proficiency level calculation unit 109 determines, based on the item information provided by the reference image acquisition unit 105, how much the captured image satisfies the shooting point of the reference image.
  • step S1404 the proficiency level calculation unit 109 updates the proficiency level information based on the determination result in step S1400, and records the proficiency level information in the proficiency level recording unit 110.
  • step S1408 the value of the step counter 111 is appropriately updated based on the proficiency level information and the like, and the proficiency level calculation process ends.
  • each step in the flowcharts of FIGS. 5 to 9 does not necessarily have to be processed in time series in the order described. That is, the steps in the flowchart may be processed in a different order from the described order or in parallel.
  • the items presented for assistance in shooting may include not only “composition”, “manual setting”, “accessories”, etc., but also “retouch”.
  • “retouching” means editing a captured image (for example, changing the brightness, contrast, or color tone of the captured image, enlarging, reducing, cropping, or rotating the captured image. Including all processes that affect the appearance).
  • the device for retouching is not particularly limited.
  • the retouching can be performed by the image capturing apparatus 100 or various external devices (for example, a PC, a smartphone, a dedicated device, or the like).
  • a case where retouching is performed by a PC will be described as an example.
  • the reference image recording unit 106 stores the item information including the reference image after the retouch and the specific content of the retouch performed on the reference image (for example, information about a region in the retouched reference image, a subject, and the like may be included).
  • the item information is not limited to the specific content of the retouch applied to the reference image, and may include other information (for example, composition, manual setting, information regarding accessories, etc.).
  • the reference image acquisition unit 105 acquires a reference image and item information from the reference image recording unit 106 based on the scene estimated by the scene estimation unit 105a. Then, the presentation control unit 107 causes the presentation unit 108 to present these pieces of information.
  • the presentation control unit 107 displays a reference image (after retouching) or item information on the EVF, the monitor, or the like that is the presentation unit 108. It is more preferable that the presentation control unit 107 causes the presentation unit 108 to present only the information that the user should recognize at the time of shooting. In other words, it is more preferable that the presentation control unit 107 does not cause the presentation unit 108 to present the information regarding the retouching work (using a PC or the like) performed after the image capturing (for example, the information regarding the instruction of the retouching work). This eliminates unnecessary information at the time of shooting, so that the user can concentrate on shooting.
  • the taken image is provided to the retouching PC.
  • the captured image is provided to the PC through communication cooperation from the image capturing apparatus 100, an external storage medium, or the like.
  • retouch information such as specific contents of retouching (for example, information about a region in the captured image to be retouched, a subject, etc.) may be recognized by the user during retouching work.
  • Information (hereinafter referred to as “retouch information”) that should be associated with the captured image.
  • the method of associating the retouch information with the captured image is not particularly limited.
  • the retouching information may be associated by being stored in the metadata of the captured image.
  • the PC that performs retouching can acquire the retouching information from the external device based on the identification information of the retouching information. Then, at the time of the retouching work, the PC prompts (instructs) the user to perform the appropriate retouching work by presenting the retouching information together with the captured image to the user.
  • an external device for example, a cloud server or the like.
  • the image capturing apparatus 100 determines an item presented for assisting the image capturing based on the user's proficiency level regarding the image capturing, and is an item related to the item. Present the information to the user. Then, the image capturing apparatus 100 presents a reference image, which is an image that serves as a reference in image capturing, to the user together with item information corresponding to the reference image, or presents it to the user as item information.
  • the photographing apparatus 100 can provide the user with an opportunity to learn an attractive photographed image in each scene of photographing, and can embody the image of the photographed image desired by the user. Further, the image capturing apparatus 100 can dynamically switch the items to be presented by determining the items to be presented to the user based on the proficiency information, and how each item affects the appearance of the work. The opportunity to learn can be provided to the user according to the level of proficiency.
  • the present disclosure is also applicable to a moving image.
  • the item presented to the user may include an element related to the creation of the moving image such as “cut split”.
  • the effects described in the present specification are merely explanatory or exemplifying ones, and are not limiting. That is, the technique according to the present disclosure may have other effects that are apparent to those skilled in the art from the description of the present specification, in addition to or instead of the above effects.
  • An auxiliary control unit that determines an item to be presented to assist the shooting based on the user's proficiency information about the shooting, A presentation unit that presents item information that is information about the items to the user, Imaging device.
  • the presenting unit presents a reference image, which is an image that serves as a reference in the shooting, to the user together with the item information corresponding to the reference image, or presents the user as the item information.
  • the image capturing apparatus according to (1) above.
  • the presenting unit presents the plurality of reference images to the user together with the item information corresponding to the reference images, or presents the user as the item information.
  • the imaging device according to (2) above.
  • the presenting unit presents a live view image to the user together with the reference image, The imaging device according to (2) or (3) above.
  • a reference image acquisition unit that acquires the reference image from inside or outside the device based on the live view image, The imaging device according to (4) above.
  • the reference image acquisition unit includes a scene estimation unit that estimates the shooting scene based on the live view image, Acquiring the reference image from inside or outside the device based on the scene estimated by the scene estimation unit, The imaging device according to (5) above.
  • the proficiency level calculation unit calculates the proficiency level information based on the shooting situation as well.
  • the imaging device according to (7) above.
  • the item includes at least one of an item related to image composition, an item related to setting of a shooting process, and an item related to an accessory used for the shooting process,
  • the image capturing apparatus according to any one of (1) to (8) above.
  • Deciding items to be presented for assisting the photographing based on the user's proficiency information regarding the photographing, Presenting item information, which is information about the item, to the user, A shooting method performed by a computer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Abstract

ユーザの撮影に関する習熟度情報に基づいて、前記撮影の補助のために提示される項目を決定する補助制御部と、前記項目に関する情報である項目情報を前記ユーザに提示する提示部と、を備える、撮影装置が提供される。

Description

撮影装置、撮影方法、及びプログラム
　本開示は、撮影装置、撮影方法、及びプログラムに関する。
　近年、各種カメラ（例えば、一眼レフカメラ、デジタルカメラ、又はビデオカメラ等）を用いる撮影の演出補助を行う技術が開発されている。例えば、以下の特許文献１には、過去に良好な撮影がなされた場合等において、当該良好な撮影と同様の設定で撮影を行うことが可能な技術が開示されている。
特開２００６－１１５０４５号公報
　しかし、特許文献１をはじめとする背景技術によっては、ユーザの撮影に関する習熟度に基づいて撮影の演出補助を適切に行うことができなかった。例えば、背景技術における演出補助機能は、「構図」、「マニュアル設定」（撮影時の撮影装置の設定。例えば、シャッタースピード、絞り値、ＩＳＯ感度、露出、又はホワイトバランス等の設定）、「アクセサリ」（撮影時に撮影装置と共に使用される物品。例えば、フラッシュ、レンズ、又はフィルタ等）の特定の項目に対して行われる場合が多かったり、ユーザが自らの習熟度に基づいて演出補助の項目を選択しなければならなかったりした。また、例えば「構図」に関する演出補助が行われる場合において、ユーザに提示される参考画像には「構図」という要素だけでなく「マニュアル設定」や「アクセサリ」等の様々な要素も含まれているため、ユーザが構図を参考画像に合わせて撮影をしたとしても、参考画像に似た画像を得ることができない場合も多かった。
　そこで、本開示は、上記事情に鑑みてなされたものであり、ユーザの撮影に関する習熟度に基づいて撮影の演出補助をより適切に行うことが可能な、新規かつ改良された撮影装置、撮影方法、及びプログラムを提供する。
　本開示によれば、ユーザの撮影に関する習熟度情報に基づいて、前記撮影の補助のために提示される項目を決定する補助制御部と、前記項目に関する情報である項目情報を前記ユーザに提示する提示部と、を備える、撮影装置が提供される。
　また、本開示によれば、ユーザの撮影に関する習熟度情報に基づいて、前記撮影の補助のために提示される項目を決定することと、前記項目に関する情報である項目情報を前記ユーザに提示することと、を有する、コンピュータにより実行される撮影方法が提供される。
　また、本開示によれば、ユーザの撮影に関する習熟度情報に基づいて、前記撮影の補助のために提示される項目を決定することと、前記項目に関する情報である項目情報を前記ユーザに提示することと、をコンピュータに実行させるためのプログラムが提供される。
項目が「構図」である場合に撮影装置がユーザに提示する情報の具体例を示す図である。 項目が「マニュアル設定」である場合に撮影装置がユーザに提示する情報の具体例を示す図である。 項目が「アクセサリ」である場合に撮影装置がユーザに提示する情報の具体例を示す図である。 本実施形態に係る撮影装置の構成例を示すブロック図である。 本実施形態に係る撮影装置による撮影処理全体の処理フロー例を示すフローチャートである。 図５のステップＳ１０１６で行われる撮影処理の処理フロー例を示すフローチャートである。 図６のステップＳ１１０４で行われる演出補助処理の処理フロー例を示すフローチャートである。 図７のステップＳ１２０８、ステップＳ１２１６、及びステップＳ１２２４で行われる項目情報や参考画像の提示処理の処理フロー例を示すフローチャートである。 図６のステップＳ１１２０で行われる習熟度の算出処理の処理フロー例を示すフローチャートである。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．機能概要
　２．構成例
　３．処理フロー例
　４．項目「レタッチ」に関する機能
　５．むすび
　　＜１．機能概要＞
　まず、本開示の一実施形態に係る撮影装置の機能概要について説明する。
　本実施形態に係る撮影装置は、各種カメラ（例えば、一眼レフカメラ、デジタルカメラ、又はビデオカメラ等）、撮影機能を有するスマートフォンや携帯電話等を含み、必ずしもこれらに限定されない。より具体的には、本実施形態に係る撮影装置は撮影機能を有する装置であればよく、例えば、内視鏡、顕微鏡、又はドライブレコーダ等も含み得る。以降では一例として、本実施形態に係る撮影装置が各種カメラである場合について説明する。
　ユーザ（特に初心者）が、カメラを用いてより魅力的な写真を撮影することは容易ではない。より具体的には、ユーザは、インターネットや書籍等で魅力的な写真とはどのようなものであるかを学ぶことが求められる。さらに、ユーザは、所望の写真を撮影するためのカメラの操作方法を学ぶことが求められる。特に近年では、様々な機能を搭載したカメラが開発されているところ、その操作方法は複雑である場合が多く、ユーザがカメラを適切に操作することができないことも多い。また、ユーザは、カメラの操作方法を理解していても、各機能によってどのような写真が撮影できるか認識できていないために各機能が使用されないことも多い。
　撮影の演出補助機能を有するカメラは開示されているところ、上記のように、特許文献１をはじめとする背景技術によっては、ユーザの撮影に関する習熟度に基づいて撮影の演出補助を適切に行うことができなかった。
　本件の開示者は、上記事情に鑑みて本開示に係る技術を創作するに至った。本実施形態に係る撮影装置は、ユーザの撮影に関する習熟度情報に基づいて、撮影の補助のために提示される項目を決定し、当該項目に関する情報である項目情報をユーザに提示する。そして、本実施形態に係る撮影装置は、撮影において参考となる画像である参考画像を、当該参考画像に対応する項目情報と共にユーザに提示するか、又は項目情報としてユーザに提示する。
　「ユーザの撮影に関する習熟度情報（以降、単に「習熟度情報」と呼称する場合がある）」とは、ユーザの撮影に関する総合的な技術力（スキル）を示す情報である。より具体的には、習熟度情報は、ユーザの撮影そのものに関する知見（knowledge）の深さ、撮影装置を操作する技術の高さ、及び撮影画像を編集する技術の高さ等を示す情報である（なお、習熟度情報はこれらの情報に限定されない）。
　また、「撮影の補助のために提示される項目（以降、単に「項目」と呼称する場合がある）」は、画像の構図に関する項目、撮影処理の設定に関する項目、又は撮影処理に用いられるアクセサリに関する項目のうちの少なくともいずれか一つを含む。より具体的には、項目は、「構図」、「マニュアル設定」、又は「アクセサリ」のうちの少なくともいずれか一つを含む。本実施形態に係る撮影装置は、習熟度情報に基づいて、提示する項目を決定する。例えば、習熟度が低い場合には提示される項目が「構図」とされ、習熟度が中程度である場合には提示される項目が「マニュアル設定」とされ、習熟度が高い場合には提示される項目が「アクセサリ」とされ得る。なお、項目の内容、及び習熟度の高さに対応する項目の内容は、必ずしもこれらに限定されない。例えば項目には「レタッチ」等が含まれていてもよい。撮影画像は、後段の処理にてユーザによりレタッチを施される場合が少なくないところ、項目に「レタッチ」が含まれることによって、例えばＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）でのレタッチ時に演出補助を行ったり、レタッチを考慮した撮影を実現したりすることができる。これによってユーザは、撮影だけでなく、レタッチによって作品が完成するまでの一連の工程について学習することができる。
　そして「項目情報」とは、これら項目に関する情報であり、「構図」、「マニュアル設定」、又は「アクセサリ」等の具体的な内容の情報である。例えば、項目が「マニュアル設定」である場合には、項目情報は、シャッタースピード、絞り値、ＩＳＯ感度、露出、又はホワイトバランス等の設定値の情報であり得、項目が「アクセサリ」である場合には、項目情報は、レンズ、フィルタ、又はフラッシュ等を示す情報、それらの特徴を示す情報、又はそれらの設定値の情報であり得る。また、項目が「構図」である場合には、項目情報は、参考画像における主要被写体の位置や大きさの情報であったり、参考画像自体であったりする（主要被写体の位置や大きさの情報が文字で表示されず、参考画像のみが表示される場合）。
　また、「参考画像」とは、項目情報に対応する画像である。より具体的には、項目「構図」に係る参考画像は、具体例である構図で撮影された画像であり、項目「マニュアル設定」に係る参考画像は、具体例であるマニュアル設定で撮影された画像であり、項目「アクセサリ」に係る参考画像は、具体例であるアクセサリが用いられて撮影された画像である。上記のとおり、参考画像は、撮影において参考となる画像であることを想定しており、例えば、習熟度の高いユーザ（例えば、プロのカメラマン等）によって撮影された画像や、評価の高い画像等（例えば、ＳＮＳやコミュニティサイトで評価の高い画像等）であり得る。
　ここで図１～図３を参照して、本実施形態に係る撮影装置がユーザに提示する参考画像及び項目情報の具体例について説明する。
　図１は、項目が「構図」である場合に撮影装置がユーザに提示する参考画像等の具体例を示す図である。図１には、撮影装置のＥＶＦ（Ｅｌｅｃｔｒｉｃ　Ｖｉｅｗ　Ｆｉｎｄｅｒ／Ｅｌｅｃｔｒｏｎｉｃ　Ｖｉｅｗ　Ｆｉｎｄｅｒ）やモニタ等の表示領域１０に表示される画像の具体例が示されている（図２及び図３も同様）。図１に示すように、表示領域１０の左側にはライブビュー画像１１（所定のフレームレートで撮像素子から読み出された画素信号を用いて生成された画像）が表示され、表示領域１０の右側には項目「構図」に関する参考画像１２ａ～参考画像１２ｃが表示されている（図１の例では、参考画像１２ａ～参考画像１２ｃが項目情報として提示されている）。本実施形態に係る撮影装置は、ライブビュー画像１１を解析することによって、撮影のシーンを推定し当該シーンに基づいて参考画像を提示する（図２及び図３も同様）。図１の例では、撮影装置は、撮影のシーンが「サッカー」であることに基づいて、同様に「サッカー」を撮影のシーンとする参考画像を提示している。
　図２は、項目が「マニュアル設定」である場合に撮影装置がユーザに提示する参考画像等の具体例を示す図である（図２の例では、撮影のシーンが「滝」である場合の参考画像が示されている）。図２に示すように、表示領域１０の右側には項目「マニュアル設定」に関する参考画像１３ａ～参考画像１３ｃが、各参考画像に対応する項目情報（図２の例では、「シャッタースピード：１０秒」、「絞り値：Ｆ１６」、「ＩＳＯ感度：ＩＳＯ１６００」）と共に表示されている。
　図３は、項目が「アクセサリ」である場合に撮影装置がユーザに提示する参考画像等の具体例を示す図である（図３の例では、撮影のシーンが「植物」である場合の参考画像が示されている）。図３に示すように、表示領域１０の右側には項目「アクセサリ」に関する参考画像１４ａ～参考画像１４ｃが、各参考画像に対応する項目情報（図３の例では、「レンズ：Ｓ１０１８」（レンズの型番を想定）、「ガイドナンバー：５６」、「ＮＤフィルタ：ＮＤ８」）と共に表示されている。
　このように本実施形態に係る撮影装置は、参考画像を、当該参考画像に対応する項目情報と共にユーザに提示するか、又は項目情報としてユーザに提示することによって、撮影の各シーンにおける魅力的な撮影画像を学ぶ機会をユーザに提供することができ、また、ユーザが求める画像のイメージを具体化させることができる。また、本実施形態に係る撮影装置は、習熟度情報に基づいてユーザに提示する項目を決定することで、提示する項目を動的に切り替えることができ、各項目がどのように作品の見た目に影響するかを学ぶ機会を、習熟度の段階に応じてユーザに提供することができる。
　なお、表示領域１０に表示される内容は図１～図３の例に限定されない。例えば、表示領域１０に表示される参考画像の数は特に限定されず、表示される参考画像がスクロール等によって切り替えられてもよい。また、表示領域１０におけるライブビュー画像１１と参考画像のレイアウトも特に限定されない。また、提示される項目に対してユーザが集中できるように表示内容が適宜制御されてもよい。例えば、項目が「構図」である場合、ユーザが構図に集中できるように、ＥＶＦやモニタが白黒に表示されたり、その他の機能（例えば、マニュアル設定機能等）に関するメニューが非表示にされたりしてもよい。
　　＜２．構成例＞
　上記では、本実施形態に係る撮影装置の機能概要について説明した。続いて、図４を参照して、本実施形態に係る撮影装置の構成例について説明する。図４は、本実施形態に係る撮影装置の構成例を示すブロック図である。
　図４に示すように本実施形態に係る撮影装置１００は、撮像部１０１と、信号処理部１０２と、画像格納部１０３と、記録部１０４と、参考画像取得部１０５と、参考画像記録部１０６と、提示制御部１０７と、提示部１０８と、習熟度算出部１０９と、習熟度記録部１１０と、ステップカウンタ１１１と、所有物記録部１１２と、所有物リスト１１３と、を備える。また、参考画像取得部１０５は、シーン推定部１０５ａを備える。
　撮像部１０１は、レンズ群、シャッター、各種フィルタ、及び撮像素子等を備える構成である。レンズ群は、例えば、最も被写体側に位置する前玉レンズ、被写体像のピント位置を制御するために用いられるフォーカシングレンズ、被写体像の像ぶれを補正するために用いられるぶれ補正レンズ等を備えるところ、レンズ群が備えるレンズの種類や枚数は特に限定されない。シャッターは、光路を開閉することによって撮像素子の露光状態を制御する。各種フィルタは、所望の波長の光のみを透過させるために用いられ、例えば光学的ローパスフィルターや赤外線カットフィルター等であり得るところ、フィルタの種類は特に限定されない。撮像素子は、結像面に複数の画素を備える構成であり、各々の画素は、レンズ群により結像された被写体像を電気的な信号（画素信号）に変換する。撮像素子は、例えばＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイ等であり得るところ、必ずしもこれらに限定されない。
　信号処理部１０２は、撮像部１０１の撮像素子から提供された画素信号に対して各種処理を施す構成である。例えば、信号処理部１０２は、画素信号に対して、ノイズ除去、ゲイン調節、波形整形、Ａ／Ｄ変換、ホワイトバランス調節、輝度調節、コントラスト値調節、シャープネス（輪郭強調）調節、色補正、又はぶれ補正等を行う。なお、信号処理部１０２の処理内容はこれらに限定されない。
　画像格納部１０３は、信号処理部１０２によって各種処理が施された撮影画像を一時的に格納する構成である。画像格納部１０３は、例えば各種メモリ等によって実現され得るところ、必ずしもこれに限定されない。
　記録部１０４は、画像格納部１０３に一時的に格納されている撮影画像を長期間記録する構成である。記録部１０４は、例えば各種ハードディスク等によって実現され得るところ、必ずしもこれに限定されない（参考画像記録部１０６、習熟度記録部１１０、及び所有物記録部１１２についても同様）。なお図４では、記録部１０４が撮影装置１００に備えられる場合を一例として示しているが、記録部１０４は撮影装置１００の外部に備えられてもよい（参考画像記録部１０６、習熟度記録部１１０、及び所有物記録部１１２についても同様）。例えば、記録部１０４は、外付けの記録装置（例えば、メモリーカードや外付けハードディスク等）や、外部装置（例えば、外部のストレージやクラウドサーバ等）によって実現されてもよい。
　シーン推定部１０５ａは、撮影画像（ライブビュー画像）に基づいて撮影のシーンを推定する構成である。より具体的には、シーン推定部１０５ａは、撮影画像を解析することで撮影画像における主要被写体の位置や大きさ等を認識したり、被写体の内容を認識したりすることで、撮影のシーンを推定する。
　ここで、「撮影のシーン（以降、単に「シーン」と呼称する場合がある）」とは、撮影の対象や状況等を示す情報であればよい。より具体的には、シーンには、被写体に関する要素が含まれ得る。例えば、シーンには、被写体の内容（例えば、「風景」、「人間」、「動物」や、より詳細な「山」、「海」、「子供」、「老人」、「犬」、「猫」等）、被写体の行動（例えば、「サッカー」、「走る」、「泳ぐ」、「静止する」等）、被写体の位置する場所（例えば、「屋内」、「屋外」、「遊園地」等）、撮影画像における被写体の位置（例えば、「左側」、「中央付近」等）、大きさ（面積）、又は数（例えば、「２人」、「３個」等）が含まれ得る。また、シーンには、撮影の状況に関する要素が含まれ得る。例えば、シーンには、撮影環境（例えば、天気、時間帯、明るさ等）、撮影場所（例えば、「屋内」、「屋外」等）、撮影方法（例えば、「望遠」、「近接」等）が含まれ得る。また、シーンは、上記の各要素が組み合わされたものであってもよい。例えば、「子供」、「サッカー」、「２人」、「望遠」等が組み合わされることで、撮影のシーンが、「２人の子供がサッカーをしている様子が望遠で撮影されるシーン」であることが表されてもよい。このように複数の要素が組み合わされてシーンが表されることによって、後段の処理で、より適切な演出補助が行われ得る。
　なお、シーン推定部１０５ａによるシーンの推定方法は上記に限定されない。例えば、シーン推定部１０５ａは、撮影装置１００に備えられている各種センサ（図４に図示無し。例えば、位置センサやジャイロセンサ等）からのセンサデータに基づいて撮影装置１００の位置や向き等を特定し、これらの情報も考慮してシーンを推定してもよい。例えば、撮影装置１００が、有名な風景の撮影スポットに位置している場合、シーン推定部１０５ａは、シーンが「風景」であると推定してもよい。これによって、シーン推定部１０５ａは、シーンの推定精度を向上させることができる。また、シーン推定部１０５ａが撮影のシーンを推定するトリガは特に限定されないところ、例えば、シーン推定部１０５ａは、撮影ボタンの半押し、所定ボタンの押下、又はタッチパネルへのタッチ等の所定の操作がユーザによって行われたことをトリガとして撮影のシーンを推定してもよい。シーンが推定された後には、参考画像の提示等を含む演出補助が行われる（したがって、以降では撮影ボタンの半押し等の操作を「演出補助命令」とも呼称する）。
　参考画像取得部１０５は、撮影画像（例えば、ライブビュー画像等）に基づいて参考画像を装置内又は装置外から取得する構成である。より具体的には、参考画像取得部１０５は、撮影画像を用いてシーン推定部１０５ａによって推定されたシーンに基づいて参考画像を参考画像記録部１０６又は外部装置等（例えば、メモリーカード、外付けハードディスク、ストレージ、又はクラウドサーバ等）から取得する。例えば、参考画像取得部１０５は、シーン推定部１０５ａによって推定されたシーンと同一または類似のシーンに関する参考画像を取得する。これによって、後段の処理で、撮影の対象や状況等に合った参考画像が提示される。
　参考画像取得部１０５がシーンに基づいて参考画像を取得する方法は特に限定されない。例えば、後段で説明する参考画像記録部１０６は、複数の参考画像と、シーンに関するメタデータとを対応付けて記録しておき、参考画像取得部１０５は、当該メタデータと、シーン推定部１０５ａによって推定されたシーンとを比較することで互いの類似度（又は関連度）に基づいて参考画像を取得してもよい。このとき、参考画像取得部１０５は、類似度の高い参考画像をより優先的に取得することで、より適切な参考画像を取得することができる。なお、参考画像の優先順位の決定方法は特に限定されない。例えば、撮影画像と参考画像とで撮影場所や撮影時期がより近かったり、参考画像を撮影したユーザの評価や参考画像自体の評価がより高いほど、優先順位がより高くなってもよい。また、参考画像がユーザの所有しないアクセサリを用いて撮影されたものである場合や、撮影装置１００の性能や機能では撮影することができないものである場合等には、当該参考画像の優先順位がより低くなってもよい。
　また、参考画像取得部１０５は、参考画像に対応する項目情報も参考画像記録部１０６から取得する。例えば、参考画像取得部１０５は、項目が「構図」である場合には参考画像における主要被写体の位置や大きさの情報を、項目が「マニュアル設定」である場合には、シャッタースピード、絞り値、ＩＳＯ感度、露出、又はホワイトバランス等の設定値の情報を、項目が「アクセサリ」である場合には、レンズ、フィルタ、又はフラッシュ等を示す情報、それらの特徴を示す情報、又はそれらの設定値の情報をそれぞれ取得する。これによって、参考情報と共に項目情報のユーザへの提示が可能となる。
　ここで、ユーザは、参考画像取得部１０５によって取得された複数の参考画像の中から参考とする参考画像を選択する（なお、参考画像は必ずしも選択されなくてもよい）。これによって後段の処理で、習熟度算出部１０９が撮影画像と参考画像とを比較することで習熟度情報を算出することができる。なお、ユーザによる参考画像の選択方法は特に限定されない。例えば、ユーザは所定ボタンの押下、タッチパネルへのタッチ、又は視線認識機能等によって複数の参考画像の中から所望の参考画像を選択することができる。また、ユーザが参考画像を選択した場合、当該参考画像と同一または類似のマニュアル設定等が自動的に行われてもよい。これによって、ユーザは、参考画像に類似した画像をより容易に撮ることができる。
　参考画像記録部１０６は、参考画像と、参考画像に対応する項目情報を記録する構成である。上記のとおり、参考画像は、撮影において参考となる画像であることを想定しているところ、例えば、参考画像記録部１０６には、撮影装置１００の製造時に、習熟度の高いユーザ（例えば、プロのカメラマン等）によって撮影された撮影画像や評価の高い撮影画像等が記録されたり、外部装置と通信可能な通信部（図４に図示無し）を介してこれらの画像が随時更新されたりする。
　提示制御部１０７は、提示部１０８によってユーザに提示される情報を制御する構成である。例えば提示制御部１０７は、提示部１０８に含まれるＥＶＦやモニタ等に表示されるライブビュー画像、参考画像、又は項目情報等の内容やレイアウト等を制御する。なお、取得された参考画像がユーザの所有しないアクセサリを用いて撮影されたものである場合や、撮影装置１００の性能や機能では撮影することができないものである場合、提示制御部１０７は、当該参考画像を他の参考画像と区別可能な態様で提示部１０８に提示させたり（例えば、グレイアウトさせる等）、所定の警告を提示させたりしてもよい。また、提示制御部１０７は、ユーザが所有するアクセサリの中から代替品を提示させたり、撮影装置１００相当の設定値を別途提示させたり（例えば、参考画像のＩＳＯ値はＩＳＯ５０だが、撮影装置１００がＩＳＯ１００以上のみに対応する場合にＩＳＯ１００を提示する等）、撮影装置１００相当の設定値により参考画像を変換したりしてもよい（例えば、ノイズ感が重要なシーンにおいて、参考画像を撮影した撮影装置のＩＳＯ１６００のノイズが、撮影装置１００のＩＳＯ３２００相当であれば、ＩＳＯ値をＩＳＯ３２００に変換した参考画像を生成する等）。また、提示部１０８が音声出力機構等を含む場合、提示制御部１０７は、ユーザに提示される音声出力の内容を制御してもよい。提示制御部１０７は、制御の内容を示す制御情報を生成し、当該情報を提示部１０８に提供する。
　提示部１０８は、提示制御部１０７から提供される制御情報に基づいて各種情報をユーザに提示する構成である。提示部１０８は、例えば図１～図３に示したように、複数の参考画像を、当該参考画像に対応する項目情報と共にユーザに提示するか（例えば図２や図３のように、参考画像が、マニュアル設定やアクセサリに関する項目情報と共に提示される場合）、又は項目情報としてユーザに提示する（例えば図１のように、参考画像が項目情報として提示される場合）。その際提示部１０８は、例えば図１～図３に示したように、ライブビュー画像を、参考画像等と共にユーザに提示する。これによって、ユーザは、参考画像を参考にしながら撮影を行い易くなる。上記のとおり提示部１０８は、ＥＶＦやモニタ等の表示機構を含むところ、例えばスピーカ等の音声出力機構等を備えていてもよい。なお、提示部１０８の内容は必ずしもこれらに限定されない。
　習熟度算出部１０９は、撮影画像と参考画像とを比較することで習熟度情報を算出する構成である。より具体的には、習熟度算出部１０９は、参考画像を参考にして撮影が行われる場合のポイント（以降、「撮影ポイント」と呼称する）を、撮影画像がどれだけ満たしているかに基づいて習熟度情報を算出する。撮影ポイントは、項目の内容によって異なる。項目が「構図」である場合、撮影ポイントには、例えば主要被写体の位置や大きさに関する要素が含まれ、項目が「マニュアル設定」である場合、撮影ポイントには、例えばシャッタースピード、絞り値、ＩＳＯ感度、露出、又はホワイトバランス等の値に関する要素が含まれ、項目が「アクセサリ」である場合、撮影ポイントには、例えばレンズ、フィルタ、又はフラッシュ等に関する要素（アクセサリを示す情報、アクセサリの特徴を示す情報、又はアクセサリの設定に関する情報等を含む）が含まれる。なお、撮影ポイントは、項目毎に各要素の重み付けが異なっていてもよい。例えば、項目が「構図」である場合、例えば主要被写体の位置や大きさに関する要素の重みが他要素に比べて大きく設定されてもよい（項目「マニュアル設定」や項目「アクセサリ」についても同様）。
　習熟度算出部１０９は、撮影画像自体を解析したり、撮影画像に付加されたメタデータ等（例えば、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ　ｉｍａｇｅ　ｆｉｌｅ　ｆｏｒｍａｔ）等）を参照したりして、撮影ポイントとなる上記の各要素の情報（以降、「第１の撮影ポイント情報」と呼称する）を取得する。また、習熟度算出部１０９は、参考画像取得部１０５によって取得された参考画像を解析したり、同じく取得された項目情報を参照したりして、第１の撮影ポイント情報と同一又は類似の要素の情報（以降、「第２の撮影ポイント情報」と呼称する）を取得する。そして、習熟度算出部１０９は、第１の撮影ポイント情報と第２の撮影ポイント情報とを比較し、互いの類似度等（なお、必ずしも類似度に限定されない）を習熟度情報として算出する。
　また、習熟度算出部１０９は、撮影の状況にも基づいて習熟度情報を算出してもよい。例えば習熟度算出部１０９は、上記の撮影ポイントを満たす撮影画像が撮れる確率（又は回数等）、又は上記の撮影ポイントを満たす撮影画像が撮れるまでの所要時間（例えば、ユーザにより参考画像が選択されてから撮影画像が撮れるまでの所要時間等）にも基づいて習熟度情報を算出してもよい。これにより、習熟度算出部１０９は、習熟度情報の精度を向上させることができる。
　なお、習熟度算出部１０９による習熟度情報の算出方法は上記に限定されない。例えば、習熟度算出部１０９は、ユーザの習熟度に相当する情報（例えば、ユーザの作品に対する評価、ユーザの資格、ユーザの職歴や就職先企業等の情報）を外部装置（例えば、ＳＮＳやコミュニティサイトの管理サーバ等）から取得し、これらの情報にも基づいて習熟度情報を算出してもよい。また、習熟度算出部１０９は、習熟度情報として「習熟度カウンタ」を有し、例えば撮影画像が撮影ポイントを満たしていれば習熟度カウンタを加算し、そうでなければ習熟度カウンタを減算することで習熟度情報を算出してもよい。このとき、撮影ポイントのうちより重要な要素については加算又は減算される値が、他要素に比べて大きく設定されてもよい。また、撮影ポイントのうちより難易度の高い要素が満たされている場合には加算される値が他要素に比べて大きく設定されたり、より難易度の低い要素が満たされていない場合には減算される値が他要素に比べて大きく設定されたりしてもよい。
　習熟度記録部１１０は、習熟度情報を記録する構成である。より具体的には、習熟度算出部１０９が習熟度情報を算出した後、習熟度記録部１１０は、当該習熟度情報を受けて記録する。なお、撮影装置１００を使用するユーザが複数人存在する場合、習熟度記録部１１０は、ユーザ毎に所有物情報を管理することができる。その場合、所定の方法によって撮影装置１００を使用しているユーザが認証される（例えば、ＩＤ及びパスワードによる認証や生体認証等）。
　ステップカウンタ１１１は、撮影の補助のために提示される項目の決定に用いられる情報を管理する構成である。より具体的には、ステップカウンタ１１１は、習熟度情報に基づいて、提示される項目の決定に用いられる値を算出する。習熟度情報が数値形式である場合（なお、習熟度情報は必ずしも数値形式である必要はない）、ステップカウンタ１１１は、例えば、ある範囲の数値を値「１」に対応付け、別の範囲の数値を値「２」に対応付け、さらに別の範囲の数値を値「３」に対応付ける等する。そして、例えば値が「１」であれば項目「構図」が提示され、値が「２」であれば項目「マニュアル設定」が提示され、値が「３」であれば項目「アクセサリ」が提示される等のように、これらの値は、提示される項目の決定に使用される。本実施形態において、ステップカウンタ１１１は、ユーザの撮影に関する習熟度情報に基づいて、撮影の補助のために提示される項目を決定する補助制御部として機能する（参考画像取得部１０５等の他の構成も補助制御部として機能してもよい）。なお、ステップカウンタ１１１は、これらの値と習熟度情報との対応付けの方法（上記の例では、習熟度情報である数値の範囲等）を適宜変更してもよい。例えば、ステップカウンタ１１１は、習熟度情報である数値の大きさに基づいて、これらの値と習熟度情報との対応付けの方法を変更してもよい。
　所有物記録部１１２は、撮影装置１００を使用するユーザの所有物（アクセサリ）に関する情報（以降、「所有物情報」と呼称する）を記録する構成である。所有物記録部１１２への記録方法については、ユーザが撮影装置１００自体に直接入力する場合や、外部装置（例えば、ＰＣやスマートフォン等）を介して入力する場合、又は撮影装置１００とアクセサリが自動的に通信連携することによって入力が行われる場合等が想定され得るところ、必ずしもこれらの方法に限定されない。
　所有物リスト１１３は、ユーザの所有物（アクセサリ）に基づいて参考画像等が取得される際に用いられる情報を管理する構成である。例えば、所有物記録部１１２に記録されている所有物情報に基づいて所有物リスト１１３に情報が設定され、参考画像取得部１０５は、当該情報に基づいて参考画像等を参考画像記録部１０６から取得することができる。なお、所有物リスト１１３に設定される情報は、所有物情報から抽出された情報（換言すると、参考画像等の取得に不要な情報が所有物情報から除去された後の情報）や所有物情報を上位概念化した情報（例えば、所有物情報がレンズの製品番号を含む場合には、そのレンズの種類を示す情報等）であり得るところ、必ずしもこれらに限定されない。
　以上、撮影装置１００の構成例について説明した。なお、図４を用いて説明した上記の構成はあくまで一例であり、撮影装置１００の構成は係る例に限定されない。より具体的には、撮影装置１００は、図４に示す構成の全てを必ずしも備えなくてもよいし、図４に示されていない構成を備えていてもよい。例えば、図４に示す構成の一部が外部装置によって実現され、撮影装置１００は当該装置と通信連携を行うことで各種機能を実現してもよい。
　また、図４に示す構成の一部（例えば、シーン推定部１０５ａ、参考画像取得部１０５、及び習熟度算出部１０９等）は、人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ）技術、又は機械学習技術によって実現されてもよい。例えば、図４に示す構成の一部の機能は、ニューラルネットワークや回帰モデル等の機械学習技術により実現され得る。より具体的には、参考画像取得部１０５の機能が機械学習技術により実現される場合、シーン推定部１０５ａによって推定されたシーンと、取得される参考画像や項目情報とを紐づけた学習データが、ニューラルネットワークや回帰モデルを用いた所定の計算モデルに入力されることで学習が行われ、生成されたパラメータを有する処理モデルが実装された処理回路によって、参考画像取得部１０５の機能が実現され得る。
　　＜３．処理フロー例＞
　上記では、本実施形態に係る撮影装置１００の構成例について説明した。続いて、撮影装置１００の処理フロー例について説明する。
　（３．１．撮影処理全体の処理フロー例）
　まず、図５を参照して、撮影装置１００による撮影処理全体の処理フロー例について説明する。図５は、撮影装置１００による撮影処理全体の処理フロー例を示すフローチャートである。
　例えば、ユーザが操作入力部（図４に図示無し）を用いて撮影装置１００の電源を入れた場合、ステップＳ１０００では、習熟度記録部１１０に記録されている習熟度情報が読み出され、ステップＳ１００４では、読み出された習熟度情報に基づいてステップカウンタ１１１に値が設定される。ステップＳ１００８では、所有物記録部１１２に記録されている所有物情報が読み出され、ステップＳ１０１２では、読み出された所有物情報に基づいて所有物リスト１１３に値が設定される。そしてステップＳ１０１６では、撮影処理が行われることで、撮影処理全体の処理が終了する。
　（３．２．撮影処理の処理フロー例）
　続いて、図６を参照して、図５のステップＳ１０１６で行われる撮影処理をより詳細に示した処理フロー例について説明する。図６は、図５のステップＳ１０１６で行われる撮影処理の処理フロー例を示すフローチャートである。
　ステップＳ１１００では、ユーザによる演出補助命令が行われたか否かが判定される。例えば、ユーザによって撮影ボタンの半押し等の操作が行われたか否かが判定される。ユーザによる演出補助命令が行われた場合（ステップＳ１１００／Ｙｅｓ）、ステップＳ１１０４にて、演出補助処理が行われる。例えば、図１～図３で示したように、参考画像や項目情報の提示が行われる。演出補助処理の詳細については後述する。ユーザによる演出補助命令が行われなかった場合（ステップＳ１１００／Ｎｏ）には、ステップＳ１１０４の処理は省略される。
　ステップＳ１１０８では、撮影のための事前操作が行われる。例えば、ユーザが、撮影装置１００にアクセサリを装着したり、マニュアル設定を行ったり、複数の参考画像の中から所望の参考画像を選択したりする。なお、事前操作の内容はこれらに限定されない。ステップＳ１１１２では、ユーザによって撮影ボタンが押下されたか否かが判定される。ユーザによって撮影ボタンが押下された場合（ステップＳ１１１２／Ｙｅｓ）、ステップＳ１１１６にて、撮影画像が記録される。より具体的には、撮像部１０１の撮像素子における各画素が被写体像を画素信号に変換し、信号処理部１０２が画素信号に対して各種処理を施すことで撮影画像を生成し、画像格納部１０３に格納する。その後、記録部１０４が画像格納部１０３から撮影画像を受け記録する。
　ステップＳ１１２０では、ユーザの撮影に関する習熟度の算出処理が行われる。習熟度の算出処理の詳細については後述する。なお図６の例では、撮影ボタンが押下され撮影が行われる度に習熟度の算出が行われることが表されているところ、必ずしもこれに限定されない。例えば、習熟度は、所定の撮影回数毎又は所定の期間毎に行われてもよい。そして、ユーザによって撮影装置１００の電源が切られた場合（ステップＳ１１２４／Ｙｅｓ）、一連の撮影処理が終了する。ユーザによって撮影装置１００の電源が切られていない場合（ステップＳ１１２４／Ｎｏ）、処理がステップＳ１１００に戻り、演出補助処理や撮影画像の記録等が継続して行われる。
　（３．３．演出補助処理の処理フロー例）
　続いて、図７を参照して、図６のステップＳ１１０４で行われる演出補助処理をより詳細に示した処理フロー例について説明する。図７は、図６のステップＳ１１０４で行われる演出補助処理の処理フロー例を示すフローチャートである。
　ステップＳ１２００では、参考画像取得部１０５が、ステップカウンタ１１１から値を取得する。例えば、ステップカウンタ１１１の値が「１」である場合（ステップＳ１２０４／Ｙｅｓ）、ステップＳ１２０８にて、項目「構図」に関する項目情報や参考画像が提示されることで一連の演出補助処理が終了する。項目情報や参考画像の提示処理の詳細については後述する（ステップＳ１２１６及びステップＳ１２２４についても同様）。
　ステップカウンタ１１１の値が「２」である場合（ステップＳ１２０４／ＮｏかつステップＳ１２１２／Ｙｅｓ）、ステップＳ１２１６にて、項目「マニュアル設定」に関する項目情報や参考画像が提示されることで一連の演出補助処理が終了する。
　ステップカウンタ１１１の値が「３」である場合（ステップＳ１２１２／ＮｏかつステップＳ１２２０／Ｙｅｓ）、ステップＳ１２２４にて、項目「アクセサリ」に関する項目情報や参考画像が提示されることで一連の演出補助処理が終了する。ステップカウンタ１１１の値が「１」～「３」でない場合（ステップＳ１２２０／Ｎｏ）には、演出補助のための項目情報や参考画像は提示されない。なお、演出補助処理に用いられるステップカウンタ１１１の値は上記に限定されない。
　（３．４．項目情報や参考画像の提示処理の処理フロー例）
　続いて、図８を参照して、図７のステップＳ１２０８、ステップＳ１２１６、及びステップＳ１２２４で行われる項目情報や参考画像の提示処理をより詳細に示した処理フロー例について説明する。図８は、図７のステップＳ１２０８、ステップＳ１２１６、及びステップＳ１２２４で行われる項目情報や参考画像の提示処理の処理フロー例を示すフローチャートである。
　ステップＳ１３００では、撮影画像（ライブビュー画像）が画像格納部１０３に格納される。より具体的には、撮像部１０１の撮像素子における各画素が被写体像を画素信号に変換し、信号処理部１０２が画素信号に対して各種処理を施すことで撮影画像を生成し、画像格納部１０３に格納する。
　ステップＳ１３０４では、シーン推定部１０５ａが、撮影画像（ライブビュー画像）に基づいて撮影のシーンを推定する。より具体的には、シーン推定部１０５ａは、撮影画像を解析することで撮影画像における主要被写体の位置や大きさ等を認識したり、被写体の内容を認識したりすることで、撮影のシーンを推定する。ステップＳ１３０８では、参考画像取得部１０５が、推定されたシーン等に基づいて参考画像及び項目情報を参考画像記録部１０６から読み出す。より具体的には、参考画像取得部１０５は、シーン推定部１０５ａによって推定されたシーンと、参考画像記録部１０６に記録されている参考画像のメタデータとを比較することで互いの類似度（又は関連度）に基づいて参考画像を取得する。なお上記のとおり、シーン推定部１０５ａや参考画像取得部１０５等が人工知能技術、又は機械学習技術によって実現されてもよい。ステップＳ１３１２では、表示画像が表示される。より具体的には、提示制御部１０７がライブビュー画像と参考画像（優先順位の高い参考画像）を用いて表示画像を生成し、提示部１０８が当該画像を表示する。
　このとき、項目が「構図」である場合には図１に示したように参考画像が項目情報として表示される（なお、必ずしも表示される必要はないが、項目情報は、参考画像における主要被写体の位置や大きさに関する情報を含んでいるとする）。また、項目が「マニュアル設定」である場合には図２に示したように、参考画像と共に項目情報として例えばシャッタースピード、絞り値、ＩＳＯ感度、露出、又はホワイトバランス等の設定値の情報が表示される。また、項目が「アクセサリ」である場合には図３に示したように、参考画像と共に項目情報として例えばレンズ、フィルタ、又はフラッシュ等を示す情報、それらの特徴を示す情報、又はそれらの設定値の情報が表示される。以上により、項目情報や参考画像の提示処理が終了する。
　（３．５．習熟度の算出処理の処理フロー例）
　続いて、図９を参照して、図６のステップＳ１１２０で行われる習熟度の算出処理をより詳細に示した処理フロー例について説明する。図９は、図６のステップＳ１１２０で行われる習熟度の算出処理の処理フロー例を示すフローチャートである。
　ステップＳ１４００では、習熟度算出部１０９が撮影画像の判定処理を行う。より具体的には、習熟度算出部１０９は、参考画像取得部１０５から提供された項目情報に基づいて、撮影画像が参考画像の撮影ポイントをどれだけ満たしているかを判定する。項目が「構図」である場合、撮影ポイントには、例えば主要被写体の位置や大きさに関する要素が含まれ、項目が「マニュアル設定」である場合、撮影ポイントには、例えばシャッタースピード、絞り値、ＩＳＯ感度、露出、又はホワイトバランス等の設定値に関する要素が含まれ、項目が「アクセサリ」である場合、撮影ポイントには、例えばレンズ、フィルタ、又はフラッシュ等に関する要素（アクセサリを示す情報、アクセサリの特徴を示す情報、又はアクセサリの設定値の情報等を含む）が含まれる。
　ステップＳ１４０４では、習熟度算出部１０９が、ステップＳ１４００での判定結果に基づいて習熟度情報を更新し、習熟度情報を習熟度記録部１１０に記録する。ステップＳ１４０８では、ステップカウンタ１１１の値が習熟度情報等に基づいて適宜更新され、習熟度の算出処理が終了する。
　なお、図５～図９のフローチャートにおける各ステップは、必ずしも記載された順序に沿って時系列に処理される必要はない。すなわち、フローチャートにおける各ステップは、記載された順序と異なる順序で処理されても、並列的に処理されてもよい。
　　＜４．項目「レタッチ」に関する機能＞
　上記では、撮影装置１００の処理フロー例について説明した。続いて、項目「レタッチ」に関する機能について説明する。
　上記で説明したとおり、撮影の補助のために提示される項目には、「構図」、「マニュアル設定」、又は「アクセサリ」等だけでなく、「レタッチ」が含まれてもよい。ここで、「レタッチ」とは、撮影画像を編集すること（例えば、撮影画像における明るさ、コントラスト、又は色調の変更、撮影画像の拡大、縮小、切り抜き、又は回転等のように、撮影画像の見た目に影響を与える処理全般を含む）を指す。なお、レタッチを行う装置は特に限定されない。例えば、レタッチは、撮影装置１００又は種々の外部装置（例えば、ＰＣ、スマートフォン、又は専用機器等）によって行われ得る。以降では、レタッチがＰＣによって行われる場合を一例として説明する。
　撮影の補助のために提示される項目が「レタッチ」である場合、参考画像記録部１０６には、レタッチ後の参考画像、及び参考画像に施されたレタッチの具体的な内容を含む項目情報（例えば、レタッチが施された参考画像中の領域や被写体等に関する情報も含まれ得る）が記録されている。なお、項目情報は、参考画像に施されたレタッチの具体的な内容だけに限定されず、その他の情報（例えば、構図、マニュアル設定、又はアクセサリに関する情報等）を含んでいてもよい。参考画像取得部１０５は、シーン推定部１０５ａによって推定されたシーンに基づいて参考画像及び項目情報を参考画像記録部１０６から取得する。そして、提示制御部１０７は、提示部１０８にこれらの情報を提示させる。例えば、提示制御部１０７は、提示部１０８であるＥＶＦやモニタ等に（レタッチ後の）参考画像又は項目情報を表示させる。なお、提示制御部１０７は、撮影時にユーザが認識すべき情報のみを提示部１０８に提示させることがより望ましい。換言すると、提示制御部１０７は、撮影後に行われる（ＰＣ等を用いた）レタッチ作業に関する情報（例えば、レタッチ作業の指示に関する情報等）を提示部１０８に提示させないことがより望ましい。これによって、撮影時に不要な情報が排除されるため、ユーザは撮影に集中できる。
　撮影が行われた後に、撮影画像は、レタッチを行うＰＣに提供される。例えば、撮影装置１００からの通信連携や外部記憶媒体等によって撮影画像がＰＣに提供される。このとき、項目情報のうち、レタッチの具体的な内容等（例えば、レタッチが施されるべき撮影画像中の領域や被写体等に関する情報も含まれ得る）のような、レタッチ作業時にユーザが認識すべき情報（以降、「レタッチ情報」と呼称する）が、撮影画像に対応付けられる。レタッチ情報と撮影画像との対応付けの方法は特に限定されない。例えば、レタッチ情報が撮影画像のメタデータに格納されることで対応付けが行われてもよい。また、レタッチ情報の識別情報（例えば、ＩＤ等）が撮影画像のメタデータに格納されることで対応付けが行われ、かつ、レタッチ情報が外部装置（例えば、クラウドサーバ等）に記録されてもよい。これによって、レタッチを行うＰＣは、レタッチ情報の識別情報に基づいて外部装置からレタッチ情報を取得することができる。そしてレタッチ作業時に、ＰＣは、撮影画像と共に当該レタッチ情報をユーザに提示することで、ユーザに適切なレタッチ作業を促す（指示する）。
　その後、レタッチが施された撮影画像を用いて、上記で説明した習熟度の算出処理（例えば、図６のステップＳ１１２０、及び図９参照）が行われる。例えば、習熟度算出部１０９に相当する構成が、レタッチを行ったＰＣに備えられることで、ＰＣがレタッチ後の撮影画像と参考画像とを比較すること等によって習熟度を算出してもよい。また、習熟度算出部１０９に相当する構成が、ＳＮＳサイトを管理するサーバ等に備えられ、レタッチ後の撮影画像が当該サーバに提供されることで、当該サーバがレタッチ後の撮影画像と参考画像とを比較すること等によって習熟度を算出してもよい。算出された習熟度は撮影装置１００に提供され、提示項目の決定に用いられ得る。
　近年、撮影画像がレタッチを施される場合が少なくない。また、撮影画像の見栄えはレタッチの質に影響されることから、上記のようなレタッチに関する機能が実現されることで、ユーザは、撮影だけでなく、レタッチによって作品が完成するまでの一連の工程について学習することができ、撮影画像にレタッチを適切に施すことができる。
　　＜５．むすび＞
　以上で説明してきたように、本実施形態に係る撮影装置１００は、ユーザの撮影に関する習熟度情報に基づいて、撮影の補助のために提示される項目を決定し、当該項目に関する情報である項目情報をユーザに提示する。そして、撮影装置１００は、撮影において参考となる画像である参考画像を、当該参考画像に対応する項目情報と共にユーザに提示するか、又は項目情報としてユーザに提示する。
　これによって、撮影装置１００は、撮影の各シーンにおける魅力的な撮影画像を学ぶ機会をユーザに提供することができ、また、ユーザが求める撮影画像のイメージを具体化させることができる。また、撮影装置１００は、習熟度情報に基づいてユーザに提示する項目を決定することで、提示する項目を動的に切り替えることができ、各項目がどのように作品の見た目に影響するかを学ぶ機会を、習熟度の段階に応じてユーザに提供することができる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記の実施形態では主に静止画を用いて説明したところ、本開示は動画に対しても適用可能である。本開示が動画に対して適用される場合、ユーザに提示される項目には、「カット割り」等、動画の作成に関係する要素が含まれ得る。
　また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　ユーザの撮影に関する習熟度情報に基づいて、前記撮影の補助のために提示される項目を決定する補助制御部と、
　前記項目に関する情報である項目情報を前記ユーザに提示する提示部と、を備える、
　撮影装置。
（２）
　前記提示部は、前記撮影において参考となる画像である参考画像を、前記参考画像に対応する前記項目情報と共に前記ユーザに提示するか、又は前記項目情報として前記ユーザに提示する、
　前記（１）に記載の撮影装置。
（３）
　前記提示部は、複数の前記参考画像を、前記参考画像に対応する前記項目情報と共に前記ユーザに提示するか、又は前記項目情報として前記ユーザに提示する、
　前記（２）に記載の撮影装置。
（４）
　前記提示部は、ライブビュー画像を、前記参考画像と共に前記ユーザに提示する、
　前記（２）又は（３）に記載の撮影装置。
（５）
　前記ライブビュー画像に基づいて前記参考画像を装置内又は装置外から取得する参考画像取得部をさらに備える、
　前記（４）に記載の撮影装置。
（６）
　参考画像取得部は、前記ライブビュー画像に基づいて前記撮影のシーンを推定するシーン推定部を備え、
　前記シーン推定部によって推定された前記シーンに基づいて前記参考画像を装置内又は装置外から取得する、
　前記（５）に記載の撮影装置。
（７）
　撮影された画像と、前記参考画像とを比較することで前記習熟度情報を算出する習熟度算出部をさらに備える、
　前記（２）から（６）のいずれか１項に記載の撮影装置。
（８）
　前記習熟度算出部は、前記撮影の状況にも基づいて前記習熟度情報を算出する、
　前記（７）に記載の撮影装置。
（９）
　前記項目は、画像の構図に関する項目、撮影処理の設定に関する項目、又は撮影処理に用いられるアクセサリに関する項目のうちの少なくともいずれか一つを含む、
　前記（１）から（８）のいずれか１項に記載の撮影装置。
（１０）
　ユーザの撮影に関する習熟度情報に基づいて、前記撮影の補助のために提示される項目を決定することと、
　前記項目に関する情報である項目情報を前記ユーザに提示することと、を有する、
　コンピュータにより実行される撮影方法。
（１１）
　ユーザの撮影に関する習熟度情報に基づいて、前記撮影の補助のために提示される項目を決定することと、
　前記項目に関する情報である項目情報を前記ユーザに提示することと、
　をコンピュータに実行させるためのプログラム。
　１００　　撮影装置
　１０１　　撮像部
　１０２　　信号処理部
　１０３　　画像格納部
　１０４　　記録部
　１０５　　参考画像取得部
　１０５ａ　　シーン推定部
　１０６　　参考画像記録部
　１０７　　提示制御部
　１０８　　提示部
　１０９　　習熟度算出部
　１１０　　習熟度記録部
　１１１　　ステップカウンタ
　１１２　　所有物記録部
　１１３　　所有物リスト

Claims (11)

  1. 　ユーザの撮影に関する習熟度情報に基づいて、前記撮影の補助のために提示される項目を決定する補助制御部と、
    　前記項目に関する情報である項目情報を前記ユーザに提示する提示部と、を備える、
    　撮影装置。
  2. 　前記提示部は、前記撮影において参考となる画像である参考画像を、前記参考画像に対応する前記項目情報と共に前記ユーザに提示するか、又は前記項目情報として前記ユーザに提示する、
    　請求項１に記載の撮影装置。
  3. 　前記提示部は、複数の前記参考画像を、前記参考画像に対応する前記項目情報と共に前記ユーザに提示するか、又は前記項目情報として前記ユーザに提示する、
    　請求項２に記載の撮影装置。
  4. 　前記提示部は、ライブビュー画像を、前記参考画像と共に前記ユーザに提示する、
    　請求項２に記載の撮影装置。
  5. 　前記ライブビュー画像に基づいて前記参考画像を装置内又は装置外から取得する参考画像取得部をさらに備える、
    　請求項４に記載の撮影装置。
  6. 　参考画像取得部は、前記ライブビュー画像に基づいて前記撮影のシーンを推定するシーン推定部を備え、
    　前記シーン推定部によって推定された前記シーンに基づいて前記参考画像を装置内又は装置外から取得する、
    　請求項５に記載の撮影装置。
  7. 　撮影された画像と、前記参考画像とを比較することで前記習熟度情報を算出する習熟度算出部をさらに備える、
    　請求項２に記載の撮影装置。
  8. 　前記習熟度算出部は、前記撮影の状況にも基づいて前記習熟度情報を算出する、
    　請求項７に記載の撮影装置。
  9. 　前記項目は、画像の構図に関する項目、撮影処理の設定に関する項目、又は撮影処理に用いられるアクセサリに関する項目のうちの少なくともいずれか一つを含む、
    　請求項１に記載の撮影装置。
  10. 　ユーザの撮影に関する習熟度情報に基づいて、前記撮影の補助のために提示される項目を決定することと、
    　前記項目に関する情報である項目情報を前記ユーザに提示することと、を有する、
    　コンピュータにより実行される撮影方法。
  11. 　ユーザの撮影に関する習熟度情報に基づいて、前記撮影の補助のために提示される項目を決定することと、
    　前記項目に関する情報である項目情報を前記ユーザに提示することと、
    　をコンピュータに実行させるためのプログラム。
PCT/JP2020/003438 2019-02-06 2020-01-30 撮影装置、撮影方法、及びプログラム WO2020162320A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020571139A JP7428143B2 (ja) 2019-02-06 2020-01-30 撮影装置、撮影方法、及びプログラム
CN202080011729.2A CN113366826A (zh) 2019-02-06 2020-01-30 成像装置、成像方法和程序
US17/426,079 US11523047B2 (en) 2019-02-06 2020-01-30 Imaging device, imaging method, and program
EP20752992.6A EP3917132A4 (en) 2019-02-06 2020-01-30 IMAGING APPARATUS, IMAGING PROCEDURE AND PROGRAM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-019307 2019-02-06
JP2019019307 2019-02-06

Publications (1)

Publication Number Publication Date
WO2020162320A1 true WO2020162320A1 (ja) 2020-08-13

Family

ID=71946985

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/003438 WO2020162320A1 (ja) 2019-02-06 2020-01-30 撮影装置、撮影方法、及びプログラム

Country Status (5)

Country Link
US (1) US11523047B2 (ja)
EP (1) EP3917132A4 (ja)
JP (1) JP7428143B2 (ja)
CN (1) CN113366826A (ja)
WO (1) WO2020162320A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006115045A (ja) 2004-10-13 2006-04-27 Sony Corp 撮像装置、撮像方法、プログラムおよびユーザインターフェース
JP2012019341A (ja) * 2010-07-07 2012-01-26 Ricoh Co Ltd 撮像装置、撮像装置の制御方法および制御プログラム
JP2014192743A (ja) * 2013-03-27 2014-10-06 Olympus Corp 撮像装置、構図アシスト装置、構図アシスト方法、及び構図アシストプログラム
WO2018229888A1 (ja) * 2017-06-14 2018-12-20 オリンパス株式会社 撮影装置および撮影アシスト方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007142884A (ja) * 2005-11-18 2007-06-07 Canon Inc 撮像装置及びその制御方法
JP2014127954A (ja) * 2012-12-27 2014-07-07 Sony Corp 情報処理装置、情報処理方法、及びプログラム
JP6323548B2 (ja) * 2014-03-28 2018-05-16 富士通株式会社 撮影補助システム、撮像装置、情報処理装置、撮影補助プログラム及び撮影補助方法
US10321051B2 (en) * 2016-08-02 2019-06-11 International Business Machines Corporation Intelligent image enhancement
KR20180098059A (ko) * 2017-02-24 2018-09-03 엘지전자 주식회사 이동 단말기
JP2019139017A (ja) * 2018-02-08 2019-08-22 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006115045A (ja) 2004-10-13 2006-04-27 Sony Corp 撮像装置、撮像方法、プログラムおよびユーザインターフェース
JP2012019341A (ja) * 2010-07-07 2012-01-26 Ricoh Co Ltd 撮像装置、撮像装置の制御方法および制御プログラム
JP2014192743A (ja) * 2013-03-27 2014-10-06 Olympus Corp 撮像装置、構図アシスト装置、構図アシスト方法、及び構図アシストプログラム
WO2018229888A1 (ja) * 2017-06-14 2018-12-20 オリンパス株式会社 撮影装置および撮影アシスト方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3917132A4

Also Published As

Publication number Publication date
EP3917132A1 (en) 2021-12-01
EP3917132A4 (en) 2022-03-16
JPWO2020162320A1 (ja) 2021-12-16
CN113366826A (zh) 2021-09-07
US20220103746A1 (en) 2022-03-31
US11523047B2 (en) 2022-12-06
JP7428143B2 (ja) 2024-02-06

Similar Documents

Publication Publication Date Title
JP5451749B2 (ja) 撮像装置、集積回路、撮像方法、プログラム及び記録媒体
US8212911B2 (en) Imaging apparatus, imaging system, and imaging method displaying recommendation information
KR101539043B1 (ko) 인물 구도 제안 영상 촬영 장치 및 방법
US7995106B2 (en) Imaging apparatus with human extraction and voice analysis and control method thereof
KR101795601B1 (ko) 영상 처리 장치, 영상 처리 방법, 및 컴퓨터 판독가능 저장매체
US20100245610A1 (en) Method and apparatus for processing digital image
JP2006203600A (ja) 撮像装置、画像処理装置、画像処理システム、画像処理方法及びプログラム
JP2009141516A (ja) 画像表示装置，カメラ，画像表示方法，プログラム，画像表示システム
CN102611835B (zh) 数字拍摄设备及其控制方法
CN110830712A (zh) 一种自主摄影***和方法
KR101094648B1 (ko) 구도결정을 하는 사진사 로봇 및 그 제어방법
JP2008066886A (ja) カメラ、通信制御装置、撮影技術援助システム、撮影技術援助方法、プログラム
JP2019186791A (ja) 撮像装置、撮像装置の制御方法、および制御プログラム
JP4870503B2 (ja) カメラ、ブログ管理システム
CN104144286A (zh) 拍摄装置和拍摄方法
WO2020162320A1 (ja) 撮影装置、撮影方法、及びプログラム
US11961216B2 (en) Photography session assistant
JP5451197B2 (ja) 撮影装置
JP5675922B2 (ja) 撮影表示装置
JP2016167839A (ja) 撮影装置および撮影方法
JP2008103850A (ja) カメラ及び画像検索システム並びに画像検索方法
JP5368165B2 (ja) 撮影表示装置および撮影表示方法
JP4922066B2 (ja) カメラ
JP7175772B2 (ja) 撮像装置及び撮像方法
WO2022014143A1 (ja) 撮像システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20752992

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020571139

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020752992

Country of ref document: EP

Effective date: 20210824