WO2016129049A1 - 画像処理装置、画像処理方法、画像処理プログラムおよび記憶媒体 - Google Patents
画像処理装置、画像処理方法、画像処理プログラムおよび記憶媒体 Download PDFInfo
- Publication number
- WO2016129049A1 WO2016129049A1 PCT/JP2015/053584 JP2015053584W WO2016129049A1 WO 2016129049 A1 WO2016129049 A1 WO 2016129049A1 JP 2015053584 W JP2015053584 W JP 2015053584W WO 2016129049 A1 WO2016129049 A1 WO 2016129049A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- processing
- instruction data
- processing instruction
- image
- input image
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 500
- 238000003672 processing method Methods 0.000 title description 9
- 238000000034 method Methods 0.000 claims abstract description 33
- 230000000694 effects Effects 0.000 claims abstract description 24
- 230000008569 process Effects 0.000 claims abstract description 24
- 238000009966 trimming Methods 0.000 claims description 39
- 230000008859 change Effects 0.000 claims description 26
- 230000010365 information processing Effects 0.000 claims description 14
- 230000003287 optical effect Effects 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 9
- 230000007717 exclusion Effects 0.000 claims description 8
- 230000007423 decrease Effects 0.000 claims description 5
- 238000003754 machining Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000004075 alteration Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
Definitions
- the present invention relates to an image processing apparatus, an image processing method, an image processing program, and a storage medium.
- Patent Literature 1 In the information processing terminal of Patent Literature 1, only processing of processing content information registered and corresponding to the subject ID is performed. Many recent cameras have built-in multiple image processing that is performed according to the user's preference, such as filter processing and trimming processing, but users who can understand and use all of them are Few. In other words, various image processing suitable for the subject and the shooting scene is prepared, and even if it can be used to provide a new way of enjoying image processing to the user, it may never be used. is there.
- the present invention has been made in view of the above-described circumstances, and is an image processing apparatus and an image processing apparatus that can make the user aware of the effects of processing that does not know the contents and usage method, and can promote the use of such processing. It is an object to provide a method, an image processing program, and a storage medium.
- a subject recognition circuit that recognizes a subject type existing in an input image, a storage circuit that stores a plurality of processing instruction data representing processing content to be processed for the input image, and the subject recognition
- Each of the processing instruction data acquisition circuit that acquires the processing instruction data predefined according to the subject type recognized by the circuit from the storage circuit, and the processing instruction data acquired by the processing instruction data acquisition circuit
- a processing instruction data determination circuit that calculates an invalidity indicating a degree not suitable for the input image and selects a predetermined number of the processing instruction data whose invalidity is equal to or less than a predetermined threshold; and the processing instruction data determination circuit
- an image processing circuit that processes the input image using the predetermined number of the processing instruction data selected in step.
- the subject recognition circuit recognizes the subject type existing in the input image, and the processing instruction data acquisition circuit is stored in the storage circuit based on the recognized subject type. A plurality of processing instruction data is acquired. Then, the processing instruction data determination circuit calculates the invalidity for each of the acquired processing instruction data, and determines that the processing instruction data having a high invalidity is invalid and excludes it from the selection target.
- the processing instruction data is pre-defined as suitable for the subject type existing in the input image, it may not be suitable for the actual input image. In this case, an invalidity indicating such a degree is calculated, and a predetermined number of processing instruction data having an invalidity equal to or less than a predetermined threshold is selected. Then, the input image is processed in the image processing circuit using the selected predetermined number of processing instruction data, so that an image that has been processed appropriately for both the subject type and the input image is predetermined. Number is created.
- the processing instruction data determination circuit stores an invalidity type suitable for determination of the processing instruction data corresponding to each of the processing instruction data, and responds to each of the processing instruction data to be determined
- the invalidity of the type selected in the above may be calculated.
- a display circuit may be provided that displays at least one of the plurality of processing instruction data selected in the processing instruction data determination circuit and an image processed in the image processing circuit. By doing so, at least one of the processed image and the processing instruction data used for the processing is displayed on the display circuit, so that it is possible to confirm the used processing content or the effect of the processing.
- the processing instruction data the processing content suitable for both the subject type and the input image is selected, so that the user can recognize the correct effect by processing based on the image in which the processing original effect appears. it can.
- the said invalidity may be defined as a function which becomes so low that the variation
- the input image changes greatly due to processing. And can be easily selected.
- the change amount of the image before and after processing applied to the input image is small, the image after processing does not change so much with respect to the input image. Can be made difficult to select.
- the processing content of the processing instruction data determined by the processing instruction data determination circuit includes trimming, and the invalidity is set based on the processing instruction data and the trimming area and the input image It may be a duplication rate.
- the amount of change in the image after trimming with respect to the input image by trimming is smaller as the overlap ratio between the trimming area and the input image is higher. Therefore, by making the overlap rate as invalid as it is, it is possible to make it difficult to select processing instruction data with little image change before and after processing.
- the processing content of the processing instruction data determined by the processing instruction data determination circuit includes at least one of color information processing and gradation information processing, and the invalidity level is the processing instruction. It may be the reciprocal of the variation amount of the pixel value in the image before and after processing applied to the input image based on the data.
- the processing content of the processing instruction data determined by the processing instruction data determination circuit includes blurring processing, and the invalidity is processed on the input image based on the processing instruction data It may be the reciprocal of the fluctuation amount of the degree of blur in the preceding and following images. In this way, when blurring the input image, the amount of change in the image increases as the degree of blur changes before and after the process. Thus, it is possible to make it difficult to select processing instruction data with little image change before and after processing.
- the processing content of the processing instruction data determined by the processing instruction data determination circuit includes keystone correction processing, and the invalidity is applied to the input image based on the processing instruction data. It may be the reciprocal of the amount of change in angle with respect to the vertical line of the linear edge portion in the image before and after processing.
- the processing content of the processing instruction data determined by the processing instruction data determination circuit includes processing for imparting an optical distortion effect, and the invalidity is an amount of optical distortion in the input image. There may be.
- the effect is not clear even if the optical distortion effect is applied, so the larger the optical distortion in the input image, the more ineffective As a high degree, it can be made difficult to select.
- the invalidity is processed on the input image based on the expected image that is expected to be obtained by processing the input image based on the processing instruction data, and the processing instruction data. It may be a difference from the image. In this way, the larger the difference between the prospective image and the processed image, the higher the degree of invalidity and the more difficult it is to select. Since the prospective image becomes an image in which the effect is remarkably exhibited by processing based on the processing instruction data, it is preferable that the processed image is more easily selected as the difference from the prospective image is smaller.
- the processing content of the processing instruction data determined by the processing instruction data determination circuit includes trimming, and the input image of the trimming area in which the invalidity is set based on the processing instruction data It may be the size of the protruding area from the outside.
- the processing content of the processing instruction data determined by the processing instruction data determination circuit includes rotation processing
- the invalidity is an inclination angle in the image of the reference axis of the subject in the input image. It may be.
- the processing content of the processing instruction data determined by the processing instruction data determination circuit includes at least one of color information processing or gradation information processing, and the invalidity level is the input image. May be set based on the pixel value of the subject.
- the processing instruction data includes processing details that make the exposure negative correction, if the subject image is already underexposed in the input image, an excessively underexposed image is obtained. If the value is large, the invalidity can be increased.
- the processing instruction data determination circuit counts the number of exclusions for the processing instruction data that is determined to have the invalidity higher than a predetermined threshold and is excluded from selection, and stores the counted number in the storage circuit.
- the processing instruction data having a high number of exclusions may be preferentially determined. By doing in this way, the processing instruction data that has been excluded many times because of its high invalidity is preferentially determined, and the processing instruction data determination circuit increases the chance of being determined and is easily selected. Can do.
- a subject recognition step for recognizing a subject type existing in an input image, and the subject recognition from a plurality of processing instruction data representing processing contents to be processed for the input image.
- the processing instruction data acquisition step for acquiring the processing instruction data defined in advance according to the subject type recognized in the step and the processing instruction data acquired in the processing instruction data acquisition step, the input image An invalidity indicating an unsuitable degree is calculated, a machining instruction data determining step for selecting a predetermined number of the machining instruction data whose invalidity is equal to or less than a predetermined threshold, and the predetermined selected in the machining instruction data determining step And an image processing step of processing the input image using a number of the processing instruction data.
- a subject recognition step for recognizing a subject type existing in an input image, and the subject recognition from a plurality of processing instruction data representing processing contents to be processed for the input image.
- the input image An invalidity indicating an unsuitable degree is calculated, a machining instruction data determining step for selecting a predetermined number of the machining instruction data whose invalidity is equal to or less than a predetermined threshold, and the predetermined selected in the machining instruction data determining step
- a subject recognition step for recognizing a subject type existing in an input image, and the subject recognition from a plurality of processing instruction data representing processing contents to be processed for the input image.
- the processing instruction data acquisition step for acquiring the processing instruction data defined in advance according to the subject type recognized in the step and the processing instruction data acquired in the processing instruction data acquisition step
- the input image An invalidity indicating an unsuitable degree is calculated
- a machining instruction data determining step for selecting a predetermined number of the machining instruction data whose invalidity is equal to or less than a predetermined threshold, and the predetermined selected in the machining instruction data determining step
- An image processing step for processing the input image using a number of the processing instruction data.
- a storage medium that can be read by a computer that stores the ram.
- FIG. 1 is a block diagram illustrating an image processing apparatus according to an embodiment of the present invention. It is a figure which shows an example of the process instruction data memorize
- region. 4 is a flowchart illustrating an image processing method according to an embodiment of the present invention. It is a flowchart which shows the content of the process instruction data selection routine of the flowchart of FIG. It is a flowchart which shows the content of the invalidity calculation routine of the flowchart of FIG.
- the image processing apparatus 1 includes an image input circuit 2 to which an image (input image) P acquired by an imaging device such as a camera is input, and a processing instruction for the input image P.
- a storage circuit 3 for storing data and an arithmetic circuit 4 for processing the input image P input to the image input circuit 2 based on the processing instruction data stored in the storage circuit 3 are provided.
- the arithmetic circuit 4 performs a known recognition process on the input image P input to the image input circuit 2, and recognizes the subject recognition circuit 5 that recognizes the type (subject type) of the subject O and the subject recognition circuit 5. And a processing instruction data acquisition circuit 6 that acquires processing instruction data from the storage circuit 3 based on the subject type.
- the arithmetic circuit 4 calculates the invalidity degree of the processing instruction data acquired by the processing instruction data acquisition circuit 6 based on the input image P, and selects a plurality of processing instruction data having a low invalidity degree.
- an image processing circuit 8 that processes the input image P using the processing instruction data selected by the processing instruction data determination circuit 7, these subject recognition circuit 5, processing instruction data acquisition circuit 6, processing instruction data determination
- An output data control circuit 9 for controlling the circuit 7 and the image processing circuit 8 is provided.
- the storage circuit 3 stores a plurality of processing instruction data suitable for the target subject type in association with the target subject type (subject type) that may be recognized.
- the target subject type includes a human face, focus coordinates, and the like.
- the type of subject of interest is not limited to these, and any other subject type can be adopted.
- a case where the processing content of the processing instruction data includes trimming will be described as an example.
- the processing content of the processing instruction data corresponding to trimming includes the subject O arrangement, the aspect, the zoom rate, and the like.
- the target subject O arrangement includes a central arrangement, a three-divided line intersection arrangement, and the like. Aspects include 4: 3, 1: 1, 16: 9, and the like.
- the zoom rate includes a fixed magnification (1.0, 0.9, etc.), as large as possible, and as small as possible.
- the processing instruction data acquisition circuit 6 searches the storage circuit 3 using the target subject type recognized by the subject recognition circuit 5 as a key, and stores it in the processing instruction data sequence of FIG. 2 stored in association with the target subject type. Thus, a predetermined number of processing instruction data are acquired.
- the number of processing instruction data acquired is set to a value larger than the number of processing instruction data output scheduled for final output.
- the processing instruction data determination circuit 7 calculates the invalidity of each of the processing instruction data acquired by the processing instruction data acquisition circuit 6 and determines whether or not the processing instruction data is invalid. Are selected as processing instruction data to be output, and are excluded from selection targets when the invalidity is high.
- the invalidity is a numerical value indicating the degree to which the processing instruction data is not suitable for processing the input image P. For example, when the processing instruction data includes trimming as the processing content, the input image P and the trimming area Q The duplication rate is calculated as the invalidity.
- the processing content includes the subject of interest O arrangement: three-divided line intersection arrangement, aspect: 4: 3, zoom ratio : “As big as possible”.
- a trimming area Q as shown in FIG. 3B is set. Therefore, as shown in FIG. 3C, the ratio of the area of the trimming region (hatched portion) Q to the area of the input image P is calculated as an overlap rate.
- the output data control circuit 9 repeats the process of selecting the process instruction data by the process instruction data determination circuit 7 until the process instruction data having a preset number of outputs is selected.
- the image processing circuit 8 performs processing of the processing content included in each processing instruction data on the input image P using the selected predetermined number of processing instruction data. Thereby, a predetermined number of processed images are generated.
- the image processing method according to the present embodiment includes a step S1 for acquiring an input image P, a step for recognizing a subject type existing in the acquired input image P (subject recognition step) S2, and Step S3 for setting the output number n, step S4 for selecting processing instruction data for the set output number n (processing instruction data determination step) S4, and input image P using the selected plurality of processing instruction data. And a step of performing processing (image processing step) S5.
- step S1 one input image P is input to the image input circuit 2.
- the subject recognition circuit 5 recognizes the subject of interest O in the input image P that has been input, and detects the subject of interest.
- step S3 the number of processing instruction data that the user desires to output is set. The number n of outputs may be set by the user each time, or a preset value may be used.
- step S4 a plurality of processing instruction data stored in the storage circuit 3 based on the recognized subject type (processing instruction data acquisition step) S41 and a counter k are set.
- Step S42 for resetting, Step S43 for selecting one processing instruction data among the acquired processing instruction data as a determination target, Step S44 for calculating an invalidity for the processing instruction data selected as a determination target, and calculation And step S45 for determining whether or not the processing instruction data is invalid based on the degree of invalidity. Further, the processing instruction data determined not to be invalid is set as output processing instruction data (step S46).
- step S41 the processing instruction data is acquired by a predetermined number exceeding the output number n set in the order of the processing instruction ID. For example, when the number of outputs is n, n + ⁇ pieces of processing instruction data are acquired in anticipation of invalid numbers.
- step S4 for selecting the processing instruction data when processing instruction data that is not invalid is selected as the processing instruction data to be output, step S47 for incrementing the counter k and the output number n in which the counter k is set.
- step S44 based on the processing instruction data selected as a determination target, a step of selecting an invalidity type suitable for determination of the processing instruction data corresponding to the processing instruction data.
- S441 and step S442 for calculating the invalidity of the selected type with respect to the processing instruction data are included.
- the processing instruction data and the invalidity type may be stored in the processing instruction data determination circuit 7 in a state of being associated with each other, or may be stored in the storage circuit 3 and read out.
- Various invalidity calculation methods are associated with invalidity types.
- step S4421 that calculates the trimming region Q according to the trimming instruction content
- Step S4422 for calculating the overlapping rate of the trimming area Q is included.
- the processing instruction data acquisition circuit 6 acquires the processing instruction data stored in the storage circuit 3, the type of subject of interest By obtaining a plurality of processing instruction data stored in accordance with the processing instruction data, processing instruction data suitable for the type of the subject O is selected. Then, the processing instruction data determination circuit 7 selects processing instruction data having a low invalidity according to the input image P, whereby processing instruction data suitable for the input image P is selected.
- the user only inputs the input image P, and is suitable for the type of the subject O existing in the input image P and becomes the input image P. Also, a plurality of suitable processing instruction data are selected and provided in a state of being processed using the selected plurality of processing instruction data. Therefore, even if the user is not familiar with the content of the processing, or without knowing the existence of such processing, the user can know the effect by viewing the obtained image, and the effectiveness of such processing. There is an advantage that the use of such processing can be promoted.
- a display circuit (not shown) that displays at least one of the plurality of processing instruction data selected by the processing instruction data determination circuit 7 and the image processed by the image processing circuit 8. ) May be provided.
- the processing instruction data the processing content suitable for both the subject type and the input image P is selected, so that the user can recognize the correct effect by the processing based on the image in which the processing original effect appears. Can do.
- the overlap rate of the trimming region Q with respect to the input image P is employed as the invalidity level, but a value obtained by multiplying the overlap rate by an arbitrary coefficient may be employed as the invalidity level.
- the invalidity may be converted from the overlap rate based on the table.
- a function other than the overlap rate may be adopted as the invalidity.
- the degree of invalidity for the trimming process included in the process instruction data is calculated for the selected process instruction data. Instead, a plurality of processes included in the selected process instruction data are included.
- the invalidity may be calculated for each content, and the invalidity determination may be performed using the invalidity obtained by collecting the invalidity.
- a method of collecting a plurality of invalidities a simple sum of invalidities, a method of adding weights to each invalidity, or the like may be employed.
- processing content of the processing instruction data includes trimming has been described. Instead of this, it is also possible to apply to processing contents for processing color information such as filter effects and gradation information.
- the reciprocal of the fluctuation amount of the pixel value before and after processing may be calculated as the invalidity.
- the input image P is provisionally processed for determining the invalidity. For example, simple processing using an image obtained by reducing the input image P is performed. Then, for each pixel of the input image P, the reciprocal of the variation amount of the pixel value between the input image P and the simple processed image is calculated.
- the fluctuation amount of the pixel value is, for example, a difference. As a result, it is possible to employ a degree of invalidity that increases as the amount of change in the image before and after processing decreases.
- the processing instruction data when the processing instruction data includes processing content that changes color information or gradation information, it may be defined by shooting parameters such as white balance setting.
- the reciprocal of the fluctuation amount of the photographing parameter itself of the input image P can be used as the invalidity. That is, the amount of change in the image before and after processing can be calculated without analyzing the pixel value of the image.
- the processing content of the processing instruction data of the present invention may be a shooting parameter or a development parameter.
- the processing instruction data includes the processing content of the blur processing
- the reciprocal of the variation amount between the blur degree targeted by the processing content of the blur processing and the blur level of the input image P is set as the invalidity.
- the degree of blur can be calculated using, for example, a blur evaluation function that performs frequency analysis on the region in the image and quantifies the amount of the low-frequency component with respect to the high-frequency component.
- the processing instruction data includes the processing content of the keystone correction processing
- the linear edge portion of the subject O in the input image P is corrected by the trapezoid correction processing so as to coincide with the vertical line on the image.
- the effect of the trapezoid correction processing becomes more significant as the inclination angle of the linear edge portion in the input image P with respect to the vertical line on the image is larger.
- the processing instruction data includes processing details for applying the optical distortion aberration effect
- the larger the optical distortion aberration in the input image P the more difficult it is to understand the effect of processing the optical distortion aberration effect.
- the amount of optical distortion in P it is possible to adopt a degree of invalidity that increases as the amount of change in the image before and after processing decreases.
- a function that is considered to increase as the change amount of the image before and after the processing is substantially reduced is employed as the invalidity.
- the processing of the input image P based on the processing instruction data is employed.
- a function indicating the difference (intentional difference amount) between a prospective image (intended image) R expected to be obtained by processing and an image obtained by processing the input image P based on the processing instruction data is adopted as the invalidity. May be.
- the size of the protruding region S from the input image P of the trimming region Q set based on the processing instruction data may be set as the invalidity. That is, as shown in FIG. 7A, when the parameter of the subject subject O arrangement is “center arrangement” with respect to the input image P in which the person as the subject O is arranged biased toward the periphery, this is intended.
- the image R is considered to be the one shown in FIG. 7B.
- the trimming area Q is defined at a position protruding from the input image P as shown in FIG. Is done. The larger the size of the protruding region (hatched portion) S, the farther the processed image is from the prospective image R and the greater the amount of difference in intention, so the invalidity can be increased.
- the inclination angle in the image of the reference axis T of the subject O in the input image P may be set as the invalidity. That is, as shown in FIG. 8, when the reference axis T of the person as the subject O is tilted from the beginning, if the rotation processing is performed in the same direction as the tilt direction, the subject O is more than the intended image. If it is tilted greatly and rotation processing in the reverse direction is performed, the tilt of the subject O becomes smaller than the intended image, and the amount of intention difference increases in any case, so the invalidity may be increased. it can.
- the processing instruction data determination circuit 7 analyzes the input image P according to the processing content of the processing instruction data, and determines whether the inclination angle of the reference axis T of the subject O in the input image P is greater than a predetermined threshold value. Determine whether. When the inclination angle of the reference axis T is large, the degree of invalidity is high, and it is easy to determine that the processing instruction data is invalid.
- the invalidity may be set based on the pixel value of the subject O in the input image P. For example, in the case of processing contents for which the exposure is negatively corrected, if the exposure of the input image P is already under, an image that is darker than the intended image is created, so the intended difference amount is large. That is, in this case, the invalidity increases when the pixel value is small, and therefore, the reciprocal of the pixel value may be set to the invalidity.
- the processing instruction data determination circuit 7 analyzes the input image P according to the processing content of the processing instruction data, and determines whether or not the pixel value of the subject O in the input image P is greater than a predetermined threshold value. .
- the degree of invalidity is high when the pixel value is small, and therefore it is easy to determine that the processing instruction data is invalid.
- the processing instruction data for creating an unintended image may be determined to be invalid and excluded. it can.
- the processing instruction data determination circuit 7 counts the number of exclusions for the processing instruction data that is determined to have an invalidity level higher than a predetermined threshold and is excluded from selection, and stores the count in the storage circuit 3.
- the instruction data acquisition circuit 6 may preferentially acquire the processing instruction data having a high number of exclusions.
- the total invalidity count (exclusion count) is stored in association with each processing instruction ID as the invalidity data of the processing instruction data corresponding to the processing instruction ID.
- FIG. 9 shows an example in which the number of consecutive invalidations and the invalidity degree are stored in addition to the total number of invalidations.
- the total invalid count is the total number of times previously determined to be invalid
- the continuous invalid count is the number of times that it was determined to be invalid continuously after the last determination that it was not invalid. Is the last calculated invalidity.
- step S51 when a plurality of input images P are input to the image input circuit 2 (step S51), one of the input images P is selected (step S52), and all the input images are input. Steps S2 to S5 described above are performed until the processing of the input image P is completed (step S53).
- the processing instruction data determination circuit 7 as shown in FIG. 11, the invalidity data stored in association with the plurality of processing instruction data acquired by the processing instruction data acquisition circuit 6 is referred to, and the total number of invalid times The processing instruction data having a large value is preferentially determined (step S61).
- step S62 determination processing for the next processing instruction data is performed. I do. Since the number of processing instruction data acquired by the processing instruction data acquisition circuit 6 is larger than the number of output of processing instruction data finally output, when the output number is achieved, all acquired processing instructions No judgment is made on the data.
- FIG. 9 shows an example in which invalidity data is stored for each processing instruction ID
- an invalid count may be stored for each type of processing content of the processing instruction data. For example, if it is determined that a certain processing instruction data is invalid, and the filter (Filter) A is included in the processing content of the processing instruction data, the number of invalidity of the filter (Filter) A is increased and stored. Then, the machining instruction data determination circuit 7 may use not only the invalidity data of the machining instruction ID but also the invalidity count of each machining content associated with each machining instruction ID.
- the history data of invalidity may be stored as shown in FIG. In FIG. 12, the “determination order” is stored in ascending order of new history. “Date and time” is the date and time when the processing instruction ID is determined, “Input image name” is the file name of the input image P (or identification information for specifying the file), and “Total number of input images” is the input image P Cumulative number. In the case of storing in this way, when the output data control circuit 9 outputs n pieces of machining instruction data, the machining instruction ID having a long elapsed time since the last determination that it is not invalid is given priority. Output.
- the processing performed by the image processing apparatus 1 is premised on the processing by hardware.
- the present invention is not limited to this, and the processing can be performed by software, for example.
- the image processing apparatus 1 includes a main storage device such as a CPU and a RAM for performing processing, and can be read by a computer in which a program for causing the CPU to execute all or part of the above processing is stored. As long as it has.
- this program is called an image processing program.
- the CPU reads out the image processing program stored in the storage medium and executes information processing / calculation processing, thereby realizing the same processing as that of the image processing apparatus 1 described above.
- the computer-readable recording medium means a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, a semiconductor memory, or the like.
- the image processing program may be distributed to a computer via a communication line, and the computer that has received the distribution may execute the image processing program.
- the various circuits of this embodiment may be configured to be mounted separately on a wiring board.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
内容や利用方法を知らない処理による効果をユーザに気づかせ、そのような処理の利用促進を図ることを目的とした、入力画像内に存在する被写体種を認識する被写体認識回路５と、入力画像に対して処理する加工内容を表す複数の加工指示データを記憶する記憶回路３と、被写体認識回路５により認識された被写体種に応じて予め定義された加工指示データを記憶回路３から取得する加工指示データ取得回路６と、取得された加工指示データの各々について、入力画像に適していない度合いを示す無効度を算出し、該無効度が所定の閾値以下である所定数の加工指示データを選択する加工指示データ判定回路７と、選択された所定数の加工指示データを用いて入力画像の加工を行う画像加工回路８とを備える画像処理装置１である。
Description
本発明は、画像処理装置、画像処理方法、画像処理プログラムおよび記憶媒体に関するものである。
ユーザが、被写体ＩＤに対応する１以上の処理内容情報を登録しておき、撮影により取得された写真に被写体ＩＤに一致する被写体が写っていた場合等の諸条件を満たす場合に、対応する処理内容情報の処理を実施する情報処理端末が知られている（例えば、特許文献１参照。）。
特許文献１の情報処理端末では、登録されかつ被写体ＩＤに対応している処理内容情報の処理が実施されるのみである。
最近のカメラには、フィルタ処理やトリミング処理のように、ユーザの好みに応じて実施される複数の画像処理が内蔵されているものが多いが、その全てを把握して使いこなすことができるユーザは少ない。すなわち、被写体や撮影シーンに適した種々の画像処理が用意され、それを利用すればユーザに画像処理の新たな楽しみ方を提供できるにもかかわらず、１度も使用されることがない場合もある。
最近のカメラには、フィルタ処理やトリミング処理のように、ユーザの好みに応じて実施される複数の画像処理が内蔵されているものが多いが、その全てを把握して使いこなすことができるユーザは少ない。すなわち、被写体や撮影シーンに適した種々の画像処理が用意され、それを利用すればユーザに画像処理の新たな楽しみ方を提供できるにもかかわらず、１度も使用されることがない場合もある。
特許文献１の情報処理端末では、処理が実施されるには、ユーザが意識的にその処理に対応する処理内容情報を登録しておくことが前提となる。このため、ユーザが処理内容情報の内容や利用方法を予め知っていることが必要であり、内容や利用方法を知らない処理については、利用の必要性すら感じることなく永久に利用されない。
本発明は上述した事情に鑑みてなされたものであって、内容や利用方法を知らない処理による効果をユーザに気づかせ、そのような処理の利用促進を図ることができる画像処理装置、画像処理方法、画像処理プログラムおよび記憶媒体を提供することを目的としている。
本発明の一態様は、入力画像内に存在する被写体種を認識する被写体認識回路と、前記入力画像に対して処理する加工内容を表す複数の加工指示データを記憶する記憶回路と、前記被写体認識回路により認識された前記被写体種に応じて予め定義された前記加工指示データを前記記憶回路から取得する加工指示データ取得回路と、該加工指示データ取得回路により取得された前記加工指示データの各々について、前記入力画像に適していない度合いを示す無効度を算出し、該無効度が所定の閾値以下である所定数の前記加工指示データを選択する加工指示データ判定回路と、該加工指示データ判定回路において選択された所定数の前記加工指示データを用いて前記入力画像の加工を行う画像加工回路とを備える画像処理装置である。
本態様によれば、入力画像が入力されると被写体認識回路において入力画像内に存在する被写体種が認識され、加工指示データ取得回路が、認識された被写体種に基づいて記憶回路に記憶されている複数の加工指示データを取得する。そして、加工指示データ判定回路が、取得された加工指示データの各々について無効度を算出し、無効度が高い加工指示データについては無効と判定して選択対象から除外する。
入力画像内に存在する被写体種に対しては適しているとして予め定義されている加工指示データであっても、実際の入力画像に対しては適していない場合があり、加工指示データ判定回路においては、そのような度合いを示す無効度が算出され、無効度が所定の閾値以下の加工指示データが所定数選択される。
そして、選択された所定数の加工指示データを用いて画像加工回路において入力画像が加工されることにより、被写体種に対しても、入力画像に対しても適した加工が施された画像が所定数作成される。
そして、選択された所定数の加工指示データを用いて画像加工回路において入力画像が加工されることにより、被写体種に対しても、入力画像に対しても適した加工が施された画像が所定数作成される。
すなわち、本態様によれば、ユーザが加工内容やその利用方法を知らない場合であっても、その加工による効果を確認することができるようになり、そのような加工の存在および加工の効果に気づかせることができる。したがって、内蔵されている多数の画像処理のうち、利用されない画像処理を低減し、利用促進を図ることができる。
上記態様においては、前記加工指示データ判定回路が、各前記加工指示データに対応して該加工指示データの判定に適した無効度の種別を記憶し、判定しようとする各前記加工指示データに応じて選択された種別の無効度を算出してもよい。
このようにすることで、異なる加工指示データの無効を判定するために同じ種別の無効度を利用するのではなく、加工指示データに対して適した無効度が選択されて算出されるので、高い精度で入力画像に適した加工指示データを選択することができる。
このようにすることで、異なる加工指示データの無効を判定するために同じ種別の無効度を利用するのではなく、加工指示データに対して適した無効度が選択されて算出されるので、高い精度で入力画像に適した加工指示データを選択することができる。
また、上記態様においては、前記加工指示データ判定回路において選択された複数の前記加工指示データおよび前記画像加工回路において加工された画像の少なくとも１つを表示する表示回路を備えていてもよい。
このようにすることで、加工された画像とその加工に使用された加工指示データの少なくとも１つが表示回路に表示されるので、利用された加工内容あるいはその加工による効果を確認することができる。加工指示データとしては、被写体種および入力画像の両方に適した加工内容のものが選択されているので、その加工本来の効果が現れている画像によって、加工による正しい効果をユーザに認識させることができる。
このようにすることで、加工された画像とその加工に使用された加工指示データの少なくとも１つが表示回路に表示されるので、利用された加工内容あるいはその加工による効果を確認することができる。加工指示データとしては、被写体種および入力画像の両方に適した加工内容のものが選択されているので、その加工本来の効果が現れている画像によって、加工による正しい効果をユーザに認識させることができる。
また、上記態様においては、前記無効度は、前記加工指示データに基づいて前記入力画像に施される加工前後の画像における変化量が大きいほど低くなる関数として定義されていてもよい。
このようにすることで、入力画像に施される加工前後の画像の変化量が大きい場合には、入力画像が加工によって大きく変化するので、加工の効果が顕著に現れたものとして無効度を低くして選択され易くすることができる。また、入力画像に施される加工前後の画像の変化量が小さい場合には、入力画像に対して加工後の画像はあまり変化しないので、加工の効果があまり現れていないものとして無効度を高くして選択され難くすることができる。
このようにすることで、入力画像に施される加工前後の画像の変化量が大きい場合には、入力画像が加工によって大きく変化するので、加工の効果が顕著に現れたものとして無効度を低くして選択され易くすることができる。また、入力画像に施される加工前後の画像の変化量が小さい場合には、入力画像に対して加工後の画像はあまり変化しないので、加工の効果があまり現れていないものとして無効度を高くして選択され難くすることができる。
また、上記態様においては、前記加工指示データ判定回路により判定される前記加工指示データの加工内容がトリミングを含み、前記無効度が、前記加工指示データに基づいて設定されたトリミング領域と前記入力画像との重複率であってもよい。
このようにすることで、入力画像から所定範囲を切り出すトリミングにおいては、トリミング領域と入力画像との重複率が高いほどトリミングによる入力画像に対するトリミング後の画像の変化量は小さい。したがって、重複率をそのまま無効度にすることで、加工前後の画像変化の少ない加工指示データが選択され難くすることができる。
このようにすることで、入力画像から所定範囲を切り出すトリミングにおいては、トリミング領域と入力画像との重複率が高いほどトリミングによる入力画像に対するトリミング後の画像の変化量は小さい。したがって、重複率をそのまま無効度にすることで、加工前後の画像変化の少ない加工指示データが選択され難くすることができる。
また、上記態様においては、前記加工指示データ判定回路により判定される前記加工指示データの加工内容が色情報の加工または階調情報の加工の少なくとも１つを含み、前記無効度が、前記加工指示データに基づいて前記入力画像に施される加工前後の画像における画素値の変動量の逆数であってもよい。
このようにすることで、入力画像に対して色情報または階調情報を加工する場合には、加工前後において画素値が変動するほど画像の変化量が大きいので、画素値の変動量の逆数を無効度とすることにより、加工前後の画像変化の少ない加工指示データが選択され難くすることができる。
また、上記態様においては、前記加工指示データ判定回路により判定される前記加工指示データの加工内容がぼかし加工を含み、前記無効度が、前記加工指示データに基づいて前記入力画像に施される加工前後の画像におけるボケ度の変動量の逆数であってもよい。
このようにすることで、入力画像に対してぼかし加工を施す場合には、加工前後においてボケ度が変動するほど画像の変化量が大きいので、ボケ度の変動量の逆数を無効度とすることにより、加工前後の画像変化の少ない加工指示データが選択され難くすることができる。
このようにすることで、入力画像に対してぼかし加工を施す場合には、加工前後においてボケ度が変動するほど画像の変化量が大きいので、ボケ度の変動量の逆数を無効度とすることにより、加工前後の画像変化の少ない加工指示データが選択され難くすることができる。
また、上記態様においては、前記加工指示データ判定回路により判定される前記加工指示データの加工内容が台形補正加工を含み、前記無効度が、前記加工指示データに基づいて前記入力画像に施される加工前後の画像における直線状のエッジ部の鉛直線に対する角度の変動量の逆数であってもよい。
入力画像に対して台形補正加工を施す場合には、入力画像における直線状のエッジ部の鉛直線に対する角度がゼロに近づけられる。したがって、加工前後の画像における直線状のエッジ部の鉛直線に対する角度の変動量の逆数を無効度とすることにより、直線状のエッジ部の鉛直線に対する角度が大きい入力画像に対する加工としては大きな効果を得ることができるものとして、台形補正加工の加工指示データが選択され易くすることができる。
また、上記態様においては、前記加工指示データ判定回路により判定される前記加工指示データの加工内容が光学歪曲収差効果付与の加工を含み、前記無効度が、前記入力画像における光学歪曲収差の量であってもよい。
このようにすることで、入力画像における光学歪曲収差が大きい入力画像の場合には、光学歪曲収差効果付与の加工を行っても効果が明らかではないため、入力画像における光学歪曲収差が大きいほど無効度が高いものとして、選択され難くすることができる。
このようにすることで、入力画像における光学歪曲収差が大きい入力画像の場合には、光学歪曲収差効果付与の加工を行っても効果が明らかではないため、入力画像における光学歪曲収差が大きいほど無効度が高いものとして、選択され難くすることができる。
また、上記態様においては、前記無効度が、前記加工指示データに基づく前記入力画像の加工により得られるであろうと見込まれる見込み画像と、前記加工指示データに基づいて前記入力画像に加工が施された画像との差であってもよい。
このようにすることで、見込み画像と加工後の画像との差が大きいほど無効度が高いとして選択され難くすることができる。見込み画像は加工指示データに基づく加工によってその効果を顕著に現した画像となるため、加工後の画像としては見込み画像との差が小さいほど、選択され易くすることが好ましい。
このようにすることで、見込み画像と加工後の画像との差が大きいほど無効度が高いとして選択され難くすることができる。見込み画像は加工指示データに基づく加工によってその効果を顕著に現した画像となるため、加工後の画像としては見込み画像との差が小さいほど、選択され易くすることが好ましい。
また、上記態様においては、前記加工指示データ判定回路により判定される前記加工指示データの加工内容がトリミングを含み、前記無効度が、前記加工指示データに基づいて設定されたトリミング領域の前記入力画像からのはみ出し領域の大きさであってもよい。
このようにすることで、トリミングを含む加工指示データに基づき設定されたトリミング領域が、入力画像からはみ出してしまう場合には、はみ出さないことを前提とした見込み画像とは異なる加工後の画像が得られることになるので、このような加工指示データは無効度が高いものとして、選択され難くすることができる。
このようにすることで、トリミングを含む加工指示データに基づき設定されたトリミング領域が、入力画像からはみ出してしまう場合には、はみ出さないことを前提とした見込み画像とは異なる加工後の画像が得られることになるので、このような加工指示データは無効度が高いものとして、選択され難くすることができる。
また、上記態様においては、前記加工指示データ判定回路により判定される前記加工指示データの加工内容が回転加工を含み、前記無効度が、前記入力画像における前記被写体の基準軸の画像中における傾き角度であってもよい。
このようにすることで、回転加工を含む加工指示データに基づく回転加工によって被写体の基準軸が所定の角度となるように回転させられる場合に、入力画像における被写体の基準軸が既に傾いている場合には、さらに大きく回転させられるため、見込み画像とは異なる加工後の画像が得られることになる。したがって、このような加工指示データは入力画像における基準軸の傾き角度が大きく無効度が高いものとして、選択され難くすることができる。
このようにすることで、回転加工を含む加工指示データに基づく回転加工によって被写体の基準軸が所定の角度となるように回転させられる場合に、入力画像における被写体の基準軸が既に傾いている場合には、さらに大きく回転させられるため、見込み画像とは異なる加工後の画像が得られることになる。したがって、このような加工指示データは入力画像における基準軸の傾き角度が大きく無効度が高いものとして、選択され難くすることができる。
また、上記態様においては、前記加工指示データ判定回路により判定される前記加工指示データの加工内容が色情報の加工または階調情報の加工の少なくとも１つを含み、前記無効度が、前記入力画像における前記被写体の画素値に基づいて設定されてもよい。
このようにすることで、入力画像に対して色情報または階調情報を加工する場合に、入力画像において既に被写体の画素値が加工により変化する傾向の画素値を有する場合、加工により見込み以上に画素値が変化してしまうので、そのような場合には、無効度を高くして加工指示データが選択され難くすることができる。
例えば、加工指示データが露出をマイナス補正にする加工内容を含むとき、入力画像において既に被写体の露出がアンダーである場合には、過度にアンダーとなった画像が得られるため、見込み画像との差が大きいとして無効度を高くすることができる。
例えば、加工指示データが露出をマイナス補正にする加工内容を含むとき、入力画像において既に被写体の露出がアンダーである場合には、過度にアンダーとなった画像が得られるため、見込み画像との差が大きいとして無効度を高くすることができる。
また、上記態様においては、前記加工指示データ判定回路は、前記無効度が所定の閾値より高いと判定して選択から除外した加工指示データについて除外回数をカウントして前記記憶回路に記憶し、記憶されている前記除外回数が高い加工指示データを優先して判定対象としてもよい。
このようにすることで、無効度が高いとして何度も除外された加工指示データが優先的に判定対象とされ、加工指示データ判定回路において判定の対象となる機会を高めて選択され易くすることができる。
このようにすることで、無効度が高いとして何度も除外された加工指示データが優先的に判定対象とされ、加工指示データ判定回路において判定の対象となる機会を高めて選択され易くすることができる。
また、本発明の他の態様は、入力画像内に存在する被写体種を認識する被写体認識ステップと、前記入力画像に対して処理する加工内容を表す複数の加工指示データの中から、前記被写体認識ステップにより認識された被写体種に応じて予め定義された前記加工指示データを取得する加工指示データ取得ステップと、該加工指示データ取得ステップにより取得された前記加工指示データの各々について、前記入力画像に適していない度合いを示す無効度を算出し、該無効度が所定の閾値以下である所定数の前記加工指示データを選択する加工指示データ判定ステップと、該加工指示データ判定ステップにおいて選択された所定数の前記加工指示データを用いて前記入力画像の加工を行う画像加工ステップとを含む画像処理方法である。
また、本発明の他の態様は、入力画像内に存在する被写体種を認識する被写体認識ステップと、前記入力画像に対して処理する加工内容を表す複数の加工指示データの中から、前記被写体認識ステップにより認識された被写体種に応じて予め定義された前記加工指示データを取得する加工指示データ取得ステップと、該加工指示データ取得ステップにより取得された前記加工指示データの各々について、前記入力画像に適していない度合いを示す無効度を算出し、該無効度が所定の閾値以下である所定数の前記加工指示データを選択する加工指示データ判定ステップと、該加工指示データ判定ステップにおいて選択された所定数の前記加工指示データを用いて前記入力画像の加工を行う画像加工ステップとをコンピュータに実行させる画像処理プログラムである。
また、本発明の他の態様は、入力画像内に存在する被写体種を認識する被写体認識ステップと、前記入力画像に対して処理する加工内容を表す複数の加工指示データの中から、前記被写体認識ステップにより認識された被写体種に応じて予め定義された前記加工指示データを取得する加工指示データ取得ステップと、該加工指示データ取得ステップにより取得された前記加工指示データの各々について、前記入力画像に適していない度合いを示す無効度を算出し、該無効度が所定の閾値以下である所定数の前記加工指示データを選択する加工指示データ判定ステップと、該加工指示データ判定ステップにおいて選択された所定数の前記加工指示データを用いて前記入力画像の加工を行う画像加工ステップとをコンピュータに実行させるプログラムを記憶したコンピュータが読み取ることのできる記憶媒体である。
本発明によれば、内容や利用方法を知らない処理による効果をユーザに気づかせ、そのような処理の利用促進を図ることができるという効果を奏する。
本発明の一実施形態に係る画像処理装置１および画像処理方法について、図面を参照して以下に説明する。
本実施形態に係る画像処理装置１は、図１に示されるように、カメラ等の撮像装置により取得された画像（入力画像）Ｐが入力される画像入力回路２と、入力画像Ｐに対する加工指示データを記憶する記憶回路３と、該記憶回路３に記憶されている加工指示データに基づいて画像入力回路２に入力された入力画像Ｐを加工する演算回路４とを備えている。
本実施形態に係る画像処理装置１は、図１に示されるように、カメラ等の撮像装置により取得された画像（入力画像）Ｐが入力される画像入力回路２と、入力画像Ｐに対する加工指示データを記憶する記憶回路３と、該記憶回路３に記憶されている加工指示データに基づいて画像入力回路２に入力された入力画像Ｐを加工する演算回路４とを備えている。
演算回路４は、画像入力回路２に入力された入力画像Ｐに対し公知の認識処理を施して、被写体Ｏの種別（被写体種）を認識する被写体認識回路５と、該被写体認識回路５により認識された被写体種に基づいて記憶回路３から加工指示データを取得する加工指示データ取得回路６とを備えている。また、演算回路４は、該加工指示データ取得回路６により取得された加工指示データの無効度を入力画像Ｐに基づいて算出し、無効度が低い加工指示データを複数選択する加工指示データ判定回路７と、該加工指示データ判定回路７により選択された加工指示データを用いて入力画像Ｐに加工を施す画像加工回路８と、これら被写体認識回路５、加工指示データ取得回路６、加工指示データ判定回路７および画像加工回路８を制御する出力データ制御回路９とを備えている。
記憶回路３には、図２に例示されるように、認識される可能性のある注目被写体種類（被写体種）と対応づけて、該注目被写体種類に適した加工指示データが複数記憶されている。図２に示す例では、注目被写体種類には、人物顔、フォーカス座標等が含まれている。注目被写体種類はこれらに限定されるものではなく、他の任意の被写体種類を採用することができる。また、本実施形態では、加工指示データの加工内容がトリミングを含む場合を例に挙げて説明する。
図２の例によれば、トリミングに対応する加工指示データの加工内容には、注目被写体Ｏ配置、アスペクトおよびズーム率等が含まれている。注目被写体Ｏ配置としては中央配置、３分割線交点配置等が含まれている。アスペクトとしては、４：３、１：１、１６：９等が含まれている。ズーム率としては固定倍率（１．０，０．９等）、なるべく大きく、なるべく小さく等が含まれている。
加工指示データ取得回路６は、被写体認識回路５により認識された注目被写体種類をキーとして、記憶回路３を検索し、注目被写体種類に対応づけて記憶されている図２の加工指示データ列の中から、予め設定された個数の加工指示データを取得するようになっている。
加工指示データの取得数には、最終的な出力を予定している加工指示データの出力数より大きな数値が設定されている。
加工指示データの取得数には、最終的な出力を予定している加工指示データの出力数より大きな数値が設定されている。
加工指示データ判定回路７は、加工指示データ取得回路６により取得された加工指示データの各々について、その無効度を算出して無効か否かの判定を行い、無効度が所定の閾値より低い場合には出力する加工指示データとして選択し、無効度が高い場合には選択対象から除外するようになっている。
ここで、加工指示データ判定回路７が算出する無効度について説明する。
無効度とは、加工指示データが入力画像Ｐの加工に適していない度合いを示す数値であり、例えば、加工指示データが加工内容としてトリミングを含む場合には、入力画像Ｐとトリミング領域Ｑとの重複率を無効度として算出するようになっている。
無効度とは、加工指示データが入力画像Ｐの加工に適していない度合いを示す数値であり、例えば、加工指示データが加工内容としてトリミングを含む場合には、入力画像Ｐとトリミング領域Ｑとの重複率を無効度として算出するようになっている。
図３Ａの入力画像Ｐに対して、加工指示ＩＤ＝４の加工指示データが適用される場合には、加工内容は、注目被写体Ｏ配置：３分割線交点配置、アスペクト：４：３、ズーム率：「なるべく大きく」である。この場合には、図３Ｂに示されるようなトリミング領域Ｑが設定される。そこで、図３Ｃに示されるように、入力画像Ｐの面積に対するトリミング領域（ハッチング部分）Ｑの面積の比を重複率として算出する。
すなわち、重複率が大きいほどトリミング加工前後での画像の変化量は小さく、重複率が小さいほどトリミング加工前後での画像の変化量は大きくなる。入力画像Ｐに対してトリミングを施して得られた加工後の画像が入力画像Ｐに対して変化していない場合には、加工前後の画像を見たユーザがトリミングの効果を認識することができない。したがって、このような場合には、この加工指示データの無効度を高くして選択され難くするようになっている。
出力データ制御回路９は、予め設定された出力数の加工指示データが選択されるまで、加工指示データ判定回路７による加工指示データの選択作業を繰り返させるようになっている。
画像加工回路８は、選択された所定数の加工指示データを用いて、各加工指示データに含まれる加工内容の処理を入力画像Ｐに対して実施する。これにより、所定数の画像処理された画像が生成されるようになっている。
画像加工回路８は、選択された所定数の加工指示データを用いて、各加工指示データに含まれる加工内容の処理を入力画像Ｐに対して実施する。これにより、所定数の画像処理された画像が生成されるようになっている。
このように構成された本実施形態に係る画像処理装置１を用いた画像処理方法について以下に説明する。
本実施形態に係る画像処理方法は、図４に示されるように、入力画像Ｐを取得するステップＳ１と、取得した入力画像Ｐ内に存在する被写体種を認識するステップ（被写体認識ステップ）Ｓ２と、出力数ｎを設定するステップＳ３と、設定された出力数ｎの加工指示データを選択するステップ（加工指示データ判定ステップ）Ｓ４と、選択された複数の加工指示データを用いて入力画像Ｐに加工を施すステップ（画像加工ステップ）Ｓ５とを含んでいる。
本実施形態に係る画像処理方法は、図４に示されるように、入力画像Ｐを取得するステップＳ１と、取得した入力画像Ｐ内に存在する被写体種を認識するステップ（被写体認識ステップ）Ｓ２と、出力数ｎを設定するステップＳ３と、設定された出力数ｎの加工指示データを選択するステップ（加工指示データ判定ステップ）Ｓ４と、選択された複数の加工指示データを用いて入力画像Ｐに加工を施すステップ（画像加工ステップ）Ｓ５とを含んでいる。
ステップＳ１においては、１つの入力画像Ｐが画像入力回路２に入力される。ステップＳ２においては、被写体認識回路５によって、入力された入力画像Ｐ内の注目被写体Ｏが認識され、注目被写体種類が検出される。ステップＳ３においては、ユーザが出力を望む加工指示データ数が設定される。出力数ｎは、ユーザがその都度設定してもよいし、予め設定されている値を使用してもよい。
ステップＳ４は、図５に示されるように、認識された被写体種に基づいて記憶回路３に記憶されている複数の加工指示データを取得するステップ（加工指示データ取得ステップ）Ｓ４１と、カウンタｋをリセットするステップＳ４２と、取得された加工指示データの内、１つの加工指示データを判定対象として選択するステップＳ４３と、判定対象として選択された加工指示データについて無効度を算出するステップＳ４４と、算出された無効度に基づいて加工指示データが無効か否かを判定するステップＳ４５とを含んでいる。また、無効ではないと判定された加工指示データは出力される加工指示データとして設定される（ステップＳ４６）ようになっている。
ステップＳ４１は、加工指示ＩＤの順序で設定された出力数ｎを超える所定数だけ加工指示データの取得を行うようになっている。例えば、出力数がｎ個である場合に、無効となる数を見込んで、ｎ＋α個の加工指示データの取得が行われる。
さらに、加工指示データを選択するステップＳ４は、無効ではない加工指示データが出力される加工指示データとして選択された場合に、カウンタｋをインクリメントするステップＳ４７と、カウンタｋが設定された出力数ｎに達したか否かを判定するステップＳ４８と、カウンタｋが出力数ｎに達した場合に、設定された所定数の加工指示データを出力するステップＳ４９とを含んでいる。
ステップＳ４４は、図６に示されるように、判定対象として選択された加工指示データに基づいて、該加工指示データに対応して該加工指示データの判定に適した無効度の種別を選択するステップＳ４４１と、選択された種別の無効度を加工指示データに対して算出するステップＳ４４２とを含んでいる。加工指示データと無効度の種別とは相互に対応づけられた状態で加工指示データ判定回路７に記憶されていてもよいし、記憶回路３に記憶されていて読み出されることにしてもよい。無効度の種別には、各種別の無効度の算出方法が対応づけられている。
ステップＳ４４２としては、図６に示されるように、加工指示データの加工内容としてトリミングが含まれている場合に、トリミングの指示内容に応じてトリミング領域Ｑを算出するステップＳ４４２１と、入力画像Ｐに対するトリミング領域Ｑの重複率を算出するステップＳ４４２２とを含んでいる。
このように構成された本実施形態に係る画像処理装置１および画像処理方法によれば、加工指示データ取得回路６が記憶回路３に記憶されている加工指示データを取得する際に、注目被写体種類に応じて記憶されている複数の加工指示データが取得されることにより、被写体Ｏの種類に適した加工指示データが選択される。そして、加工指示データ判定回路７が、入力画像Ｐに応じて無効度の低い加工指示データを選択することにより、入力画像Ｐにも適した加工指示データが選択される。
すなわち、本実施形態に係る画像処理装置１および画像処理方法によれば、ユーザは入力画像Ｐを入力するだけで、入力画像Ｐ内に存在している被写体Ｏの種類に適しかつ入力画像Ｐにも適した加工指示データが複数選択されて、選択された複数の加工指示データを用いて加工された状態で提供される。したがって、ユーザは、加工内容に精通していなくても、あるいは、そのような加工の存在自体を知らなくても、得られた画像を見ることによって、その効果を知り、そのような加工の有効性に気づくことができ、そのような加工の利用促進を図ることができるという利点がある。
なお、本実施形態の画像処理装置１においては、加工指示データ判定回路７において選択された複数の加工指示データおよび画像加工回路８において加工された画像の少なくとも１つを表示する表示回路（図示略）を備えていてもよい。
この場合、画像加工回路８により加工された画像およびその加工に使用された加工指示データの少なくとも１つが表示回路に表示されるので、利用された加工内容あるいはその加工による効果を確認することができる。加工指示データとしては、被写体種および入力画像Ｐの両方に適した加工内容のものが選択されているので、その加工本来の効果が現れている画像によって、加工による正しい効果をユーザに認識させることができる。
この場合、画像加工回路８により加工された画像およびその加工に使用された加工指示データの少なくとも１つが表示回路に表示されるので、利用された加工内容あるいはその加工による効果を確認することができる。加工指示データとしては、被写体種および入力画像Ｐの両方に適した加工内容のものが選択されているので、その加工本来の効果が現れている画像によって、加工による正しい効果をユーザに認識させることができる。
また、本実施形態においては、無効度として、入力画像Ｐに対するトリミング領域Ｑの重複率そのものを採用したが、重複率に任意の係数を乗算した値を無効度として採用してもよいし、換算表に基づいて重複率から無効度を換算してもよい。また、入力画像Ｐに対する加工後の画像の変化量が大きくなるほど低くなる関数であれば、重複率以外の他の関数を無効度として採用してもよい。
また、選択された加工指示データに対して、該加工指示データに含まれるトリミング加工についての無効度を算出することとしたが、これに代えて、選択される加工指示データに含まれる複数の加工内容毎に無効度を算出し、これらを纏めた無効度を用いて無効判定を行うことにしてもよい。複数の無効度を纏める方法としては、無効度の単純和、各無効度に重みを付けて加算する方法等を採用すればよい。
また、本実施形態においては、加工指示データの加工内容がトリミングを含む場合について説明した。これに代えて、フィルタ効果などの色情報や階調情報を加工する加工内容に適用することもできる。
この場合には、加工前後の画素値の変動量の逆数を無効度として算出すればよい。
加工指示データが、色情報や階調情報に変化を与える加工内容を含む場合に、無効度を算出するには、入力画像Ｐに無効度判定用の仮の加工を施す。例えば、入力画像Ｐを縮小した画像等による簡易的な加工を行う。
そして、入力画像Ｐの画素毎に、入力画像Ｐと簡易加工後の画像との画素値の変動量の逆数を算出する。画素値の変動量は例えば差分である。これにより、加工前後の画像の変化量が小さいほど高くなる無効度を採用することができる。
加工指示データが、色情報や階調情報に変化を与える加工内容を含む場合に、無効度を算出するには、入力画像Ｐに無効度判定用の仮の加工を施す。例えば、入力画像Ｐを縮小した画像等による簡易的な加工を行う。
そして、入力画像Ｐの画素毎に、入力画像Ｐと簡易加工後の画像との画素値の変動量の逆数を算出する。画素値の変動量は例えば差分である。これにより、加工前後の画像の変化量が小さいほど高くなる無効度を採用することができる。
また、加工指示データが色情報や階調情報に変化を与える加工内容を含む場合には、ホワイトバランス設定などの撮影パラメータで規定できる場合がある。その場合には、入力画像Ｐの撮影パラメータ自体の変動量の逆数を無効度として利用することができる。すなわち、画像の画素値を解析することなく、加工前後の画像の変化量を算出することができる。
例えば、加工内容のホワイトバランス設定による色温度値と、入力画像Ｐのホワイトバランス設定の色温度値との差分の逆数を無効度とすることにより、加工前後の画像の変化量が小さいほど高くなる無効度を採用することができる。
このように、本発明の加工指示データの加工内容は、撮影パラメータや現像パラメータであってもよい。
例えば、加工内容のホワイトバランス設定による色温度値と、入力画像Ｐのホワイトバランス設定の色温度値との差分の逆数を無効度とすることにより、加工前後の画像の変化量が小さいほど高くなる無効度を採用することができる。
このように、本発明の加工指示データの加工内容は、撮影パラメータや現像パラメータであってもよい。
また、加工指示データがぼかし加工の加工内容を含む場合には、ぼかし加工の加工内容が狙うボケ度と、入力画像Ｐのボケ度との変動量の逆数を無効度とする。これにより、加工前後の画像の変化量が小さいほど高くなる無効度を採用することができる。
ボケ度は、例えば、画像内領域を周波数解析し、高周波成分に対する低周波成分の量を定量化するようなボケ評価関数を用いて算出することができる。
ボケ度は、例えば、画像内領域を周波数解析し、高周波成分に対する低周波成分の量を定量化するようなボケ評価関数を用いて算出することができる。
また、加工指示データが台形補正加工の加工内容を含む場合には、台形補正加工により、入力画像Ｐ内の被写体Ｏが有する直線状のエッジ部が画像上の鉛直線に一致するように補正される。したがって、この場合には、入力画像Ｐにおける直線状のエッジ部の、画像上の鉛直線に対する傾斜角度が大きいほど台形補正加工の効果が顕著となるので、無効度としては、入力画像Ｐにおける上記傾斜角度の逆数、または入力画像Ｐに施される加工前後の画像における上記角度の変動量の逆数を採用することにより、加工前後の画像の変化量が小さいほど高くなる無効度を採用することができる。
また、加工指示データが光学歪曲収差効果付与の加工内容を含む場合には、入力画像Ｐにおける光学歪曲収差が大きいほど加工の光学歪曲収差効果付与の効果が分かりにくいので、無効度として、入力画像Ｐにおける光学歪曲収差の量を採用することにより、加工前後の画像の変化量が小さいほど高くなる無効度を採用することができる。
また、本実施形態においては、無効度として、実質的に加工前後の画像の変化量が小さいほど大きくなると考えられる関数を採用したが、これに代えて、加工指示データに基づく入力画像Ｐの加工により得られるであろうと見込まれる見込み画像（意図する画像）Ｒと、加工指示データに基づいて入力画像Ｐに加工が施された画像との差（意図差分量）を示す関数を無効度として採用してもよい。
例えば、加工指示データの加工内容がトリミングを含む場合には、加工指示データに基づいて設定されたトリミング領域Ｑの入力画像Ｐからのはみ出し領域Ｓの大きさを無効度とすればよい。すなわち、図７Ａに示されるように、被写体Ｏとしての人物が周辺に偏って配置されている入力画像Ｐに対して、注目被写体Ｏ配置のパラメータが「中央配置」である場合には、意図する画像Ｒは図７Ｂに示すものであると考えられるが、被写体Ｏの偏り方、アスペクト、ズーム率等によっては、図７Ｃに示されるように、トリミング領域Ｑが入力画像Ｐからはみ出した位置に定義される。このはみ出し領域（ハッチング部分）Ｓの大きさが大きいほど、加工後の画像は見込み画像Ｒから離れ、意図差分量が大きくなるため、無効度を高くすることができる。
また、加工指示データの加工内容が回転加工を含む場合には、入力画像Ｐにおける被写体Ｏの基準軸Ｔの画像中における傾き角度を無効度とすればよい。すなわち、図８に示されるように被写体Ｏとしての人物の基準軸Ｔが最初から傾いている場合に、その傾き方向と同じ方向への回転加工が行われると、意図した画像よりも被写体Ｏが大きく傾いてしまい、逆方向への回転加工が行われると、意図した画像よりも被写体Ｏの傾きが小さくなってしまい、いずれの場合も意図差分量が大きくなるため、無効度を高くすることができる。
具体的には、加工指示データ判定回路７は、加工指示データの加工内容に応じて入力画像Ｐを解析し、入力画像Ｐにおける被写体Ｏの基準軸Ｔの傾き角度が所定の閾値より大きいか否かを判定する。基準軸Ｔの傾き角度が大きい場合には無効度が高いので、その加工指示データが無効と判定され易くなる。
また、加工指示データの加工内容が色情報の加工または階調情報の加工の少なくとも１つを含む場合には、入力画像Ｐにおける被写体Ｏの画素値に基づいて無効度を設定すればよい。
例えば、露出をマイナス補正にする加工内容である場合に、入力画像Ｐの露出が既にアンダーである場合には、意図した画像よりも暗い画像が作成されてしまうので、意図差分量が大きい。すなわち、この場合には、画素値が小さい場合には無効度が高くなるので、画素値の逆数を無効度に設定すればよい。
例えば、露出をマイナス補正にする加工内容である場合に、入力画像Ｐの露出が既にアンダーである場合には、意図した画像よりも暗い画像が作成されてしまうので、意図差分量が大きい。すなわち、この場合には、画素値が小さい場合には無効度が高くなるので、画素値の逆数を無効度に設定すればよい。
具体的には、加工指示データ判定回路７は、加工指示データの加工内容に応じて入力画像Ｐを解析し、入力画像Ｐにおける被写体Ｏの画素値が所定の閾値より大きいか否かを判定する。露出マイナス補正の加工内容の場合には、画素値が小さい場合には無効度が高いので、その加工指示データが無効と判定され易くなる。
また、例えば、入力画像Ｐ中の赤色を残して他をグレーにする加工内容である場合に、入力画像Ｐ中に赤色が存在しない場合には、全体がグレーとなるので意図した画像とは異なる画像が作成されてしまう。この場合には、画像中に赤色の画素値が高い画素の全体に占める割合の逆数を無効度に設定することで、意図しない画像を作成する加工指示データを無効と判定して除外することができる。
また、本実施形態においては、加工指示データ判定回路７は、無効度が所定の閾値より高いと判定して選択から除外した加工指示データについて除外回数をカウントして記憶回路３に記憶し、加工指示データ取得回路６が、除外回数の高い加工指示データを優先して取得することにしてもよい。
すなわち、例えば、図９に示されるように、各加工指示ＩＤに対応づけて、当該加工指示ＩＤに対応する加工指示データの無効度データとして、全無効回数（除外回数）を記憶しておく。図９は、全無効回数に加えて連続無効回数および無効度を記憶した例を示している。
全無効回数は、以前に無効であると判定された回数の総数であり、連続無効回数は最後に無効ではないと判定された後に連続して無効であると判定された回数であり、無効度は、最後に算出された無効度である。
全無効回数は、以前に無効であると判定された回数の総数であり、連続無効回数は最後に無効ではないと判定された後に連続して無効であると判定された回数であり、無効度は、最後に算出された無効度である。
そして、図１０に示されるように、画像入力回路２に複数の入力画像Ｐが入力された場合（ステップＳ５１）に、そのうちの１つの入力画像Ｐを選択し（ステップＳ５２）、入力された全ての入力画像Ｐの処理が終了するまで、上述したステップＳ２からＳ５の工程を実施する（ステップＳ５３）。加工指示データ判定回路７においては、図１１に示されるように、加工指示データ取得回路６により取得された複数の加工指示データに対応づけて記憶されている無効度データを参照し、全無効回数が大きい加工指示データを優先的に判定対象とする（ステップＳ６１）。
そして、無効判定を行った結果、無効であると判定された場合には、当該加工指示データの無効度データの全無効回数等を更新し（ステップＳ６２）、次の加工指示データについての判定処理を行う。加工指示データ取得回路６により取得される加工指示データの取得数は、最終的に出力される加工指示データの出力数よりも多いので、出力数が達成されると、取得された全ての加工指示データについての判定は行われない。
したがって、このようにすることで、無効であるとして除外された回数の多い加工指示データが優先的に判定対象となるので、判定の機会を増加させて、加工指示データ判定回路７において選択され易くすることができる。その結果、無効でないと判定されることが多いような加工指示データが、利用されずに埋もれてしまうことを防止することができる。
また、図９では加工指示ＩＤ毎に無効度データを記憶する例を示したが、これに加えて加工指示データの加工内容の種類毎に無効回数を記憶しておいてもよい。例えば、ある加工指示データが無効であると判定された場合、該加工指示データの加工内容にフィルタ（Ｆｉｌｔｅｒ）Ａが含まれるときには、フィルタ（Ｆｉｌｔｅｒ）Ａの無効回数を増加させ記憶しておく。そして、加工指示データ判定回路７は、加工指示ＩＤの無効度データのみならず、各加工指示ＩＤに紐付けられた加工内容の各々の無効度回数を判定に用いてよい。
また、図９では加工指示ＩＤ毎に無効度データを記憶する例を示したが、これに加えて加工指示データの加工内容の種類毎に無効回数を記憶しておいてもよい。例えば、ある加工指示データが無効であると判定された場合、該加工指示データの加工内容にフィルタ（Ｆｉｌｔｅｒ）Ａが含まれるときには、フィルタ（Ｆｉｌｔｅｒ）Ａの無効回数を増加させ記憶しておく。そして、加工指示データ判定回路７は、加工指示ＩＤの無効度データのみならず、各加工指示ＩＤに紐付けられた加工内容の各々の無効度回数を判定に用いてよい。
また、無効度の履歴データは、図１２に示されるように記憶しておいてもよい。
図１２において、「判定順」は新規履歴ほど若い順番で記憶している。「日時」は加工指示ＩＤを判定した日時であり、「入力画像名」は入力画像Ｐのファイル名（もしくは、ファイルを特定するための識別情報）、「入力画像累計数」は入力画像Ｐの累計枚数である。
このように記憶しておく場合には、出力データ制御回路９が、ｎ個の加工指示データを出力する際に、最後に無効でないと判定されたときからの経過時間が長い加工指示ＩＤを優先的に出力すればよい。
図１２において、「判定順」は新規履歴ほど若い順番で記憶している。「日時」は加工指示ＩＤを判定した日時であり、「入力画像名」は入力画像Ｐのファイル名（もしくは、ファイルを特定するための識別情報）、「入力画像累計数」は入力画像Ｐの累計枚数である。
このように記憶しておく場合には、出力データ制御回路９が、ｎ個の加工指示データを出力する際に、最後に無効でないと判定されたときからの経過時間が長い加工指示ＩＤを優先的に出力すればよい。
また、本実施形態においては、画像処理装置１が行う処理としてハードウェアによる処理を前提としたが、これに限定されるものではなく、例えば、ソフトウェアにて処理することもできる。この場合、画像処理装置１は、処理を行うＣＰＵおよびＲＡＭ等の主記憶装置を備え、上記処理の全て或いは一部をＣＰＵに実行させるためのプログラムが記憶されたコンピュータで読み取ることができる記憶媒体を備えていればよい。ここでは、このプログラムを画像処理プログラムと呼ぶ。そして、ＣＰＵが記憶媒体に記憶されている画像処理プログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像処理装置１と同様の処理を実現させる。
ここで、コンピュータで読み取ることができる記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等をいう。また、この画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像処理プログラムを実行するようにしてもよい。
また、本実施形態の各種回路は、１つのチップとして実装されるように構成される以外に、配線基板上に分割して実装されるように構成されてもよい。
また、本実施形態の各種回路は、１つのチップとして実装されるように構成される以外に、配線基板上に分割して実装されるように構成されてもよい。
１ 画像処理装置
３ 記憶回路
５ 被写体認識回路
６ 加工指示データ取得回路
７ 加工指示データ判定回路
８ 画像加工回路
Ｓ２ 被写体認識ステップ
Ｓ４ 加工指示データ判定ステップ
Ｓ５ 画像加工ステップ
Ｓ４１ 加工指示データ取得ステップ
Ｏ 被写体
Ｐ 入力画像
Ｑ トリミング領域
Ｒ 見込み画像
Ｓ はみ出し領域
３ 記憶回路
５ 被写体認識回路
６ 加工指示データ取得回路
７ 加工指示データ判定回路
８ 画像加工回路
Ｓ２ 被写体認識ステップ
Ｓ４ 加工指示データ判定ステップ
Ｓ５ 画像加工ステップ
Ｓ４１ 加工指示データ取得ステップ
Ｏ 被写体
Ｐ 入力画像
Ｑ トリミング領域
Ｒ 見込み画像
Ｓ はみ出し領域
Claims (17)
- 入力画像内に存在する被写体種を認識する被写体認識回路と、
前記入力画像に対して処理する加工内容を表す複数の加工指示データを記憶する記憶回路と、
前記被写体認識回路により認識された前記被写体種に応じて予め定義された前記加工指示データを前記記憶回路から取得する加工指示データ取得回路と、
該加工指示データ取得回路により取得された前記加工指示データの各々について、前記入力画像に適していない度合いを示す無効度を算出し、該無効度が所定の閾値以下である所定数の前記加工指示データを選択する加工指示データ判定回路と、
該加工指示データ判定回路において選択された所定数の前記加工指示データを用いて前記入力画像の加工を行う画像加工回路とを備える画像処理装置。 - 前記加工指示データ判定回路が、各前記加工指示データに対応して該加工指示データの判定に適した無効度の種別を記憶し、判定しようとする各前記加工指示データに応じて選択された種別の無効度を算出する請求項１に記載の画像処理装置。
- 前記加工指示データ判定回路において選択された複数の前記加工指示データおよび前記画像加工回路において加工された画像の少なくとも１つを表示する表示回路を備える請求項１または請求項２に記載の画像処理装置。
- 前記無効度は、前記加工指示データに基づいて前記入力画像に施される加工前後の画像における変化量が大きいほど低くなる関数として定義されている請求項２または請求項３に記載の画像処理装置。
- 前記加工指示データ判定回路により判定される前記加工指示データの加工内容がトリミングを含み、
前記無効度が、前記加工指示データに基づいて設定されたトリミング領域と前記入力画像との重複率である請求項４に記載の画像処理装置。 - 前記加工指示データ判定回路により判定される前記加工指示データの加工内容が色情報の加工または階調情報の加工の少なくとも１つを含み、
前記無効度が、前記加工指示データに基づいて前記入力画像に施される加工前後の画像における画素値の変動量の逆数である請求項４に記載の画像処理装置。 - 前記加工指示データ判定回路により判定される前記加工指示データの加工内容がぼかし加工を含み、
前記無効度が、前記加工指示データに基づいて前記入力画像に施される加工前後の画像におけるボケ度の変動量の逆数である請求項４に記載の画像処理装置。 - 前記加工指示データ判定回路により判定される前記加工指示データの加工内容が台形補正加工を含み、
前記無効度が、前記加工指示データに基づいて前記入力画像に施される加工前後の画像における直線状のエッジ部の鉛直線に対する角度の変動量の逆数である請求項４に記載の画像処理装置。 - 前記加工指示データ判定回路により判定される前記加工指示データの加工内容が光学歪曲収差効果付与の加工を含み、
前記無効度が、前記入力画像における光学歪曲収差の量である請求項４に記載の画像処理装置。 - 前記無効度が、前記加工指示データに基づく前記入力画像の加工により得られるであろうと見込まれる見込み画像と、前記加工指示データに基づいて前記入力画像に加工が施された画像との差である請求項２に記載の画像処理装置。
- 前記加工指示データ判定回路により判定される前記加工指示データの加工内容がトリミングを含み、
前記無効度が、前記加工指示データに基づいて設定されたトリミング領域の前記入力画像からのはみ出し領域の大きさである請求項１０に記載の画像処理装置。 - 前記加工指示データ判定回路により判定される前記加工指示データの加工内容が回転加工を含み、
前記無効度が、前記入力画像における前記被写体の基準軸の画像中における傾き角度である請求項１０に記載の画像処理装置。 - 前記加工指示データ判定回路により判定される前記加工指示データの加工内容が色情報の加工または階調情報の加工の少なくとも１つを含み、
前記無効度が、前記入力画像における前記被写体の画素値に基づいて設定される請求項４に記載の画像処理装置。 - 前記加工指示データ判定回路は、前記無効度が所定の閾値より高いと判定して選択から除外した加工指示データについて除外回数をカウントして前記記憶回路に記憶し、記憶されている前記除外回数が高い加工指示データを優先して判定対象とする請求項１から請求項１３のいずれかに記載の画像処理装置。
- 入力画像内に存在する被写体種を認識する被写体認識ステップと、
前記入力画像に対して処理する加工内容を表す複数の加工指示データの中から、前記被写体認識ステップにより認識された被写体種に応じて予め定義された前記加工指示データを取得する加工指示データ取得ステップと、
該加工指示データ取得ステップにより取得された前記加工指示データの各々について、前記入力画像に適していない度合いを示す無効度を算出し、該無効度が所定の閾値以下である所定数の前記加工指示データを選択する加工指示データ判定ステップと、
該加工指示データ判定ステップにおいて選択された所定数の前記加工指示データを用いて前記入力画像の加工を行う画像加工ステップとを含む画像処理方法。 - 入力画像内に存在する被写体種を認識する被写体認識ステップと、
前記入力画像に対して処理する加工内容を表す複数の加工指示データの中から、前記被写体認識ステップにより認識された被写体種に応じて予め定義された前記加工指示データを取得する加工指示データ取得ステップと、
該加工指示データ取得ステップにより取得された前記加工指示データの各々について、前記入力画像に適していない度合いを示す無効度を算出し、該無効度が所定の閾値以下である所定数の前記加工指示データを選択する加工指示データ判定ステップと、
該加工指示データ判定ステップにおいて選択された所定数の前記加工指示データを用いて前記入力画像の加工を行う画像加工ステップとをコンピュータに実行させる画像処理プログラム。 - 入力画像内に存在する被写体種を認識する被写体認識ステップと、
前記入力画像に対して処理する加工内容を表す複数の加工指示データの中から、前記被写体認識ステップにより認識された被写体種に応じて予め定義された前記加工指示データを取得する加工指示データ取得ステップと、
該加工指示データ取得ステップにより取得された前記加工指示データの各々について、前記入力画像に適していない度合いを示す無効度を算出し、該無効度が所定の閾値以下である所定数の前記加工指示データを選択する加工指示データ判定ステップと、
該加工指示データ判定ステップにおいて選択された所定数の前記加工指示データを用いて前記入力画像の加工を行う画像加工ステップとをコンピュータに実行させるプログラムを記憶したコンピュータが読み取ることのできる記憶媒体。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201580073530.1A CN107113377A (zh) | 2015-02-10 | 2015-02-10 | 图像处理装置、图像处理方法、图像处理程序以及存储介质 |
| PCT/JP2015/053584 WO2016129049A1 (ja) | 2015-02-10 | 2015-02-10 | 画像処理装置、画像処理方法、画像処理プログラムおよび記憶媒体 |
| JP2015561789A JP5927363B1 (ja) | 2015-02-10 | 2015-02-10 | 画像処理装置、画像処理方法および画像処理プログラム |
| US14/954,559 US9813640B2 (en) | 2015-02-10 | 2015-11-30 | Image processing apparatus, image processing method, image processing program, and non-transitory recording for calculating a degree-of-invalidity for a selected subject type |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2015/053584 WO2016129049A1 (ja) | 2015-02-10 | 2015-02-10 | 画像処理装置、画像処理方法、画像処理プログラムおよび記憶媒体 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| US14/954,559 Continuation US9813640B2 (en) | 2015-02-10 | 2015-11-30 | Image processing apparatus, image processing method, image processing program, and non-transitory recording for calculating a degree-of-invalidity for a selected subject type |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2016129049A1 true WO2016129049A1 (ja) | 2016-08-18 |
Family
ID=56089750
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2015/053584 WO2016129049A1 (ja) | 2015-02-10 | 2015-02-10 | 画像処理装置、画像処理方法、画像処理プログラムおよび記憶媒体 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9813640B2 (ja) |
| JP (1) | JP5927363B1 (ja) |
| CN (1) | CN107113377A (ja) |
| WO (1) | WO2016129049A1 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6518409B2 (ja) * | 2014-06-30 | 2019-05-22 | オリンパス株式会社 | 撮影装置及び撮影方法 |
| JP6820738B2 (ja) * | 2016-12-27 | 2021-01-27 | 三菱電機株式会社 | 半導体装置、電力変換装置および半導体装置の製造方法 |
| JP2018159838A (ja) * | 2017-03-23 | 2018-10-11 | キヤノン株式会社 | 画像投影装置とその制御方法、プログラム及び記憶媒体 |
| CN112334915A (zh) * | 2018-06-25 | 2021-02-05 | 奥林巴斯株式会社 | 运算处理装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013011944A (ja) * | 2011-06-28 | 2013-01-17 | Nikon Corp | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4291963B2 (ja) * | 2000-04-13 | 2009-07-08 | 富士フイルム株式会社 | 画像処理方法 |
| JP2010072934A (ja) * | 2008-09-18 | 2010-04-02 | Canon Inc | アルバム作成装置及びアルバム作成方法 |
| JP5246592B2 (ja) * | 2008-12-17 | 2013-07-24 | 日本電気株式会社 | 情報処理端末、情報処理方法、及び情報処理プログラム |
| JP2011205296A (ja) * | 2010-03-25 | 2011-10-13 | Nikon Corp | 画像装飾装置および画像装飾プログラム |
| CN103035014A (zh) * | 2011-09-29 | 2013-04-10 | 索尼公司 | 图像处理设备和方法,以及成像设备和方法 |
| CN103403765B (zh) * | 2012-03-05 | 2016-09-28 | 松下电器（美国）知识产权公司 | 内容加工装置及其集成电路、方法 |
| KR101930460B1 (ko) * | 2012-11-19 | 2018-12-17 | 삼성전자주식회사 | 촬영 장치 및 제어 방법 |
| JP6127676B2 (ja) * | 2013-04-12 | 2017-05-17 | オムロン株式会社 | 画像認識装置、画像認識プログラム、記録媒体、および画像認識方法 |
| JP6191278B2 (ja) * | 2013-06-26 | 2017-09-06 | カシオ計算機株式会社 | 情報処理装置、コンテンツ課金システム及びプログラム |
| US9918021B2 (en) * | 2013-08-30 | 2018-03-13 | Nikon Corporation | Image processing device that changes extent of image altering by first and second image processing |
-
2015
- 2015-02-10 CN CN201580073530.1A patent/CN107113377A/zh active Pending
- 2015-02-10 JP JP2015561789A patent/JP5927363B1/ja not_active Expired - Fee Related
- 2015-02-10 WO PCT/JP2015/053584 patent/WO2016129049A1/ja active Application Filing
- 2015-11-30 US US14/954,559 patent/US9813640B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013011944A (ja) * | 2011-06-28 | 2013-01-17 | Nikon Corp | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| US9813640B2 (en) | 2017-11-07 |
| CN107113377A (zh) | 2017-08-29 |
| JP5927363B1 (ja) | 2016-06-01 |
| US20160232417A1 (en) | 2016-08-11 |
| JPWO2016129049A1 (ja) | 2017-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9432575B2 (en) | Image processing apparatus | |
| US9313419B2 (en) | Image processing apparatus and image pickup apparatus where image processing is applied using an acquired depth map | |
| US9491366B2 (en) | Electronic device and image composition method thereof | |
| US9501834B2 (en) | Image capture for later refocusing or focus-manipulation | |
| US7720302B2 (en) | Method, apparatus and program for image processing | |
| US9992478B2 (en) | Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for synthesizing images | |
| JP5927363B1 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| US8705886B2 (en) | System, medium, and method compensating brightness of an image | |
| JP2010141849A (ja) | 主顔選択装置、その制御方法、撮像装置及びプログラム | |
| EP3096511A1 (en) | Imaging system, warning generating device and method, imaging device and method, and program | |
| WO2018133322A1 (zh) | 一种相位对焦方法及其装置 | |
| JP2014127963A (ja) | 画像処理装置及び画像処理方法 | |
| JP2005122721A (ja) | 画像処理方法および装置並びにプログラム | |
| JP2013041117A (ja) | 撮像装置および距離情報取得方法 | |
| CN104036471A (zh) | 一种图像噪声估值方法及图像噪声估值装置 | |
| JP2008035125A (ja) | 撮像装置、画像処理方法およびプログラム | |
| JP2014099087A (ja) | 特徴点検出装置およびプログラム | |
| CN113225473B (zh) | 自动聚焦的方法、装置、设备和介质 | |
| CN110933304B (zh) | 待虚化区域的确定方法、装置、存储介质与终端设备 | |
| US10757318B2 (en) | Determination of a contrast value for a digital image | |
| US20130044212A1 (en) | Imaging device and distance information detecting method | |
| US9467614B2 (en) | Camera module and method for driving the same to achieve fast focus of image being captured | |
| WO2021065065A1 (ja) | 撮像装置 | |
| JP6381212B2 (ja) | 撮像装置及びその制御方法 | |
| JP2024003949A (ja) | 電子機器、電子機器の制御方法、プログラム、記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| ENP | Entry into the national phase |
Ref document number: 2015561789 Country of ref document: JP Kind code of ref document: A |
|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15881924 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 15881924 Country of ref document: EP Kind code of ref document: A1 |