WO2024024727A1 - 画像処理装置、画像表示装置、画像処理方法、画像表示方法及びプログラム - Google Patents
画像処理装置、画像表示装置、画像処理方法、画像表示方法及びプログラム Download PDFInfo
- Publication number
- WO2024024727A1 WO2024024727A1 PCT/JP2023/027013 JP2023027013W WO2024024727A1 WO 2024024727 A1 WO2024024727 A1 WO 2024024727A1 JP 2023027013 W JP2023027013 W JP 2023027013W WO 2024024727 A1 WO2024024727 A1 WO 2024024727A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- style
- user
- vector
- style vector
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 126
- 238000000034 method Methods 0.000 title claims description 25
- 238000003672 processing method Methods 0.000 title claims description 7
- 239000013598 vector Substances 0.000 claims abstract description 273
- 230000015654 memory Effects 0.000 claims abstract description 22
- 238000006243 chemical reaction Methods 0.000 claims description 196
- 230000004044 response Effects 0.000 claims description 9
- 230000001172 regenerating effect Effects 0.000 claims 1
- 230000008859 change Effects 0.000 abstract description 13
- 238000010586 diagram Methods 0.000 description 31
- 238000000605 extraction Methods 0.000 description 21
- 230000014509 gene expression Effects 0.000 description 18
- 230000008569 process Effects 0.000 description 15
- 230000009466 transformation Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000010365 information processing Effects 0.000 description 5
- 238000010606 normalization Methods 0.000 description 4
- 238000000844 transformation Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010422 painting Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000010428 oil painting Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
Definitions
- the present disclosure relates to an image processing device, an image display device, an image processing method, an image display method, and a program.
- Patent Document 1 discloses an image style conversion device that converts an input image into an image having a style (for example, painting style) of a reference image based on the style.
- An object of the present disclosure is to provide a service or device that can reuse information used when converting the style of an image.
- An image processing device includes at least one memory and at least one processor, the at least one processor converting the style of the first image based on a style vector and a conversion model. generating a second image, the style vector being a style vector selected from the one or more style vectors in response to user instructions, and the selected style vector being a second image based on the transformation model. This is a style vector used to generate a fourth image obtained by converting the style of image No. 3.
- FIG. 1 is a diagram for explaining an example of style conversion processing.
- FIG. 2A is a diagram illustrating an example of image style conversion.
- FIG. 2B is a diagram illustrating an example of image style conversion.
- FIG. 3 is a diagram illustrating an example of the functional configuration of an image processing device.
- FIG. 4 is a diagram showing an example of a home screen.
- FIG. 5 is a diagram showing an example of a pickup screen.
- FIG. 6 is a diagram showing an example of an image search screen.
- FIG. 7 is a diagram showing an example of an image details screen.
- FIG. 8 is a diagram showing an example of a preset management screen.
- FIG. 9 is a diagram showing an example of an image editing screen.
- FIG. 10 is a diagram showing an example of a style conversion screen.
- FIG. 10 is a diagram showing an example of a style conversion screen.
- FIG. 10 is a diagram showing an example of a style conversion screen.
- FIG. 12A is a diagram illustrating an example of the operation of the parameter adjustment area.
- FIG. 12B is a diagram illustrating an example of the operation of the parameter adjustment area.
- FIG. 13 is a diagram illustrating an example of a processing procedure of an image processing method.
- FIG. 14 is a diagram illustrating an example of the hardware configuration of the image processing device.
- One embodiment of the present disclosure is an image processing apparatus that provides an image processing service that converts the style of an image.
- the image in this embodiment may be a real image or a computer graphics (CG) image.
- styles in this embodiment include painting style, illustration style, animation style, etc., but a combination of these may be used, and the combination can be adjusted steplessly.
- the image processing service of this embodiment it is possible to convert into a style that combines a typical oil painting style and a typical watercolor style.
- the degree of influence of each style for example, about 80% is watercolor style, but about 20% is oil painting style, etc.
- style vectors parameters that characterize the style of the image.
- the style characteristics include, by way of example, at least one of hue, contrast, texture, or coloring.
- the style vector is, for example, a 32-dimensional real vector. However, in converting the style, it is not necessary to use all the components of the style vector, and only the components that significantly characterize the style may be used. Each component of the style vector may not be associated with a feature that is easy for humans to understand, and in that case, style conversion is repeated while adjusting each component of the style vector through trial and error. Note that the image processing service in this embodiment uses, for example, only 20 dimensions out of 32 dimensions.
- the image after the style conversion and the style vector used for the style conversion are stored in association with each other.
- the image after style conversion and the style vector may be associated with each other as a set, or the image after style conversion and the style vector may be stored as one set, or the information from one information can be obtained from the other. may be stored, or one piece of information and the identification information of the other piece of information may be stored as one set.
- the style of an image can be converted using the style vector used for converting the style of another image.
- the image processing service in this embodiment has a function of presenting to the user a style vector used for style conversion of a certain image.
- the user may refer to the presented style vector and set the value of the style vector that he or she uses, or may copy the entire presented style vector as the style vector that he or she uses.
- the style of a desired image can be converted using the style vector used to convert the style of another image.
- FIG. 1 is a diagram for explaining an example of style conversion processing in this embodiment.
- the style vector in this embodiment is generated by a trained extraction model.
- the extraction model 20 in this embodiment includes a feature extractor 21 and a dimension compressor 22.
- the feature extractor 21 is trained to classify images using a plurality of training images 10.
- the feature extractor 21 extracts image feature amounts 23 from the learning image 10.
- the structure of the feature extractor 21 may be a neural network (for example, a convolutional neural network (CNN)).
- the image feature amount 23 is, for example, a 512-dimensional feature vector.
- the dimensional compressor 22 is trained to perform dimensional compression on the image feature amount 23.
- the dimensional compressor 22 performs dimensional compression on the image feature amount 23 to generate a style vector 30.
- the structure of the dimension compressor 22 may be a neural network (for example, a variational auto-encoder (VAE) encoder).
- VAE variational auto-encoder
- the style vector 30 is, for example, a 32-dimensional feature vector. Note that the style vector may be extracted by any method as long as it reflects information characterizing the style of the image.
- Style conversion in this embodiment is performed using a trained conversion model.
- the conversion model 50 in this embodiment includes, as an example, an encoder 51, a modulation layer 52, and a decoder 53.
- the encoder 51 generates a first intermediate representation based on the input image 40.
- Encoder 51 may be a neural network.
- Modulation layer 52 generates a second intermediate representation based on the first intermediate representation and style vector 30.
- Modulation layer 52 may be a neural network.
- the decoder 53 generates a converted image 60 in which the style of the input image 40 is converted based on the second intermediate representation. Decoder 53 may be a neural network.
- the modulation layer 52 generates the second intermediate representation by, for example, adaptive instance normalization (AdaIn).
- Adaptive instance normalization is a process of performing instance normalization and affine transformation.
- the modulation layer 52 determines transformation parameters of the affine transformation based on the style vector 30.
- the transformation model 50 is trained as a generator in a conditional generative adversarial network (cGAN). Specifically, an image whose style has been converted using the style vector 30 and a true image with a style corresponding to the style vector 30 are input to a classifier that identifies the image, and based on the classification result by the classifier, the classifier The transformation model 50 is trained to generate images that are misidentified.
- the conversion model is not limited to the configuration shown in FIG.
- the image processing device in this embodiment can use any conversion model that can generate an image obtained by converting the conversion source image into the style represented by the style vector, based on the conversion source image and the style vector.
- FIGS. 2A and 2B are diagrams illustrating an example of image style conversion.
- FIG. 2A is a real image as a conversion source
- FIG. 2B is an image obtained by converting the style of the real image shown in FIG. 2A.
- FIG. 2 according to the style conversion in this embodiment, it is possible to generate an image in which the style of the photographed image has been converted.
- FIG. 3 is a block diagram showing an example of the functional configuration of the image processing device according to this embodiment.
- the image processing apparatus 100 includes an image conversion section 101, an image extraction section 102, a style adjustment section 103, a point management section 104, a model storage section 110, and an image information storage section 111. , a style storage section 112 and a user information storage section 113.
- the model storage unit 110 stores a trained conversion model.
- the conversion model is a machine learning model that performs predetermined image conversion processing.
- the conversion model in this embodiment is a style conversion model that receives an image and a style vector as input, and outputs an image obtained by converting the image into a style represented by the style vector.
- the transformation model may be a neural network.
- a plurality of conversion models may be stored in the model storage unit 110.
- a plurality of conversion models may be prepared depending on the styles that can be achieved by conversion.
- the first conversion model realizes an animation or illustration-like style
- the second conversion model realizes a Western painting-like style
- the third conversion model realizes a style that can be realized with other conversion models. It may be one that realizes all styles.
- a plurality of conversion models may be prepared depending on the number of dimensions or format of the style vector.
- the first conversion model may use a style vector that includes a component that indicates hue
- the second conversion model may use a style vector that includes a binary component that specifies monochrome.
- the style vectors that can be used with a certain conversion model may be limited. In this case, a style vector corresponding to a certain conversion model may not be usable by another conversion model.
- the model storage unit 110 may store identification information of each conversion model.
- the image information storage unit 111 stores image information regarding images generated by the image processing device 100.
- Image information includes the image before style conversion, the image after style conversion, metadata added to the image, identification information that identifies the style vector used to generate the image, and the user who generated the image. Contains identification information that identifies the person.
- the metadata added to the image is, for example, a title, a description, a tag, etc.
- the metadata can be arbitrarily set by the user who generated the image.
- the metadata may be automatically set by the image processing apparatus 100 based on the image.
- the identification information of the style vector is, for example, the name set to the style vector, the identifier (ID) assigned when the style vector was generated, etc.
- the user identification information is, for example, a user name set by the user, an ID assigned when the user starts using the image processing service, and the like.
- the style storage unit 112 stores style information regarding style vectors.
- the style information includes a style vector, a thumbnail (reduced image) representing the style vector, identification information for identifying a conversion model that can use the style vector, identification information for identifying the user who generated the style vector, and the like.
- the style storage unit 112 may store information that associates a style vector with a conversion model that can use the style vector. As an example, identification information of available conversion models, link information to available conversion models, etc. may be stored as the style information. Further, a style vector and a conversion model that can use the style vector may be stored in the style storage unit 112 as one set.
- the style vector thumbnail is a reduced image obtained by converting the style of the sample image using the style vector.
- the identification information of the conversion model is, for example, the name set to the identification model, the version number of the identification model, the ID assigned when the identification model was generated, and the like.
- the style vectors stored in the style storage unit 112 are also referred to as "presets.”
- the presets include style vectors that are stored in advance by an administrator of the image processing service or the like, and style vectors that are generated by the user adjusting existing style vectors. Presets stored in advance are also referred to as “system presets,” and presets generated by the user are also referred to as “user presets.”
- the user information storage unit 113 stores user information regarding users of the image processing service.
- the user information includes identification information for identifying the user, contract information representing the fee structure to which the user has subscribed, favorite information saved by the user, and the like.
- the fee format in this embodiment includes a free plan and a paid plan.
- the paid plan may include multiple plans with different usage fees.
- the paid plans in this embodiment include a standard plan with a low usage fee and a premium plan with a high usage fee.
- the favorite information in this embodiment includes information regarding style vectors saved by the user, other users followed by the user, images generated by other users saved by the user, and the like.
- Available functions may be limited based on the fee structure that the user has subscribed to.
- adjustment of style vectors and storage of style vectors in favorite information are restricted to users who have subscribed to a paid plan.
- the functional restrictions based on the charge form are not limited to these, and can be applied to any function.
- the image conversion unit 101 converts the style of the input image using the conversion model stored in the model storage unit 110. Specifically, the image conversion unit 101 first obtains a style vector according to a user's instruction.
- the style vector acquired by the image conversion unit 101 may be a style vector (that is, a preset) stored in the style storage unit 112 or may be a style vector output from the style adjustment unit 103.
- the image conversion unit 101 reads the conversion model specified by the user from the model storage unit 110. Next, the image conversion unit 101 inputs the input image and the style vector into the conversion model to generate an image in which the style of the input image is converted (hereinafter also referred to as a "converted image").
- the image conversion unit 101 After generating the converted image, the image conversion unit 101 stores image information regarding the converted image in the image information storage unit 111.
- the style vector is the style vector output from the style adjustment unit 103
- the image conversion unit 101 stores style information regarding the style vector in the style storage unit 112.
- the image extraction unit 102 extracts image information stored in the image information storage unit 111.
- the image extraction unit 102 extracts image information based on, for example, the user who generated the image, the model used when generating the image, the style vector associated with the image, and the like.
- the image extraction unit 102 may extract image information based on search conditions specified by the user.
- image information about images generated by other users that the user is following is extracted.
- image extraction based on a model for example, image information regarding an image generated using a conversion model selected by a user is extracted.
- image extraction based on a style vector for example, image information regarding an image generated using a style vector that is the same as or similar to the style vector selected by the user is extracted.
- the style adjustment unit 103 adjusts each component (hereinafter also referred to as "parameter") of the style vector according to a user's instruction.
- the style adjustment unit 103 creates a thumbnail (reduced image) to be displayed on a screen for the user to operate.
- a reduced image is generated by converting a part of the image targeted for style conversion based on the current style vector.
- Two reduced images are generated for each parameter of the style vector.
- the first reduced image is generated based on a style vector in which the parameter is set to the first value (as an example, the minimum value) while other parameters are fixed.
- the second reduced image is generated based on a style vector in which the parameter is set to a second value (for example, the maximum value) while other parameters are fixed. Note that the change range of the parameter is just an example, and it is sufficient that the second value is larger than the first value.
- the style adjustment unit 103 generates a maximum of 40 reduced images (20 dimensions x 2 images) in one screen display. However, if there are already generated reduced images, the style adjustment unit 103 may reduce the number of generated reduced images by reusing the reduced images.
- Point management section 104 manages points held by users. Points in this embodiment are consumed each time image style conversion and style vector adjustment are performed. Points may be awarded to the user over time. Additionally, points may be purchasable through a predetermined payment method.
- the points given to the user may differ depending on the user's fee structure. For example, users of a free plan may be given a number of points that allow them to perform 2-3 style transformations and 10-20 style adjustments per day. Standard plan users may be awarded a number of points that allow them to perform 10-30 style transformations and 100-200 style adjustments per day. Premium plan users may be awarded a number of points that allow them to perform 100 or more style transformations in a day. Note that a premium plan user may be configured to be able to make unlimited style adjustments.
- FIGS. 3 to 13 A user interface of an image processing apparatus according to an embodiment of the present disclosure will be described with reference to FIGS. 3 to 13.
- the user interface may be realized, for example, as an operation screen displayed on a display device by a program installed in the image processing device 100.
- FIG. 4 is a diagram showing an example of the home screen in this embodiment.
- the home screen is the first screen displayed after the user logs into the image processing service.
- the home screen is the starting point for the user to start each function of the image processing service.
- the home screen 1000 has an image input field 1010 and an image display area 1020.
- the image input field 1010 accepts input of an image to be processed.
- the user drags and drops an image file into the image input field 1010, the input of the image represented in the image file is accepted.
- the input to the image input field 1010 may be any operation as long as the image can be specified. For example, when the image input field 1010 is clicked, a file selection screen is displayed, and an image input may be accepted by selecting an image file on the file selection screen. Further, for example, input of an image may be accepted by inputting an absolute path or URL (Uniform Resource Locator) to an image file in text in the image input field 1010.
- an absolute path or URL Uniform Resource Locator
- images whose style has been changed in the past by the user, images published by users the user is following, etc. are randomly displayed.
- the image displayed in the image display area 1020 may display the title and user name of the image.
- the image title and user name may be displayed in a pop-up by hovering over the image.
- an image details screen regarding that image is displayed.
- FIG. 5 is a diagram showing an example of a pickup screen in this embodiment.
- the pickup screen is a screen for viewing images published by the image processing service.
- the pickup screen can be opened from the main menu that is commonly displayed on each screen.
- the pickup screen 1100 has a classification selection field 1110 and an image display area 1120.
- the classification selection field 1110 displays tabs indicating the classification of the image to be viewed.
- tabs corresponding to picked images (pickup), long-term popular images (trend), short-term popular images (upcoming), and latest posted images (recent) are displayed.
- the picked-up image is an image selected by an administrator of the image processing service or the like.
- a long-term popular image is an image that continues to be popular for a long period of time.
- a short-term popular image is an image whose popularity has increased in a short period of time.
- the latest posted image is an image whose publication date and time are within a predetermined period.
- images corresponding to the category corresponding to the tab are displayed in the image display area 1120. Similar to the home screen 1000, the title and user name of the image may be displayed on the image displayed in the image display area 1120.
- an image details screen regarding that image is displayed.
- FIG. 6 is a diagram showing an example of an image search screen in this embodiment.
- the image search screen is a screen for searching for images published by image processing services.
- the image search screen can be opened from the main menu that is commonly displayed on each screen.
- the image search screen 1200 has a search condition input field 1210 and a search result display area 1220.
- search targets include titles, explanatory texts, tags, etc. given to images. Similar to the home screen 1000, the title and user name of the image may be displayed on the image displayed in the search result display area 1220.
- FIG. 7 is a diagram showing an example of an image detail screen in this embodiment.
- the image details screen is a screen for referring to detailed information of an image.
- the image details screen is activated when the user selects any image displayed on the home screen 1000, pickup screen 1100, image search screen 1200, or the like.
- the image details screen 1300 has an image display area 1310, an image information display area 1320, a style information display area 1330, and a related image display area 1340.
- the style information display area 1330 has an add button 1331.
- the image selected by the user is displayed in the image display area 1310.
- the image display area 1310 may be divided into two areas, and the image before style conversion and the image after style conversion may be displayed in a manner that allows comparison.
- the image display area 1310 in this embodiment is divided into two areas, left and right, based on the position of the pointer, with the left area displaying the image before style conversion, and the right area displaying the image after style conversion.
- the boundary line of the area moves accordingly, and the display ratio of the image before style conversion and the image after style conversion changes.
- the image display area 1310 may be divided into a pre-conversion area and a post-conversion area using any method based on the position of the pointer, such as dividing into two areas, upper and lower.
- the information displayed in the image information display area 1320 includes, for example, the user who generated the image, attribute information of the image (Exif (Exchangeable image file format) information, etc.), metadata added to the image (title, description, etc.). sentences and tags), etc.
- the title, description, and tag are displayed in an editable manner.
- the style information display area 1330 displays information regarding the style vector used to convert the style of the image.
- the information displayed in the style information display area 1330 includes, for example, the name of the style vector, a reduced image of the style vector, the name of the conversion model corresponding to the style vector, and an image that visualizes each parameter of the style vector. including.
- the style vector displayed in the style information display area 1330 is saved in the user's favorite information.
- the related image display area 1340 images related to the image are randomly displayed.
- the image displayed in the related image display area 1340 is an image that has a similar user, tag, or style to the image. Similar to the home screen 1000, the title and user name of the image may be displayed on the image displayed in the related image display area 1340. The image title and user name may be displayed in a pop-up by hovering over the image.
- the information displayed on the image details screen 1300 is updated to information regarding that image.
- FIG. 8 is a diagram showing an example of a preset management screen in this embodiment.
- the preset management screen is a screen for the user to manage presets saved in favorite information.
- the preset management screen can be opened from the main menu that is commonly displayed on each screen.
- the preset management screen 1400 has one or more preset display areas 1410 (1410-1 to 1410-2).
- the preset display area 1410 has a reduced image display field 1411, a name display field 1412, a parameter display field 1413, a user display field 1414, and a model display field 1415.
- the same number of preset display areas 1410 as the number of presets saved by the user in favorite information are displayed.
- the preset display area 1410 displays only as many presets as can be displayed on the display device, and as the user scrolls down the preset management screen 1400, the preset display area 1410 You may also perform control to add .
- the preset display areas 1410 displayed on the preset management screen 1400 may be displayed in any order.
- the order of the preset display areas 1410 may be determined based on the date and time when the favorite information was saved, the order in which presets are sorted based on their names, the number of times they are used for style conversion, and the like.
- the reduced image display field 1411 displays the reduced image of the preset.
- the reduced image display field 1411 like the image display area 1310 of the image details screen 1300, is divided into two areas, one area showing the reduced image before style conversion, and the other area showing the reduced image after style conversion.
- a reduced image is displayed.
- the reduced image display field 1411 in this embodiment is, for example, divided into left and right by a diagonal line passing through the center, with the left area being the reduced image before style conversion, and the right area being the reduced image after style conversion. is displayed. Note that the area before conversion and the area after conversion may be divided in any direction, such as vertically.
- the name display field 1412 displays the name of the preset.
- the parameter display column 1413 displays an image that visualizes each parameter of the preset. In the image displayed in the parameter display field 1413, each parameter may be normalized within a predetermined range. The predetermined range may be, for example, ⁇ 2 to +2, or ⁇ 100 to +100.
- the user display field 1414 displays the name of the user who created the preset.
- the model display column 1415 displays the name of the conversion model corresponding to the preset.
- FIG. 9 is a diagram showing an example of an image editing screen in this embodiment.
- the image editing screen is a screen for editing images.
- the image editing screen is displayed after receiving an image input on the home screen 1000.
- the image editing screen may be displayed when an image is selected from a screen displaying a list of images input by the user.
- the image editing screen 1500 has an image display area 1510, an edit history display area 1520, a publish button 1530, and a style conversion button 1540.
- the image to be edited is displayed in the image display area 1510.
- the editing history display area 1520 the editing history of editing the image is displayed in chronological order.
- the information displayed on the image editing screen 1500 is updated to information regarding the image at the time of the editing history. Note that when editing is performed on an image selected from the editing history display area 1520, the editing history after the selected image is deleted.
- the publish button 1530 When the user presses the publish button 1530, the image is published.
- the published images can be referenced by other users who use the image processing service.
- the style conversion button 1540 When the user presses the style conversion button 1540, a style conversion screen regarding the image is displayed.
- FIG. 10 is a diagram showing an example of a style conversion screen in this embodiment.
- the style conversion screen is a screen for converting the style of an image.
- FIG. 10 is an example of a style conversion screen when converting a style using a preset.
- the style conversion screen 1600 when using presets has an image display area 1610, a preset display area 1620, a model selection field 1630, a preview display area 1640, and an apply button 1650.
- the image to be converted is displayed in the image display area 1610.
- the image display area 1610 includes a preview reference area 1611.
- the preview reference area 1611 is an area for obtaining a reduced image to be displayed in the preview display area 1640.
- preview reference area 1611 is located at the center of image display area 1610. However, it is possible to move the preview reference area 1611 to any position in the image display area 1610 by user operation.
- a list of available presets is displayed in the preset display area 1620.
- the available presets are user presets and system presets that the user has saved in his/her favorites information. If there are multiple conversion models available, only the preset corresponding to the conversion model selected in the model selection field 1630 is displayed in the preset display area 1620. Note that the preset corresponding to the conversion model may be extracted based on the association information between the conversion model and the style vector stored in the style storage unit 112.
- the model selection column 1630 displays a list of available conversion models in a selectable manner.
- the model selection field 1630 can display a list of conversion models in a drop-down list, for example, and allow the user to select a conversion model by operation. When there is only one conversion model available, the model selection field 1630 may be fixed or hidden.
- the preset displayed in the preset display area 1620 is updated to the preset corresponding to the selected conversion model.
- the image to be converted is converted to a lower resolution and the style is converted using the preset, and the image is displayed in the image display area 1610.
- the preview display area 1640 displays a reduced image before style conversion using the preset and a reduced image after style conversion using the preset.
- the reduced image displayed in the preview display area 1640 is an image included in the area indicated by the preview reference area 1611.
- the conversion model in this embodiment may input an image of the same size as the image to be converted, and output a style-converted image of the same size as the input image. For example, if the image to be converted is a 1024 x 1024 pixel image, the 1024 x 1024 pixel image is input to the conversion model, and a 1024 x 1024 pixel image after style conversion is output. Therefore, by converting the image to be converted to a lower resolution, it is possible to reduce the amount of calculations required during style conversion.
- a process of converting the image to be converted to a lower resolution may be executed.
- the image converted to a low resolution is stored in the image information storage unit 111 or the like together with the image to be converted.
- the entire image to be converted displayed in the image display area 1610 is style-converted using the preset selected in the preset display area 1620.
- image information regarding the converted image is stored in the image information storage unit 111.
- FIG. 11 is a diagram showing an example of the style conversion screen in this embodiment.
- FIG. 11 shows a style conversion screen when converting a style by adjusting preset parameters.
- the style conversion screen 1700 for style adjustment has a plurality of parameter adjustment areas 1710 (1710- 1 to 1710-6).
- parameter adjustment areas 1710 As the parameters used for style conversion among the parameters of the style vector are displayed. That is, up to 32 parameter adjustment areas 1710 may be displayed, as an example. In this embodiment, 20 dimensions of the style vector are used for style conversion, so 20 parameter adjustment areas 1710 are displayed.
- each parameter of the preset selected in the preset display area 1620 of the style conversion screen 1600 is displayed in an adjustable format.
- two reduced images corresponding to each preset parameter are displayed.
- the first reduced image is a reduced image that has been style-converted using a style vector in which the value of the parameter is changed to a first value (as an example, the minimum value) while other parameters are fixed.
- the second reduced image is a reduced image that has been style-converted using a style vector in which the value of the parameter is changed to a second value (for example, the maximum value) while other parameters are fixed.
- FIGS. 12A and 12B are diagrams showing an example of the operation of the parameter adjustment area.
- FIG. 12A is a diagram showing the parameter adjustment area 1710 before parameter adjustment
- FIG. 12B is a diagram showing the parameter adjustment area 1710 after parameter adjustment.
- the current value of the style vector is displayed in a changeable manner.
- the value of the style vector displayed in the parameter change column 1711-n may be normalized within a predetermined numerical range. As an example, it may be normalized in the range of -2 to +2.
- the parameter change field 1711-n in this embodiment is arranged in the horizontal direction, and is stepless from the left end indicating the minimum value (-2 in this embodiment) to the right end indicating the maximum value (+2 in this embodiment). Consists of an adjustable slider bar.
- the parameter change field 1711-n includes a slider bar that can be adjusted in a predetermined number of steps, a text box that allows you to directly input a value, a text box that allows you to change the value using plus and minus buttons, a select box, or radio buttons. It may be configured with a list box from which a numerical value can be selected, a dial whose numerical value increases or decreases depending on the direction of rotation, or the like. In other words, for each parameter of the style vector, any configuration can be used as long as the relationship between the current value and the changed value can be visually recognized.
- the image in the area indicated in the preview reference area 1611 is style-converted using a style vector in which the parameter is set to the minimum value while other parameters are fixed.
- the image is displayed.
- the image in the area indicated by the preview reference area 1611 is style-converted using a style vector in which the parameter is set to the maximum value while other parameters are fixed. The image is displayed.
- the first reduced image display field 1712-n and the second reduced image display field 1713-n represent the influence that the parameter corresponding to the parameter adjustment area 1710-n has on the style. Therefore, by comparing the first reduced image display field 1712-n and the second reduced image display field 1713-n, it is possible to grasp the characteristics of the style that is affected by adjusting the parameter.
- any parameter change column 1711 (parameter change column 1711-1 in the example of FIG. 12B) is adjusted, other parameter changes are made based on the adjusted parameters.
- the first reduced image display field 1712 and the second reduced image display field 1713 corresponding to the field 1711 are updated. Further, the image to be converted is converted to a lower resolution, and an image whose style is converted based on the adjusted parameters is displayed in the image display area 1610.
- FIG. 13 is a flowchart illustrating an example of the processing procedure of the image processing method.
- step S1 the image extraction unit 102 of the image processing device 100 extracts image information stored in the image information storage unit 111.
- the image information extracted by the image extraction unit 102 varies depending on the screen displayed on the display device. For example, when displaying the home screen 1000 on a display device, the image extraction unit 102 extracts image information regarding images generated by the user and the users the user is following. Further, for example, when the image search screen 1200 is displayed on the display device, the image extraction unit 102 extracts image information that matches the search conditions specified by the user.
- step S2 the image extraction unit 102 of the image processing device 100 saves the style vector in favorite information according to the user's instruction.
- the image extraction unit 102 first selects an image according to a user's instruction.
- the image extraction unit 102 outputs image information regarding the selected image.
- the output image information includes at least an image and a style vector used when generating the image.
- the image extraction unit 102 selects a style vector according to the user's instructions.
- the image extraction unit 102 stores the identification information of the selected style vector in the user information storage unit 113.
- the style vector identification information is stored in the favorite information of the user information regarding the user.
- the image extraction unit 102 determines whether the user's fee form is a paid plan or a free plan based on the contract information stored in the user information storage unit 113, and if it is a free plan, Step S2 is not executed.
- step S3 the image conversion unit 101 of the image processing device 100 receives an image input in response to a user's instruction.
- the image conversion unit 101 stores the received input image in the image information storage unit 111.
- step S4 the image conversion unit 101 of the image processing device 100 selects a conversion model according to the user's instruction. If the number of conversion models stored in the model storage unit 110 is one, selection of the conversion model is omitted. Next, the image conversion unit 101 acquires the identification information of the style vector stored in the user's favorite information from the user information storage unit 113.
- the image conversion unit 101 reads out the user presets stored in the style storage unit 112 based on the acquired identification information. At the same time, the image conversion unit 101 reads out the system preset stored in the style storage unit 112. Note that when a conversion model is selected, the image conversion unit 101 reads only the user preset and system preset corresponding to the selected conversion model.
- the image conversion unit 101 selects a preset to be used for style conversion from the system preset or the user preset in accordance with the user's instruction.
- step S5 the style adjustment unit 103 of the image processing device 100 adjusts each preset parameter according to the user's instructions. Each time the style adjustment unit 103 adjusts each preset parameter, it generates a reduced image corresponding to each parameter using the selected conversion model.
- the point management unit 104 subtracts a predetermined number of points from the points stored in the user information storage unit 113.
- step S5 may not be performed.
- preset adjustment can be performed only when the user has subscribed to a paid plan. Therefore, the style adjustment unit 103 determines whether the user's fee form is a paid plan or a free plan based on the contract information stored in the user information storage unit 113, and if it is a free plan, Step S5 is not executed.
- step S6 the image conversion unit 101 of the image processing device 100 obtains a style vector.
- step S5 the image conversion unit 101 obtains the style vector output by the style adjustment unit 103. If step S5 is not executed, the image conversion unit 101 acquires the preset selected according to the user's instruction.
- the image conversion unit 101 reads the conversion model selected by the user from the model storage unit 110. Next, the image conversion unit 101 generates a converted image in which the style of the input image is converted by inputting the input image and the style vector into the conversion model. The image conversion unit 101 displays the converted image on a display device.
- the point management unit 104 subtracts a predetermined number of points from the points stored in the user information storage unit 113.
- step S7 the image conversion unit 101 of the image processing device 100 stores image information regarding the converted image in the image information storage unit 111 according to the user's instruction.
- the image conversion unit 101 When the image conversion unit 101 generates a converted image using the style vector adjusted by the style adjustment unit 103, the image conversion unit 101 stores style information regarding the style vector in the style storage unit 112.
- the image processing device 100 may display style vectors and information associated with the style vectors on a display device, and select a desired style vector based on a user's instruction.
- the information displayed on the display device by the image processing device 100 may be either one of a style vector and information associated with the style vector, or may be both.
- the information associated with one style vector may be one piece of information or a plurality of pieces of information.
- the image processing device 100 When displaying a style vector and information associated with the style vector on a display device, the image processing device 100 displays at least one of a plurality of style vectors or a plurality of information associated with the style vector one at a time. It may be displayed on the screen. The image processing device 100 may display at least each style vector or each piece of information associated with the style vector on different screens. The image processing device 100 may divide at least a plurality of style vectors or a plurality of pieces of information associated with the style vectors into a predetermined number of pieces and display them on different screens.
- An example of information associated with a style vector is one or more images that have been style transformed using that style vector.
- the one or more images may be one image or a plurality of images.
- the information associated with a style vector is not limited to images that have been style-converted using that style vector.
- the information associated with the style vector may be, for example, information such as the style vector's creator, creation date, user, use date, etc., or explanatory information of the style vector (for example, "convert to wind”). etc.) may be used. Note that the explanatory information may be defined by the creator or user of the style vector.
- the information associated with a style vector may be, for example, an image that has been style-converted using the style vector, or an image that has been subjected to predetermined processing.
- the predetermined processing may be, for example, changing the resolution, changing the size, etc.
- Selection of a style vector may be performed based on the user's designation of the style vector, or may be performed based on the user's designation of information associated with the style vector.
- style vector adjustment and style vector storage could be used based on contract information representing the fee structure with which the user had contracted. Whether style vector adjustment and style vector storage can be used may be determined based on user attribute information.
- the user attribute information may include, for example, the user's contract information, the organization to which the user belongs, information that distinguishes the user, information that identifies the user's usage status, and the like.
- the user's usage status may include, for example, the number of points owned by the user, usage history by the user, and the like.
- the user selects a style vector to be used for style conversion by specifying one style vector from a plurality of style vectors.
- the user may be able to specify one style vector from one or more style vectors.
- the one or more style vectors may be one style vector or a plurality of style vectors.
- the user can select a conversion model to be used for style conversion by specifying one conversion model from a plurality of conversion models.
- the user may be able to specify one conversion model from one or more conversion models.
- the one or more conversion models may be one conversion model or a plurality of conversion models.
- the image processing device 100 in this embodiment may include at least one memory and at least one processor.
- at least one processor can control storage of various data in at least one memory and acquisition of various data from at least one memory. Additionally, at least one processor may control a screen displayed on the display device.
- the image processing device 100 in this embodiment may be realized by at least one server and at least one user terminal (hereinafter also referred to as an "image display device").
- the user terminal may be, for example, a desktop or laptop personal computer, a smartphone, a tablet terminal, or the like.
- each user terminal may be owned by a different user.
- part or all of the information stored in the storage device of one device may be stored in the storage device of the other device.
- a configuration may be adopted in which part or all of the information stored in a storage device included in either the server or the user terminal is stored in an external storage device.
- the image processing device 100 When the image processing device 100 is implemented by a server and a user terminal, it can be arbitrarily determined whether each process performed by the image processing device 100 is executed by the server or the user terminal.
- the user terminal may be configured to display various information and accept instructions from the user
- the server may be configured to execute other processes.
- user instructions include selection of a style vector or transformation model, adjustment of a style vector, and the like.
- processes executed by the server include generation of an image after style conversion, storage of a conversion model, style vector, user information, and the like.
- the selection of a style vector or a conversion model at the user terminal is based on the selection of a style vector or conversion model by an operation on the user terminal and information from the user terminal. and the server selects a style vector or transformation model.
- a display device that displays a style vector and information associated with the style vector may be a display included in the server or the user terminal.
- the hardware configuration of the server and user terminal may be the same as that of the image processing device 100.
- An example of the hardware configuration of the image processing device 100 will be described later.
- the image processing device 100 in this embodiment stores an image after style conversion in association with a style vector used for style conversion, and uses style vectors associated with other images when converting the style of an input image. be able to. Therefore, according to the image processing apparatus 100 in this embodiment, the style vector used when converting the style of an image can be reused.
- the image processing device 100 in this embodiment displays the image after style conversion in association with the style vector used in the style conversion, and converts the style of the input image using the style vector selected by the user. Therefore, according to the image processing apparatus 100 according to the present embodiment, the user can easily understand the style realized by the style vector, and can easily select a style vector close to the desired style.
- the image processing device 100 in this embodiment can store style vectors generated by other users in favorite information and use them when converting the style of an input image. Therefore, according to the image processing apparatus 100 in this embodiment, style vectors can be shared among users.
- the image processing apparatus 100 in this embodiment displays only the style vector corresponding to the conversion model selected by the user on the style conversion screen when a plurality of conversion models are available. Therefore, according to the image processing apparatus 100 in this embodiment, an appropriate style vector can be selected depending on the conversion model to be used.
- the image processing device 100 in this embodiment can arbitrarily adjust each parameter of the style vector. Therefore, according to the image processing apparatus 100 in this embodiment, the user can generate a style vector that can realize a desired style.
- the image processing apparatus 100 in this embodiment uses, for each parameter, an image whose style is converted using a style vector in which the parameter is set to the maximum value while other parameters are fixed, and Displays an image whose style has been converted using a style vector with parameters set to the minimum values. Therefore, according to the image processing apparatus 100 in this embodiment, the user can adjust the style vector while checking the influence of each parameter on the style.
- the image processing device 100 in this embodiment can generate a second image by converting the style of the first image based on the style vector and the conversion model.
- the style vector can be selected from one or more style vectors according to the user's instructions.
- the selected style vector may be a style vector used to generate the fourth image by converting the style of the third image based on the conversion model.
- the image processing apparatus 100 in this embodiment displays either at least one style vector or information associated with each of the one or more style vectors on a display device before generating the second image, and then , the second image can be generated based on the style vector selected according to the user's instructions.
- the associated information includes one or more images generated using each of the one or more style vectors.
- the image processing device 100 in this embodiment can generate a fourth image by converting the style of the third image based on the style vector and the conversion model in accordance with instructions from the user or other users.
- the image processing apparatus 100 in this embodiment selects a conversion model in response to a user's instruction, and selects at least one or more style vectors corresponding to the conversion model or information associated with each of the one or more style vectors. can be displayed on the display device.
- the image processing device 100 in this embodiment can generate a second image based on the style vector and conversion model that have been adjusted according to the user's instructions. At this time, it can be determined whether the selected style vector can be adjusted according to the user's attribute information. Further, when the style vector is adjusted according to the user's instructions, the points held by the user can be subtracted.
- the image processing apparatus 100 in this embodiment converts the style of the fifth image into a sixth image based on the style vector in which the parameter is set to the first value, and A seventh image is generated by converting the style of the fifth image based on the style vector set to the second value, and the sixth image and the seventh image can be displayed on the display device.
- the fifth image can be a part of the area included in the first image.
- the sixth image and the seventh image can be regenerated for each parameter of the style vector.
- the user terminal in this embodiment acquires a first image to be converted, displays either at least one or more style vectors or information associated with each of the one or more style vectors on a display device, and
- a style vector can be selected from one or more style vectors, a second image obtained by converting the style of the first image can be obtained, and the second image can be displayed on the display device.
- the selected style vector may be a style vector used to generate the fourth image by converting the style of the third image based on the conversion model.
- the second image may be an image generated based on the transformation model and the selected style vector.
- the user terminal in this embodiment can select a conversion model from one or more conversion models in response to a user's instruction.
- the fourth image may be an image generated based on instructions from the user or another user.
- the associated information can include one or more images generated using each of the one or more style vectors.
- the user terminal in this embodiment can generate the second image based on the style vector and conversion model that are adjusted according to the user's instructions.
- the user terminal in this embodiment can adjust the style vector by the user operating a slider bar corresponding to each parameter of the style vector displayed on the display device.
- each device (image processing device 100) in the embodiments described above may be configured with hardware, or may be configured with software (Central Processing Unit), Graphics Processing Unit (GPU), etc. executed by a CPU (Central Processing Unit), GPU (Graphics Processing Unit), etc. It may also be configured by information processing of a program).
- the software that realizes at least some of the functions of each device in the above-described embodiments can be stored in a CD-ROM (Compact Disc-Read Only Memory), USB (Universal Serial Bus) memory, etc.
- the information processing of the software may be executed by storing the information in a non-temporary storage medium (non-temporary computer readable medium) such as the following, and reading it into a computer. Further, the software may be downloaded via a communication network. Furthermore, all or part of the software processing may be implemented in a circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array), so that the information processing by the software may be executed by hardware. .
- a non-temporary storage medium non-temporary computer readable medium
- the software may be downloaded via a communication network.
- all or part of the software processing may be implemented in a circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array), so that the information processing by the software may be executed by hardware. .
- ASIC Application Specific Integrated Circuit
- FPGA Field Programmable Gate Array
- the storage medium that stores the software may be a removable one such as an optical disk, or a fixed storage medium such as a hard disk or memory. Further, the storage medium may be provided inside the computer (main storage device, auxiliary storage device, etc.) or may be provided outside the computer.
- FIG. 14 is a block diagram showing an example of the hardware configuration of each device (image processing device 100) in the embodiment described above.
- Each device includes, for example, a processor 71, a main storage device 72 (memory), an auxiliary storage device 73 (memory), a network interface 74, and a device interface 75, which are connected via a bus 76. It may also be realized as a computer 7.
- the computer 7 in FIG. 14 includes one of each component, it may include a plurality of the same components.
- the software may be installed on multiple computers, and each of the multiple computers may execute the same or different part of the software. Good too. In this case, it may be a form of distributed computing in which each computer communicates via the network interface 74 or the like to execute processing.
- each device (image processing device 100) in the embodiment described above is configured as a system that realizes functions by having one or more computers execute instructions stored in one or more storage devices. Good too.
- the information transmitted from the terminal may be processed by one or more computers provided on the cloud, and the processing results may be sent to the terminal.
- each device image processing device 100 in the embodiments described above may be executed in parallel using one or more processors or multiple computers via a network. Further, various calculations may be distributed to a plurality of calculation cores within the processor and executed in parallel. Further, a part or all of the processing, means, etc. of the present disclosure may be realized by at least one of a processor and a storage device provided on a cloud that can communicate with the computer 7 via a network. In this way, each device in the embodiments described above may be in the form of parallel computing using one or more computers.
- the processor 71 may be an electronic circuit (processing circuit, processing circuit, CPU, GPU, FPGA, ASIC, etc.) that performs at least one of computer control or calculation. Further, the processor 71 may be any of a general-purpose processor, a dedicated processing circuit designed to execute a specific operation, or a semiconductor device including both a general-purpose processor and a dedicated processing circuit. Further, the processor 71 may include an optical circuit or may include an arithmetic function based on quantum computing.
- the processor 71 may perform calculation processing based on data and software input from each device in the internal configuration of the computer 7, and may output calculation results and control signals to each device.
- the processor 71 may control each component constituting the computer 7 by executing the OS (Operating System) of the computer 7, applications, and the like.
- Each device (image processing device 100) in the embodiment described above may be realized by one or more processors 71.
- the processor 71 may refer to one or more electronic circuits arranged on one chip, or one or more electronic circuits arranged on two or more chips or two or more devices. You can also point. When using multiple electronic circuits, each electronic circuit may communicate by wire or wirelessly.
- the main memory device 72 may store instructions and various data to be executed by the processor 71, and the information stored in the main memory device 72 may be read by the processor 71.
- the auxiliary storage device 73 is a storage device other than the main storage device 72. Note that these storage devices are any electronic components capable of storing electronic information, and may be semiconductor memories. Semiconductor memory may be either volatile memory or nonvolatile memory.
- a storage device for storing various data etc. in each device (image processing device 100) in the embodiments described above may be realized by the main storage device 72 or the auxiliary storage device 73, and may be realized by the built-in memory built in the processor 71. It may be realized by For example, each storage unit (model storage unit 110, image information storage unit 111, style storage unit 112, and user information storage unit 113) in the embodiment described above may be realized by the main storage device 72 or the auxiliary storage device 73. .
- each device (image processing device 100) in the embodiment described above is configured with at least one storage device (memory) and at least one processor connected (coupled) to this at least one storage device
- the storage device At least one processor may be connected to one.
- at least one storage device may be connected to one processor.
- the present invention may include a configuration in which at least one processor among the plurality of processors is connected to at least one storage device among the plurality of storage devices. Further, this configuration may be realized by a storage device and a processor included in a plurality of computers. Furthermore, a configuration in which the storage device is integrated with the processor (for example, a cache memory including an L1 cache and an L2 cache) may be included.
- the network interface 74 is an interface for connecting to the communication network 8 wirelessly or by wire. As the network interface 74, an appropriate interface such as one that complies with existing communication standards may be used. Information may be exchanged with an external device 9A connected via the communication network 8 through the network interface 74.
- the communication network 8 may be any one or a combination of WAN (Wide Area Network), LAN (Local Area Network), PAN (Personal Area Network), etc., and can be used to communicate between the computer 7 and the external device 9A. It may be anything that involves the exchange of information. Examples of WAN include the Internet, examples of LAN include IEEE802.11 and Ethernet (registered trademark), and examples of PAN include Bluetooth (registered trademark) and NFC (Near Field Communication).
- the device interface 75 is an interface such as a USB that is directly connected to the external device 9B.
- the external device 9A is a device connected to the computer 7 via a network.
- the external device 9B is a device directly connected to the computer 7.
- the external device 9A or the external device 9B may be an input device, for example.
- the input device is, for example, a camera, a microphone, a motion capture device, various sensors, a keyboard, a mouse, a touch panel, or other devices, and provides the acquired information to the computer 7.
- the device may be a device including an input unit, a memory, and a processor, such as a personal computer, a tablet terminal, or a smartphone.
- the external device 9A or the external device B may be an output device, for example.
- the output device may be, for example, a display device such as an LCD (Liquid Crystal Display) or an organic EL (Electro Luminescence) panel, or may be a speaker that outputs audio or the like.
- the device may be a device including an output unit, a memory, and a processor, such as a personal computer, a tablet terminal, or a smartphone.
- the external device 9A or the external device 9B may be a storage device (memory).
- the external device 9A may be a network storage or the like, and the external device 9B may be a storage such as an HDD.
- the external device 9A or the external device 9B may be a device that has some of the functions of the components of each device (image processing device 100) in the embodiments described above.
- the computer 7 may transmit some or all of the processing results to the external device 9A or 9B, or may receive some or all of the processing results from the external device 9A or 9B. .
- the expression "at least one (one) of a, b, and c" or “at least one (one) of a, b, or c" (including similar expressions) When used, it includes either a, b, c, a-b, a-c, b-c or a-b-c. Further, each element may include multiple instances, such as a-a, a-b-b, a-a-b-b-c-c, etc. Furthermore, it also includes adding other elements other than the listed elements (a, b and c), such as having d as in a-b-c-d.
- connection and “coupled” refer to direct connection/coupling and indirect connection/coupling. , electrically connected/coupled, communicatively connected/coupled, functionally connected/coupled, physically connected/coupled, etc., without limitation. intended as a term.
- the term should be interpreted as appropriate depending on the context in which the term is used, but forms of connection/coupling that are not intentionally or naturally excluded are not included in the term. Should be construed in a limited manner.
- the expression "A configured to B” when used, it means that the physical structure of element A is capable of performing operation B. configuration, and includes a permanent or temporary setting/configuration of element A being configured/set to actually perform operation B. good.
- element A is a general-purpose processor
- the processor has a hardware configuration that can execute operation B, and can perform operation B by setting a permanent or temporary program (instruction). It only needs to be configured to actually execute.
- element A is a dedicated processor, dedicated arithmetic circuit, etc.
- the circuit structure of the processor is designed to actually execute operation B, regardless of whether control instructions and data are actually attached. It is sufficient if it is implemented in
- the terms “maximize” and “maximization” refer to determining the global maximum value, or determining an approximate value of the global maximum value. This term includes determining, determining a local maximum, and determining an approximation of a local maximum, and should be interpreted as appropriate depending on the context in which the term is used. It also includes finding approximate values of these maximum values probabilistically or heuristically. Similarly, when terms such as “minimize/minimization” are used, we are referring to finding a global minimum, finding an approximation of a global minimum, or finding a local minimum.
- This term includes determining and approximating a local minimum, and should be interpreted accordingly depending on the context in which the term is used. It also includes finding approximate values of these minimum values probabilistically or heuristically.
- opticalmize or “optimization” are used, it refers to finding a global optimum, finding an approximation of a global optimum, or calculating a local optimum.
- This term includes determining and approximating a local optimum, and should be interpreted accordingly depending on the context in which the term is used. It also includes finding approximate values of these optimal values probabilistically or heuristically.
- each piece of hardware when multiple pieces of hardware perform a predetermined process, each piece of hardware may cooperate to perform the predetermined process, or some of the hardware may perform the predetermined process. You may do all of the above. Further, some hardware may perform part of a predetermined process, and another piece of hardware may perform the rest of the predetermined process.
- expressions such as "one or more hardware performs a first process, and the one or more hardware performs a second process" (including similar expressions) are used. ), the hardware that performs the first processing and the hardware that performs the second processing may be the same or different. In other words, the hardware that performs the first processing and the hardware that performs the second processing may be included in the one or more pieces of hardware.
- the hardware may include an electronic circuit, a device including an electronic circuit, and the like.
- each storage device among the multiple storage devices may store only part of the data. , the entire data may be stored. Further, a configuration may be included in which some of the plurality of storage devices store data.
- first, second, etc. are used merely as a way of distinguishing between two or more elements, and the terms “first”, “second”, etc. It is not necessarily intended to impose technical meaning such as physical aspect, spatial aspect, order, quantity, etc. Thus, for example, reference to a first element and a second element indicates that only two elements may be employed therein, that the first element must precede the second element, that the second element does not necessarily mean that the first element must exist in order for .
- Image processing device 101 Image conversion unit 102 Image extraction unit 103 Style adjustment unit 104 Point management unit 110 Model storage unit 111 Image information storage unit 112 Style storage unit 113 User information storage unit
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
画像のスタイルを変換する際に用いた情報を再利用可能なサービス又は装置を提供する。画像処理装置は、少なくとも1つのメモリと、少なくとも1つのプロセッサと、を備え、少なくとも1つのプロセッサは、スタイルベクトル及び変換モデルに基づいて、第1の画像のスタイルを変換した第2の画像を生成すること、を実行し、スタイルベクトルは、ユーザの指示に応じて、1以上のスタイルベクトルから選択されたスタイルベクトルであり、選択されたスタイルベクトルは、変換モデルに基づく第3の画像のスタイルを変換した第4の画像の生成に利用されたスタイルベクトルである。
Description
本開示は、画像処理装置、画像表示装置、画像処理方法、画像表示方法及びプログラムに関する。
実写画像のスタイルを、絵画風、イラスト風、アニメーション風等に変換する画像スタイル変換技術が提案されている。例えば、特許文献1には、入力画像を、参照画像が有するスタイル(例えば、画風)に基づいて、当該スタイルを有する画像に変換する画像スタイル変換装置が開示されている。
本開示の課題は、画像のスタイルを変換する際に用いた情報を再利用可能なサービス又は装置を提供することである。
本開示の一態様による画像処理装置は、少なくとも1つのメモリと、少なくとも1つのプロセッサと、を備え、少なくとも1つのプロセッサは、スタイルベクトル及び変換モデルに基づいて、第1の画像のスタイルを変換した第2の画像を生成すること、を実行し、スタイルベクトルは、ユーザの指示に応じて、1以上のスタイルベクトルから選択されたスタイルベクトルであり、選択されたスタイルベクトルは、変換モデルに基づく第3の画像のスタイルを変換した第4の画像の生成に利用されたスタイルベクトルである。
以下、本開示の各実施形態について添付の図面を参照しながら説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
[画像処理装置の概略]
本開示の一実施形態は、画像のスタイル(画風)を変換する画像処理サービスを提供する画像処理装置である。本実施形態における画像は、実写画像であってもよいし、コンピュータグラフィックス(CG: Computer Graphics)画像であってもよい。本実施形態におけるスタイルは、一例として、絵画風、イラスト風、アニメーション風等であるが、これらの組み合わせであってもよく、その組み合わせは無段階に調整することが可能である。
本開示の一実施形態は、画像のスタイル(画風)を変換する画像処理サービスを提供する画像処理装置である。本実施形態における画像は、実写画像であってもよいし、コンピュータグラフィックス(CG: Computer Graphics)画像であってもよい。本実施形態におけるスタイルは、一例として、絵画風、イラスト風、アニメーション風等であるが、これらの組み合わせであってもよく、その組み合わせは無段階に調整することが可能である。
例えば、本実施形態における画像処理サービスによれば、典型的な油彩画風のスタイルと典型的な水彩画風のスタイルとを兼ね備えたスタイルに変換することができる。このとき、それぞれのスタイルの影響度合い(例えば、8割程度は水彩画風であるが、2割程度は油彩画風である等)を任意に調整することができる。
スタイルの変換では、画像のスタイルを特徴付けるパラメータ(以下、「スタイルベクトル」とも呼ぶ)が用いられる。スタイルの特徴は、一例として、少なくとも、色合い、コントラスト、テクスチャ又は塗り方のいずれかを含む。
スタイルベクトルは、例えば、32次元の実ベクトルである。ただし、スタイルの変換では、スタイルベクトルのすべての成分を用いなくてもよく、スタイルを顕著に特徴付ける成分のみを用いてもよい。スタイルベクトルの各成分は人間にとって理解しやすい特徴と対応付けられるものでなくてもよく、その場合、スタイルベクトルの各成分を試行錯誤的に調整しながらスタイル変換を繰り返すことが行われる。なお、本実施形態における画像処理サービスでは、例えば、32次元のうち20次元のみを用いる。
本実施形態における画像処理サービスでは、ある画像のスタイルを変換したとき、スタイル変換後の画像とスタイル変換に用いたスタイルベクトルとを関連付けて記憶する。スタイル変換後の画像とスタイルベクトルとを関連付ける方法は、一例として、スタイル変換後の画像とスタイルベクトルとを1つのセットとして記憶してもよいし、一方の情報から他方の情報を取得可能な情報を記憶してもよいし、一方の情報と他方の情報の識別情報とを1つのセットとして記憶してもよい。これにより、本実施形態における画像処理サービスでは、他の画像のスタイル変換に用いたスタイルベクトルを利用して、画像のスタイルを変換することができる。
また、本実施形態における画像処理サービスは、ある画像のスタイル変換に用いたスタイルベクトルを利用者に提示する機能を有する。利用者は提示されたスタイルベクトルを参照しながら自身が利用するスタイルベクトルの値を設定してもよいし、提示されたスタイルベクトル全体を自身が利用するスタイルベクトルとしてコピーしてもよい。これにより、本実施形態における画像処理サービスでは、他の画像のスタイル変換に用いたスタイルベクトルを利用して、所望の画像のスタイルを変換することができる。
<モデル学習及びスタイル変換>
本実施形態におけるモデル学習及びスタイル変換について、図1を参照しながら説明する。図1は、本実施形態におけるスタイル変換処理の一例を説明するための図である。
本実施形態におけるモデル学習及びスタイル変換について、図1を参照しながら説明する。図1は、本実施形態におけるスタイル変換処理の一例を説明するための図である。
本実施形態におけるスタイルベクトルは、訓練済みの抽出モデルにより生成される。図1に示されているように、本実施形態における抽出モデル20は、特徴抽出器21及び次元圧縮器22を含む。
特徴抽出器21は、複数の学習画像10を用いて画像を分類するように学習されている。特徴抽出器21は、学習画像10から画像特徴量23を抽出する。特徴抽出器21の構造は、ニューラルネットワーク(一例として、畳み込みニューラルネットワーク(CNN; Convolutional Neural Network))であってもよい。画像特徴量23は、一例として、512次元の特徴ベクトルである。
次元圧縮器22は、画像特徴量23を次元圧縮するように学習されている。次元圧縮器22は、画像特徴量23を次元圧縮してスタイルベクトル30を生成する。次元圧縮器22の構造は、ニューラルネットワーク(一例として、変分オートエンコーダ(VAE; Variational Auto-Encoder)のエンコーダ)であってもよい。スタイルベクトル30は、一例として、32次元の特徴ベクトルである。なお、スタイルベクトルは、画像のスタイルを特徴付ける情報を反映するものであれば任意の方法で抽出してもよい。
本実施形態におけるスタイル変換は、訓練済みの変換モデルにより行われる。図1に示されているように、本実施形態における変換モデル50は、一例として、エンコーダ51、変調層52及びデコーダ53を含む。
エンコーダ51は、入力画像40に基づいて、第1の中間表現を生成する。エンコーダ51は、ニューラルネットワークであってもよい。変調層52は、第1の中間表現及びスタイルベクトル30に基づいて、第2の中間表現を生成する。変調層52は、ニューラルネットワークであってもよい。デコーダ53は、第2の中間表現に基づいて、入力画像40のスタイルが変換された変換画像60を生成する。デコーダ53は、ニューラルネットワークであってもよい。
変調層52は、一例として、適応的インスタンス正規化(AdaIn: Adaptive Instance Normalization)により、第2の中間表現を生成する。適応的インスタンス正規化は、インスタンス正規化及びアフィン変換を行う処理である。変調層52は、スタイルベクトル30に基づいてアフィン変換の変換パラメータを決定する。
変換モデル50は、条件付き敵対的生成ネットワーク(cGAN; Conditional Generative Adversarial Network)における生成器として学習される。具体的には、スタイルベクトル30を用いてスタイル変換した画像と、スタイルベクトル30に対応するスタイルの真の画像とをを識別する識別器に入力し、識別器による識別結果に基づいて、識別器が識別を誤る画像を生成するように変換モデル50を学習する。なお、変換モデルは、図1の構成に限定されるものではない。本実施形態における画像処理装置は、変換元の画像及びスタイルベクトルに基づいて、変換元の画像をスタイルベクトルが表すスタイルに変換した画像を生成可能な任意の変換モデルを用いることができる。
図2A及び図2Bは、画像のスタイル変換の一例を示す図である。図2Aは、変換元とした実写画像であり、図2Bは、図2Aに示した実写画像をスタイル変換した画像である。図2に示されているように、本実施形態におけるスタイル変換によれば、実写画像のスタイルが変換された画像を生成することができる。
[画像処理装置の機能構成]
本開示の一実施形態における画像処理装置の機能構成について、図3を参照しながら説明する。図3は、本実施形態における画像処理装置の機能構成の一例を示すブロック図である。
本開示の一実施形態における画像処理装置の機能構成について、図3を参照しながら説明する。図3は、本実施形態における画像処理装置の機能構成の一例を示すブロック図である。
図3に示されているように、本実施形態における画像処理装置100は、画像変換部101、画像抽出部102、スタイル調整部103、ポイント管理部104、モデル記憶部110、画像情報記憶部111、スタイル記憶部112及びユーザ情報記憶部113を備える。
≪モデル記憶部≫
モデル記憶部110には、訓練済みの変換モデルが記憶される。変換モデルは、所定の画像変換処理を行う機械学習モデルである。本実施形態における変換モデルは、画像及びスタイルベクトルを入力とし、当該画像を当該スタイルベクトルが表すスタイルに変換した画像を出力するスタイル変換モデルである。変換モデルは、ニューラルネットワークであってもよい。
モデル記憶部110には、訓練済みの変換モデルが記憶される。変換モデルは、所定の画像変換処理を行う機械学習モデルである。本実施形態における変換モデルは、画像及びスタイルベクトルを入力とし、当該画像を当該スタイルベクトルが表すスタイルに変換した画像を出力するスタイル変換モデルである。変換モデルは、ニューラルネットワークであってもよい。
モデル記憶部110には、複数の変換モデルが記憶されてもよい。複数の変換モデルは、変換で実現可能なスタイルに応じて用意してもよい。例えば、第1の変換モデルは、アニメーション又はイラスト風のスタイルを実現し、第2の変換モデルは、西洋絵画風のスタイルを実現し、第3の変換モデルは、他の変換モデルで実現可能なすべてのスタイルを実現するものであってもよい。また、複数の変換モデルは、スタイルベクトルの次元数又は形式に応じて用意してもよい。例えば、第1の変換モデルは、色合いを意味する成分を含むスタイルベクトルを用い、第2の変換モデルは、モノクロを指定する二値成分を含むスタイルベクトルを用いるものであってもよい。
なお、本実施形態における画像処理装置では、ある変換モデルで利用可能なスタイルベクトルが限定されていてもよい。この場合、ある変換モデルに対応するスタイルベクトルが、他の変換モデルで利用することができない場合がある。モデル記憶部110には、各変換モデルの識別情報が記憶されてもよい。
≪画像情報記憶部≫
画像情報記憶部111には、画像処理装置100が生成した画像に関する画像情報が記憶される。画像情報は、スタイル変換前の画像、スタイル変換後の画像、当該画像に付与されたメタデータ、当該画像を生成するときに用いられたスタイルベクトルを識別する識別情報、及び当該画像を生成したユーザを識別する識別情報等を含む。
画像情報記憶部111には、画像処理装置100が生成した画像に関する画像情報が記憶される。画像情報は、スタイル変換前の画像、スタイル変換後の画像、当該画像に付与されたメタデータ、当該画像を生成するときに用いられたスタイルベクトルを識別する識別情報、及び当該画像を生成したユーザを識別する識別情報等を含む。
画像に付与されるメタデータは、例えば、タイトル、説明文、タグ等である。メタデータは、当該画像を生成したユーザが任意に設定することができる。メタデータは、画像処理装置100が当該画像に基づいて自動的に設定してもよい。
スタイルベクトルの識別情報は、例えば、スタイルベクトルに設定された名称、スタイルベクトルを生成した際に割り当てられた識別子(ID; identifier)等である。ユーザの識別情報は、例えば、ユーザが設定したユーザ名、ユーザが画像処理サービスを利用開始した際に割り当てられたID等である。
≪スタイル記憶部≫
スタイル記憶部112には、スタイルベクトルに関するスタイル情報が記憶される。スタイル情報は、スタイルベクトル、当該スタイルベクトルを表すサムネイル(縮小画像)、当該スタイルベクトルを利用可能な変換モデルを識別する識別情報、当該スタイルベクトルを生成したユーザを識別する識別情報等を含む。スタイル記憶部112には、スタイルベクトルとそのスタイルベクトルを利用可能な変換モデルとを紐づける情報を記憶してもよい。一例として、スタイル情報として、利用可能な変換モデルの識別情報、利用可能な変換モデルへのリンク情報等を記憶してもよい。また、スタイルベクトルとそのスタイルベクトルを利用可能な変換モデルを1つのセットとしてスタイル記憶部112に記憶してもよい。
スタイル記憶部112には、スタイルベクトルに関するスタイル情報が記憶される。スタイル情報は、スタイルベクトル、当該スタイルベクトルを表すサムネイル(縮小画像)、当該スタイルベクトルを利用可能な変換モデルを識別する識別情報、当該スタイルベクトルを生成したユーザを識別する識別情報等を含む。スタイル記憶部112には、スタイルベクトルとそのスタイルベクトルを利用可能な変換モデルとを紐づける情報を記憶してもよい。一例として、スタイル情報として、利用可能な変換モデルの識別情報、利用可能な変換モデルへのリンク情報等を記憶してもよい。また、スタイルベクトルとそのスタイルベクトルを利用可能な変換モデルを1つのセットとしてスタイル記憶部112に記憶してもよい。
スタイルベクトルのサムネイルは、当該スタイルベクトルを用いてサンプル画像をスタイル変換した縮小画像である。変換モデルの識別情報は、例えば、識別モデルに設定された名称、識別モデルのバージョン番号、識別モデルを生成した際に割り当てられたID等である。
以下、スタイル記憶部112に記憶されているスタイルベクトルを、「プリセット」とも呼ぶ。プリセットには、画像処理サービスの運営管理者等により予め記憶されているスタイルベクトルと、ユーザが既存のスタイルベクトルを調整することで生成されたスタイルベクトルとが含まれる。予め記憶されているプリセットを「システムプリセット」とも呼び、ユーザにより生成されたプリセットを「ユーザプリセット」とも呼ぶ。
≪ユーザ情報記憶部≫
ユーザ情報記憶部113には、画像処理サービスのユーザに関するユーザ情報が記憶される。ユーザ情報は、当該ユーザを識別する識別情報、当該ユーザが契約している料金形態を表す契約情報、当該ユーザが保存したお気に入り情報等を含む。
ユーザ情報記憶部113には、画像処理サービスのユーザに関するユーザ情報が記憶される。ユーザ情報は、当該ユーザを識別する識別情報、当該ユーザが契約している料金形態を表す契約情報、当該ユーザが保存したお気に入り情報等を含む。
本実施形態における料金形態は、無料プラン及び有料プランを含む。有料プランは、利用料金が異なる複数のプランを含んでもよい。本実施形態における有料プランは、利用料金が低額なスタンダードプラン、及び利用料金が高額なプレミアムプランを含む。
本実施形態におけるお気に入り情報は、当該ユーザが保存したスタイルベクトル、当該ユーザがフォローしている他のユーザ、当該ユーザが保存した他のユーザが生成した画像等に関する情報を含む。
ユーザが契約している料金形態に基づいて、利用可能な機能を制限してもよい。本実施形態では、スタイルベクトルの調整及びスタイルベクトルのお気に入り情報への保存は、有料プランを契約しているユーザに制限されるものとする。ただし、料金形態に基づく機能制限はこれらに限定されず、任意の機能に適用することができる。
≪画像変換部≫
画像変換部101は、モデル記憶部110に記憶されている変換モデルを用いて、入力画像のスタイルを変換する。具体的には、画像変換部101は、まず、ユーザの指示に従って、スタイルベクトルを取得する。画像変換部101が取得するスタイルベクトルは、スタイル記憶部112に記憶されているスタイルベクトル(すなわち、プリセット)であってもよいし、スタイル調整部103から出力されるスタイルベクトルであってもよい。
画像変換部101は、モデル記憶部110に記憶されている変換モデルを用いて、入力画像のスタイルを変換する。具体的には、画像変換部101は、まず、ユーザの指示に従って、スタイルベクトルを取得する。画像変換部101が取得するスタイルベクトルは、スタイル記憶部112に記憶されているスタイルベクトル(すなわち、プリセット)であってもよいし、スタイル調整部103から出力されるスタイルベクトルであってもよい。
次に、画像変換部101は、ユーザにより指示された変換モデルを、モデル記憶部110から読み出す。続いて、画像変換部101は、入力画像及びスタイルベクトルを変換モデルに入力することで、入力画像のスタイルが変換された画像(以下、「変換画像」とも呼ぶ)を生成する。
画像変換部101は、変換画像を生成した後、変換画像に関する画像情報を画像情報記憶部111に記憶する。画像変換部101は、スタイルベクトルがスタイル調整部103から出力されたスタイルベクトルであるとき、当該スタイルベクトルに関するスタイル情報をスタイル記憶部112に記憶する。
≪画像抽出部≫
画像抽出部102は、画像情報記憶部111に記憶されている画像情報を抽出する。画像抽出部102は、例えば、画像を生成したユーザ、画像を生成するときに用いられたモデル、画像に関連付けられたスタイルベクトル等に基づいて、画像情報を抽出する。画像抽出部102は、ユーザにより指定された検索条件に基づいて、画像情報を抽出してもよい。
画像抽出部102は、画像情報記憶部111に記憶されている画像情報を抽出する。画像抽出部102は、例えば、画像を生成したユーザ、画像を生成するときに用いられたモデル、画像に関連付けられたスタイルベクトル等に基づいて、画像情報を抽出する。画像抽出部102は、ユーザにより指定された検索条件に基づいて、画像情報を抽出してもよい。
ユーザに基づく画像抽出では、例えば、ユーザがフォローしている他のユーザが生成した画像に関する画像情報が抽出される。モデルに基づく画像抽出では、例えば、ユーザが選択した変換モデルを用いて生成された画像に関する画像情報が抽出される。スタイルベクトルに基づく画像抽出では、例えば、ユーザが選択したスタイルベクトルと同一又は類似のスタイルベクトルを用いて生成された画像に関する画像情報が抽出される。
≪スタイル調整部≫
スタイル調整部103は、ユーザの指示に応じて、スタイルベクトルの各成分(以下、「パラメータ」とも呼ぶ)を調整する。スタイル調整部103は、スタイルベクトルを調整する際に、ユーザが操作するための画面に表示するサムネイル(縮小画像)を作成する。
スタイル調整部103は、ユーザの指示に応じて、スタイルベクトルの各成分(以下、「パラメータ」とも呼ぶ)を調整する。スタイル調整部103は、スタイルベクトルを調整する際に、ユーザが操作するための画面に表示するサムネイル(縮小画像)を作成する。
縮小画像は、スタイル変換の対象とする画像の一部を、現在のスタイルベクトルに基づいて変換することで生成される。縮小画像は、スタイルベクトルの各パラメータについて、2枚の縮小画像を生成する。第1の縮小画像は、他のパラメータを固定したまま、当該パラメータを第1の値(一例として、最小値)としたスタイルベクトルに基づいて生成される。第2の縮小画像は、他のパラメータを固定したまま当該パラメータを第2の値(一例として、最大値)としたスタイルベクトルに基づいて生成される。なお、パラメータの変更幅は一例であり、第2の値が第1の値より大きくなればよい。
したがって、スタイル調整部103が生成する縮小画像は、1回の画面表示において、最大で40枚(20次元×2枚)である。ただし、スタイル調整部103は、生成済みの縮小画像がある場合、その縮小画像を再利用することで、生成する縮小画像の数を削減してもよい。
≪ポイント管理部≫
ポイント管理部104は、ユーザが保有するポイントの管理を行う。本実施形態におけるポイントは、画像のスタイル変換及びスタイルベクトルの調整を行うたびに消費される。ポイントは、時間の経過とともにユーザに与えられてもよい。また、ポイントは、所定の決済手段を通じて購入することができてもよい。
ポイント管理部104は、ユーザが保有するポイントの管理を行う。本実施形態におけるポイントは、画像のスタイル変換及びスタイルベクトルの調整を行うたびに消費される。ポイントは、時間の経過とともにユーザに与えられてもよい。また、ポイントは、所定の決済手段を通じて購入することができてもよい。
ユーザに与えられるポイントは、ユーザの料金形態に応じて異なってもよい。例えば、無料プランのユーザには、1日に2~3回のスタイル変換及び10~20回のスタイル調整を行うことができるポイント数が与えられてもよい。スタンダードプランのユーザには、1日に10~30回のスタイル変換及び100~200回のスタイル調整を行うことができるポイント数が与えられてもよい。プレミアムプランのユーザには、1日に100回以上のスタイル変換を行うことができるポイント数が与えられてもよい。なお、プレミアムプランのユーザは、スタイル調整を無制限に行えるように構成してもよい。
[画像処理装置のユーザインターフェース]
本開示の一実施形態における画像処理装置のユーザインターフェースについて、図3から図13を参照しながら説明する。当該ユーザインターフェースは、例えば、画像処理装置100にインストールされたプログラムが表示装置に表示する操作画面として実現され得る。
本開示の一実施形態における画像処理装置のユーザインターフェースについて、図3から図13を参照しながら説明する。当該ユーザインターフェースは、例えば、画像処理装置100にインストールされたプログラムが表示装置に表示する操作画面として実現され得る。
≪ホーム画面≫
図4は、本実施形態におけるホーム画面の一例を示す図である。ホーム画面は、ユーザが画像処理サービスにログインした後、最初に表示される画面である。ホーム画面は、ユーザが画像処理サービスの各機能を起動するための起点となる。
図4は、本実施形態におけるホーム画面の一例を示す図である。ホーム画面は、ユーザが画像処理サービスにログインした後、最初に表示される画面である。ホーム画面は、ユーザが画像処理サービスの各機能を起動するための起点となる。
図4に示されているように、ホーム画面1000は、画像入力欄1010及び画像表示領域1020を有する。
画像入力欄1010は、処理対象とする画像の入力を受け付ける。ユーザが画像入力欄1010に画像ファイルをドラッグアンドドロップすると、当該画像ファイルに表された画像の入力が受け付けられる。
画像入力欄1010への入力は、画像が特定可能な操作であればどのようなものでもよい。例えば、画像入力欄1010をクリックするとファイル選択画面が表示され、当該ファイル選択画面において画像ファイルを選択することで、画像の入力を受け付けてもよい。また、例えば、画像入力欄1010に画像ファイルへの絶対パス又はURL(Uniform Resource Locator)をテキスト入力することで、画像の入力を受け付けてもよい。
画像表示領域1020には、ユーザが過去にスタイル変換した画像、ユーザがフォローしているユーザが公開した画像等がランダムに表示される。画像表示領域1020に表示される画像には、当該画像のタイトルやユーザ名が表示されてもよい。画像のタイトルやユーザ名は、画像にマウスオーバーすることでポップアップ表示されてもよい。
ユーザが画像表示領域1020においていずれかの画像を選択すると、当該画像に関する画像詳細画面が表示される。
≪ピックアップ画面≫
図5は、本実施形態におけるピックアップ画面の一例を示す図である。ピックアップ画面は、画像処理サービスで公開されている画像を閲覧するための画面である。ピックアップ画面は、各画面に共通して表示されるメインメニューから開くことができる。
図5は、本実施形態におけるピックアップ画面の一例を示す図である。ピックアップ画面は、画像処理サービスで公開されている画像を閲覧するための画面である。ピックアップ画面は、各画面に共通して表示されるメインメニューから開くことができる。
図5に示されているように、ピックアップ画面1100は、分類選択欄1110及び画像表示領域1120を有する。
分類選択欄1110には、閲覧する画像の分類を示すタブが表示される。本実施形態では、ピックアップ画像(pickup)、長期人気画像(trend)、短期人気画像(upcoming)及び最新投稿画像(recent)に対応するタブが表示される。ピックアップ画像は、画像処理サービスの運営管理者等が選別した画像である。長期人気画像は、長期間にわたって人気が継続している画像である。短期人気画像は、短期間に人気が上昇している画像である。最新投稿画像は、公開日時が所定期間内の画像である。
ユーザが分類選択欄1110のタブを押下すると、当該タブに対応する分類に該当する画像が、画像表示領域1120に表示される。画像表示領域1120に表示される画像には、ホーム画面1000と同様に、当該画像のタイトルやユーザ名が表示されてもよい。
ユーザが画像表示領域1120においていずれかの画像を選択すると、当該画像に関する画像詳細画面が表示される。
≪画像検索画面≫
図6は、本実施形態における画像検索画面の一例を示す図である。画像検索画面は、画像処理サービスで公開されている画像を検索するための画面である。画像検索画面は、各画面に共通して表示されるメインメニューから開くことができる。
図6は、本実施形態における画像検索画面の一例を示す図である。画像検索画面は、画像処理サービスで公開されている画像を検索するための画面である。画像検索画面は、各画面に共通して表示されるメインメニューから開くことができる。
図6に示されているように、画像検索画面1200は、検索条件入力欄1210及び検索結果表示領域1220を有する。
ユーザが検索条件入力欄1210に検索条件を入力すると、当該検索条件に合致する画像が、検索結果表示領域1220に表示される。検索対象は、画像に付与されたタイトル、説明文、タグ等である。検索結果表示領域1220に表示される画像には、ホーム画面1000と同様に、当該画像のタイトルやユーザ名が表示されてもよい。
ユーザが検索結果表示領域1220においていずれかの画像を選択すると、当該画像に関する画像詳細画面が表示される。
≪画像詳細画面≫
図7は、本実施形態における画像詳細画面の一例を示す図である。画像詳細画面は、画像の詳細情報を参照するための画面である。画像詳細画面は、ユーザがホーム画面1000、ピックアップ画面1100又は画像検索画面1200等に表示されたいずれかの画像を選択することで起動する。
図7は、本実施形態における画像詳細画面の一例を示す図である。画像詳細画面は、画像の詳細情報を参照するための画面である。画像詳細画面は、ユーザがホーム画面1000、ピックアップ画面1100又は画像検索画面1200等に表示されたいずれかの画像を選択することで起動する。
図7に示されているように、画像詳細画面1300は、画像表示領域1310、画像情報表示領域1320、スタイル情報表示領域1330及び関連画像表示領域1340を有する。スタイル情報表示領域1330は、追加ボタン1331を有する。
画像表示領域1310には、ユーザにより選択された画像が表示される。画像表示領域1310は、2つの領域に分割され、スタイル変換前の画像とスタイル変換後の画像とを比較可能な態様で表示されてもよい。本実施形態における画像表示領域1310は、ポインタの位置を基準にして左右2つの領域に分割され、左側の領域にはスタイル変換前の画像、右側の領域にはスタイル変換後の画像を表示する。このとき、ユーザがポインタの位置を移動すると、それに伴い領域の境界線が移動し、スタイル変換前の画像とスタイル変換後の画像との表示割合が変化する。なお、上下2つの領域に分割する等、ポインタの位置を基準とした任意の方法で画像表示領域1310を変換前と変換後の領域に分割してもよい。
画像情報表示領域1320には、当該画像に関する詳細情報が表示される。画像情報表示領域1320に表示される情報は、例えば、当該画像を生成したユーザ、当該画像の属性情報(Exif(Exchangeable image file format)情報等)、当該画像に付与されたメタデータ(タイトル、説明文及びタグ)等を含む。タイトル、説明文及びタグは、編集可能な態様で表示される。
スタイル情報表示領域1330には、当該画像のスタイルを変換するために用いられたスタイルベクトルに関する情報が表示される。スタイル情報表示領域1330に表示される情報は、例えば、当該スタイルベクトルの名称、当該スタイルベクトルの縮小画像、当該スタイルベクトルに対応する変換モデルの名称、及び当該スタイルベクトルの各パラメータを可視化した画像等を含む。
ユーザが追加ボタン1331を押下すると、スタイル情報表示領域1330に表示されているスタイルベクトルが、ユーザのお気に入り情報に保存される。
関連画像表示領域1340には、当該画像に関連する画像がランダムに表示される。関連画像表示領域1340に表示される画像は、ユーザ、タグ又はスタイルが当該画像と類似する画像である。関連画像表示領域1340に表示される画像には、ホーム画面1000と同様に、当該画像のタイトルやユーザ名が表示されてもよい。画像のタイトルやユーザ名は、画像にマウスオーバーすることでポップアップ表示されてもよい。
ユーザが関連画像表示領域1340においていずれかの画像を選択すると、画像詳細画面1300に表示される情報が、当該画像に関する情報に更新される。
≪プリセット管理画面≫
図8は、本実施形態におけるプリセット管理画面の一例を示す図である。プリセット管理画面は、ユーザがお気に入り情報に保存したプリセットを管理するための画面である。プリセット管理画面は、各画面に共通して表示されるメインメニューから開くことができる。
図8は、本実施形態におけるプリセット管理画面の一例を示す図である。プリセット管理画面は、ユーザがお気に入り情報に保存したプリセットを管理するための画面である。プリセット管理画面は、各画面に共通して表示されるメインメニューから開くことができる。
図8に示されているように、プリセット管理画面1400は、1以上のプリセット表示領域1410(1410-1~1410-2)を有する。プリセット表示領域1410は、縮小画像表示欄1411、名称表示欄1412、パラメータ表示欄1413、ユーザ表示欄1414及びモデル表示欄1415を有する。
プリセット表示領域1410は、ユーザがお気に入り情報に保存したプリセットと同数だけ表示される。お気に入り情報に保存されているプリセットの数が多い場合、プリセット表示領域1410は、表示装置に表示できる数のプリセットのみを表示し、ユーザがプリセット管理画面1400を下方にスクロールするに従って、プリセット表示領域1410を追加する制御を行ってもよい。
プリセット管理画面1400に表示されるプリセット表示領域1410の順番は、どのようなものでもよい。例えば、お気に入り情報に保存された日時、プリセットの名称に基づいて整列した順番、スタイル変換に利用された回数等に基づいて、プリセット表示領域1410の順番を決定すればよい。
縮小画像表示欄1411には、当該プリセットの縮小画像が表示される。縮小画像表示欄1411は、画像詳細画面1300の画像表示領域1310と同様に、2つの領域に分割されており、一方の領域にはスタイル変換前の縮小画像、他方の領域にはスタイル変換後の縮小画像が表示される。本実施形態における縮小画像表示欄1411は、一例として、中心を通過する斜線で左右に二分されており、左側の領域にはスタイル変換前の縮小画像、右側の領域にはスタイル変換後の縮小画像が表示される。なお、上下に分割する等、任意の方向で変換前の領域と変換後の領域を分割してもよい。
名称表示欄1412には、当該プリセットの名称が表示される。パラメータ表示欄1413には、当該プリセットの各パラメータを可視化した画像が表示される。パラメータ表示欄1413に表示される画像では、各パラメータが所定の範囲で正規化されていてもよい。所定の範囲は、一例として、-2~+2であってもよいし、-100~+100の範囲であってもよい。ユーザ表示欄1414には、当該プリセットを生成したユーザの名称が表示される。モデル表示欄1415には、当該プリセットに対応する変換モデルの名称が表示される。
≪画像編集画面≫
図9は、本実施形態における画像編集画面の一例を示す図である。画像編集画面は、画像を編集するための画面である。画像編集画面は、ホーム画面1000で画像の入力を受け付けた後に表示される。画像編集画面は、ユーザが入力した画像を一覧表示する画面からいずれかの画像を選択したときに表示されてもよい。
図9は、本実施形態における画像編集画面の一例を示す図である。画像編集画面は、画像を編集するための画面である。画像編集画面は、ホーム画面1000で画像の入力を受け付けた後に表示される。画像編集画面は、ユーザが入力した画像を一覧表示する画面からいずれかの画像を選択したときに表示されてもよい。
図9に示されているように、画像編集画面1500は、画像表示領域1510、編集履歴表示領域1520、公開ボタン1530及びスタイル変換ボタン1540を有する。
画像表示領域1510には、編集対象とする画像が表示される。編集履歴表示領域1520には、当該画像を編集した編集履歴が時系列に表示される。ユーザが編集履歴表示領域1520からいずれかの編集履歴を選択すると、画像編集画面1500に表示される情報が、当該編集履歴時点の画像に関する情報に更新される。なお、編集履歴表示領域1520から選択した画像に対して編集を行うと、選択された画像より後の編集履歴が削除される。
ユーザが公開ボタン1530を押下すると、当該画像が公開される。公開された画像は、画像処理サービスを利用する他のユーザから参照可能となる。ユーザがスタイル変換ボタン1540を押下すると、当該画像に関するスタイル変換画面が表示される。
≪スタイル変換画面≫
図10は、本実施形態におけるスタイル変換画面の一例を示す図である。スタイル変換画面は、画像のスタイルを変換するための画面である。図10は、プリセットを用いてスタイルを変換するときのスタイル変換画面の一例である。
図10は、本実施形態におけるスタイル変換画面の一例を示す図である。スタイル変換画面は、画像のスタイルを変換するための画面である。図10は、プリセットを用いてスタイルを変換するときのスタイル変換画面の一例である。
図10に示されているように、プリセット利用時のスタイル変換画面1600は、画像表示領域1610、プリセット表示領域1620、モデル選択欄1630、プレビュー表示領域1640及び適用ボタン1650を有する。
画像表示領域1610には、変換対象とする画像が表示される。画像表示領域1610には、プレビュー参照領域1611が含まれる。プレビュー参照領域1611は、プレビュー表示領域1640に表示する縮小画像を取得するための領域である。初期表示時には、プレビュー参照領域1611は、画像表示領域1610の中央に位置する。ただし、ユーザの操作によりプレビュー参照領域1611を画像表示領域1610の任意の位置に移動することが可能である。
プリセット表示領域1620には、利用可能なプリセットの一覧が表示される。利用可能なプリセットは、ユーザがお気に入り情報に保存したユーザプリセット及びシステムプリセットである。利用可能な変換モデルが複数ある場合、プリセット表示領域1620には、モデル選択欄1630で選択されている変換モデルに対応するプリセットのみが表示される。なお、変換モデルに対応するプリセットは、スタイル記憶部112に記憶された変換モデルとスタイルベクトルの紐付け情報に基づいて抽出してもよい。
モデル選択欄1630は、利用可能な変換モデルの一覧が選択可能な態様で表示される。モデル選択欄1630は、例えば、ドロップダウンリストで変換モデルの一覧を表示し、ユーザの操作により変換モデルを選択可能とすることができる。利用可能な変換モデルが1つである場合、モデル選択欄1630は、固定としてもよいし、非表示としてもよい。
ユーザがモデル選択欄1630において変換モデルを選択すると、プリセット表示領域1620に表示されているプリセットが、選択された変換モデルに対応するプリセットに更新される。
ユーザがプリセット表示領域1620においてプリセットを選択すると、変換対象とする画像を低解像度に変換し当該プリセットを用いてスタイル変換した画像が、画像表示領域1610に表示される。同時に、プレビュー表示領域1640に、当該プリセットを用いたスタイル変換前の縮小画像、及び当該プリセットを用いたスタイル変換後の縮小画像が表示される。プレビュー表示領域1640に表示される縮小画像は、プレビュー参照領域1611で示された領域に含まれる画像である。
本実施形態における変換モデルは、変換対象とする画像と同じサイズの画像を入力とし、入力された画像と同じサイズのスタイル変換後の画像を出力してもよい。例えば、変換対象とする画像が1024×1024ピクセルの画像である場合、変換モデルには1024×1024ピクセルの画像が入力され、1024×1024ピクセルのスタイル変換後の画像が出力される。したがって、変換対象とする画像を低解像度に変換しておくことで、スタイル変換時の演算量を削減することが可能である。
変換対象とする画像を低解像度に変換する処理は、事前に実行しておくとよい。一例として、ホーム画面1000においてユーザが変換対象とする画像を入力したときに、変換対象とする画像を低解像度に変換する処理を実行してもよい。また、低解像度に変換した画像は、変換対象とする画像と共に画像情報記憶部111等に記憶しておくとよい。予め低解像度の画像を用意しておくことで、プレビュー表示する際には、変換対象とする画像を低解像度に変換する処理を省略することができる。
ユーザが適用ボタン1650を押下すると、プリセット表示領域1620で選択されているプリセットを用いて、画像表示領域1610に表示されている変換対象の画像全体がスタイル変換される。スタイル変換が完了すると、変換後の画像に関する画像情報が画像情報記憶部111に記憶される。
図11は、本実施形態におけるスタイル変換画面の一例を示す図である。図11は、プリセットのパラメータを調整してスタイル変換するときのスタイル変換画面である。
図11に示されているように、スタイル調整時のスタイル変換画面1700は、図10に示したスタイル変換画面1600と比較すると、プリセット表示領域1620の代わりに、複数のパラメータ調整領域1710(1710-1~1710-6)を有する点が異なる。
パラメータ調整領域1710は、スタイルベクトルの各パラメータのうちスタイル変換に用いるパラメータと同数だけ表示される。すなわち、パラメータ調整領域1710は、一例として、32個まで表示され得る。本実施形態では、スタイルベクトルのうち20次元をスタイル変換に用いるため、パラメータ調整領域1710は20個表示される。
パラメータ調整領域1710には、スタイル変換画面1600のプリセット表示領域1620で選択されたプリセットの各パラメータが、調整可能な形態で表示される。パラメータ調整領域1710には、プリセットの各パラメータについて、当該パラメータに対応する2枚の縮小画像が表示される。第1の縮小画像は、他のパラメータを固定したまま当該パラメータの値を第1の値(一例として、最小値)に変更したスタイルベクトルを用いてスタイル変換した縮小画像である。第2の縮小画像は、他のパラメータを固定したまま当該パラメータの値を第2の値(一例として、最大値)に変更したスタイルベクトルを用いてスタイル変換した縮小画像である。
図12A及び図12Bは、パラメータ調整領域の動作の一例を示す図である。図12Aは、パラメータ調整前のパラメータ調整領域1710を示す図であり、図12Bは、パラメータ調整後のパラメータ調整領域1710を示す図である。
図12A及び図12Bに示されているように、パラメータ調整領域1710-n(n=1,…,6)は、パラメータ変更欄1711-n、第1縮小画像表示欄1712-n及び第2縮小画像表示欄1713-nを有する。
パラメータ変更欄1711-nは、スタイルベクトルの現在の値が、変更可能な態様で表示される。パラメータ変更欄1711-nに表示されるスタイルベクトルの値は所定の数値範囲で正規化されてもよい。一例として、-2から+2の範囲で正規化されていてもよい。本実施形態におけるパラメータ変更欄1711-nは、水平方向に配置され、最小値(本実施形態では-2)を示す左端から、最大値(本実施形態では+2)を示す右端まで、無段階で調整可能なスライダーバーで構成される。
なお、パラメータ変更欄1711-nは、所定数の段階で調整可能なスライダーバー、数値を直接入力可能なテキストボックス、プラスボタン及びマイナスボタンにより数値を変更可能なテキストボックス、セレクトボックス又はラジオボタン等の数値を選択可能なリストボックス、回転方向に応じて数値が増減するダイヤル等で構成されてもよい。つまり、スタイルベクトルの各パラメータについて、現在の値及び変更後の値の関係を視認できる形態であれば任意の構成を用いることができる。
第1縮小画像表示欄1712-nには、他のパラメータを固定したまま、当該パラメータを最小値に設定したスタイルベクトルを用いて、プレビュー参照領域1611で示された領域の画像をスタイル変換した縮小画像が表示される。第2縮小画像表示欄1713-nには、他のパラメータを固定したまま、当該パラメータを最大値に設定したスタイルベクトルを用いて、プレビュー参照領域1611で示された領域の画像をスタイル変換した縮小画像が表示される。
第1縮小画像表示欄1712-n及び第2縮小画像表示欄1713-nは、当該パラメータ調整領域1710-nに対応するパラメータがスタイルに与える影響を表している。したがって、第1縮小画像表示欄1712-nと第2縮小画像表示欄1713-nとを比較することで、当該パラメータを調整することで影響を受けるスタイルの特徴を把握することができる。
図12A及び図12Bに示されているように、いずれかのパラメータ変更欄1711(図12Bの例ではパラメータ変更欄1711-1)を調整すると、調整した後のパラメータに基づいて、他のパラメータ変更欄1711(図12Bの例ではパラメータ変更欄1711-2~1711-6)に対応する第1縮小画像表示欄1712及び第2縮小画像表示欄1713が更新される。また、変換対象とする画像を低解像度に変換し、調整した後のパラメータに基づいてスタイル変換した画像が、画像表示領域1610に表示される。ユーザは、プレビュー表示領域1640に表示される縮小画像と、各パラメータ調整領域1710に表示される各縮小画像とを比較しながらパラメータを調整することで、所望のスタイルに近いスタイルベクトルを効率的に探索することが可能となっている。
[画像処理方法の処理手順]
本開示の一実施形態における画像処理装置100が実行する画像処理方法の処理手順について、図13を参照しながら説明する。図13は、画像処理方法の処理手順の一例を示すフローチャートである。
本開示の一実施形態における画像処理装置100が実行する画像処理方法の処理手順について、図13を参照しながら説明する。図13は、画像処理方法の処理手順の一例を示すフローチャートである。
ステップS1において、画像処理装置100の画像抽出部102は、画像情報記憶部111に記憶されている画像情報を抽出する。画像抽出部102が抽出する画像情報は、表示装置に表示している画面により異なる。例えば、表示装置にホーム画面1000を表示する場合、画像抽出部102は、ユーザ及び当該ユーザがフォローしているユーザが生成した画像に関する画像情報を抽出する。また、例えば、表示装置に画像検索画面1200を表示している場合、画像抽出部102は、ユーザにより指定された検索条件に合致する画像情報を抽出する。
ステップS2において、画像処理装置100の画像抽出部102は、ユーザの指示に応じてスタイルベクトルをお気に入り情報に保存する。画像抽出部102は、まず、ユーザの指示に応じて画像を選択する。次に、画像抽出部102は、選択された画像に関する画像情報を出力する。出力される画像情報は、少なくとも画像及び当該画像を生成するときに用いられたスタイルベクトルを含む。
続いて、画像抽出部102は、ユーザの指示に応じてスタイルベクトルを選択する。次に、画像抽出部102は、選択されたスタイルベクトルの識別情報をユーザ情報記憶部113に記憶する。スタイルベクトルの識別情報は、当該ユーザに関するユーザ情報のお気に入り情報に保存される。
なお、本実施形態では、スタイルベクトルの保存は、ユーザが有料プランを契約している場合のみ実行できる。したがって、画像抽出部102は、ユーザ情報記憶部113に記憶されている契約情報に基づいて、当該ユーザの料金形態が有料プランであるか無料プランであるかを判定し、無料プランである場合、ステップS2を実行しない。
ステップS3において、画像処理装置100の画像変換部101は、ユーザの指示に応じて画像の入力を受け付ける。画像変換部101は、受け付けた入力画像を画像情報記憶部111に記憶する。
ステップS4において、画像処理装置100の画像変換部101は、ユーザの指示に応じて変換モデルを選択する。モデル記憶部110に記憶されている変換モデルが1つである場合、変換モデルの選択は省略される。次に、画像変換部101は、ユーザのお気に入り情報に保存されているスタイルベクトルの識別情報を、ユーザ情報記憶部113から取得する。
画像変換部101は、取得した識別情報に基づいて、スタイル記憶部112に記憶されているユーザプリセットを読み出す。同時に、画像変換部101は、スタイル記憶部112に記憶されているシステムプリセットを読み出す。なお、変換モデルが選択されている場合、画像変換部101は、選択された変換モデルに対応するユーザプリセット及びシステムプリセットのみを読み出す。
そして、画像変換部101は、ユーザの指示に応じてシステムプリセット又はユーザプリセットからスタイル変換に用いるプリセットを選択する。
ステップS5において、画像処理装置100のスタイル調整部103は、ユーザの指示に応じてプリセットの各パラメータを調整する。スタイル調整部103は、プリセットの各パラメータを調整する都度、選択された変換モデルを用いて、各パラメータに対応する縮小画像を生成する。
縮小画像が生成されると、ポイント管理部104は、ユーザ情報記憶部113に記憶されているポイントから所定のポイント数を減算する。
なお、プリセットを調整するか否かは、ユーザが任意に選択できる。ユーザが選択したプリセットをそのまま利用してスタイル変換を行う場合、ステップS5は実行しなくてもよい。
また、本実施形態では、プリセットの調整は、ユーザが有料プランを契約している場合のみ実行できる。したがって、スタイル調整部103は、ユーザ情報記憶部113に記憶されている契約情報に基づいて、当該ユーザの料金形態が有料プランであるか無料プランであるかを判定し、無料プランである場合、ステップS5を実行しない。
ステップS6において、画像処理装置100の画像変換部101は、スタイルベクトルを取得する。ステップS5が実行された場合、画像変換部101は、スタイル調整部103により出力されたスタイルベクトルを取得する。ステップS5が実行されなかった場合、画像変換部101は、ユーザの指示に応じて選択されたプリセットを取得する。
画像変換部101は、ユーザにより選択された変換モデルをモデル記憶部110から読み出す。次に、画像変換部101は、入力画像及びスタイルベクトルを変換モデルに入力することで、入力画像のスタイルが変換された変換画像を生成する。画像変換部101は、変換画像を表示装置に表示する。
変換画像が生成されると、ポイント管理部104は、ユーザ情報記憶部113に記憶されているポイントから所定のポイント数を減算する。
ステップS7において、画像処理装置100の画像変換部101は、ユーザの指示に応じて変換画像に関する画像情報を画像情報記憶部111に記憶する。画像変換部101は、スタイル調整部103により調整されたスタイルベクトルを用いて変換画像を生成した場合、当該スタイルベクトルに関するスタイル情報をスタイル記憶部112に記憶する。
[補足]
上記の実施形態では、スタイルベクトルの保存及びスタイルベクトルの調整は、有料プランを契約しているユーザのみが実行できるように構成した。無料プランを契約しているユーザに対して、スタイルベクトルをランダムに変更できる機能を提供してもよい。この機能によれば、ユーザは、ランダムにスタイルベクトルを変更することを繰り返すことで、所望のスタイルに変換できるスタイルベクトルを得られる可能性がある。
上記の実施形態では、スタイルベクトルの保存及びスタイルベクトルの調整は、有料プランを契約しているユーザのみが実行できるように構成した。無料プランを契約しているユーザに対して、スタイルベクトルをランダムに変更できる機能を提供してもよい。この機能によれば、ユーザは、ランダムにスタイルベクトルを変更することを繰り返すことで、所望のスタイルに変換できるスタイルベクトルを得られる可能性がある。
画像処理装置100は、スタイルベクトルとそのスタイルベクトルに関連付けられた情報を表示装置に表示し、ユーザの指示に基づいて所望のスタイルベクトルを選択してもよい。画像処理装置100が表示装置に表示する情報は、スタイルベクトルとそのスタイルベクトルに関連付けられた情報のいずれか1つであってもよいし、両方であってもよい。1つのスタイルベクトルに関連付けられる情報は、1つの情報であってもよいし、複数の情報であってもよい。
画像処理装置100は、スタイルベクトルとそのスタイルベクトルに関連付けられた情報を表示装置に表示するとき、少なくとも複数のスタイルベクトル又はそのスタイルベクトルに関連付けられた複数の情報のいずれかを、一度に1つの画面に表示してもよい。画像処理装置100は、少なくとも各スタイルベクトル又はそのスタイルベクトルに関連付けられた各情報を、それぞれ異なる画面に表示してもよい。画像処理装置100は、少なくとも複数のスタイルベクトル又はそのスタイルベクトルに関連付けられた複数の情報を、所定の数に分けて、それぞれ異なる画面に表示してもよい。
スタイルベクトルに関連付けられた情報の一例は、そのスタイルベクトルを用いてスタイル変換された1以上の画像である。なお、1以上の画像は、1つの画像であってもよいし、複数の画像であってもよい。ただし、スタイルベクトルに関連付けられた情報は、そのスタイルベクトルを用いてスタイル変換された画像に限定されない。
スタイルベクトルに関連付けられた情報は、一例として、スタイルベクトルの作成者、作成日、利用者、利用日等の情報であってもよいし、スタイルベクトルの説明情報(例えば、「~風へ変換」等)であってもよい。なお、説明情報は、スタイルベクトルの作成者又は利用者が定義してもよい。
スタイルベクトルに関連付けられた情報は、一例として、そのスタイルベクトルを用いてスタイル変換された画像に加えて、その画像に対して所定の加工を適用した画像であってもよい。所定の加工は、一例として、解像度の変更、サイズの変更等であってもよい。
スタイルベクトルの選択は、ユーザによるスタイルベクトルの指定に基づいて行われてもよいし、ユーザによるスタイルベクトルに関連付けられた情報の指定に基づいて行われてもよい。
上記の実施形態では、スタイルベクトルの調整及びスタイルベクトルの保存は、ユーザが契約している料金形態を表す契約情報に基づいて、利用可能か否かを判定した。スタイルベクトルの調整及びスタイルベクトルの保存は、ユーザの属性情報に基づいて、利用可能な否かを判定してもよい。ユーザの属性情報は、一例として、ユーザの契約情報、ユーザが所属する組織、ユーザを区別する情報、ユーザの利用状態を識別する情報等を含んでもよい。ユーザの利用状態は、一例として、ユーザが所持するポイント数、ユーザによる利用履歴等を含んでもよい。
上記の実施形態では、ユーザが複数のスタイルベクトルから1つのスタイルベクトルを指定することで、スタイル変換に用いるスタイルベクトルを選択した。ユーザが1以上のスタイルベクトルから1つのスタイルベクトルを指定可能としてもよい。1以上のスタイルベクトルは、1つのスタイルベクトルであってもよいし、複数のスタイルベクトルであってもよい。
上記の実施形態では、ユーザが複数の変換モデルから1つの変換モデルを指定することで、スタイル変換に用いる変換モデルを選択可能とした。ユーザが1以上の変換モデルから1つの変換モデルを指定可能としてもよい。1以上の変換モデルは、1つの変換モデルであってもよいし、複数の変換モデルであってもよい。
本実施形態における画像処理装置100は、少なくとも1つのメモリと、少なくとも1つのプロセッサとで構成されてもよい。この場合、少なくとも1つのプロセッサは、少なくとも1つのメモリへの各種データの記憶や少なくとも1つのメモリからの各種データの取得を制御することができる。また、少なくとも1つのプロセッサは、表示装置に表示する画面を制御してもよい。
本実施形態における画像処理装置100は、少なくとも1台のサーバと少なくとも1台のユーザ端末(以下、「画像表示装置」とも呼ぶ)によって実現されてもよい。ユーザ端末は、一例として、デスクトップ型又はラップトップ型のパーソナルコンピュータ、スマートフォン、タブレット端末等であってもよい。複数のユーザ端末により実現される場合、各ユーザ端末は異なるユーザが保有してもよい。
画像処理装置100がサーバとユーザ端末によって実現される場合、一方の装置が有する記憶装置に記憶されている情報の一部又は全部が、他方の装置が有する記憶装置に記憶される構成としてもよい。また、サーバ及びユーザ端末のいずれかが有する記憶装置に記憶される情報の一部または全部が、外部の記憶装置に記憶される構成としてもよい。
画像処理装置100がサーバとユーザ端末によって実現される場合、画像処理装置100により行われる各処理が、サーバとユーザ端末とのいずれが実行するかは、任意に決定することができる。一例として、ユーザ端末は、各種情報の表示、ユーザによる指示の受け付けを実行し、サーバは、その他の処理を実行するように構成してもよい。ユーザによる指示の一例は、スタイルベクトル又は変換モデルの選択、スタイルベクトルの調整等である。サーバが実行する処理の一例は、スタイル変換後の画像の生成、変換モデル、スタイルベクトル、ユーザ情報等の記憶等である。
画像処理装置100がサーバとユーザ端末によって実現される場合、ユーザ端末におけるスタイルベクトル又は変換モデルの選択は、ユーザ端末に対する操作によりスタイルベクトル又は変換モデルが選択することと、ユーザ端末からの情報に基づいて、サーバがスタイルベクトル又は変換モデルが選択することとを含む。
画像処理装置100がサーバとユーザ端末によって実現される場合、スタイルベクトルとそのスタイルベクトルに関連付けられた情報を表示する表示装置は、サーバ又はユーザ端末が備えるディスプレイ等であってもよい。
サーバ及びユーザ端末のハードウェア構成は、画像処理装置100と同様であってもよい。画像処理装置100のハードウェア構成の一例は、後述する。
[まとめ]
本実施形態によれば、画像のスタイルを変換するときに用いた情報を再利用可能な装置を提供することができる。また、本実施形態における画像処理装置100を用いることにより、画像のスタイルを変換する際に用いた情報を再利用可能なサービスを提供することができる。
本実施形態によれば、画像のスタイルを変換するときに用いた情報を再利用可能な装置を提供することができる。また、本実施形態における画像処理装置100を用いることにより、画像のスタイルを変換する際に用いた情報を再利用可能なサービスを提供することができる。
本実施形態における画像処理装置100は、スタイル変換後の画像とスタイル変換に用いたスタイルベクトルとを関連付けて記憶し、入力画像のスタイルを変換するときに他の画像に関連付けられたスタイルベクトルを用いることができる。したがって、本実施形態における画像処理装置100によれば、画像のスタイルを変換する際に用いたスタイルベクトルを再利用することができる。
本実施形態における画像処理装置100は、スタイル変換後の画像とスタイル変換に用いたスタイルベクトルとを関連付けて表示し、ユーザにより選択されたスタイルベクトルを用いて入力画像のスタイルを変換する。したがって、本実施形態における画像処理装置100によれば、ユーザは当該スタイルベクトルにより実現されるスタイルを把握しやすく、所望のスタイルに近いスタイルベクトルを容易に選択することができる。
本実施形態における画像処理装置100は、他のユーザが生成したスタイルベクトルをお気に入り情報に保存し、入力画像のスタイルを変換するときに用いることができる。したがって、本実施形態における画像処理装置100によれば、ユーザ間でスタイルベクトルを共有することができる。
本実施形態における画像処理装置100は、複数の変換モデルを利用可能なとき、ユーザにより選択された変換モデルに対応するスタイルベクトルのみをスタイル変換画面に表示する。したがって、本実施形態における画像処理装置100によれば、利用する変換モデルに応じて適切なスタイルベクトルを選択することができる。
本実施形態における画像処理装置100は、スタイルベクトルの各パラメータを任意に調整することができる。したがって、本実施形態における画像処理装置100によれば、ユーザは所望のスタイルを実現できるスタイルベクトルを生成することができる。
本実施形態における画像処理装置100は、スタイルベクトルを調整するとき、各パラメータについて、他のパラメータを固定したまま、当該パラメータを最大値に設定したスタイルベクトルを用いてスタイルを変換した画像、及び当該パラメータを最小値に設定したスタイルベクトルを用いてスタイルを変換した画像を表示する。したがって、本実施形態における画像処理装置100によれば、ユーザは各パラメータがスタイルに与える影響を確認しながら、スタイルベクトルを調整することができる。
本実施形態における画像処理装置100は、スタイルベクトルの保存及びスタイルベクトルの調整は有料プランを契約しているユーザのみが行うことができる。スタイルベクトルの調整では、各パラメータを調整するたびにポイントを消費する。スタイルベクトルの調整は、多数のスタイル変換を実行する計算負荷の高い処理である。したがって、本実施形態における画像処理装置100によれば、利用意欲の高いユーザに対して効率的に計算リソースを割り当てることができる。
本実施形態における画像処理装置100は、スタイルベクトル及び変換モデルに基づいて、第1の画像のスタイルを変換した第2の画像を生成することができる。スタイルベクトルは、ユーザの指示に応じて、1以上のスタイルベクトルから選択することができる。選択されたスタイルベクトルは、変換モデルに基づく第3の画像のスタイルを変換した第4の画像の生成に利用されたスタイルベクトルとすることができる。
本実施形態における画像処理装置100は、第2の画像を生成する前に、少なくとも1以上のスタイルベクトル又は1以上のスタイルベクトルのそれぞれに関連付けられた情報のいずれかを表示装置に表示し、その後、ユーザの指示に応じて選択されたスタイルベクトルに基づいて、第2の画像を生成することができる。このとき、関連付けられた情報は、1以上のスタイルベクトルそれぞれを用いて生成された1以上の画像を含む。
本実施形態における画像処理装置100は、ユーザ又は他のユーザの指示により、スタイルベクトル及び変換モデルに基づいて、第3の画像のスタイルを変換した第4の画像を生成することができる。
本実施形態における画像処理装置100は、ユーザの指示に応じて変換モデルを選択し、少なくとも、変換モデルに対応する1以上のスタイルベクトル又は1以上のスタイルベクトルのそれぞれに関連付けられた情報のいずれかを表示装置に表示することができる。
本実施形態における画像処理装置100は、スタイルベクトルを選択した後に、ユーザの指示に応じて調整されたスタイルベクトルと変換モデルに基づいて、第2の画像を生成することができる。このとき、ユーザの属性情報に応じて、選択されたスタイルベクトルを調整可能とするか否かを判定することができる。また、ユーザの指示に応じてスタイルベクトルが調整されたとき、ユーザが保有するポイントを減算することができる。
本実施形態における画像処理装置100は、選択されたスタイルベクトルの各パラメータについて、パラメータを第1の値に設定したスタイルベクトルに基づいて第5の画像のスタイルを変換した第6の画像と、パラメータを第2の値に設定したスタイルベクトルに基づいて第5の画像のスタイルを変換した第7の画像とを生成し、第6の画像と第7の画像とを表示装置に表示することができる。このとき、第5の画像は、第1の画像に含まれる一部の領域とすることができる。また、ユーザの指示によりパラメータの値が変更されたとき、スタイルベクトルの各パラメータについて第6の画像及び第7の画像を再生成することができる。
本実施形態におけるユーザ端末は、変換対象となる第1の画像を取得し、少なくとも1以上のスタイルベクトル又は1以上のスタイルベクトルのそれぞれに関連付けられた情報のいずれかを表示装置に表示し、ユーザの指示に応じて、1以上のスタイルベクトルからスタイルベクトルを選択し、第1の画像のスタイルを変換した第2の画像を取得し、第2の画像を表示装置に表示することができる。選択されたスタイルベクトルは、変換モデルに基づく第3の画像のスタイルを変換した第4の画像の生成に利用されたスタイルベクトルとすることができる。第2の画像は、変換モデル及び選択されたスタイルベクトルに基づいて生成された画像とすることができる。
本実施形態におけるユーザ端末は、ユーザの指示に応じて、1以上の変換モデルから変換モデルを選択することができる。第4の画像は、ユーザ又は他のユーザの指示に基づいて生成された画像とすることができる。関連付けられた情報は、1以上のスタイルベクトルそれぞれを用いて生成された1以上の画像を含むことができる。
本実施形態におけるユーザ端末は、スタイルベクトルを選択した後に、ユーザの指示に応じて調整されたスタイルベクトルと変換モデルに基づいて、第2の画像を生成することができる。
本実施形態におけるユーザ端末は、表示装置に表示されたスタイルベクトルの各パラメータに対応するスライダーバーをユーザが操作することによって、スタイルベクトルを調整することができる。
[情報処理装置のハードウェア構成]
前述した実施形態における各装置(画像処理装置100)の一部又は全部は、ハードウェアで構成されていてもよいし、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)等が実行するソフトウェア(プログラム)の情報処理で構成されてもよい。ソフトウェアの情報処理で構成される場合には、前述した実施形態における各装置の少なくとも一部の機能を実現するソフトウェアを、CD-ROM(Compact Disc-Read Only Memory)、USB(Universal Serial Bus)メモリ等の非一時的な記憶媒体(非一時的なコンピュータ可読媒体)に収納し、コンピュータに読み込ませることにより、ソフトウェアの情報処理を実行してもよい。また、通信ネットワークを介して当該ソフトウェアがダウンロードされてもよい。さらに、ソフトウェアの処理の全部又は一部がASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)等の回路に実装されることにより、当該ソフトウェアによる情報処理がハードウェアにより実行されてもよい。
前述した実施形態における各装置(画像処理装置100)の一部又は全部は、ハードウェアで構成されていてもよいし、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)等が実行するソフトウェア(プログラム)の情報処理で構成されてもよい。ソフトウェアの情報処理で構成される場合には、前述した実施形態における各装置の少なくとも一部の機能を実現するソフトウェアを、CD-ROM(Compact Disc-Read Only Memory)、USB(Universal Serial Bus)メモリ等の非一時的な記憶媒体(非一時的なコンピュータ可読媒体)に収納し、コンピュータに読み込ませることにより、ソフトウェアの情報処理を実行してもよい。また、通信ネットワークを介して当該ソフトウェアがダウンロードされてもよい。さらに、ソフトウェアの処理の全部又は一部がASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)等の回路に実装されることにより、当該ソフトウェアによる情報処理がハードウェアにより実行されてもよい。
ソフトウェアを収納する記憶媒体は、光ディスク等の着脱可能なものでもよいし、ハードディスク、メモリ等の固定型の記憶媒体であってもよい。また、記憶媒体は、コンピュータ内部に備えられてもよいし(主記憶装置、補助記憶装置等)、コンピュータ外部に備えられてもよい。
図14は、前述した実施形態における各装置(画像処理装置100)のハードウェア構成の一例を示すブロック図である。各装置は、一例として、プロセッサ71と、主記憶装置72(メモリ)と、補助記憶装置73(メモリ)と、ネットワークインタフェース74と、デバイスインタフェース75と、を備え、これらがバス76を介して接続されたコンピュータ7として実現されてもよい。
図14のコンピュータ7は、各構成要素を一つ備えているが、同じ構成要素を複数備えていてもよい。また、図14では、1台のコンピュータ7が示されているが、ソフトウェアが複数台のコンピュータにインストールされて、当該複数台のコンピュータそれぞれがソフトウェアの同一の又は異なる一部の処理を実行してもよい。この場合、コンピュータそれぞれがネットワークインタフェース74等を介して通信して処理を実行する分散コンピューティングの形態であってもよい。つまり、前述した実施形態における各装置(画像処理装置100)は、1又は複数の記憶装置に記憶された命令を1台又は複数台のコンピュータが実行することで機能を実現するシステムとして構成されてもよい。また、端末から送信された情報をクラウド上に設けられた1台又は複数台のコンピュータで処理し、この処理結果を端末に送信するような構成であってもよい。
前述した実施形態における各装置(画像処理装置100)の各種演算は、1又は複数のプロセッサを用いて、又はネットワークを介した複数台のコンピュータを用いて、並列処理で実行されてもよい。また、各種演算が、プロセッサ内に複数ある演算コアに振り分けられて、並列処理で実行されてもよい。また、本開示の処理、手段等の一部又は全部は、ネットワークを介してコンピュータ7と通信可能なクラウド上に設けられたプロセッサ及び記憶装置の少なくとも一方により実現されてもよい。このように、前述した実施形態における各装置は、1台又は複数台のコンピュータによる並列コンピューティングの形態であってもよい。
プロセッサ71は、少なくともコンピュータの制御又は演算のいずれかを行う電子回路(処理回路、Processing circuit、Processing circuitry、CPU、GPU、FPGA、ASIC等)であってもよい。また、プロセッサ71は、汎用プロセッサ、特定の演算を実行するために設計された専用の処理回路又は汎用プロセッサと専用の処理回路との両方を含む半導体装置のいずれであってもよい。また、プロセッサ71は、光回路を含むものであってもよいし、量子コンピューティングに基づく演算機能を含むものであってもよい。
プロセッサ71は、コンピュータ7の内部構成の各装置等から入力されたデータやソフトウェアに基づいて演算処理を行ってもよく、演算結果や制御信号を各装置等に出力してもよい。プロセッサ71は、コンピュータ7のOS(Operating System)や、アプリケーション等を実行することにより、コンピュータ7を構成する各構成要素を制御してもよい。
前述した実施形態における各装置(画像処理装置100)は、1又は複数のプロセッサ71により実現されてもよい。ここで、プロセッサ71は、1チップ上に配置された1又は複数の電子回路を指してもよいし、2つ以上のチップあるいは2つ以上のデバイス上に配置された1又は複数の電子回路を指してもよい。複数の電子回路を用いる場合、各電子回路は有線又は無線により通信してもよい。
主記憶装置72は、プロセッサ71が実行する命令及び各種データ等を記憶してもよく、主記憶装置72に記憶された情報がプロセッサ71により読み出されてもよい。補助記憶装置73は、主記憶装置72以外の記憶装置である。なお、これらの記憶装置は、電子情報を格納可能な任意の電子部品を意味するものとし、半導体のメモリでもよい。半導体のメモリは、揮発性メモリ又は不揮発性メモリのいずれでもよい。前述した実施形態における各装置(画像処理装置100)において各種データ等を保存するための記憶装置は、主記憶装置72又は補助記憶装置73により実現されてもよく、プロセッサ71に内蔵される内蔵メモリにより実現されてもよい。例えば、前述した実施形態における各記憶部(モデル記憶部110、画像情報記憶部111、スタイル記憶部112及びユーザ情報記憶部113)は、主記憶装置72又は補助記憶装置73により実現されてもよい。
前述した実施形態における各装置(画像処理装置100)が、少なくとも1つの記憶装置(メモリ)と、この少なくとも1つの記憶装置に接続(結合)される少なくとも1つのプロセッサで構成される場合、記憶装置1つに対して、少なくとも1つのプロセッサが接続されてもよい。また、プロセッサ1つに対して、少なくとも1つの記憶装置が接続されてもよい。また、複数のプロセッサのうち少なくとも1つのプロセッサが、複数の記憶装置のうち少なくとも1つの記憶装置に接続される構成を含んでもよい。また、複数台のコンピュータに含まれる記憶装置とプロセッサによって、この構成が実現されてもよい。さらに、記憶装置がプロセッサと一体になっている構成(例えば、L1キャッシュ、L2キャッシュを含むキャッシュメモリ)を含んでもよい。
ネットワークインタフェース74は、無線又は有線により、通信ネットワーク8に接続するためのインタフェースである。ネットワークインタフェース74は、既存の通信規格に適合したもの等、適切なインタフェースを用いればよい。ネットワークインタフェース74により、通信ネットワーク8を介して接続された外部装置9Aと情報のやり取りが行われてもよい。なお、通信ネットワーク8は、WAN(Wide Area Network)、LAN(Local Area Network)、PAN(Personal Area Network)等の何れか又はそれらの組み合わせであってよく、コンピュータ7と外部装置9Aとの間で情報のやり取りが行われるものであればよい。WANの一例としてインターネット等があり、LANの一例としてIEEE802.11やイーサネット(登録商標)等があり、PANの一例としてBluetooth(登録商標)やNFC(Near Field Communication)等がある。
デバイスインタフェース75は、外部装置9Bと直接接続するUSB等のインタフェースである。
外部装置9Aはコンピュータ7とネットワークを介して接続されている装置である。外部装置9Bはコンピュータ7と直接接続されている装置である。
外部装置9A又は外部装置9Bは、一例として、入力装置であってもよい。入力装置は、例えば、カメラ、マイクロフォン、モーションキャプチャ、各種センサ、キーボード、マウス、タッチパネル等のデバイスであり、取得した情報をコンピュータ7に与える。また、パーソナルコンピュータ、タブレット端末、スマートフォン等の入力部とメモリとプロセッサを備えるデバイスであってもよい。
また、外部装置9A又は外部装置Bは、一例として、出力装置でもよい。出力装置は、例えば、LCD(Liquid Crystal Display)、有機EL(Electro Luminescence)パネル等の表示装置であってもよいし、音声等を出力するスピーカ等であってもよい。また、パーソナルコンピュータ、タブレット端末又はスマートフォン等の出力部とメモリとプロセッサを備えるデバイスであってもよい。
また、外部装置9Aまた外部装置9Bは、記憶装置(メモリ)であってもよい。例えば、外部装置9Aはネットワークストレージ等であってもよく、外部装置9BはHDD等のストレージであってもよい。
また、外部装置9A又は外部装置9Bは、前述した実施形態における各装置(画像処理装置100)の構成要素の一部の機能を有する装置でもよい。つまり、コンピュータ7は、外部装置9A又は外部装置9Bに処理結果の一部又は全部を送信してもよいし、外部装置9A又は外部装置9Bから処理結果の一部又は全部を受信してもよい。
本明細書(請求項を含む)において、「a、b及びcの少なくとも1つ(一方)」又は「a、b又はcの少なくとも1つ(一方)」の表現(同様な表現を含む)が用いられる場合は、a、b、c、a-b、a-c、b-c又はa-b-cのいずれかを含む。また、a-a、a-b-b、a-a-b-b-c-c等のように、いずれかの要素について複数のインスタンスを含んでもよい。さらに、a-b-c-dのようにdを有する等、列挙された要素(a、b及びc)以外の他の要素を加えることも含む。
本明細書(請求項を含む)において、「データを入力として/を用いて/データに基づいて/に従って/に応じて」等の表現(同様な表現を含む)が用いられる場合は、特に断りがない場合、データそのものを用いる場合や、データに何らかの処理を行ったもの(例えば、ノイズ加算したもの、正規化したもの、データから抽出した特徴量、データの中間表現等)を用いる場合を含む。また、「データを入力として/を用いて/データに基づいて/に従って/に応じて」何らかの結果が得られる旨が記載されている場合(同様な表現を含む)、特に断りがない場合、当該データのみに基づいて当該結果が得られる場合や、当該データ以外の他のデータ、要因、条件及び/又は状態にも影響を受けて当該結果が得られる場合を含む。また、「データを出力する」旨が記載されている場合(同様な表現を含む)、特に断りがない場合、データそのものを出力として用いる場合や、データに何らかの処理を行ったもの(例えば、ノイズ加算したもの、正規化したもの、データから抽出した特徴量、各種データの中間表現等)を出力として用いる場合を含む。
本明細書(請求項を含む)において、「接続される(connected)」及び「結合される(coupled)」との用語が用いられる場合は、直接的な接続/結合、間接的な接続/結合、電気的(electrically)な接続/結合、通信的(communicatively)な接続/結合、機能的(operatively)な接続/結合、物理的(physically)な接続/結合等のいずれをも含む非限定的な用語として意図される。当該用語は、当該用語が用いられた文脈に応じて適宜解釈されるべきであるが、意図的に或いは当然に排除されるのではない接続/結合形態は、当該用語に含まれるものして非限定的に解釈されるべきである。
本明細書(請求項を含む)において、「AがBするよう構成される(A configured to B)」との表現が用いられる場合は、要素Aの物理的構造が、動作Bを実行可能な構成を有するとともに、要素Aの恒常的(permanent)又は一時的(temporary)な設定(setting/configuration)が、動作Bを実際に実行するように設定(configured/set)されていることを含んでよい。例えば、要素Aが汎用プロセッサである場合、当該プロセッサが動作Bを実行可能なハードウェア構成を有するとともに、恒常的(permanent)又は一時的(temporary)なプログラム(命令)の設定により、動作Bを実際に実行するように設定(configured)されていればよい。また、要素Aが専用プロセッサ、専用演算回路等である場合、制御用命令及びデータが実際に付属しているか否かとは無関係に、当該プロセッサの回路的構造等が動作Bを実際に実行するように構築(implemented)されていればよい。
本明細書(請求項を含む)において、含有又は所有を意味する用語(例えば、「含む(comprising/including)」、「有する(having)」等)が用いられる場合は、当該用語の目的語により示される対象物以外の物を含有又は所有する場合を含む、open-endedな用語として意図される。これらの含有又は所有を意味する用語の目的語が数量を指定しない又は単数を示唆する表現(a又はanを冠詞とする表現)である場合は、当該表現は特定の数に限定されないものとして解釈されるべきである。
本明細書(請求項を含む)において、ある箇所において「1つ又は複数(one or more)」、「少なくとも1つ(at least one)」等の表現が用いられ、他の箇所において数量を指定しない又は単数を示唆する表現(a又はanを冠詞とする表現)が用いられているとしても、後者の表現が「1つ」を意味することを意図しない。一般に、数量を指定しない又は単数を示唆する表現(a又はanを冠詞とする表現)は、必ずしも特定の数に限定されないものとして解釈されるべきである。
本明細書において、ある実施形態の有する特定の構成について特定の効果(advantage/result)が得られる旨が記載されている場合、別段の理由がない限り、当該構成を有する他の1つ又は複数の実施形態についても当該効果が得られると理解されるべきである。但し、当該効果の有無は、一般に種々の要因、条件及び/又は状態に依存し、当該構成により必ず当該効果が得られるものではないと理解されるべきである。当該効果は、種々の要因、条件及び/又は状態が満たされたときに実施形態に記載の当該構成により得られるものに過ぎず、当該構成又は類似の構成を規定したクレームに係る発明において、当該効果が必ずしも得られるものではない。
本明細書(請求項を含む)において、「最大化する(maximize)/最大化(maximization)」等の用語が用いられる場合は、グローバルな最大値を求めること、グローバルな最大値の近似値を求めること、ローカルな最大値を求めること、及びローカルな最大値の近似値を求めることを含み、当該用語が用いられた文脈に応じて適宜解釈されるべきである。また、これら最大値の近似値を確率的又はヒューリスティックに求めることを含む。同様に、「最小化する(minimize)/最小化(minimization)」等の用語が用いられる場合は、グローバルな最小値を求めること、グローバルな最小値の近似値を求めること、ローカルな最小値を求めること、及びローカルな最小値の近似値を求めることを含み、当該用語が用いられた文脈に応じて適宜解釈されるべきである。また、これら最小値の近似値を確率的又はヒューリスティックに求めることを含む。同様に、「最適化する(optimize)/最適化(optimization)」等の用語が用いられる場合は、グローバルな最適値を求めること、グローバルな最適値の近似値を求めること、ローカルな最適値を求めること、及びローカルな最適値の近似値を求めることを含み、当該用語が用いられた文脈に応じて適宜解釈されるべきである。また、これら最適値の近似値を確率的又はヒューリスティックに求めることを含む。
本明細書(請求項を含む)において、複数のハードウェアが所定の処理を行う場合、各ハードウェアが協働して所定の処理を行ってもよいし、一部のハードウェアが所定の処理の全てを行ってもよい。また、一部のハードウェアが所定の処理の一部を行い、別のハードウェアが所定の処理の残りを行ってもよい。本明細書(請求項を含む)において、「1又は複数のハードウェアが第1の処理を行い、前記1又は複数のハードウェアが第2の処理を行う」等の表現(同様な表現を含む)が用いられている場合、第1の処理を行うハードウェアと第2の処理を行うハードウェアは同じものであってもよいし、異なるものであってもよい。つまり、第1の処理を行うハードウェア及び第2の処理を行うハードウェアが、前記1又は複数のハードウェアに含まれていればよい。なお、ハードウェアは、電子回路、電子回路を含む装置等を含んでよい。
本明細書(請求項を含む)において、複数の記憶装置(メモリ)がデータの記憶を行う場合、複数の記憶装置のうち個々の記憶装置は、データの一部のみを記憶してもよいし、データの全体を記憶してもよい。また、複数の記憶装置のうち一部の記憶装置がデータを記憶する構成を含んでもよい。
本明細書(請求項を含む)において、「第1の」、「第2の」等の用語は、単に2つ以上の要素間を区別する方法として使用されており、その対象に対して時間的態様、空間的態様、順序、量等の技術的意味を課すことを必ずしも意図するものではない。したがって、例えば、第1の要素及び第2の要素への参照は、2つの要素のみがそこで採用され得ること、第1の要素が第2の要素に先行しなければならないこと、第2の要素が存在するために第1の要素が存在しなければならないこと等を必ずしも意味するものではない。
以上、本開示の実施形態について詳述したが、本開示は上記した個々の実施形態に限定されるものではない。特許請求の範囲に規定された内容及びその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲において、種々の追加、変更、置き換え、部分的削除等が可能である。例えば、前述した実施形態において、数値又は数式を説明に用いている場合、これらは例示的な目的で示されたものであり、本開示の範囲を限定するものではない。また、実施形態で示した各動作の順序も例示的なものであり、本開示の範囲を限定するものではない。
本願は、日本国特許庁に2022年7月26日に出願された日本国特許出願2022-118496号の優先権を主張するものであり、その全内容を参照することにより本願に援用する。
100 画像処理装置
101 画像変換部
102 画像抽出部
103 スタイル調整部
104 ポイント管理部
110 モデル記憶部
111 画像情報記憶部
112 スタイル記憶部
113 ユーザ情報記憶部
101 画像変換部
102 画像抽出部
103 スタイル調整部
104 ポイント管理部
110 モデル記憶部
111 画像情報記憶部
112 スタイル記憶部
113 ユーザ情報記憶部
Claims (20)
- 少なくとも1つのメモリと、
少なくとも1つのプロセッサと、を備え、
前記少なくとも1つのプロセッサは、
スタイルベクトル及び変換モデルに基づいて、第1の画像のスタイルを変換した第2の画像を生成すること、を実行し、
前記スタイルベクトルは、ユーザの指示に応じて、1以上のスタイルベクトルから選択されたスタイルベクトルであり、
選択された前記スタイルベクトルは、前記変換モデルに基づく第3の画像のスタイルを変換した第4の画像の生成に利用されたスタイルベクトルである、
画像処理装置。 - 前記第2の画像の生成前に、少なくとも前記1以上のスタイルベクトル又は前記1以上のスタイルベクトルのそれぞれに関連付けられた情報のいずれかが表示装置に表示され、
前記少なくとも1つのプロセッサは、
前記表示後、前記ユーザの指示に応じて選択された前記スタイルベクトルに基づいて、前記第2の画像を生成する、
請求項1に記載の画像処理装置。 - 前記関連付けられた情報は、前記1以上のスタイルベクトルそれぞれを用いて生成された1以上の画像を含む、
請求項2に記載の画像処理装置。 - 前記少なくとも1つのプロセッサは、更に、
前記ユーザ又は他のユーザの指示により、前記スタイルベクトル及び前記変換モデルに基づいて、前記第3の画像のスタイルを変換した前記第4の画像を生成する、
請求項1に記載の画像処理装置。 - 前記少なくとも1つのプロセッサは、
前記ユーザの指示に応じて前記変換モデルを選択し、
少なくとも、前記変換モデルに対応する前記1以上のスタイルベクトル又は前記1以上のスタイルベクトルのそれぞれに関連付けられた情報のいずれかが前記表示装置に表示される、
請求項2に記載の画像処理装置。 - 前記少なくとも1つのプロセッサは、
前記選択後に前記ユーザの指示に応じて調整された前記スタイルベクトルと前記変換モデルに基づいて、前記第2の画像を生成する、
請求項1から5のいずれかに記載の画像処理装置。 - 前記少なくとも1つのプロセッサは、
前記ユーザの属性情報に応じて、選択された前記スタイルベクトルを調整可能とするか否かを判定する、
請求項6に記載の画像処理装置。 - 前記少なくとも1つのプロセッサは、
前記ユーザの指示に応じて前記スタイルベクトルが調整されたとき、前記ユーザが保有するポイントを減算する、
請求項7に記載の画像処理装置。 - 前記少なくとも1つのプロセッサは、
選択された前記スタイルベクトルの各パラメータについて、前記パラメータを第1の値に設定した前記スタイルベクトルに基づいて第5の画像のスタイルを変換した第6の画像と、前記パラメータを第2の値に設定した前記スタイルベクトルに基づいて前記第5の画像のスタイルを変換した第7の画像とを生成し、
前記第6の画像と前記第7の画像とが表示装置に表示される、
請求項6に記載の画像処理装置。 - 前記第5の画像は、前記第1の画像に含まれる一部の領域である、
請求項9に記載の画像処理装置。 - 前記少なくとも1つのプロセッサは、
前記ユーザの指示により前記パラメータの値が変更されたとき、前記スタイルベクトルの各パラメータについて前記第6の画像及び前記第7の画像を再生成する、
請求項9に記載の画像処理装置。 - 表示装置と、
少なくとも1つのメモリと、
少なくとも1つのプロセッサと、を備え、
前記少なくとも1つのプロセッサは、
変換対象となる第1の画像を取得することと、
少なくとも1以上のスタイルベクトル又は前記1以上のスタイルベクトルのそれぞれに関連付けられた情報のいずれかを前記表示装置に表示することと、
ユーザの指示に応じて、前記1以上のスタイルベクトルからスタイルベクトルを選択することと、
前記第1の画像のスタイルを変換した第2の画像を取得することと、
前記第2の画像を前記表示装置に表示することと、
を実行し、
選択された前記スタイルベクトルは、変換モデルに基づく第3の画像のスタイルを変換した第4の画像の生成に利用されたスタイルベクトルであり、
前記第2の画像は、前記変換モデル及び選択された前記スタイルベクトルに基づいて生成された画像である、
画像表示装置。 - 前記少なくとも1つのプロセッサは、
前記ユーザの指示に応じて、1以上の変換モデルから前記変換モデルを選択する、
請求項12に記載の画像表示装置。 - 前記第4の画像は、前記ユーザ又は他のユーザの指示に基づいて生成された画像である、
請求項12に記載の画像表示装置。 - 前記関連付けられた情報は、前記1以上のスタイルベクトルそれぞれを用いて生成された1以上の画像を含む、
請求項12に記載の画像表示装置。 - 前記少なくとも1つのプロセッサは、
前記選択後に前記ユーザの指示に応じて調整された前記スタイルベクトルと前記変換モデルに基づいて、前記第2の画像を生成する、
請求項12から15のいずれかに記載の画像表示装置。 - 前記スタイルベクトルは、前記表示装置に表示された前記スタイルベクトルの各パラメータに対応するスライダーバーを前記ユーザが操作することによって調整される、
請求項16に記載の画像表示装置。 - 少なくとも1つのプロセッサが、
スタイルベクトル及び変換モデルに基づいて、第1の画像のスタイルを変換した第2の画像を生成すること、を実行し、
前記スタイルベクトルは、ユーザの指示に応じて、1以上のスタイルベクトルから選択されたスタイルベクトルであり、
選択された前記スタイルベクトルは、前記変換モデルに基づく第3の画像のスタイルを変換した第4の画像の生成に利用されたスタイルベクトルである、
画像処理方法。 - 少なくとも1つのプロセッサが、
変換対象となる第1の画像を取得することと、
少なくとも1以上のスタイルベクトル又は前記1以上のスタイルベクトルのそれぞれに関連付けられた情報のいずれかを表示装置に表示することと、
ユーザの指示に応じて、前記1以上のスタイルベクトルからスタイルベクトルを選択することと、
前記第1の画像のスタイルを変換した第2の画像を取得することと、
前記第2の画像を前記表示装置に表示することと、
を実行し、
選択された前記スタイルベクトルは、変換モデルに基づく第3の画像のスタイルを変換した第4の画像の生成に利用されたスタイルベクトルであり、
前記第2の画像は、前記変換モデル及び選択された前記スタイルベクトルに基づいて生成された画像である、
画像表示方法。 - 少なくとも1つのプロセッサに、
変換対象となる第1の画像を取得することと、
少なくとも1以上のスタイルベクトル又は前記1以上のスタイルベクトルのそれぞれに関連付けられた情報のいずれかを表示装置に表示することと、
ユーザの指示に応じて、前記1以上のスタイルベクトルからスタイルベクトルを選択することと、
前記第1の画像のスタイルを変換した第2の画像を取得することと、
前記第2の画像を前記表示装置に表示することと、
を実行させ、
選択された前記スタイルベクトルは、変換モデルに基づく第3の画像のスタイルを変換した第4の画像の生成に利用されたスタイルベクトルであり、
前記第2の画像は、前記変換モデル及び選択された前記スタイルベクトルに基づいて生成された画像である、
プログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022118496 | 2022-07-26 | ||
JP2022-118496 | 2022-07-26 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2024024727A1 true WO2024024727A1 (ja) | 2024-02-01 |
Family
ID=89706334
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2023/027013 WO2024024727A1 (ja) | 2022-07-26 | 2023-07-24 | 画像処理装置、画像表示装置、画像処理方法、画像表示方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2024024727A1 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012215927A (ja) * | 2011-03-31 | 2012-11-08 | Casio Comput Co Ltd | 画像処理装置、画像処理方法及びプログラム |
JP2018132855A (ja) * | 2017-02-14 | 2018-08-23 | 国立大学法人電気通信大学 | 画像スタイル変換装置、画像スタイル変換方法および画像スタイル変換プログラム |
US20190026870A1 (en) * | 2017-07-19 | 2019-01-24 | Petuum Inc. | Real-time Intelligent Image Manipulation System |
JP2020112907A (ja) * | 2019-01-09 | 2020-07-27 | 凸版印刷株式会社 | 画像スタイル変換装置、画像スタイル変換方法、及びプログラム |
US20200286275A1 (en) * | 2019-03-05 | 2020-09-10 | Samsung Electronics Co., Ltd. | Electronic device and control method thereof |
KR102229572B1 (ko) * | 2019-11-28 | 2021-03-18 | 영남대학교 산학협력단 | 영상 스타일 변환 장치 및 방법 |
-
2023
- 2023-07-24 WO PCT/JP2023/027013 patent/WO2024024727A1/ja unknown
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012215927A (ja) * | 2011-03-31 | 2012-11-08 | Casio Comput Co Ltd | 画像処理装置、画像処理方法及びプログラム |
JP2018132855A (ja) * | 2017-02-14 | 2018-08-23 | 国立大学法人電気通信大学 | 画像スタイル変換装置、画像スタイル変換方法および画像スタイル変換プログラム |
US20190026870A1 (en) * | 2017-07-19 | 2019-01-24 | Petuum Inc. | Real-time Intelligent Image Manipulation System |
JP2020112907A (ja) * | 2019-01-09 | 2020-07-27 | 凸版印刷株式会社 | 画像スタイル変換装置、画像スタイル変換方法、及びプログラム |
US20200286275A1 (en) * | 2019-03-05 | 2020-09-10 | Samsung Electronics Co., Ltd. | Electronic device and control method thereof |
KR102229572B1 (ko) * | 2019-11-28 | 2021-03-18 | 영남대학교 산학협력단 | 영상 스타일 변환 장치 및 방법 |
Non-Patent Citations (1)
Title |
---|
LEON GATYS, ECKER ALEXANDER, BETHGE MATTHIAS: "A Neural Algorithm of Artistic Style", JOURNAL OF VISION, ASSOCIATION FOR RESEARCH IN VISION AND OPHTHALMOLOGY, US, vol. 16, no. 12, 1 September 2016 (2016-09-01), US , pages 1 - 16, XP055571235, ISSN: 1534-7362, DOI: 10.1167/16.12.326 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10839493B2 (en) | Transferring image style to content of a digital image | |
US8667016B2 (en) | Sharing of presets for visual effects or other computer-implemented effects | |
AU2017228685B2 (en) | Sketch2painting: an interactive system that transforms hand-drawn sketch to painting | |
US10867416B2 (en) | Harmonizing composite images using deep learning | |
US9270926B2 (en) | System and method for distributed media personalization | |
US20200302656A1 (en) | Object-Based Color Adjustment | |
JP5408208B2 (ja) | 画像表示システム、画像表示装置並びにプログラム | |
JP5344008B2 (ja) | 画像表示システム、画像表示装置、画像表示方法、並びにプログラム | |
US20090070669A1 (en) | Image management apparatus and control method therefor | |
JP7240505B2 (ja) | 音声パケット推薦方法、装置、電子機器およびプログラム | |
CN107211106B (zh) | 动画生成服务器、动画生成方法、动画生成***及计算机可读的记录介质 | |
KR20220118545A (ko) | 메시징 시스템에서의 캡처후 처리 | |
CN112102445B (zh) | 楼盘海报制作方法、装置、设备及计算机可读存储介质 | |
CN115735231A (zh) | 基于产品数据的增强现实内容 | |
WO2024024727A1 (ja) | 画像処理装置、画像表示装置、画像処理方法、画像表示方法及びプログラム | |
KR102099093B1 (ko) | 사용자 맞춤형 모션 그래픽 영상 제작 시스템 | |
US11263783B2 (en) | Color prediction using machine learning | |
CN114047979A (zh) | 展示项目配置及显示方法、装置、设备、存储介质 | |
CN116991513A (zh) | 配置文件生成方法、装置、电子设备、介质及程序产品 | |
JP5652508B2 (ja) | 画像表示システム、画像表示装置並びにプログラム | |
Zhao et al. | Style attention based global-local aware GAN for personalized facial caricature generation | |
US9667709B2 (en) | Picture conversion SNS system and method, apparatus, and terminal | |
CN111383289A (zh) | 图像处理方法、装置、终端设备及计算机可读存储介质 | |
KR102312481B1 (ko) | 직관적인 인터페이스를 이용한 동영상 제작 서비스 제공 방법 | |
Griffey | Digital Media Production for Beginners |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23846457 Country of ref document: EP Kind code of ref document: A1 |