WO2024024727A1 - 画像処理装置、画像表示装置、画像処理方法、画像表示方法及びプログラム - Google Patents

画像処理装置、画像表示装置、画像処理方法、画像表示方法及びプログラム Download PDF

Info

Publication number
WO2024024727A1
WO2024024727A1 PCT/JP2023/027013 JP2023027013W WO2024024727A1 WO 2024024727 A1 WO2024024727 A1 WO 2024024727A1 JP 2023027013 W JP2023027013 W JP 2023027013W WO 2024024727 A1 WO2024024727 A1 WO 2024024727A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
style
user
vector
style vector
Prior art date
Application number
PCT/JP2023/027013
Other languages
English (en)
French (fr)
Inventor
良平 鈴木
Original Assignee
株式会社Preferred Networks
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Preferred Networks filed Critical 株式会社Preferred Networks
Publication of WO2024024727A1 publication Critical patent/WO2024024727A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration

Definitions

  • the present disclosure relates to an image processing device, an image display device, an image processing method, an image display method, and a program.
  • Patent Document 1 discloses an image style conversion device that converts an input image into an image having a style (for example, painting style) of a reference image based on the style.
  • An object of the present disclosure is to provide a service or device that can reuse information used when converting the style of an image.
  • An image processing device includes at least one memory and at least one processor, the at least one processor converting the style of the first image based on a style vector and a conversion model. generating a second image, the style vector being a style vector selected from the one or more style vectors in response to user instructions, and the selected style vector being a second image based on the transformation model. This is a style vector used to generate a fourth image obtained by converting the style of image No. 3.
  • FIG. 1 is a diagram for explaining an example of style conversion processing.
  • FIG. 2A is a diagram illustrating an example of image style conversion.
  • FIG. 2B is a diagram illustrating an example of image style conversion.
  • FIG. 3 is a diagram illustrating an example of the functional configuration of an image processing device.
  • FIG. 4 is a diagram showing an example of a home screen.
  • FIG. 5 is a diagram showing an example of a pickup screen.
  • FIG. 6 is a diagram showing an example of an image search screen.
  • FIG. 7 is a diagram showing an example of an image details screen.
  • FIG. 8 is a diagram showing an example of a preset management screen.
  • FIG. 9 is a diagram showing an example of an image editing screen.
  • FIG. 10 is a diagram showing an example of a style conversion screen.
  • FIG. 10 is a diagram showing an example of a style conversion screen.
  • FIG. 10 is a diagram showing an example of a style conversion screen.
  • FIG. 12A is a diagram illustrating an example of the operation of the parameter adjustment area.
  • FIG. 12B is a diagram illustrating an example of the operation of the parameter adjustment area.
  • FIG. 13 is a diagram illustrating an example of a processing procedure of an image processing method.
  • FIG. 14 is a diagram illustrating an example of the hardware configuration of the image processing device.
  • One embodiment of the present disclosure is an image processing apparatus that provides an image processing service that converts the style of an image.
  • the image in this embodiment may be a real image or a computer graphics (CG) image.
  • styles in this embodiment include painting style, illustration style, animation style, etc., but a combination of these may be used, and the combination can be adjusted steplessly.
  • the image processing service of this embodiment it is possible to convert into a style that combines a typical oil painting style and a typical watercolor style.
  • the degree of influence of each style for example, about 80% is watercolor style, but about 20% is oil painting style, etc.
  • style vectors parameters that characterize the style of the image.
  • the style characteristics include, by way of example, at least one of hue, contrast, texture, or coloring.
  • the style vector is, for example, a 32-dimensional real vector. However, in converting the style, it is not necessary to use all the components of the style vector, and only the components that significantly characterize the style may be used. Each component of the style vector may not be associated with a feature that is easy for humans to understand, and in that case, style conversion is repeated while adjusting each component of the style vector through trial and error. Note that the image processing service in this embodiment uses, for example, only 20 dimensions out of 32 dimensions.
  • the image after the style conversion and the style vector used for the style conversion are stored in association with each other.
  • the image after style conversion and the style vector may be associated with each other as a set, or the image after style conversion and the style vector may be stored as one set, or the information from one information can be obtained from the other. may be stored, or one piece of information and the identification information of the other piece of information may be stored as one set.
  • the style of an image can be converted using the style vector used for converting the style of another image.
  • the image processing service in this embodiment has a function of presenting to the user a style vector used for style conversion of a certain image.
  • the user may refer to the presented style vector and set the value of the style vector that he or she uses, or may copy the entire presented style vector as the style vector that he or she uses.
  • the style of a desired image can be converted using the style vector used to convert the style of another image.
  • FIG. 1 is a diagram for explaining an example of style conversion processing in this embodiment.
  • the style vector in this embodiment is generated by a trained extraction model.
  • the extraction model 20 in this embodiment includes a feature extractor 21 and a dimension compressor 22.
  • the feature extractor 21 is trained to classify images using a plurality of training images 10.
  • the feature extractor 21 extracts image feature amounts 23 from the learning image 10.
  • the structure of the feature extractor 21 may be a neural network (for example, a convolutional neural network (CNN)).
  • the image feature amount 23 is, for example, a 512-dimensional feature vector.
  • the dimensional compressor 22 is trained to perform dimensional compression on the image feature amount 23.
  • the dimensional compressor 22 performs dimensional compression on the image feature amount 23 to generate a style vector 30.
  • the structure of the dimension compressor 22 may be a neural network (for example, a variational auto-encoder (VAE) encoder).
  • VAE variational auto-encoder
  • the style vector 30 is, for example, a 32-dimensional feature vector. Note that the style vector may be extracted by any method as long as it reflects information characterizing the style of the image.
  • Style conversion in this embodiment is performed using a trained conversion model.
  • the conversion model 50 in this embodiment includes, as an example, an encoder 51, a modulation layer 52, and a decoder 53.
  • the encoder 51 generates a first intermediate representation based on the input image 40.
  • Encoder 51 may be a neural network.
  • Modulation layer 52 generates a second intermediate representation based on the first intermediate representation and style vector 30.
  • Modulation layer 52 may be a neural network.
  • the decoder 53 generates a converted image 60 in which the style of the input image 40 is converted based on the second intermediate representation. Decoder 53 may be a neural network.
  • the modulation layer 52 generates the second intermediate representation by, for example, adaptive instance normalization (AdaIn).
  • Adaptive instance normalization is a process of performing instance normalization and affine transformation.
  • the modulation layer 52 determines transformation parameters of the affine transformation based on the style vector 30.
  • the transformation model 50 is trained as a generator in a conditional generative adversarial network (cGAN). Specifically, an image whose style has been converted using the style vector 30 and a true image with a style corresponding to the style vector 30 are input to a classifier that identifies the image, and based on the classification result by the classifier, the classifier The transformation model 50 is trained to generate images that are misidentified.
  • the conversion model is not limited to the configuration shown in FIG.
  • the image processing device in this embodiment can use any conversion model that can generate an image obtained by converting the conversion source image into the style represented by the style vector, based on the conversion source image and the style vector.
  • FIGS. 2A and 2B are diagrams illustrating an example of image style conversion.
  • FIG. 2A is a real image as a conversion source
  • FIG. 2B is an image obtained by converting the style of the real image shown in FIG. 2A.
  • FIG. 2 according to the style conversion in this embodiment, it is possible to generate an image in which the style of the photographed image has been converted.
  • FIG. 3 is a block diagram showing an example of the functional configuration of the image processing device according to this embodiment.
  • the image processing apparatus 100 includes an image conversion section 101, an image extraction section 102, a style adjustment section 103, a point management section 104, a model storage section 110, and an image information storage section 111. , a style storage section 112 and a user information storage section 113.
  • the model storage unit 110 stores a trained conversion model.
  • the conversion model is a machine learning model that performs predetermined image conversion processing.
  • the conversion model in this embodiment is a style conversion model that receives an image and a style vector as input, and outputs an image obtained by converting the image into a style represented by the style vector.
  • the transformation model may be a neural network.
  • a plurality of conversion models may be stored in the model storage unit 110.
  • a plurality of conversion models may be prepared depending on the styles that can be achieved by conversion.
  • the first conversion model realizes an animation or illustration-like style
  • the second conversion model realizes a Western painting-like style
  • the third conversion model realizes a style that can be realized with other conversion models. It may be one that realizes all styles.
  • a plurality of conversion models may be prepared depending on the number of dimensions or format of the style vector.
  • the first conversion model may use a style vector that includes a component that indicates hue
  • the second conversion model may use a style vector that includes a binary component that specifies monochrome.
  • the style vectors that can be used with a certain conversion model may be limited. In this case, a style vector corresponding to a certain conversion model may not be usable by another conversion model.
  • the model storage unit 110 may store identification information of each conversion model.
  • the image information storage unit 111 stores image information regarding images generated by the image processing device 100.
  • Image information includes the image before style conversion, the image after style conversion, metadata added to the image, identification information that identifies the style vector used to generate the image, and the user who generated the image. Contains identification information that identifies the person.
  • the metadata added to the image is, for example, a title, a description, a tag, etc.
  • the metadata can be arbitrarily set by the user who generated the image.
  • the metadata may be automatically set by the image processing apparatus 100 based on the image.
  • the identification information of the style vector is, for example, the name set to the style vector, the identifier (ID) assigned when the style vector was generated, etc.
  • the user identification information is, for example, a user name set by the user, an ID assigned when the user starts using the image processing service, and the like.
  • the style storage unit 112 stores style information regarding style vectors.
  • the style information includes a style vector, a thumbnail (reduced image) representing the style vector, identification information for identifying a conversion model that can use the style vector, identification information for identifying the user who generated the style vector, and the like.
  • the style storage unit 112 may store information that associates a style vector with a conversion model that can use the style vector. As an example, identification information of available conversion models, link information to available conversion models, etc. may be stored as the style information. Further, a style vector and a conversion model that can use the style vector may be stored in the style storage unit 112 as one set.
  • the style vector thumbnail is a reduced image obtained by converting the style of the sample image using the style vector.
  • the identification information of the conversion model is, for example, the name set to the identification model, the version number of the identification model, the ID assigned when the identification model was generated, and the like.
  • the style vectors stored in the style storage unit 112 are also referred to as "presets.”
  • the presets include style vectors that are stored in advance by an administrator of the image processing service or the like, and style vectors that are generated by the user adjusting existing style vectors. Presets stored in advance are also referred to as “system presets,” and presets generated by the user are also referred to as “user presets.”
  • the user information storage unit 113 stores user information regarding users of the image processing service.
  • the user information includes identification information for identifying the user, contract information representing the fee structure to which the user has subscribed, favorite information saved by the user, and the like.
  • the fee format in this embodiment includes a free plan and a paid plan.
  • the paid plan may include multiple plans with different usage fees.
  • the paid plans in this embodiment include a standard plan with a low usage fee and a premium plan with a high usage fee.
  • the favorite information in this embodiment includes information regarding style vectors saved by the user, other users followed by the user, images generated by other users saved by the user, and the like.
  • Available functions may be limited based on the fee structure that the user has subscribed to.
  • adjustment of style vectors and storage of style vectors in favorite information are restricted to users who have subscribed to a paid plan.
  • the functional restrictions based on the charge form are not limited to these, and can be applied to any function.
  • the image conversion unit 101 converts the style of the input image using the conversion model stored in the model storage unit 110. Specifically, the image conversion unit 101 first obtains a style vector according to a user's instruction.
  • the style vector acquired by the image conversion unit 101 may be a style vector (that is, a preset) stored in the style storage unit 112 or may be a style vector output from the style adjustment unit 103.
  • the image conversion unit 101 reads the conversion model specified by the user from the model storage unit 110. Next, the image conversion unit 101 inputs the input image and the style vector into the conversion model to generate an image in which the style of the input image is converted (hereinafter also referred to as a "converted image").
  • the image conversion unit 101 After generating the converted image, the image conversion unit 101 stores image information regarding the converted image in the image information storage unit 111.
  • the style vector is the style vector output from the style adjustment unit 103
  • the image conversion unit 101 stores style information regarding the style vector in the style storage unit 112.
  • the image extraction unit 102 extracts image information stored in the image information storage unit 111.
  • the image extraction unit 102 extracts image information based on, for example, the user who generated the image, the model used when generating the image, the style vector associated with the image, and the like.
  • the image extraction unit 102 may extract image information based on search conditions specified by the user.
  • image information about images generated by other users that the user is following is extracted.
  • image extraction based on a model for example, image information regarding an image generated using a conversion model selected by a user is extracted.
  • image extraction based on a style vector for example, image information regarding an image generated using a style vector that is the same as or similar to the style vector selected by the user is extracted.
  • the style adjustment unit 103 adjusts each component (hereinafter also referred to as "parameter") of the style vector according to a user's instruction.
  • the style adjustment unit 103 creates a thumbnail (reduced image) to be displayed on a screen for the user to operate.
  • a reduced image is generated by converting a part of the image targeted for style conversion based on the current style vector.
  • Two reduced images are generated for each parameter of the style vector.
  • the first reduced image is generated based on a style vector in which the parameter is set to the first value (as an example, the minimum value) while other parameters are fixed.
  • the second reduced image is generated based on a style vector in which the parameter is set to a second value (for example, the maximum value) while other parameters are fixed. Note that the change range of the parameter is just an example, and it is sufficient that the second value is larger than the first value.
  • the style adjustment unit 103 generates a maximum of 40 reduced images (20 dimensions x 2 images) in one screen display. However, if there are already generated reduced images, the style adjustment unit 103 may reduce the number of generated reduced images by reusing the reduced images.
  • Point management section 104 manages points held by users. Points in this embodiment are consumed each time image style conversion and style vector adjustment are performed. Points may be awarded to the user over time. Additionally, points may be purchasable through a predetermined payment method.
  • the points given to the user may differ depending on the user's fee structure. For example, users of a free plan may be given a number of points that allow them to perform 2-3 style transformations and 10-20 style adjustments per day. Standard plan users may be awarded a number of points that allow them to perform 10-30 style transformations and 100-200 style adjustments per day. Premium plan users may be awarded a number of points that allow them to perform 100 or more style transformations in a day. Note that a premium plan user may be configured to be able to make unlimited style adjustments.
  • FIGS. 3 to 13 A user interface of an image processing apparatus according to an embodiment of the present disclosure will be described with reference to FIGS. 3 to 13.
  • the user interface may be realized, for example, as an operation screen displayed on a display device by a program installed in the image processing device 100.
  • FIG. 4 is a diagram showing an example of the home screen in this embodiment.
  • the home screen is the first screen displayed after the user logs into the image processing service.
  • the home screen is the starting point for the user to start each function of the image processing service.
  • the home screen 1000 has an image input field 1010 and an image display area 1020.
  • the image input field 1010 accepts input of an image to be processed.
  • the user drags and drops an image file into the image input field 1010, the input of the image represented in the image file is accepted.
  • the input to the image input field 1010 may be any operation as long as the image can be specified. For example, when the image input field 1010 is clicked, a file selection screen is displayed, and an image input may be accepted by selecting an image file on the file selection screen. Further, for example, input of an image may be accepted by inputting an absolute path or URL (Uniform Resource Locator) to an image file in text in the image input field 1010.
  • an absolute path or URL Uniform Resource Locator
  • images whose style has been changed in the past by the user, images published by users the user is following, etc. are randomly displayed.
  • the image displayed in the image display area 1020 may display the title and user name of the image.
  • the image title and user name may be displayed in a pop-up by hovering over the image.
  • an image details screen regarding that image is displayed.
  • FIG. 5 is a diagram showing an example of a pickup screen in this embodiment.
  • the pickup screen is a screen for viewing images published by the image processing service.
  • the pickup screen can be opened from the main menu that is commonly displayed on each screen.
  • the pickup screen 1100 has a classification selection field 1110 and an image display area 1120.
  • the classification selection field 1110 displays tabs indicating the classification of the image to be viewed.
  • tabs corresponding to picked images (pickup), long-term popular images (trend), short-term popular images (upcoming), and latest posted images (recent) are displayed.
  • the picked-up image is an image selected by an administrator of the image processing service or the like.
  • a long-term popular image is an image that continues to be popular for a long period of time.
  • a short-term popular image is an image whose popularity has increased in a short period of time.
  • the latest posted image is an image whose publication date and time are within a predetermined period.
  • images corresponding to the category corresponding to the tab are displayed in the image display area 1120. Similar to the home screen 1000, the title and user name of the image may be displayed on the image displayed in the image display area 1120.
  • an image details screen regarding that image is displayed.
  • FIG. 6 is a diagram showing an example of an image search screen in this embodiment.
  • the image search screen is a screen for searching for images published by image processing services.
  • the image search screen can be opened from the main menu that is commonly displayed on each screen.
  • the image search screen 1200 has a search condition input field 1210 and a search result display area 1220.
  • search targets include titles, explanatory texts, tags, etc. given to images. Similar to the home screen 1000, the title and user name of the image may be displayed on the image displayed in the search result display area 1220.
  • FIG. 7 is a diagram showing an example of an image detail screen in this embodiment.
  • the image details screen is a screen for referring to detailed information of an image.
  • the image details screen is activated when the user selects any image displayed on the home screen 1000, pickup screen 1100, image search screen 1200, or the like.
  • the image details screen 1300 has an image display area 1310, an image information display area 1320, a style information display area 1330, and a related image display area 1340.
  • the style information display area 1330 has an add button 1331.
  • the image selected by the user is displayed in the image display area 1310.
  • the image display area 1310 may be divided into two areas, and the image before style conversion and the image after style conversion may be displayed in a manner that allows comparison.
  • the image display area 1310 in this embodiment is divided into two areas, left and right, based on the position of the pointer, with the left area displaying the image before style conversion, and the right area displaying the image after style conversion.
  • the boundary line of the area moves accordingly, and the display ratio of the image before style conversion and the image after style conversion changes.
  • the image display area 1310 may be divided into a pre-conversion area and a post-conversion area using any method based on the position of the pointer, such as dividing into two areas, upper and lower.
  • the information displayed in the image information display area 1320 includes, for example, the user who generated the image, attribute information of the image (Exif (Exchangeable image file format) information, etc.), metadata added to the image (title, description, etc.). sentences and tags), etc.
  • the title, description, and tag are displayed in an editable manner.
  • the style information display area 1330 displays information regarding the style vector used to convert the style of the image.
  • the information displayed in the style information display area 1330 includes, for example, the name of the style vector, a reduced image of the style vector, the name of the conversion model corresponding to the style vector, and an image that visualizes each parameter of the style vector. including.
  • the style vector displayed in the style information display area 1330 is saved in the user's favorite information.
  • the related image display area 1340 images related to the image are randomly displayed.
  • the image displayed in the related image display area 1340 is an image that has a similar user, tag, or style to the image. Similar to the home screen 1000, the title and user name of the image may be displayed on the image displayed in the related image display area 1340. The image title and user name may be displayed in a pop-up by hovering over the image.
  • the information displayed on the image details screen 1300 is updated to information regarding that image.
  • FIG. 8 is a diagram showing an example of a preset management screen in this embodiment.
  • the preset management screen is a screen for the user to manage presets saved in favorite information.
  • the preset management screen can be opened from the main menu that is commonly displayed on each screen.
  • the preset management screen 1400 has one or more preset display areas 1410 (1410-1 to 1410-2).
  • the preset display area 1410 has a reduced image display field 1411, a name display field 1412, a parameter display field 1413, a user display field 1414, and a model display field 1415.
  • the same number of preset display areas 1410 as the number of presets saved by the user in favorite information are displayed.
  • the preset display area 1410 displays only as many presets as can be displayed on the display device, and as the user scrolls down the preset management screen 1400, the preset display area 1410 You may also perform control to add .
  • the preset display areas 1410 displayed on the preset management screen 1400 may be displayed in any order.
  • the order of the preset display areas 1410 may be determined based on the date and time when the favorite information was saved, the order in which presets are sorted based on their names, the number of times they are used for style conversion, and the like.
  • the reduced image display field 1411 displays the reduced image of the preset.
  • the reduced image display field 1411 like the image display area 1310 of the image details screen 1300, is divided into two areas, one area showing the reduced image before style conversion, and the other area showing the reduced image after style conversion.
  • a reduced image is displayed.
  • the reduced image display field 1411 in this embodiment is, for example, divided into left and right by a diagonal line passing through the center, with the left area being the reduced image before style conversion, and the right area being the reduced image after style conversion. is displayed. Note that the area before conversion and the area after conversion may be divided in any direction, such as vertically.
  • the name display field 1412 displays the name of the preset.
  • the parameter display column 1413 displays an image that visualizes each parameter of the preset. In the image displayed in the parameter display field 1413, each parameter may be normalized within a predetermined range. The predetermined range may be, for example, ⁇ 2 to +2, or ⁇ 100 to +100.
  • the user display field 1414 displays the name of the user who created the preset.
  • the model display column 1415 displays the name of the conversion model corresponding to the preset.
  • FIG. 9 is a diagram showing an example of an image editing screen in this embodiment.
  • the image editing screen is a screen for editing images.
  • the image editing screen is displayed after receiving an image input on the home screen 1000.
  • the image editing screen may be displayed when an image is selected from a screen displaying a list of images input by the user.
  • the image editing screen 1500 has an image display area 1510, an edit history display area 1520, a publish button 1530, and a style conversion button 1540.
  • the image to be edited is displayed in the image display area 1510.
  • the editing history display area 1520 the editing history of editing the image is displayed in chronological order.
  • the information displayed on the image editing screen 1500 is updated to information regarding the image at the time of the editing history. Note that when editing is performed on an image selected from the editing history display area 1520, the editing history after the selected image is deleted.
  • the publish button 1530 When the user presses the publish button 1530, the image is published.
  • the published images can be referenced by other users who use the image processing service.
  • the style conversion button 1540 When the user presses the style conversion button 1540, a style conversion screen regarding the image is displayed.
  • FIG. 10 is a diagram showing an example of a style conversion screen in this embodiment.
  • the style conversion screen is a screen for converting the style of an image.
  • FIG. 10 is an example of a style conversion screen when converting a style using a preset.
  • the style conversion screen 1600 when using presets has an image display area 1610, a preset display area 1620, a model selection field 1630, a preview display area 1640, and an apply button 1650.
  • the image to be converted is displayed in the image display area 1610.
  • the image display area 1610 includes a preview reference area 1611.
  • the preview reference area 1611 is an area for obtaining a reduced image to be displayed in the preview display area 1640.
  • preview reference area 1611 is located at the center of image display area 1610. However, it is possible to move the preview reference area 1611 to any position in the image display area 1610 by user operation.
  • a list of available presets is displayed in the preset display area 1620.
  • the available presets are user presets and system presets that the user has saved in his/her favorites information. If there are multiple conversion models available, only the preset corresponding to the conversion model selected in the model selection field 1630 is displayed in the preset display area 1620. Note that the preset corresponding to the conversion model may be extracted based on the association information between the conversion model and the style vector stored in the style storage unit 112.
  • the model selection column 1630 displays a list of available conversion models in a selectable manner.
  • the model selection field 1630 can display a list of conversion models in a drop-down list, for example, and allow the user to select a conversion model by operation. When there is only one conversion model available, the model selection field 1630 may be fixed or hidden.
  • the preset displayed in the preset display area 1620 is updated to the preset corresponding to the selected conversion model.
  • the image to be converted is converted to a lower resolution and the style is converted using the preset, and the image is displayed in the image display area 1610.
  • the preview display area 1640 displays a reduced image before style conversion using the preset and a reduced image after style conversion using the preset.
  • the reduced image displayed in the preview display area 1640 is an image included in the area indicated by the preview reference area 1611.
  • the conversion model in this embodiment may input an image of the same size as the image to be converted, and output a style-converted image of the same size as the input image. For example, if the image to be converted is a 1024 x 1024 pixel image, the 1024 x 1024 pixel image is input to the conversion model, and a 1024 x 1024 pixel image after style conversion is output. Therefore, by converting the image to be converted to a lower resolution, it is possible to reduce the amount of calculations required during style conversion.
  • a process of converting the image to be converted to a lower resolution may be executed.
  • the image converted to a low resolution is stored in the image information storage unit 111 or the like together with the image to be converted.
  • the entire image to be converted displayed in the image display area 1610 is style-converted using the preset selected in the preset display area 1620.
  • image information regarding the converted image is stored in the image information storage unit 111.
  • FIG. 11 is a diagram showing an example of the style conversion screen in this embodiment.
  • FIG. 11 shows a style conversion screen when converting a style by adjusting preset parameters.
  • the style conversion screen 1700 for style adjustment has a plurality of parameter adjustment areas 1710 (1710- 1 to 1710-6).
  • parameter adjustment areas 1710 As the parameters used for style conversion among the parameters of the style vector are displayed. That is, up to 32 parameter adjustment areas 1710 may be displayed, as an example. In this embodiment, 20 dimensions of the style vector are used for style conversion, so 20 parameter adjustment areas 1710 are displayed.
  • each parameter of the preset selected in the preset display area 1620 of the style conversion screen 1600 is displayed in an adjustable format.
  • two reduced images corresponding to each preset parameter are displayed.
  • the first reduced image is a reduced image that has been style-converted using a style vector in which the value of the parameter is changed to a first value (as an example, the minimum value) while other parameters are fixed.
  • the second reduced image is a reduced image that has been style-converted using a style vector in which the value of the parameter is changed to a second value (for example, the maximum value) while other parameters are fixed.
  • FIGS. 12A and 12B are diagrams showing an example of the operation of the parameter adjustment area.
  • FIG. 12A is a diagram showing the parameter adjustment area 1710 before parameter adjustment
  • FIG. 12B is a diagram showing the parameter adjustment area 1710 after parameter adjustment.
  • the current value of the style vector is displayed in a changeable manner.
  • the value of the style vector displayed in the parameter change column 1711-n may be normalized within a predetermined numerical range. As an example, it may be normalized in the range of -2 to +2.
  • the parameter change field 1711-n in this embodiment is arranged in the horizontal direction, and is stepless from the left end indicating the minimum value (-2 in this embodiment) to the right end indicating the maximum value (+2 in this embodiment). Consists of an adjustable slider bar.
  • the parameter change field 1711-n includes a slider bar that can be adjusted in a predetermined number of steps, a text box that allows you to directly input a value, a text box that allows you to change the value using plus and minus buttons, a select box, or radio buttons. It may be configured with a list box from which a numerical value can be selected, a dial whose numerical value increases or decreases depending on the direction of rotation, or the like. In other words, for each parameter of the style vector, any configuration can be used as long as the relationship between the current value and the changed value can be visually recognized.
  • the image in the area indicated in the preview reference area 1611 is style-converted using a style vector in which the parameter is set to the minimum value while other parameters are fixed.
  • the image is displayed.
  • the image in the area indicated by the preview reference area 1611 is style-converted using a style vector in which the parameter is set to the maximum value while other parameters are fixed. The image is displayed.
  • the first reduced image display field 1712-n and the second reduced image display field 1713-n represent the influence that the parameter corresponding to the parameter adjustment area 1710-n has on the style. Therefore, by comparing the first reduced image display field 1712-n and the second reduced image display field 1713-n, it is possible to grasp the characteristics of the style that is affected by adjusting the parameter.
  • any parameter change column 1711 (parameter change column 1711-1 in the example of FIG. 12B) is adjusted, other parameter changes are made based on the adjusted parameters.
  • the first reduced image display field 1712 and the second reduced image display field 1713 corresponding to the field 1711 are updated. Further, the image to be converted is converted to a lower resolution, and an image whose style is converted based on the adjusted parameters is displayed in the image display area 1610.
  • FIG. 13 is a flowchart illustrating an example of the processing procedure of the image processing method.
  • step S1 the image extraction unit 102 of the image processing device 100 extracts image information stored in the image information storage unit 111.
  • the image information extracted by the image extraction unit 102 varies depending on the screen displayed on the display device. For example, when displaying the home screen 1000 on a display device, the image extraction unit 102 extracts image information regarding images generated by the user and the users the user is following. Further, for example, when the image search screen 1200 is displayed on the display device, the image extraction unit 102 extracts image information that matches the search conditions specified by the user.
  • step S2 the image extraction unit 102 of the image processing device 100 saves the style vector in favorite information according to the user's instruction.
  • the image extraction unit 102 first selects an image according to a user's instruction.
  • the image extraction unit 102 outputs image information regarding the selected image.
  • the output image information includes at least an image and a style vector used when generating the image.
  • the image extraction unit 102 selects a style vector according to the user's instructions.
  • the image extraction unit 102 stores the identification information of the selected style vector in the user information storage unit 113.
  • the style vector identification information is stored in the favorite information of the user information regarding the user.
  • the image extraction unit 102 determines whether the user's fee form is a paid plan or a free plan based on the contract information stored in the user information storage unit 113, and if it is a free plan, Step S2 is not executed.
  • step S3 the image conversion unit 101 of the image processing device 100 receives an image input in response to a user's instruction.
  • the image conversion unit 101 stores the received input image in the image information storage unit 111.
  • step S4 the image conversion unit 101 of the image processing device 100 selects a conversion model according to the user's instruction. If the number of conversion models stored in the model storage unit 110 is one, selection of the conversion model is omitted. Next, the image conversion unit 101 acquires the identification information of the style vector stored in the user's favorite information from the user information storage unit 113.
  • the image conversion unit 101 reads out the user presets stored in the style storage unit 112 based on the acquired identification information. At the same time, the image conversion unit 101 reads out the system preset stored in the style storage unit 112. Note that when a conversion model is selected, the image conversion unit 101 reads only the user preset and system preset corresponding to the selected conversion model.
  • the image conversion unit 101 selects a preset to be used for style conversion from the system preset or the user preset in accordance with the user's instruction.
  • step S5 the style adjustment unit 103 of the image processing device 100 adjusts each preset parameter according to the user's instructions. Each time the style adjustment unit 103 adjusts each preset parameter, it generates a reduced image corresponding to each parameter using the selected conversion model.
  • the point management unit 104 subtracts a predetermined number of points from the points stored in the user information storage unit 113.
  • step S5 may not be performed.
  • preset adjustment can be performed only when the user has subscribed to a paid plan. Therefore, the style adjustment unit 103 determines whether the user's fee form is a paid plan or a free plan based on the contract information stored in the user information storage unit 113, and if it is a free plan, Step S5 is not executed.
  • step S6 the image conversion unit 101 of the image processing device 100 obtains a style vector.
  • step S5 the image conversion unit 101 obtains the style vector output by the style adjustment unit 103. If step S5 is not executed, the image conversion unit 101 acquires the preset selected according to the user's instruction.
  • the image conversion unit 101 reads the conversion model selected by the user from the model storage unit 110. Next, the image conversion unit 101 generates a converted image in which the style of the input image is converted by inputting the input image and the style vector into the conversion model. The image conversion unit 101 displays the converted image on a display device.
  • the point management unit 104 subtracts a predetermined number of points from the points stored in the user information storage unit 113.
  • step S7 the image conversion unit 101 of the image processing device 100 stores image information regarding the converted image in the image information storage unit 111 according to the user's instruction.
  • the image conversion unit 101 When the image conversion unit 101 generates a converted image using the style vector adjusted by the style adjustment unit 103, the image conversion unit 101 stores style information regarding the style vector in the style storage unit 112.
  • the image processing device 100 may display style vectors and information associated with the style vectors on a display device, and select a desired style vector based on a user's instruction.
  • the information displayed on the display device by the image processing device 100 may be either one of a style vector and information associated with the style vector, or may be both.
  • the information associated with one style vector may be one piece of information or a plurality of pieces of information.
  • the image processing device 100 When displaying a style vector and information associated with the style vector on a display device, the image processing device 100 displays at least one of a plurality of style vectors or a plurality of information associated with the style vector one at a time. It may be displayed on the screen. The image processing device 100 may display at least each style vector or each piece of information associated with the style vector on different screens. The image processing device 100 may divide at least a plurality of style vectors or a plurality of pieces of information associated with the style vectors into a predetermined number of pieces and display them on different screens.
  • An example of information associated with a style vector is one or more images that have been style transformed using that style vector.
  • the one or more images may be one image or a plurality of images.
  • the information associated with a style vector is not limited to images that have been style-converted using that style vector.
  • the information associated with the style vector may be, for example, information such as the style vector's creator, creation date, user, use date, etc., or explanatory information of the style vector (for example, "convert to wind”). etc.) may be used. Note that the explanatory information may be defined by the creator or user of the style vector.
  • the information associated with a style vector may be, for example, an image that has been style-converted using the style vector, or an image that has been subjected to predetermined processing.
  • the predetermined processing may be, for example, changing the resolution, changing the size, etc.
  • Selection of a style vector may be performed based on the user's designation of the style vector, or may be performed based on the user's designation of information associated with the style vector.
  • style vector adjustment and style vector storage could be used based on contract information representing the fee structure with which the user had contracted. Whether style vector adjustment and style vector storage can be used may be determined based on user attribute information.
  • the user attribute information may include, for example, the user's contract information, the organization to which the user belongs, information that distinguishes the user, information that identifies the user's usage status, and the like.
  • the user's usage status may include, for example, the number of points owned by the user, usage history by the user, and the like.
  • the user selects a style vector to be used for style conversion by specifying one style vector from a plurality of style vectors.
  • the user may be able to specify one style vector from one or more style vectors.
  • the one or more style vectors may be one style vector or a plurality of style vectors.
  • the user can select a conversion model to be used for style conversion by specifying one conversion model from a plurality of conversion models.
  • the user may be able to specify one conversion model from one or more conversion models.
  • the one or more conversion models may be one conversion model or a plurality of conversion models.
  • the image processing device 100 in this embodiment may include at least one memory and at least one processor.
  • at least one processor can control storage of various data in at least one memory and acquisition of various data from at least one memory. Additionally, at least one processor may control a screen displayed on the display device.
  • the image processing device 100 in this embodiment may be realized by at least one server and at least one user terminal (hereinafter also referred to as an "image display device").
  • the user terminal may be, for example, a desktop or laptop personal computer, a smartphone, a tablet terminal, or the like.
  • each user terminal may be owned by a different user.
  • part or all of the information stored in the storage device of one device may be stored in the storage device of the other device.
  • a configuration may be adopted in which part or all of the information stored in a storage device included in either the server or the user terminal is stored in an external storage device.
  • the image processing device 100 When the image processing device 100 is implemented by a server and a user terminal, it can be arbitrarily determined whether each process performed by the image processing device 100 is executed by the server or the user terminal.
  • the user terminal may be configured to display various information and accept instructions from the user
  • the server may be configured to execute other processes.
  • user instructions include selection of a style vector or transformation model, adjustment of a style vector, and the like.
  • processes executed by the server include generation of an image after style conversion, storage of a conversion model, style vector, user information, and the like.
  • the selection of a style vector or a conversion model at the user terminal is based on the selection of a style vector or conversion model by an operation on the user terminal and information from the user terminal. and the server selects a style vector or transformation model.
  • a display device that displays a style vector and information associated with the style vector may be a display included in the server or the user terminal.
  • the hardware configuration of the server and user terminal may be the same as that of the image processing device 100.
  • An example of the hardware configuration of the image processing device 100 will be described later.
  • the image processing device 100 in this embodiment stores an image after style conversion in association with a style vector used for style conversion, and uses style vectors associated with other images when converting the style of an input image. be able to. Therefore, according to the image processing apparatus 100 in this embodiment, the style vector used when converting the style of an image can be reused.
  • the image processing device 100 in this embodiment displays the image after style conversion in association with the style vector used in the style conversion, and converts the style of the input image using the style vector selected by the user. Therefore, according to the image processing apparatus 100 according to the present embodiment, the user can easily understand the style realized by the style vector, and can easily select a style vector close to the desired style.
  • the image processing device 100 in this embodiment can store style vectors generated by other users in favorite information and use them when converting the style of an input image. Therefore, according to the image processing apparatus 100 in this embodiment, style vectors can be shared among users.
  • the image processing apparatus 100 in this embodiment displays only the style vector corresponding to the conversion model selected by the user on the style conversion screen when a plurality of conversion models are available. Therefore, according to the image processing apparatus 100 in this embodiment, an appropriate style vector can be selected depending on the conversion model to be used.
  • the image processing device 100 in this embodiment can arbitrarily adjust each parameter of the style vector. Therefore, according to the image processing apparatus 100 in this embodiment, the user can generate a style vector that can realize a desired style.
  • the image processing apparatus 100 in this embodiment uses, for each parameter, an image whose style is converted using a style vector in which the parameter is set to the maximum value while other parameters are fixed, and Displays an image whose style has been converted using a style vector with parameters set to the minimum values. Therefore, according to the image processing apparatus 100 in this embodiment, the user can adjust the style vector while checking the influence of each parameter on the style.
  • the image processing device 100 in this embodiment can generate a second image by converting the style of the first image based on the style vector and the conversion model.
  • the style vector can be selected from one or more style vectors according to the user's instructions.
  • the selected style vector may be a style vector used to generate the fourth image by converting the style of the third image based on the conversion model.
  • the image processing apparatus 100 in this embodiment displays either at least one style vector or information associated with each of the one or more style vectors on a display device before generating the second image, and then , the second image can be generated based on the style vector selected according to the user's instructions.
  • the associated information includes one or more images generated using each of the one or more style vectors.
  • the image processing device 100 in this embodiment can generate a fourth image by converting the style of the third image based on the style vector and the conversion model in accordance with instructions from the user or other users.
  • the image processing apparatus 100 in this embodiment selects a conversion model in response to a user's instruction, and selects at least one or more style vectors corresponding to the conversion model or information associated with each of the one or more style vectors. can be displayed on the display device.
  • the image processing device 100 in this embodiment can generate a second image based on the style vector and conversion model that have been adjusted according to the user's instructions. At this time, it can be determined whether the selected style vector can be adjusted according to the user's attribute information. Further, when the style vector is adjusted according to the user's instructions, the points held by the user can be subtracted.
  • the image processing apparatus 100 in this embodiment converts the style of the fifth image into a sixth image based on the style vector in which the parameter is set to the first value, and A seventh image is generated by converting the style of the fifth image based on the style vector set to the second value, and the sixth image and the seventh image can be displayed on the display device.
  • the fifth image can be a part of the area included in the first image.
  • the sixth image and the seventh image can be regenerated for each parameter of the style vector.
  • the user terminal in this embodiment acquires a first image to be converted, displays either at least one or more style vectors or information associated with each of the one or more style vectors on a display device, and
  • a style vector can be selected from one or more style vectors, a second image obtained by converting the style of the first image can be obtained, and the second image can be displayed on the display device.
  • the selected style vector may be a style vector used to generate the fourth image by converting the style of the third image based on the conversion model.
  • the second image may be an image generated based on the transformation model and the selected style vector.
  • the user terminal in this embodiment can select a conversion model from one or more conversion models in response to a user's instruction.
  • the fourth image may be an image generated based on instructions from the user or another user.
  • the associated information can include one or more images generated using each of the one or more style vectors.
  • the user terminal in this embodiment can generate the second image based on the style vector and conversion model that are adjusted according to the user's instructions.
  • the user terminal in this embodiment can adjust the style vector by the user operating a slider bar corresponding to each parameter of the style vector displayed on the display device.
  • each device (image processing device 100) in the embodiments described above may be configured with hardware, or may be configured with software (Central Processing Unit), Graphics Processing Unit (GPU), etc. executed by a CPU (Central Processing Unit), GPU (Graphics Processing Unit), etc. It may also be configured by information processing of a program).
  • the software that realizes at least some of the functions of each device in the above-described embodiments can be stored in a CD-ROM (Compact Disc-Read Only Memory), USB (Universal Serial Bus) memory, etc.
  • the information processing of the software may be executed by storing the information in a non-temporary storage medium (non-temporary computer readable medium) such as the following, and reading it into a computer. Further, the software may be downloaded via a communication network. Furthermore, all or part of the software processing may be implemented in a circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array), so that the information processing by the software may be executed by hardware. .
  • a non-temporary storage medium non-temporary computer readable medium
  • the software may be downloaded via a communication network.
  • all or part of the software processing may be implemented in a circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array), so that the information processing by the software may be executed by hardware. .
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • the storage medium that stores the software may be a removable one such as an optical disk, or a fixed storage medium such as a hard disk or memory. Further, the storage medium may be provided inside the computer (main storage device, auxiliary storage device, etc.) or may be provided outside the computer.
  • FIG. 14 is a block diagram showing an example of the hardware configuration of each device (image processing device 100) in the embodiment described above.
  • Each device includes, for example, a processor 71, a main storage device 72 (memory), an auxiliary storage device 73 (memory), a network interface 74, and a device interface 75, which are connected via a bus 76. It may also be realized as a computer 7.
  • the computer 7 in FIG. 14 includes one of each component, it may include a plurality of the same components.
  • the software may be installed on multiple computers, and each of the multiple computers may execute the same or different part of the software. Good too. In this case, it may be a form of distributed computing in which each computer communicates via the network interface 74 or the like to execute processing.
  • each device (image processing device 100) in the embodiment described above is configured as a system that realizes functions by having one or more computers execute instructions stored in one or more storage devices. Good too.
  • the information transmitted from the terminal may be processed by one or more computers provided on the cloud, and the processing results may be sent to the terminal.
  • each device image processing device 100 in the embodiments described above may be executed in parallel using one or more processors or multiple computers via a network. Further, various calculations may be distributed to a plurality of calculation cores within the processor and executed in parallel. Further, a part or all of the processing, means, etc. of the present disclosure may be realized by at least one of a processor and a storage device provided on a cloud that can communicate with the computer 7 via a network. In this way, each device in the embodiments described above may be in the form of parallel computing using one or more computers.
  • the processor 71 may be an electronic circuit (processing circuit, processing circuit, CPU, GPU, FPGA, ASIC, etc.) that performs at least one of computer control or calculation. Further, the processor 71 may be any of a general-purpose processor, a dedicated processing circuit designed to execute a specific operation, or a semiconductor device including both a general-purpose processor and a dedicated processing circuit. Further, the processor 71 may include an optical circuit or may include an arithmetic function based on quantum computing.
  • the processor 71 may perform calculation processing based on data and software input from each device in the internal configuration of the computer 7, and may output calculation results and control signals to each device.
  • the processor 71 may control each component constituting the computer 7 by executing the OS (Operating System) of the computer 7, applications, and the like.
  • Each device (image processing device 100) in the embodiment described above may be realized by one or more processors 71.
  • the processor 71 may refer to one or more electronic circuits arranged on one chip, or one or more electronic circuits arranged on two or more chips or two or more devices. You can also point. When using multiple electronic circuits, each electronic circuit may communicate by wire or wirelessly.
  • the main memory device 72 may store instructions and various data to be executed by the processor 71, and the information stored in the main memory device 72 may be read by the processor 71.
  • the auxiliary storage device 73 is a storage device other than the main storage device 72. Note that these storage devices are any electronic components capable of storing electronic information, and may be semiconductor memories. Semiconductor memory may be either volatile memory or nonvolatile memory.
  • a storage device for storing various data etc. in each device (image processing device 100) in the embodiments described above may be realized by the main storage device 72 or the auxiliary storage device 73, and may be realized by the built-in memory built in the processor 71. It may be realized by For example, each storage unit (model storage unit 110, image information storage unit 111, style storage unit 112, and user information storage unit 113) in the embodiment described above may be realized by the main storage device 72 or the auxiliary storage device 73. .
  • each device (image processing device 100) in the embodiment described above is configured with at least one storage device (memory) and at least one processor connected (coupled) to this at least one storage device
  • the storage device At least one processor may be connected to one.
  • at least one storage device may be connected to one processor.
  • the present invention may include a configuration in which at least one processor among the plurality of processors is connected to at least one storage device among the plurality of storage devices. Further, this configuration may be realized by a storage device and a processor included in a plurality of computers. Furthermore, a configuration in which the storage device is integrated with the processor (for example, a cache memory including an L1 cache and an L2 cache) may be included.
  • the network interface 74 is an interface for connecting to the communication network 8 wirelessly or by wire. As the network interface 74, an appropriate interface such as one that complies with existing communication standards may be used. Information may be exchanged with an external device 9A connected via the communication network 8 through the network interface 74.
  • the communication network 8 may be any one or a combination of WAN (Wide Area Network), LAN (Local Area Network), PAN (Personal Area Network), etc., and can be used to communicate between the computer 7 and the external device 9A. It may be anything that involves the exchange of information. Examples of WAN include the Internet, examples of LAN include IEEE802.11 and Ethernet (registered trademark), and examples of PAN include Bluetooth (registered trademark) and NFC (Near Field Communication).
  • the device interface 75 is an interface such as a USB that is directly connected to the external device 9B.
  • the external device 9A is a device connected to the computer 7 via a network.
  • the external device 9B is a device directly connected to the computer 7.
  • the external device 9A or the external device 9B may be an input device, for example.
  • the input device is, for example, a camera, a microphone, a motion capture device, various sensors, a keyboard, a mouse, a touch panel, or other devices, and provides the acquired information to the computer 7.
  • the device may be a device including an input unit, a memory, and a processor, such as a personal computer, a tablet terminal, or a smartphone.
  • the external device 9A or the external device B may be an output device, for example.
  • the output device may be, for example, a display device such as an LCD (Liquid Crystal Display) or an organic EL (Electro Luminescence) panel, or may be a speaker that outputs audio or the like.
  • the device may be a device including an output unit, a memory, and a processor, such as a personal computer, a tablet terminal, or a smartphone.
  • the external device 9A or the external device 9B may be a storage device (memory).
  • the external device 9A may be a network storage or the like, and the external device 9B may be a storage such as an HDD.
  • the external device 9A or the external device 9B may be a device that has some of the functions of the components of each device (image processing device 100) in the embodiments described above.
  • the computer 7 may transmit some or all of the processing results to the external device 9A or 9B, or may receive some or all of the processing results from the external device 9A or 9B. .
  • the expression "at least one (one) of a, b, and c" or “at least one (one) of a, b, or c" (including similar expressions) When used, it includes either a, b, c, a-b, a-c, b-c or a-b-c. Further, each element may include multiple instances, such as a-a, a-b-b, a-a-b-b-c-c, etc. Furthermore, it also includes adding other elements other than the listed elements (a, b and c), such as having d as in a-b-c-d.
  • connection and “coupled” refer to direct connection/coupling and indirect connection/coupling. , electrically connected/coupled, communicatively connected/coupled, functionally connected/coupled, physically connected/coupled, etc., without limitation. intended as a term.
  • the term should be interpreted as appropriate depending on the context in which the term is used, but forms of connection/coupling that are not intentionally or naturally excluded are not included in the term. Should be construed in a limited manner.
  • the expression "A configured to B” when used, it means that the physical structure of element A is capable of performing operation B. configuration, and includes a permanent or temporary setting/configuration of element A being configured/set to actually perform operation B. good.
  • element A is a general-purpose processor
  • the processor has a hardware configuration that can execute operation B, and can perform operation B by setting a permanent or temporary program (instruction). It only needs to be configured to actually execute.
  • element A is a dedicated processor, dedicated arithmetic circuit, etc.
  • the circuit structure of the processor is designed to actually execute operation B, regardless of whether control instructions and data are actually attached. It is sufficient if it is implemented in
  • the terms “maximize” and “maximization” refer to determining the global maximum value, or determining an approximate value of the global maximum value. This term includes determining, determining a local maximum, and determining an approximation of a local maximum, and should be interpreted as appropriate depending on the context in which the term is used. It also includes finding approximate values of these maximum values probabilistically or heuristically. Similarly, when terms such as “minimize/minimization” are used, we are referring to finding a global minimum, finding an approximation of a global minimum, or finding a local minimum.
  • This term includes determining and approximating a local minimum, and should be interpreted accordingly depending on the context in which the term is used. It also includes finding approximate values of these minimum values probabilistically or heuristically.
  • opticalmize or “optimization” are used, it refers to finding a global optimum, finding an approximation of a global optimum, or calculating a local optimum.
  • This term includes determining and approximating a local optimum, and should be interpreted accordingly depending on the context in which the term is used. It also includes finding approximate values of these optimal values probabilistically or heuristically.
  • each piece of hardware when multiple pieces of hardware perform a predetermined process, each piece of hardware may cooperate to perform the predetermined process, or some of the hardware may perform the predetermined process. You may do all of the above. Further, some hardware may perform part of a predetermined process, and another piece of hardware may perform the rest of the predetermined process.
  • expressions such as "one or more hardware performs a first process, and the one or more hardware performs a second process" (including similar expressions) are used. ), the hardware that performs the first processing and the hardware that performs the second processing may be the same or different. In other words, the hardware that performs the first processing and the hardware that performs the second processing may be included in the one or more pieces of hardware.
  • the hardware may include an electronic circuit, a device including an electronic circuit, and the like.
  • each storage device among the multiple storage devices may store only part of the data. , the entire data may be stored. Further, a configuration may be included in which some of the plurality of storage devices store data.
  • first, second, etc. are used merely as a way of distinguishing between two or more elements, and the terms “first”, “second”, etc. It is not necessarily intended to impose technical meaning such as physical aspect, spatial aspect, order, quantity, etc. Thus, for example, reference to a first element and a second element indicates that only two elements may be employed therein, that the first element must precede the second element, that the second element does not necessarily mean that the first element must exist in order for .
  • Image processing device 101 Image conversion unit 102 Image extraction unit 103 Style adjustment unit 104 Point management unit 110 Model storage unit 111 Image information storage unit 112 Style storage unit 113 User information storage unit

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

画像のスタイルを変換する際に用いた情報を再利用可能なサービス又は装置を提供する。画像処理装置は、少なくとも１つのメモリと、少なくとも１つのプロセッサと、を備え、少なくとも１つのプロセッサは、スタイルベクトル及び変換モデルに基づいて、第１の画像のスタイルを変換した第２の画像を生成すること、を実行し、スタイルベクトルは、ユーザの指示に応じて、１以上のスタイルベクトルから選択されたスタイルベクトルであり、選択されたスタイルベクトルは、変換モデルに基づく第３の画像のスタイルを変換した第４の画像の生成に利用されたスタイルベクトルである。

Description

画像処理装置、画像表示装置、画像処理方法、画像表示方法及びプログラム
　本開示は、画像処理装置、画像表示装置、画像処理方法、画像表示方法及びプログラムに関する。
　実写画像のスタイルを、絵画風、イラスト風、アニメーション風等に変換する画像スタイル変換技術が提案されている。例えば、特許文献１には、入力画像を、参照画像が有するスタイル（例えば、画風）に基づいて、当該スタイルを有する画像に変換する画像スタイル変換装置が開示されている。
特開２０１８－１３２８５５号公報
　本開示の課題は、画像のスタイルを変換する際に用いた情報を再利用可能なサービス又は装置を提供することである。
　本開示の一態様による画像処理装置は、少なくとも１つのメモリと、少なくとも１つのプロセッサと、を備え、少なくとも１つのプロセッサは、スタイルベクトル及び変換モデルに基づいて、第１の画像のスタイルを変換した第２の画像を生成すること、を実行し、スタイルベクトルは、ユーザの指示に応じて、１以上のスタイルベクトルから選択されたスタイルベクトルであり、選択されたスタイルベクトルは、変換モデルに基づく第３の画像のスタイルを変換した第４の画像の生成に利用されたスタイルベクトルである。
図１は、スタイル変換処理の一例を説明するための図である。 図２Ａは、画像のスタイル変換の一例を示す図である。 図２Ｂは、画像のスタイル変換の一例を示す図である。 図３は、画像処理装置の機能構成の一例を示す図である。 図４は、ホーム画面の一例を示す図である。 図５は、ピックアップ画面の一例を示す図である。 図６は、画像検索画面の一例を示す図である。 図７は、画像詳細画面の一例を示す図である。 図８は、プリセット管理画面の一例を示す図である。 図９は、画像編集画面の一例を示す図である。 図１０は、スタイル変換画面の一例を示す図である。 図１０は、スタイル変換画面の一例を示す図である。 図１２Ａは、パラメータ調整領域の動作の一例を示す図である。 図１２Ｂは、パラメータ調整領域の動作の一例を示す図である。 図１３は、画像処理方法の処理手順の一例を示す図である。 図１４は、画像処理装置のハードウェア構成の一例を示す図である。
　以下、本開示の各実施形態について添付の図面を参照しながら説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
　［画像処理装置の概略］
　本開示の一実施形態は、画像のスタイル（画風）を変換する画像処理サービスを提供する画像処理装置である。本実施形態における画像は、実写画像であってもよいし、コンピュータグラフィックス（CG: Computer Graphics）画像であってもよい。本実施形態におけるスタイルは、一例として、絵画風、イラスト風、アニメーション風等であるが、これらの組み合わせであってもよく、その組み合わせは無段階に調整することが可能である。
　例えば、本実施形態における画像処理サービスによれば、典型的な油彩画風のスタイルと典型的な水彩画風のスタイルとを兼ね備えたスタイルに変換することができる。このとき、それぞれのスタイルの影響度合い（例えば、８割程度は水彩画風であるが、２割程度は油彩画風である等）を任意に調整することができる。
　スタイルの変換では、画像のスタイルを特徴付けるパラメータ（以下、「スタイルベクトル」とも呼ぶ）が用いられる。スタイルの特徴は、一例として、少なくとも、色合い、コントラスト、テクスチャ又は塗り方のいずれかを含む。
　スタイルベクトルは、例えば、３２次元の実ベクトルである。ただし、スタイルの変換では、スタイルベクトルのすべての成分を用いなくてもよく、スタイルを顕著に特徴付ける成分のみを用いてもよい。スタイルベクトルの各成分は人間にとって理解しやすい特徴と対応付けられるものでなくてもよく、その場合、スタイルベクトルの各成分を試行錯誤的に調整しながらスタイル変換を繰り返すことが行われる。なお、本実施形態における画像処理サービスでは、例えば、３２次元のうち２０次元のみを用いる。
　本実施形態における画像処理サービスでは、ある画像のスタイルを変換したとき、スタイル変換後の画像とスタイル変換に用いたスタイルベクトルとを関連付けて記憶する。スタイル変換後の画像とスタイルベクトルとを関連付ける方法は、一例として、スタイル変換後の画像とスタイルベクトルとを１つのセットとして記憶してもよいし、一方の情報から他方の情報を取得可能な情報を記憶してもよいし、一方の情報と他方の情報の識別情報とを１つのセットとして記憶してもよい。これにより、本実施形態における画像処理サービスでは、他の画像のスタイル変換に用いたスタイルベクトルを利用して、画像のスタイルを変換することができる。
　また、本実施形態における画像処理サービスは、ある画像のスタイル変換に用いたスタイルベクトルを利用者に提示する機能を有する。利用者は提示されたスタイルベクトルを参照しながら自身が利用するスタイルベクトルの値を設定してもよいし、提示されたスタイルベクトル全体を自身が利用するスタイルベクトルとしてコピーしてもよい。これにより、本実施形態における画像処理サービスでは、他の画像のスタイル変換に用いたスタイルベクトルを利用して、所望の画像のスタイルを変換することができる。
　＜モデル学習及びスタイル変換＞
　本実施形態におけるモデル学習及びスタイル変換について、図１を参照しながら説明する。図１は、本実施形態におけるスタイル変換処理の一例を説明するための図である。
　本実施形態におけるスタイルベクトルは、訓練済みの抽出モデルにより生成される。図１に示されているように、本実施形態における抽出モデル２０は、特徴抽出器２１及び次元圧縮器２２を含む。
　特徴抽出器２１は、複数の学習画像１０を用いて画像を分類するように学習されている。特徴抽出器２１は、学習画像１０から画像特徴量２３を抽出する。特徴抽出器２１の構造は、ニューラルネットワーク（一例として、畳み込みニューラルネットワーク（CNN; Convolutional Neural Network））であってもよい。画像特徴量２３は、一例として、５１２次元の特徴ベクトルである。
　次元圧縮器２２は、画像特徴量２３を次元圧縮するように学習されている。次元圧縮器２２は、画像特徴量２３を次元圧縮してスタイルベクトル３０を生成する。次元圧縮器２２の構造は、ニューラルネットワーク（一例として、変分オートエンコーダ（VAE; Variational Auto-Encoder）のエンコーダ）であってもよい。スタイルベクトル３０は、一例として、３２次元の特徴ベクトルである。なお、スタイルベクトルは、画像のスタイルを特徴付ける情報を反映するものであれば任意の方法で抽出してもよい。
　本実施形態におけるスタイル変換は、訓練済みの変換モデルにより行われる。図１に示されているように、本実施形態における変換モデル５０は、一例として、エンコーダ５１、変調層５２及びデコーダ５３を含む。
　エンコーダ５１は、入力画像４０に基づいて、第１の中間表現を生成する。エンコーダ５１は、ニューラルネットワークであってもよい。変調層５２は、第１の中間表現及びスタイルベクトル３０に基づいて、第２の中間表現を生成する。変調層５２は、ニューラルネットワークであってもよい。デコーダ５３は、第２の中間表現に基づいて、入力画像４０のスタイルが変換された変換画像６０を生成する。デコーダ５３は、ニューラルネットワークであってもよい。
　変調層５２は、一例として、適応的インスタンス正規化（AdaIn: Adaptive Instance Normalization）により、第２の中間表現を生成する。適応的インスタンス正規化は、インスタンス正規化及びアフィン変換を行う処理である。変調層５２は、スタイルベクトル３０に基づいてアフィン変換の変換パラメータを決定する。
　変換モデル５０は、条件付き敵対的生成ネットワーク（cGAN; Conditional Generative Adversarial Network）における生成器として学習される。具体的には、スタイルベクトル３０を用いてスタイル変換した画像と、スタイルベクトル３０に対応するスタイルの真の画像とをを識別する識別器に入力し、識別器による識別結果に基づいて、識別器が識別を誤る画像を生成するように変換モデル５０を学習する。なお、変換モデルは、図１の構成に限定されるものではない。本実施形態における画像処理装置は、変換元の画像及びスタイルベクトルに基づいて、変換元の画像をスタイルベクトルが表すスタイルに変換した画像を生成可能な任意の変換モデルを用いることができる。
　図２Ａ及び図２Ｂは、画像のスタイル変換の一例を示す図である。図２Ａは、変換元とした実写画像であり、図２Ｂは、図２Ａに示した実写画像をスタイル変換した画像である。図２に示されているように、本実施形態におけるスタイル変換によれば、実写画像のスタイルが変換された画像を生成することができる。
　［画像処理装置の機能構成］
　本開示の一実施形態における画像処理装置の機能構成について、図３を参照しながら説明する。図３は、本実施形態における画像処理装置の機能構成の一例を示すブロック図である。
　図３に示されているように、本実施形態における画像処理装置１００は、画像変換部１０１、画像抽出部１０２、スタイル調整部１０３、ポイント管理部１０４、モデル記憶部１１０、画像情報記憶部１１１、スタイル記憶部１１２及びユーザ情報記憶部１１３を備える。
　≪モデル記憶部≫
　モデル記憶部１１０には、訓練済みの変換モデルが記憶される。変換モデルは、所定の画像変換処理を行う機械学習モデルである。本実施形態における変換モデルは、画像及びスタイルベクトルを入力とし、当該画像を当該スタイルベクトルが表すスタイルに変換した画像を出力するスタイル変換モデルである。変換モデルは、ニューラルネットワークであってもよい。
　モデル記憶部１１０には、複数の変換モデルが記憶されてもよい。複数の変換モデルは、変換で実現可能なスタイルに応じて用意してもよい。例えば、第１の変換モデルは、アニメーション又はイラスト風のスタイルを実現し、第２の変換モデルは、西洋絵画風のスタイルを実現し、第３の変換モデルは、他の変換モデルで実現可能なすべてのスタイルを実現するものであってもよい。また、複数の変換モデルは、スタイルベクトルの次元数又は形式に応じて用意してもよい。例えば、第１の変換モデルは、色合いを意味する成分を含むスタイルベクトルを用い、第２の変換モデルは、モノクロを指定する二値成分を含むスタイルベクトルを用いるものであってもよい。
　なお、本実施形態における画像処理装置では、ある変換モデルで利用可能なスタイルベクトルが限定されていてもよい。この場合、ある変換モデルに対応するスタイルベクトルが、他の変換モデルで利用することができない場合がある。モデル記憶部１１０には、各変換モデルの識別情報が記憶されてもよい。
　≪画像情報記憶部≫
　画像情報記憶部１１１には、画像処理装置１００が生成した画像に関する画像情報が記憶される。画像情報は、スタイル変換前の画像、スタイル変換後の画像、当該画像に付与されたメタデータ、当該画像を生成するときに用いられたスタイルベクトルを識別する識別情報、及び当該画像を生成したユーザを識別する識別情報等を含む。
　画像に付与されるメタデータは、例えば、タイトル、説明文、タグ等である。メタデータは、当該画像を生成したユーザが任意に設定することができる。メタデータは、画像処理装置１００が当該画像に基づいて自動的に設定してもよい。
　スタイルベクトルの識別情報は、例えば、スタイルベクトルに設定された名称、スタイルベクトルを生成した際に割り当てられた識別子（ID; identifier）等である。ユーザの識別情報は、例えば、ユーザが設定したユーザ名、ユーザが画像処理サービスを利用開始した際に割り当てられたＩＤ等である。
　≪スタイル記憶部≫
　スタイル記憶部１１２には、スタイルベクトルに関するスタイル情報が記憶される。スタイル情報は、スタイルベクトル、当該スタイルベクトルを表すサムネイル（縮小画像）、当該スタイルベクトルを利用可能な変換モデルを識別する識別情報、当該スタイルベクトルを生成したユーザを識別する識別情報等を含む。スタイル記憶部１１２には、スタイルベクトルとそのスタイルベクトルを利用可能な変換モデルとを紐づける情報を記憶してもよい。一例として、スタイル情報として、利用可能な変換モデルの識別情報、利用可能な変換モデルへのリンク情報等を記憶してもよい。また、スタイルベクトルとそのスタイルベクトルを利用可能な変換モデルを１つのセットとしてスタイル記憶部１１２に記憶してもよい。
　スタイルベクトルのサムネイルは、当該スタイルベクトルを用いてサンプル画像をスタイル変換した縮小画像である。変換モデルの識別情報は、例えば、識別モデルに設定された名称、識別モデルのバージョン番号、識別モデルを生成した際に割り当てられたＩＤ等である。
　以下、スタイル記憶部１１２に記憶されているスタイルベクトルを、「プリセット」とも呼ぶ。プリセットには、画像処理サービスの運営管理者等により予め記憶されているスタイルベクトルと、ユーザが既存のスタイルベクトルを調整することで生成されたスタイルベクトルとが含まれる。予め記憶されているプリセットを「システムプリセット」とも呼び、ユーザにより生成されたプリセットを「ユーザプリセット」とも呼ぶ。
　≪ユーザ情報記憶部≫
　ユーザ情報記憶部１１３には、画像処理サービスのユーザに関するユーザ情報が記憶される。ユーザ情報は、当該ユーザを識別する識別情報、当該ユーザが契約している料金形態を表す契約情報、当該ユーザが保存したお気に入り情報等を含む。
　本実施形態における料金形態は、無料プラン及び有料プランを含む。有料プランは、利用料金が異なる複数のプランを含んでもよい。本実施形態における有料プランは、利用料金が低額なスタンダードプラン、及び利用料金が高額なプレミアムプランを含む。
　本実施形態におけるお気に入り情報は、当該ユーザが保存したスタイルベクトル、当該ユーザがフォローしている他のユーザ、当該ユーザが保存した他のユーザが生成した画像等に関する情報を含む。
　ユーザが契約している料金形態に基づいて、利用可能な機能を制限してもよい。本実施形態では、スタイルベクトルの調整及びスタイルベクトルのお気に入り情報への保存は、有料プランを契約しているユーザに制限されるものとする。ただし、料金形態に基づく機能制限はこれらに限定されず、任意の機能に適用することができる。
　≪画像変換部≫
　画像変換部１０１は、モデル記憶部１１０に記憶されている変換モデルを用いて、入力画像のスタイルを変換する。具体的には、画像変換部１０１は、まず、ユーザの指示に従って、スタイルベクトルを取得する。画像変換部１０１が取得するスタイルベクトルは、スタイル記憶部１１２に記憶されているスタイルベクトル（すなわち、プリセット）であってもよいし、スタイル調整部１０３から出力されるスタイルベクトルであってもよい。
　次に、画像変換部１０１は、ユーザにより指示された変換モデルを、モデル記憶部１１０から読み出す。続いて、画像変換部１０１は、入力画像及びスタイルベクトルを変換モデルに入力することで、入力画像のスタイルが変換された画像（以下、「変換画像」とも呼ぶ）を生成する。
　画像変換部１０１は、変換画像を生成した後、変換画像に関する画像情報を画像情報記憶部１１１に記憶する。画像変換部１０１は、スタイルベクトルがスタイル調整部１０３から出力されたスタイルベクトルであるとき、当該スタイルベクトルに関するスタイル情報をスタイル記憶部１１２に記憶する。
　≪画像抽出部≫
　画像抽出部１０２は、画像情報記憶部１１１に記憶されている画像情報を抽出する。画像抽出部１０２は、例えば、画像を生成したユーザ、画像を生成するときに用いられたモデル、画像に関連付けられたスタイルベクトル等に基づいて、画像情報を抽出する。画像抽出部１０２は、ユーザにより指定された検索条件に基づいて、画像情報を抽出してもよい。
　ユーザに基づく画像抽出では、例えば、ユーザがフォローしている他のユーザが生成した画像に関する画像情報が抽出される。モデルに基づく画像抽出では、例えば、ユーザが選択した変換モデルを用いて生成された画像に関する画像情報が抽出される。スタイルベクトルに基づく画像抽出では、例えば、ユーザが選択したスタイルベクトルと同一又は類似のスタイルベクトルを用いて生成された画像に関する画像情報が抽出される。
　≪スタイル調整部≫
　スタイル調整部１０３は、ユーザの指示に応じて、スタイルベクトルの各成分（以下、「パラメータ」とも呼ぶ）を調整する。スタイル調整部１０３は、スタイルベクトルを調整する際に、ユーザが操作するための画面に表示するサムネイル（縮小画像）を作成する。
　縮小画像は、スタイル変換の対象とする画像の一部を、現在のスタイルベクトルに基づいて変換することで生成される。縮小画像は、スタイルベクトルの各パラメータについて、２枚の縮小画像を生成する。第１の縮小画像は、他のパラメータを固定したまま、当該パラメータを第１の値（一例として、最小値）としたスタイルベクトルに基づいて生成される。第２の縮小画像は、他のパラメータを固定したまま当該パラメータを第２の値（一例として、最大値）としたスタイルベクトルに基づいて生成される。なお、パラメータの変更幅は一例であり、第２の値が第１の値より大きくなればよい。
　したがって、スタイル調整部１０３が生成する縮小画像は、１回の画面表示において、最大で４０枚（２０次元×２枚）である。ただし、スタイル調整部１０３は、生成済みの縮小画像がある場合、その縮小画像を再利用することで、生成する縮小画像の数を削減してもよい。
　≪ポイント管理部≫
　ポイント管理部１０４は、ユーザが保有するポイントの管理を行う。本実施形態におけるポイントは、画像のスタイル変換及びスタイルベクトルの調整を行うたびに消費される。ポイントは、時間の経過とともにユーザに与えられてもよい。また、ポイントは、所定の決済手段を通じて購入することができてもよい。
　ユーザに与えられるポイントは、ユーザの料金形態に応じて異なってもよい。例えば、無料プランのユーザには、１日に２～３回のスタイル変換及び１０～２０回のスタイル調整を行うことができるポイント数が与えられてもよい。スタンダードプランのユーザには、１日に１０～３０回のスタイル変換及び１００～２００回のスタイル調整を行うことができるポイント数が与えられてもよい。プレミアムプランのユーザには、１日に１００回以上のスタイル変換を行うことができるポイント数が与えられてもよい。なお、プレミアムプランのユーザは、スタイル調整を無制限に行えるように構成してもよい。
　［画像処理装置のユーザインターフェース］
　本開示の一実施形態における画像処理装置のユーザインターフェースについて、図３から図１３を参照しながら説明する。当該ユーザインターフェースは、例えば、画像処理装置１００にインストールされたプログラムが表示装置に表示する操作画面として実現され得る。
　≪ホーム画面≫
　図４は、本実施形態におけるホーム画面の一例を示す図である。ホーム画面は、ユーザが画像処理サービスにログインした後、最初に表示される画面である。ホーム画面は、ユーザが画像処理サービスの各機能を起動するための起点となる。
　図４に示されているように、ホーム画面１０００は、画像入力欄１０１０及び画像表示領域１０２０を有する。
　画像入力欄１０１０は、処理対象とする画像の入力を受け付ける。ユーザが画像入力欄１０１０に画像ファイルをドラッグアンドドロップすると、当該画像ファイルに表された画像の入力が受け付けられる。
　画像入力欄１０１０への入力は、画像が特定可能な操作であればどのようなものでもよい。例えば、画像入力欄１０１０をクリックするとファイル選択画面が表示され、当該ファイル選択画面において画像ファイルを選択することで、画像の入力を受け付けてもよい。また、例えば、画像入力欄１０１０に画像ファイルへの絶対パス又はＵＲＬ（Uniform Resource Locator）をテキスト入力することで、画像の入力を受け付けてもよい。
　画像表示領域１０２０には、ユーザが過去にスタイル変換した画像、ユーザがフォローしているユーザが公開した画像等がランダムに表示される。画像表示領域１０２０に表示される画像には、当該画像のタイトルやユーザ名が表示されてもよい。画像のタイトルやユーザ名は、画像にマウスオーバーすることでポップアップ表示されてもよい。
　ユーザが画像表示領域１０２０においていずれかの画像を選択すると、当該画像に関する画像詳細画面が表示される。
　≪ピックアップ画面≫
　図５は、本実施形態におけるピックアップ画面の一例を示す図である。ピックアップ画面は、画像処理サービスで公開されている画像を閲覧するための画面である。ピックアップ画面は、各画面に共通して表示されるメインメニューから開くことができる。
　図５に示されているように、ピックアップ画面１１００は、分類選択欄１１１０及び画像表示領域１１２０を有する。
　分類選択欄１１１０には、閲覧する画像の分類を示すタブが表示される。本実施形態では、ピックアップ画像（pickup）、長期人気画像（trend）、短期人気画像（upcoming）及び最新投稿画像（recent）に対応するタブが表示される。ピックアップ画像は、画像処理サービスの運営管理者等が選別した画像である。長期人気画像は、長期間にわたって人気が継続している画像である。短期人気画像は、短期間に人気が上昇している画像である。最新投稿画像は、公開日時が所定期間内の画像である。
　ユーザが分類選択欄１１１０のタブを押下すると、当該タブに対応する分類に該当する画像が、画像表示領域１１２０に表示される。画像表示領域１１２０に表示される画像には、ホーム画面１０００と同様に、当該画像のタイトルやユーザ名が表示されてもよい。
　ユーザが画像表示領域１１２０においていずれかの画像を選択すると、当該画像に関する画像詳細画面が表示される。
　≪画像検索画面≫
　図６は、本実施形態における画像検索画面の一例を示す図である。画像検索画面は、画像処理サービスで公開されている画像を検索するための画面である。画像検索画面は、各画面に共通して表示されるメインメニューから開くことができる。
　図６に示されているように、画像検索画面１２００は、検索条件入力欄１２１０及び検索結果表示領域１２２０を有する。
　ユーザが検索条件入力欄１２１０に検索条件を入力すると、当該検索条件に合致する画像が、検索結果表示領域１２２０に表示される。検索対象は、画像に付与されたタイトル、説明文、タグ等である。検索結果表示領域１２２０に表示される画像には、ホーム画面１０００と同様に、当該画像のタイトルやユーザ名が表示されてもよい。
　ユーザが検索結果表示領域１２２０においていずれかの画像を選択すると、当該画像に関する画像詳細画面が表示される。
　≪画像詳細画面≫
　図７は、本実施形態における画像詳細画面の一例を示す図である。画像詳細画面は、画像の詳細情報を参照するための画面である。画像詳細画面は、ユーザがホーム画面１０００、ピックアップ画面１１００又は画像検索画面１２００等に表示されたいずれかの画像を選択することで起動する。
　図７に示されているように、画像詳細画面１３００は、画像表示領域１３１０、画像情報表示領域１３２０、スタイル情報表示領域１３３０及び関連画像表示領域１３４０を有する。スタイル情報表示領域１３３０は、追加ボタン１３３１を有する。
　画像表示領域１３１０には、ユーザにより選択された画像が表示される。画像表示領域１３１０は、２つの領域に分割され、スタイル変換前の画像とスタイル変換後の画像とを比較可能な態様で表示されてもよい。本実施形態における画像表示領域１３１０は、ポインタの位置を基準にして左右２つの領域に分割され、左側の領域にはスタイル変換前の画像、右側の領域にはスタイル変換後の画像を表示する。このとき、ユーザがポインタの位置を移動すると、それに伴い領域の境界線が移動し、スタイル変換前の画像とスタイル変換後の画像との表示割合が変化する。なお、上下２つの領域に分割する等、ポインタの位置を基準とした任意の方法で画像表示領域１３１０を変換前と変換後の領域に分割してもよい。
　画像情報表示領域１３２０には、当該画像に関する詳細情報が表示される。画像情報表示領域１３２０に表示される情報は、例えば、当該画像を生成したユーザ、当該画像の属性情報（Exif（Exchangeable image file format）情報等）、当該画像に付与されたメタデータ（タイトル、説明文及びタグ）等を含む。タイトル、説明文及びタグは、編集可能な態様で表示される。
　スタイル情報表示領域１３３０には、当該画像のスタイルを変換するために用いられたスタイルベクトルに関する情報が表示される。スタイル情報表示領域１３３０に表示される情報は、例えば、当該スタイルベクトルの名称、当該スタイルベクトルの縮小画像、当該スタイルベクトルに対応する変換モデルの名称、及び当該スタイルベクトルの各パラメータを可視化した画像等を含む。
　ユーザが追加ボタン１３３１を押下すると、スタイル情報表示領域１３３０に表示されているスタイルベクトルが、ユーザのお気に入り情報に保存される。
　関連画像表示領域１３４０には、当該画像に関連する画像がランダムに表示される。関連画像表示領域１３４０に表示される画像は、ユーザ、タグ又はスタイルが当該画像と類似する画像である。関連画像表示領域１３４０に表示される画像には、ホーム画面１０００と同様に、当該画像のタイトルやユーザ名が表示されてもよい。画像のタイトルやユーザ名は、画像にマウスオーバーすることでポップアップ表示されてもよい。
　ユーザが関連画像表示領域１３４０においていずれかの画像を選択すると、画像詳細画面１３００に表示される情報が、当該画像に関する情報に更新される。
　≪プリセット管理画面≫
　図８は、本実施形態におけるプリセット管理画面の一例を示す図である。プリセット管理画面は、ユーザがお気に入り情報に保存したプリセットを管理するための画面である。プリセット管理画面は、各画面に共通して表示されるメインメニューから開くことができる。
　図８に示されているように、プリセット管理画面１４００は、１以上のプリセット表示領域１４１０（１４１０－１～１４１０－２）を有する。プリセット表示領域１４１０は、縮小画像表示欄１４１１、名称表示欄１４１２、パラメータ表示欄１４１３、ユーザ表示欄１４１４及びモデル表示欄１４１５を有する。
　プリセット表示領域１４１０は、ユーザがお気に入り情報に保存したプリセットと同数だけ表示される。お気に入り情報に保存されているプリセットの数が多い場合、プリセット表示領域１４１０は、表示装置に表示できる数のプリセットのみを表示し、ユーザがプリセット管理画面１４００を下方にスクロールするに従って、プリセット表示領域１４１０を追加する制御を行ってもよい。
　プリセット管理画面１４００に表示されるプリセット表示領域１４１０の順番は、どのようなものでもよい。例えば、お気に入り情報に保存された日時、プリセットの名称に基づいて整列した順番、スタイル変換に利用された回数等に基づいて、プリセット表示領域１４１０の順番を決定すればよい。
　縮小画像表示欄１４１１には、当該プリセットの縮小画像が表示される。縮小画像表示欄１４１１は、画像詳細画面１３００の画像表示領域１３１０と同様に、２つの領域に分割されており、一方の領域にはスタイル変換前の縮小画像、他方の領域にはスタイル変換後の縮小画像が表示される。本実施形態における縮小画像表示欄１４１１は、一例として、中心を通過する斜線で左右に二分されており、左側の領域にはスタイル変換前の縮小画像、右側の領域にはスタイル変換後の縮小画像が表示される。なお、上下に分割する等、任意の方向で変換前の領域と変換後の領域を分割してもよい。
　名称表示欄１４１２には、当該プリセットの名称が表示される。パラメータ表示欄１４１３には、当該プリセットの各パラメータを可視化した画像が表示される。パラメータ表示欄１４１３に表示される画像では、各パラメータが所定の範囲で正規化されていてもよい。所定の範囲は、一例として、－２～＋２であってもよいし、－１００～＋１００の範囲であってもよい。ユーザ表示欄１４１４には、当該プリセットを生成したユーザの名称が表示される。モデル表示欄１４１５には、当該プリセットに対応する変換モデルの名称が表示される。
　≪画像編集画面≫
　図９は、本実施形態における画像編集画面の一例を示す図である。画像編集画面は、画像を編集するための画面である。画像編集画面は、ホーム画面１０００で画像の入力を受け付けた後に表示される。画像編集画面は、ユーザが入力した画像を一覧表示する画面からいずれかの画像を選択したときに表示されてもよい。
　図９に示されているように、画像編集画面１５００は、画像表示領域１５１０、編集履歴表示領域１５２０、公開ボタン１５３０及びスタイル変換ボタン１５４０を有する。
　画像表示領域１５１０には、編集対象とする画像が表示される。編集履歴表示領域１５２０には、当該画像を編集した編集履歴が時系列に表示される。ユーザが編集履歴表示領域１５２０からいずれかの編集履歴を選択すると、画像編集画面１５００に表示される情報が、当該編集履歴時点の画像に関する情報に更新される。なお、編集履歴表示領域１５２０から選択した画像に対して編集を行うと、選択された画像より後の編集履歴が削除される。
　ユーザが公開ボタン１５３０を押下すると、当該画像が公開される。公開された画像は、画像処理サービスを利用する他のユーザから参照可能となる。ユーザがスタイル変換ボタン１５４０を押下すると、当該画像に関するスタイル変換画面が表示される。
　≪スタイル変換画面≫
　図１０は、本実施形態におけるスタイル変換画面の一例を示す図である。スタイル変換画面は、画像のスタイルを変換するための画面である。図１０は、プリセットを用いてスタイルを変換するときのスタイル変換画面の一例である。
　図１０に示されているように、プリセット利用時のスタイル変換画面１６００は、画像表示領域１６１０、プリセット表示領域１６２０、モデル選択欄１６３０、プレビュー表示領域１６４０及び適用ボタン１６５０を有する。
　画像表示領域１６１０には、変換対象とする画像が表示される。画像表示領域１６１０には、プレビュー参照領域１６１１が含まれる。プレビュー参照領域１６１１は、プレビュー表示領域１６４０に表示する縮小画像を取得するための領域である。初期表示時には、プレビュー参照領域１６１１は、画像表示領域１６１０の中央に位置する。ただし、ユーザの操作によりプレビュー参照領域１６１１を画像表示領域１６１０の任意の位置に移動することが可能である。
　プリセット表示領域１６２０には、利用可能なプリセットの一覧が表示される。利用可能なプリセットは、ユーザがお気に入り情報に保存したユーザプリセット及びシステムプリセットである。利用可能な変換モデルが複数ある場合、プリセット表示領域１６２０には、モデル選択欄１６３０で選択されている変換モデルに対応するプリセットのみが表示される。なお、変換モデルに対応するプリセットは、スタイル記憶部１１２に記憶された変換モデルとスタイルベクトルの紐付け情報に基づいて抽出してもよい。
　モデル選択欄１６３０は、利用可能な変換モデルの一覧が選択可能な態様で表示される。モデル選択欄１６３０は、例えば、ドロップダウンリストで変換モデルの一覧を表示し、ユーザの操作により変換モデルを選択可能とすることができる。利用可能な変換モデルが１つである場合、モデル選択欄１６３０は、固定としてもよいし、非表示としてもよい。
　ユーザがモデル選択欄１６３０において変換モデルを選択すると、プリセット表示領域１６２０に表示されているプリセットが、選択された変換モデルに対応するプリセットに更新される。
　ユーザがプリセット表示領域１６２０においてプリセットを選択すると、変換対象とする画像を低解像度に変換し当該プリセットを用いてスタイル変換した画像が、画像表示領域１６１０に表示される。同時に、プレビュー表示領域１６４０に、当該プリセットを用いたスタイル変換前の縮小画像、及び当該プリセットを用いたスタイル変換後の縮小画像が表示される。プレビュー表示領域１６４０に表示される縮小画像は、プレビュー参照領域１６１１で示された領域に含まれる画像である。
　本実施形態における変換モデルは、変換対象とする画像と同じサイズの画像を入力とし、入力された画像と同じサイズのスタイル変換後の画像を出力してもよい。例えば、変換対象とする画像が1024×1024ピクセルの画像である場合、変換モデルには1024×1024ピクセルの画像が入力され、1024×1024ピクセルのスタイル変換後の画像が出力される。したがって、変換対象とする画像を低解像度に変換しておくことで、スタイル変換時の演算量を削減することが可能である。
　変換対象とする画像を低解像度に変換する処理は、事前に実行しておくとよい。一例として、ホーム画面１０００においてユーザが変換対象とする画像を入力したときに、変換対象とする画像を低解像度に変換する処理を実行してもよい。また、低解像度に変換した画像は、変換対象とする画像と共に画像情報記憶部１１１等に記憶しておくとよい。予め低解像度の画像を用意しておくことで、プレビュー表示する際には、変換対象とする画像を低解像度に変換する処理を省略することができる。
　ユーザが適用ボタン１６５０を押下すると、プリセット表示領域１６２０で選択されているプリセットを用いて、画像表示領域１６１０に表示されている変換対象の画像全体がスタイル変換される。スタイル変換が完了すると、変換後の画像に関する画像情報が画像情報記憶部１１１に記憶される。
　図１１は、本実施形態におけるスタイル変換画面の一例を示す図である。図１１は、プリセットのパラメータを調整してスタイル変換するときのスタイル変換画面である。
　図１１に示されているように、スタイル調整時のスタイル変換画面１７００は、図１０に示したスタイル変換画面１６００と比較すると、プリセット表示領域１６２０の代わりに、複数のパラメータ調整領域１７１０（１７１０－１～１７１０－６）を有する点が異なる。
　パラメータ調整領域１７１０は、スタイルベクトルの各パラメータのうちスタイル変換に用いるパラメータと同数だけ表示される。すなわち、パラメータ調整領域１７１０は、一例として、３２個まで表示され得る。本実施形態では、スタイルベクトルのうち２０次元をスタイル変換に用いるため、パラメータ調整領域１７１０は２０個表示される。
　パラメータ調整領域１７１０には、スタイル変換画面１６００のプリセット表示領域１６２０で選択されたプリセットの各パラメータが、調整可能な形態で表示される。パラメータ調整領域１７１０には、プリセットの各パラメータについて、当該パラメータに対応する２枚の縮小画像が表示される。第１の縮小画像は、他のパラメータを固定したまま当該パラメータの値を第１の値（一例として、最小値）に変更したスタイルベクトルを用いてスタイル変換した縮小画像である。第２の縮小画像は、他のパラメータを固定したまま当該パラメータの値を第２の値（一例として、最大値）に変更したスタイルベクトルを用いてスタイル変換した縮小画像である。
　図１２Ａ及び図１２Ｂは、パラメータ調整領域の動作の一例を示す図である。図１２Ａは、パラメータ調整前のパラメータ調整領域１７１０を示す図であり、図１２Ｂは、パラメータ調整後のパラメータ調整領域１７１０を示す図である。
　図１２Ａ及び図１２Ｂに示されているように、パラメータ調整領域１７１０－ｎ（ｎ＝１，…，６）は、パラメータ変更欄１７１１－ｎ、第１縮小画像表示欄１７１２－ｎ及び第２縮小画像表示欄１７１３－ｎを有する。
　パラメータ変更欄１７１１－ｎは、スタイルベクトルの現在の値が、変更可能な態様で表示される。パラメータ変更欄１７１１－ｎに表示されるスタイルベクトルの値は所定の数値範囲で正規化されてもよい。一例として、－２から＋２の範囲で正規化されていてもよい。本実施形態におけるパラメータ変更欄１７１１－ｎは、水平方向に配置され、最小値（本実施形態では－２）を示す左端から、最大値（本実施形態では＋２）を示す右端まで、無段階で調整可能なスライダーバーで構成される。
　なお、パラメータ変更欄１７１１－ｎは、所定数の段階で調整可能なスライダーバー、数値を直接入力可能なテキストボックス、プラスボタン及びマイナスボタンにより数値を変更可能なテキストボックス、セレクトボックス又はラジオボタン等の数値を選択可能なリストボックス、回転方向に応じて数値が増減するダイヤル等で構成されてもよい。つまり、スタイルベクトルの各パラメータについて、現在の値及び変更後の値の関係を視認できる形態であれば任意の構成を用いることができる。
　第１縮小画像表示欄１７１２－ｎには、他のパラメータを固定したまま、当該パラメータを最小値に設定したスタイルベクトルを用いて、プレビュー参照領域１６１１で示された領域の画像をスタイル変換した縮小画像が表示される。第２縮小画像表示欄１７１３－ｎには、他のパラメータを固定したまま、当該パラメータを最大値に設定したスタイルベクトルを用いて、プレビュー参照領域１６１１で示された領域の画像をスタイル変換した縮小画像が表示される。
　第１縮小画像表示欄１７１２－ｎ及び第２縮小画像表示欄１７１３－ｎは、当該パラメータ調整領域１７１０－ｎに対応するパラメータがスタイルに与える影響を表している。したがって、第１縮小画像表示欄１７１２－ｎと第２縮小画像表示欄１７１３－ｎとを比較することで、当該パラメータを調整することで影響を受けるスタイルの特徴を把握することができる。
　図１２Ａ及び図１２Ｂに示されているように、いずれかのパラメータ変更欄１７１１（図１２Ｂの例ではパラメータ変更欄１７１１－１）を調整すると、調整した後のパラメータに基づいて、他のパラメータ変更欄１７１１（図１２Ｂの例ではパラメータ変更欄１７１１－２～１７１１－６）に対応する第１縮小画像表示欄１７１２及び第２縮小画像表示欄１７１３が更新される。また、変換対象とする画像を低解像度に変換し、調整した後のパラメータに基づいてスタイル変換した画像が、画像表示領域１６１０に表示される。ユーザは、プレビュー表示領域１６４０に表示される縮小画像と、各パラメータ調整領域１７１０に表示される各縮小画像とを比較しながらパラメータを調整することで、所望のスタイルに近いスタイルベクトルを効率的に探索することが可能となっている。
　［画像処理方法の処理手順］
　本開示の一実施形態における画像処理装置１００が実行する画像処理方法の処理手順について、図１３を参照しながら説明する。図１３は、画像処理方法の処理手順の一例を示すフローチャートである。
　ステップＳ１において、画像処理装置１００の画像抽出部１０２は、画像情報記憶部１１１に記憶されている画像情報を抽出する。画像抽出部１０２が抽出する画像情報は、表示装置に表示している画面により異なる。例えば、表示装置にホーム画面１０００を表示する場合、画像抽出部１０２は、ユーザ及び当該ユーザがフォローしているユーザが生成した画像に関する画像情報を抽出する。また、例えば、表示装置に画像検索画面１２００を表示している場合、画像抽出部１０２は、ユーザにより指定された検索条件に合致する画像情報を抽出する。
　ステップＳ２において、画像処理装置１００の画像抽出部１０２は、ユーザの指示に応じてスタイルベクトルをお気に入り情報に保存する。画像抽出部１０２は、まず、ユーザの指示に応じて画像を選択する。次に、画像抽出部１０２は、選択された画像に関する画像情報を出力する。出力される画像情報は、少なくとも画像及び当該画像を生成するときに用いられたスタイルベクトルを含む。
　続いて、画像抽出部１０２は、ユーザの指示に応じてスタイルベクトルを選択する。次に、画像抽出部１０２は、選択されたスタイルベクトルの識別情報をユーザ情報記憶部１１３に記憶する。スタイルベクトルの識別情報は、当該ユーザに関するユーザ情報のお気に入り情報に保存される。
　なお、本実施形態では、スタイルベクトルの保存は、ユーザが有料プランを契約している場合のみ実行できる。したがって、画像抽出部１０２は、ユーザ情報記憶部１１３に記憶されている契約情報に基づいて、当該ユーザの料金形態が有料プランであるか無料プランであるかを判定し、無料プランである場合、ステップＳ２を実行しない。
　ステップＳ３において、画像処理装置１００の画像変換部１０１は、ユーザの指示に応じて画像の入力を受け付ける。画像変換部１０１は、受け付けた入力画像を画像情報記憶部１１１に記憶する。
　ステップＳ４において、画像処理装置１００の画像変換部１０１は、ユーザの指示に応じて変換モデルを選択する。モデル記憶部１１０に記憶されている変換モデルが１つである場合、変換モデルの選択は省略される。次に、画像変換部１０１は、ユーザのお気に入り情報に保存されているスタイルベクトルの識別情報を、ユーザ情報記憶部１１３から取得する。
　画像変換部１０１は、取得した識別情報に基づいて、スタイル記憶部１１２に記憶されているユーザプリセットを読み出す。同時に、画像変換部１０１は、スタイル記憶部１１２に記憶されているシステムプリセットを読み出す。なお、変換モデルが選択されている場合、画像変換部１０１は、選択された変換モデルに対応するユーザプリセット及びシステムプリセットのみを読み出す。
　そして、画像変換部１０１は、ユーザの指示に応じてシステムプリセット又はユーザプリセットからスタイル変換に用いるプリセットを選択する。
　ステップＳ５において、画像処理装置１００のスタイル調整部１０３は、ユーザの指示に応じてプリセットの各パラメータを調整する。スタイル調整部１０３は、プリセットの各パラメータを調整する都度、選択された変換モデルを用いて、各パラメータに対応する縮小画像を生成する。
　縮小画像が生成されると、ポイント管理部１０４は、ユーザ情報記憶部１１３に記憶されているポイントから所定のポイント数を減算する。
　なお、プリセットを調整するか否かは、ユーザが任意に選択できる。ユーザが選択したプリセットをそのまま利用してスタイル変換を行う場合、ステップＳ５は実行しなくてもよい。
　また、本実施形態では、プリセットの調整は、ユーザが有料プランを契約している場合のみ実行できる。したがって、スタイル調整部１０３は、ユーザ情報記憶部１１３に記憶されている契約情報に基づいて、当該ユーザの料金形態が有料プランであるか無料プランであるかを判定し、無料プランである場合、ステップＳ５を実行しない。
　ステップＳ６において、画像処理装置１００の画像変換部１０１は、スタイルベクトルを取得する。ステップＳ５が実行された場合、画像変換部１０１は、スタイル調整部１０３により出力されたスタイルベクトルを取得する。ステップＳ５が実行されなかった場合、画像変換部１０１は、ユーザの指示に応じて選択されたプリセットを取得する。
　画像変換部１０１は、ユーザにより選択された変換モデルをモデル記憶部１１０から読み出す。次に、画像変換部１０１は、入力画像及びスタイルベクトルを変換モデルに入力することで、入力画像のスタイルが変換された変換画像を生成する。画像変換部１０１は、変換画像を表示装置に表示する。
　変換画像が生成されると、ポイント管理部１０４は、ユーザ情報記憶部１１３に記憶されているポイントから所定のポイント数を減算する。
　ステップＳ７において、画像処理装置１００の画像変換部１０１は、ユーザの指示に応じて変換画像に関する画像情報を画像情報記憶部１１１に記憶する。画像変換部１０１は、スタイル調整部１０３により調整されたスタイルベクトルを用いて変換画像を生成した場合、当該スタイルベクトルに関するスタイル情報をスタイル記憶部１１２に記憶する。
　［補足］
　上記の実施形態では、スタイルベクトルの保存及びスタイルベクトルの調整は、有料プランを契約しているユーザのみが実行できるように構成した。無料プランを契約しているユーザに対して、スタイルベクトルをランダムに変更できる機能を提供してもよい。この機能によれば、ユーザは、ランダムにスタイルベクトルを変更することを繰り返すことで、所望のスタイルに変換できるスタイルベクトルを得られる可能性がある。
　画像処理装置１００は、スタイルベクトルとそのスタイルベクトルに関連付けられた情報を表示装置に表示し、ユーザの指示に基づいて所望のスタイルベクトルを選択してもよい。画像処理装置１００が表示装置に表示する情報は、スタイルベクトルとそのスタイルベクトルに関連付けられた情報のいずれか１つであってもよいし、両方であってもよい。１つのスタイルベクトルに関連付けられる情報は、１つの情報であってもよいし、複数の情報であってもよい。
　画像処理装置１００は、スタイルベクトルとそのスタイルベクトルに関連付けられた情報を表示装置に表示するとき、少なくとも複数のスタイルベクトル又はそのスタイルベクトルに関連付けられた複数の情報のいずれかを、一度に１つの画面に表示してもよい。画像処理装置１００は、少なくとも各スタイルベクトル又はそのスタイルベクトルに関連付けられた各情報を、それぞれ異なる画面に表示してもよい。画像処理装置１００は、少なくとも複数のスタイルベクトル又はそのスタイルベクトルに関連付けられた複数の情報を、所定の数に分けて、それぞれ異なる画面に表示してもよい。
　スタイルベクトルに関連付けられた情報の一例は、そのスタイルベクトルを用いてスタイル変換された１以上の画像である。なお、１以上の画像は、１つの画像であってもよいし、複数の画像であってもよい。ただし、スタイルベクトルに関連付けられた情報は、そのスタイルベクトルを用いてスタイル変換された画像に限定されない。
　スタイルベクトルに関連付けられた情報は、一例として、スタイルベクトルの作成者、作成日、利用者、利用日等の情報であってもよいし、スタイルベクトルの説明情報（例えば、「～風へ変換」等）であってもよい。なお、説明情報は、スタイルベクトルの作成者又は利用者が定義してもよい。
　スタイルベクトルに関連付けられた情報は、一例として、そのスタイルベクトルを用いてスタイル変換された画像に加えて、その画像に対して所定の加工を適用した画像であってもよい。所定の加工は、一例として、解像度の変更、サイズの変更等であってもよい。
　スタイルベクトルの選択は、ユーザによるスタイルベクトルの指定に基づいて行われてもよいし、ユーザによるスタイルベクトルに関連付けられた情報の指定に基づいて行われてもよい。
　上記の実施形態では、スタイルベクトルの調整及びスタイルベクトルの保存は、ユーザが契約している料金形態を表す契約情報に基づいて、利用可能か否かを判定した。スタイルベクトルの調整及びスタイルベクトルの保存は、ユーザの属性情報に基づいて、利用可能な否かを判定してもよい。ユーザの属性情報は、一例として、ユーザの契約情報、ユーザが所属する組織、ユーザを区別する情報、ユーザの利用状態を識別する情報等を含んでもよい。ユーザの利用状態は、一例として、ユーザが所持するポイント数、ユーザによる利用履歴等を含んでもよい。
　上記の実施形態では、ユーザが複数のスタイルベクトルから１つのスタイルベクトルを指定することで、スタイル変換に用いるスタイルベクトルを選択した。ユーザが１以上のスタイルベクトルから１つのスタイルベクトルを指定可能としてもよい。１以上のスタイルベクトルは、１つのスタイルベクトルであってもよいし、複数のスタイルベクトルであってもよい。
　上記の実施形態では、ユーザが複数の変換モデルから１つの変換モデルを指定することで、スタイル変換に用いる変換モデルを選択可能とした。ユーザが１以上の変換モデルから１つの変換モデルを指定可能としてもよい。１以上の変換モデルは、１つの変換モデルであってもよいし、複数の変換モデルであってもよい。
　本実施形態における画像処理装置１００は、少なくとも１つのメモリと、少なくとも１つのプロセッサとで構成されてもよい。この場合、少なくとも１つのプロセッサは、少なくとも１つのメモリへの各種データの記憶や少なくとも１つのメモリからの各種データの取得を制御することができる。また、少なくとも１つのプロセッサは、表示装置に表示する画面を制御してもよい。
　本実施形態における画像処理装置１００は、少なくとも１台のサーバと少なくとも１台のユーザ端末（以下、「画像表示装置」とも呼ぶ）によって実現されてもよい。ユーザ端末は、一例として、デスクトップ型又はラップトップ型のパーソナルコンピュータ、スマートフォン、タブレット端末等であってもよい。複数のユーザ端末により実現される場合、各ユーザ端末は異なるユーザが保有してもよい。
　画像処理装置１００がサーバとユーザ端末によって実現される場合、一方の装置が有する記憶装置に記憶されている情報の一部又は全部が、他方の装置が有する記憶装置に記憶される構成としてもよい。また、サーバ及びユーザ端末のいずれかが有する記憶装置に記憶される情報の一部または全部が、外部の記憶装置に記憶される構成としてもよい。
　画像処理装置１００がサーバとユーザ端末によって実現される場合、画像処理装置１００により行われる各処理が、サーバとユーザ端末とのいずれが実行するかは、任意に決定することができる。一例として、ユーザ端末は、各種情報の表示、ユーザによる指示の受け付けを実行し、サーバは、その他の処理を実行するように構成してもよい。ユーザによる指示の一例は、スタイルベクトル又は変換モデルの選択、スタイルベクトルの調整等である。サーバが実行する処理の一例は、スタイル変換後の画像の生成、変換モデル、スタイルベクトル、ユーザ情報等の記憶等である。
　画像処理装置１００がサーバとユーザ端末によって実現される場合、ユーザ端末におけるスタイルベクトル又は変換モデルの選択は、ユーザ端末に対する操作によりスタイルベクトル又は変換モデルが選択することと、ユーザ端末からの情報に基づいて、サーバがスタイルベクトル又は変換モデルが選択することとを含む。
　画像処理装置１００がサーバとユーザ端末によって実現される場合、スタイルベクトルとそのスタイルベクトルに関連付けられた情報を表示する表示装置は、サーバ又はユーザ端末が備えるディスプレイ等であってもよい。
　サーバ及びユーザ端末のハードウェア構成は、画像処理装置１００と同様であってもよい。画像処理装置１００のハードウェア構成の一例は、後述する。
　［まとめ］
　本実施形態によれば、画像のスタイルを変換するときに用いた情報を再利用可能な装置を提供することができる。また、本実施形態における画像処理装置１００を用いることにより、画像のスタイルを変換する際に用いた情報を再利用可能なサービスを提供することができる。
　本実施形態における画像処理装置１００は、スタイル変換後の画像とスタイル変換に用いたスタイルベクトルとを関連付けて記憶し、入力画像のスタイルを変換するときに他の画像に関連付けられたスタイルベクトルを用いることができる。したがって、本実施形態における画像処理装置１００によれば、画像のスタイルを変換する際に用いたスタイルベクトルを再利用することができる。
　本実施形態における画像処理装置１００は、スタイル変換後の画像とスタイル変換に用いたスタイルベクトルとを関連付けて表示し、ユーザにより選択されたスタイルベクトルを用いて入力画像のスタイルを変換する。したがって、本実施形態における画像処理装置１００によれば、ユーザは当該スタイルベクトルにより実現されるスタイルを把握しやすく、所望のスタイルに近いスタイルベクトルを容易に選択することができる。
　本実施形態における画像処理装置１００は、他のユーザが生成したスタイルベクトルをお気に入り情報に保存し、入力画像のスタイルを変換するときに用いることができる。したがって、本実施形態における画像処理装置１００によれば、ユーザ間でスタイルベクトルを共有することができる。
　本実施形態における画像処理装置１００は、複数の変換モデルを利用可能なとき、ユーザにより選択された変換モデルに対応するスタイルベクトルのみをスタイル変換画面に表示する。したがって、本実施形態における画像処理装置１００によれば、利用する変換モデルに応じて適切なスタイルベクトルを選択することができる。
　本実施形態における画像処理装置１００は、スタイルベクトルの各パラメータを任意に調整することができる。したがって、本実施形態における画像処理装置１００によれば、ユーザは所望のスタイルを実現できるスタイルベクトルを生成することができる。
　本実施形態における画像処理装置１００は、スタイルベクトルを調整するとき、各パラメータについて、他のパラメータを固定したまま、当該パラメータを最大値に設定したスタイルベクトルを用いてスタイルを変換した画像、及び当該パラメータを最小値に設定したスタイルベクトルを用いてスタイルを変換した画像を表示する。したがって、本実施形態における画像処理装置１００によれば、ユーザは各パラメータがスタイルに与える影響を確認しながら、スタイルベクトルを調整することができる。
　本実施形態における画像処理装置１００は、スタイルベクトルの保存及びスタイルベクトルの調整は有料プランを契約しているユーザのみが行うことができる。スタイルベクトルの調整では、各パラメータを調整するたびにポイントを消費する。スタイルベクトルの調整は、多数のスタイル変換を実行する計算負荷の高い処理である。したがって、本実施形態における画像処理装置１００によれば、利用意欲の高いユーザに対して効率的に計算リソースを割り当てることができる。
　本実施形態における画像処理装置１００は、スタイルベクトル及び変換モデルに基づいて、第１の画像のスタイルを変換した第２の画像を生成することができる。スタイルベクトルは、ユーザの指示に応じて、１以上のスタイルベクトルから選択することができる。選択されたスタイルベクトルは、変換モデルに基づく第３の画像のスタイルを変換した第４の画像の生成に利用されたスタイルベクトルとすることができる。
　本実施形態における画像処理装置１００は、第２の画像を生成する前に、少なくとも１以上のスタイルベクトル又は１以上のスタイルベクトルのそれぞれに関連付けられた情報のいずれかを表示装置に表示し、その後、ユーザの指示に応じて選択されたスタイルベクトルに基づいて、第２の画像を生成することができる。このとき、関連付けられた情報は、１以上のスタイルベクトルそれぞれを用いて生成された１以上の画像を含む。
　本実施形態における画像処理装置１００は、ユーザ又は他のユーザの指示により、スタイルベクトル及び変換モデルに基づいて、第３の画像のスタイルを変換した第４の画像を生成することができる。
　本実施形態における画像処理装置１００は、ユーザの指示に応じて変換モデルを選択し、少なくとも、変換モデルに対応する１以上のスタイルベクトル又は１以上のスタイルベクトルのそれぞれに関連付けられた情報のいずれかを表示装置に表示することができる。
　本実施形態における画像処理装置１００は、スタイルベクトルを選択した後に、ユーザの指示に応じて調整されたスタイルベクトルと変換モデルに基づいて、第２の画像を生成することができる。このとき、ユーザの属性情報に応じて、選択されたスタイルベクトルを調整可能とするか否かを判定することができる。また、ユーザの指示に応じてスタイルベクトルが調整されたとき、ユーザが保有するポイントを減算することができる。
　本実施形態における画像処理装置１００は、選択されたスタイルベクトルの各パラメータについて、パラメータを第１の値に設定したスタイルベクトルに基づいて第５の画像のスタイルを変換した第６の画像と、パラメータを第２の値に設定したスタイルベクトルに基づいて第５の画像のスタイルを変換した第７の画像とを生成し、第６の画像と第７の画像とを表示装置に表示することができる。このとき、第５の画像は、第１の画像に含まれる一部の領域とすることができる。また、ユーザの指示によりパラメータの値が変更されたとき、スタイルベクトルの各パラメータについて第６の画像及び第７の画像を再生成することができる。
　本実施形態におけるユーザ端末は、変換対象となる第１の画像を取得し、少なくとも１以上のスタイルベクトル又は１以上のスタイルベクトルのそれぞれに関連付けられた情報のいずれかを表示装置に表示し、ユーザの指示に応じて、１以上のスタイルベクトルからスタイルベクトルを選択し、第１の画像のスタイルを変換した第２の画像を取得し、第２の画像を表示装置に表示することができる。選択されたスタイルベクトルは、変換モデルに基づく第３の画像のスタイルを変換した第４の画像の生成に利用されたスタイルベクトルとすることができる。第２の画像は、変換モデル及び選択されたスタイルベクトルに基づいて生成された画像とすることができる。
　本実施形態におけるユーザ端末は、ユーザの指示に応じて、１以上の変換モデルから変換モデルを選択することができる。第４の画像は、ユーザ又は他のユーザの指示に基づいて生成された画像とすることができる。関連付けられた情報は、１以上のスタイルベクトルそれぞれを用いて生成された１以上の画像を含むことができる。
　本実施形態におけるユーザ端末は、スタイルベクトルを選択した後に、ユーザの指示に応じて調整されたスタイルベクトルと変換モデルに基づいて、第２の画像を生成することができる。
　本実施形態におけるユーザ端末は、表示装置に表示されたスタイルベクトルの各パラメータに対応するスライダーバーをユーザが操作することによって、スタイルベクトルを調整することができる。
　［情報処理装置のハードウェア構成］
　前述した実施形態における各装置（画像処理装置１００）の一部又は全部は、ハードウェアで構成されていてもよいし、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等が実行するソフトウェア（プログラム）の情報処理で構成されてもよい。ソフトウェアの情報処理で構成される場合には、前述した実施形態における各装置の少なくとも一部の機能を実現するソフトウェアを、ＣＤ－ＲＯＭ（Compact Disc-Read Only Memory）、ＵＳＢ（Universal Serial Bus）メモリ等の非一時的な記憶媒体（非一時的なコンピュータ可読媒体）に収納し、コンピュータに読み込ませることにより、ソフトウェアの情報処理を実行してもよい。また、通信ネットワークを介して当該ソフトウェアがダウンロードされてもよい。さらに、ソフトウェアの処理の全部又は一部がＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等の回路に実装されることにより、当該ソフトウェアによる情報処理がハードウェアにより実行されてもよい。
　ソフトウェアを収納する記憶媒体は、光ディスク等の着脱可能なものでもよいし、ハードディスク、メモリ等の固定型の記憶媒体であってもよい。また、記憶媒体は、コンピュータ内部に備えられてもよいし（主記憶装置、補助記憶装置等）、コンピュータ外部に備えられてもよい。
　図１４は、前述した実施形態における各装置（画像処理装置１００）のハードウェア構成の一例を示すブロック図である。各装置は、一例として、プロセッサ７１と、主記憶装置７２（メモリ）と、補助記憶装置７３（メモリ）と、ネットワークインタフェース７４と、デバイスインタフェース７５と、を備え、これらがバス７６を介して接続されたコンピュータ７として実現されてもよい。
　図１４のコンピュータ７は、各構成要素を一つ備えているが、同じ構成要素を複数備えていてもよい。また、図１４では、１台のコンピュータ７が示されているが、ソフトウェアが複数台のコンピュータにインストールされて、当該複数台のコンピュータそれぞれがソフトウェアの同一の又は異なる一部の処理を実行してもよい。この場合、コンピュータそれぞれがネットワークインタフェース７４等を介して通信して処理を実行する分散コンピューティングの形態であってもよい。つまり、前述した実施形態における各装置（画像処理装置１００）は、１又は複数の記憶装置に記憶された命令を１台又は複数台のコンピュータが実行することで機能を実現するシステムとして構成されてもよい。また、端末から送信された情報をクラウド上に設けられた１台又は複数台のコンピュータで処理し、この処理結果を端末に送信するような構成であってもよい。
　前述した実施形態における各装置（画像処理装置１００）の各種演算は、１又は複数のプロセッサを用いて、又はネットワークを介した複数台のコンピュータを用いて、並列処理で実行されてもよい。また、各種演算が、プロセッサ内に複数ある演算コアに振り分けられて、並列処理で実行されてもよい。また、本開示の処理、手段等の一部又は全部は、ネットワークを介してコンピュータ７と通信可能なクラウド上に設けられたプロセッサ及び記憶装置の少なくとも一方により実現されてもよい。このように、前述した実施形態における各装置は、１台又は複数台のコンピュータによる並列コンピューティングの形態であってもよい。
　プロセッサ７１は、少なくともコンピュータの制御又は演算のいずれかを行う電子回路（処理回路、Processing circuit、Processing circuitry、ＣＰＵ、ＧＰＵ、ＦＰＧＡ、ＡＳＩＣ等）であってもよい。また、プロセッサ７１は、汎用プロセッサ、特定の演算を実行するために設計された専用の処理回路又は汎用プロセッサと専用の処理回路との両方を含む半導体装置のいずれであってもよい。また、プロセッサ７１は、光回路を含むものであってもよいし、量子コンピューティングに基づく演算機能を含むものであってもよい。
　プロセッサ７１は、コンピュータ７の内部構成の各装置等から入力されたデータやソフトウェアに基づいて演算処理を行ってもよく、演算結果や制御信号を各装置等に出力してもよい。プロセッサ７１は、コンピュータ７のＯＳ（Operating System）や、アプリケーション等を実行することにより、コンピュータ７を構成する各構成要素を制御してもよい。
　前述した実施形態における各装置（画像処理装置１００）は、１又は複数のプロセッサ７１により実現されてもよい。ここで、プロセッサ７１は、１チップ上に配置された１又は複数の電子回路を指してもよいし、２つ以上のチップあるいは２つ以上のデバイス上に配置された１又は複数の電子回路を指してもよい。複数の電子回路を用いる場合、各電子回路は有線又は無線により通信してもよい。
　主記憶装置７２は、プロセッサ７１が実行する命令及び各種データ等を記憶してもよく、主記憶装置７２に記憶された情報がプロセッサ７１により読み出されてもよい。補助記憶装置７３は、主記憶装置７２以外の記憶装置である。なお、これらの記憶装置は、電子情報を格納可能な任意の電子部品を意味するものとし、半導体のメモリでもよい。半導体のメモリは、揮発性メモリ又は不揮発性メモリのいずれでもよい。前述した実施形態における各装置（画像処理装置１００）において各種データ等を保存するための記憶装置は、主記憶装置７２又は補助記憶装置７３により実現されてもよく、プロセッサ７１に内蔵される内蔵メモリにより実現されてもよい。例えば、前述した実施形態における各記憶部（モデル記憶部１１０、画像情報記憶部１１１、スタイル記憶部１１２及びユーザ情報記憶部１１３）は、主記憶装置７２又は補助記憶装置７３により実現されてもよい。
　前述した実施形態における各装置（画像処理装置１００）が、少なくとも１つの記憶装置（メモリ）と、この少なくとも１つの記憶装置に接続（結合）される少なくとも１つのプロセッサで構成される場合、記憶装置１つに対して、少なくとも１つのプロセッサが接続されてもよい。また、プロセッサ１つに対して、少なくとも１つの記憶装置が接続されてもよい。また、複数のプロセッサのうち少なくとも１つのプロセッサが、複数の記憶装置のうち少なくとも１つの記憶装置に接続される構成を含んでもよい。また、複数台のコンピュータに含まれる記憶装置とプロセッサによって、この構成が実現されてもよい。さらに、記憶装置がプロセッサと一体になっている構成（例えば、Ｌ１キャッシュ、Ｌ２キャッシュを含むキャッシュメモリ）を含んでもよい。
　ネットワークインタフェース７４は、無線又は有線により、通信ネットワーク８に接続するためのインタフェースである。ネットワークインタフェース７４は、既存の通信規格に適合したもの等、適切なインタフェースを用いればよい。ネットワークインタフェース７４により、通信ネットワーク８を介して接続された外部装置９Ａと情報のやり取りが行われてもよい。なお、通信ネットワーク８は、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、ＰＡＮ（Personal Area Network）等の何れか又はそれらの組み合わせであってよく、コンピュータ７と外部装置９Ａとの間で情報のやり取りが行われるものであればよい。ＷＡＮの一例としてインターネット等があり、ＬＡＮの一例としてＩＥＥＥ８０２．１１やイーサネット（登録商標）等があり、ＰＡＮの一例としてＢｌｕｅｔｏｏｔｈ（登録商標）やＮＦＣ（Near Field Communication）等がある。
　デバイスインタフェース７５は、外部装置９Ｂと直接接続するＵＳＢ等のインタフェースである。
　外部装置９Ａはコンピュータ７とネットワークを介して接続されている装置である。外部装置９Ｂはコンピュータ７と直接接続されている装置である。
　外部装置９Ａ又は外部装置９Ｂは、一例として、入力装置であってもよい。入力装置は、例えば、カメラ、マイクロフォン、モーションキャプチャ、各種センサ、キーボード、マウス、タッチパネル等のデバイスであり、取得した情報をコンピュータ７に与える。また、パーソナルコンピュータ、タブレット端末、スマートフォン等の入力部とメモリとプロセッサを備えるデバイスであってもよい。
　また、外部装置９Ａ又は外部装置Ｂは、一例として、出力装置でもよい。出力装置は、例えば、ＬＣＤ（Liquid Crystal Display）、有機ＥＬ（Electro Luminescence）パネル等の表示装置であってもよいし、音声等を出力するスピーカ等であってもよい。また、パーソナルコンピュータ、タブレット端末又はスマートフォン等の出力部とメモリとプロセッサを備えるデバイスであってもよい。
　また、外部装置９Ａまた外部装置９Ｂは、記憶装置（メモリ）であってもよい。例えば、外部装置９Ａはネットワークストレージ等であってもよく、外部装置９ＢはＨＤＤ等のストレージであってもよい。
　また、外部装置９Ａ又は外部装置９Ｂは、前述した実施形態における各装置（画像処理装置１００）の構成要素の一部の機能を有する装置でもよい。つまり、コンピュータ７は、外部装置９Ａ又は外部装置９Ｂに処理結果の一部又は全部を送信してもよいし、外部装置９Ａ又は外部装置９Ｂから処理結果の一部又は全部を受信してもよい。
　本明細書（請求項を含む）において、「a、b及びcの少なくとも1つ（一方）」又は「a、b又はcの少なくとも1つ（一方）」の表現（同様な表現を含む）が用いられる場合は、a、b、c、a-b、a-c、b-c又はa-b-cのいずれかを含む。また、a-a、a-b-b、a-a-b-b-c-c等のように、いずれかの要素について複数のインスタンスを含んでもよい。さらに、a-b-c-dのようにdを有する等、列挙された要素（a、b及びc）以外の他の要素を加えることも含む。
　本明細書（請求項を含む）において、「データを入力として／を用いて／データに基づいて／に従って／に応じて」等の表現（同様な表現を含む）が用いられる場合は、特に断りがない場合、データそのものを用いる場合や、データに何らかの処理を行ったもの（例えば、ノイズ加算したもの、正規化したもの、データから抽出した特徴量、データの中間表現等）を用いる場合を含む。また、「データを入力として／を用いて／データに基づいて／に従って／に応じて」何らかの結果が得られる旨が記載されている場合（同様な表現を含む）、特に断りがない場合、当該データのみに基づいて当該結果が得られる場合や、当該データ以外の他のデータ、要因、条件及び／又は状態にも影響を受けて当該結果が得られる場合を含む。また、「データを出力する」旨が記載されている場合（同様な表現を含む）、特に断りがない場合、データそのものを出力として用いる場合や、データに何らかの処理を行ったもの（例えば、ノイズ加算したもの、正規化したもの、データから抽出した特徴量、各種データの中間表現等）を出力として用いる場合を含む。
　本明細書（請求項を含む）において、「接続される（connected）」及び「結合される（coupled）」との用語が用いられる場合は、直接的な接続／結合、間接的な接続／結合、電気的（electrically）な接続／結合、通信的（communicatively）な接続／結合、機能的（operatively）な接続／結合、物理的（physically）な接続／結合等のいずれをも含む非限定的な用語として意図される。当該用語は、当該用語が用いられた文脈に応じて適宜解釈されるべきであるが、意図的に或いは当然に排除されるのではない接続／結合形態は、当該用語に含まれるものして非限定的に解釈されるべきである。
　本明細書（請求項を含む）において、「ＡがＢするよう構成される（A configured to B）」との表現が用いられる場合は、要素Ａの物理的構造が、動作Ｂを実行可能な構成を有するとともに、要素Ａの恒常的（permanent）又は一時的（temporary）な設定（setting/configuration）が、動作Ｂを実際に実行するように設定（configured/set）されていることを含んでよい。例えば、要素Ａが汎用プロセッサである場合、当該プロセッサが動作Ｂを実行可能なハードウェア構成を有するとともに、恒常的（permanent）又は一時的（temporary）なプログラム（命令）の設定により、動作Ｂを実際に実行するように設定（configured）されていればよい。また、要素Ａが専用プロセッサ、専用演算回路等である場合、制御用命令及びデータが実際に付属しているか否かとは無関係に、当該プロセッサの回路的構造等が動作Ｂを実際に実行するように構築（implemented）されていればよい。
　本明細書（請求項を含む）において、含有又は所有を意味する用語（例えば、「含む（comprising/including）」、「有する（having）」等）が用いられる場合は、当該用語の目的語により示される対象物以外の物を含有又は所有する場合を含む、open-endedな用語として意図される。これらの含有又は所有を意味する用語の目的語が数量を指定しない又は単数を示唆する表現（a又はanを冠詞とする表現）である場合は、当該表現は特定の数に限定されないものとして解釈されるべきである。
　本明細書（請求項を含む）において、ある箇所において「１つ又は複数（one or more）」、「少なくとも１つ（at least one）」等の表現が用いられ、他の箇所において数量を指定しない又は単数を示唆する表現（a又はanを冠詞とする表現）が用いられているとしても、後者の表現が「１つ」を意味することを意図しない。一般に、数量を指定しない又は単数を示唆する表現（a又はanを冠詞とする表現）は、必ずしも特定の数に限定されないものとして解釈されるべきである。
　本明細書において、ある実施形態の有する特定の構成について特定の効果（advantage/result）が得られる旨が記載されている場合、別段の理由がない限り、当該構成を有する他の１つ又は複数の実施形態についても当該効果が得られると理解されるべきである。但し、当該効果の有無は、一般に種々の要因、条件及び／又は状態に依存し、当該構成により必ず当該効果が得られるものではないと理解されるべきである。当該効果は、種々の要因、条件及び／又は状態が満たされたときに実施形態に記載の当該構成により得られるものに過ぎず、当該構成又は類似の構成を規定したクレームに係る発明において、当該効果が必ずしも得られるものではない。
　本明細書（請求項を含む）において、「最大化する（maximize）／最大化（maximization）」等の用語が用いられる場合は、グローバルな最大値を求めること、グローバルな最大値の近似値を求めること、ローカルな最大値を求めること、及びローカルな最大値の近似値を求めることを含み、当該用語が用いられた文脈に応じて適宜解釈されるべきである。また、これら最大値の近似値を確率的又はヒューリスティックに求めることを含む。同様に、「最小化する（minimize）／最小化（minimization）」等の用語が用いられる場合は、グローバルな最小値を求めること、グローバルな最小値の近似値を求めること、ローカルな最小値を求めること、及びローカルな最小値の近似値を求めることを含み、当該用語が用いられた文脈に応じて適宜解釈されるべきである。また、これら最小値の近似値を確率的又はヒューリスティックに求めることを含む。同様に、「最適化する（optimize）／最適化（optimization）」等の用語が用いられる場合は、グローバルな最適値を求めること、グローバルな最適値の近似値を求めること、ローカルな最適値を求めること、及びローカルな最適値の近似値を求めることを含み、当該用語が用いられた文脈に応じて適宜解釈されるべきである。また、これら最適値の近似値を確率的又はヒューリスティックに求めることを含む。
　本明細書（請求項を含む）において、複数のハードウェアが所定の処理を行う場合、各ハードウェアが協働して所定の処理を行ってもよいし、一部のハードウェアが所定の処理の全てを行ってもよい。また、一部のハードウェアが所定の処理の一部を行い、別のハードウェアが所定の処理の残りを行ってもよい。本明細書（請求項を含む）において、「１又は複数のハードウェアが第１の処理を行い、前記１又は複数のハードウェアが第２の処理を行う」等の表現（同様な表現を含む）が用いられている場合、第１の処理を行うハードウェアと第２の処理を行うハードウェアは同じものであってもよいし、異なるものであってもよい。つまり、第１の処理を行うハードウェア及び第２の処理を行うハードウェアが、前記１又は複数のハードウェアに含まれていればよい。なお、ハードウェアは、電子回路、電子回路を含む装置等を含んでよい。
　本明細書（請求項を含む）において、複数の記憶装置（メモリ）がデータの記憶を行う場合、複数の記憶装置のうち個々の記憶装置は、データの一部のみを記憶してもよいし、データの全体を記憶してもよい。また、複数の記憶装置のうち一部の記憶装置がデータを記憶する構成を含んでもよい。
　本明細書（請求項を含む）において、「第１の」、「第２の」等の用語は、単に２つ以上の要素間を区別する方法として使用されており、その対象に対して時間的態様、空間的態様、順序、量等の技術的意味を課すことを必ずしも意図するものではない。したがって、例えば、第１の要素及び第２の要素への参照は、２つの要素のみがそこで採用され得ること、第１の要素が第２の要素に先行しなければならないこと、第２の要素が存在するために第１の要素が存在しなければならないこと等を必ずしも意味するものではない。
　以上、本開示の実施形態について詳述したが、本開示は上記した個々の実施形態に限定されるものではない。特許請求の範囲に規定された内容及びその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲において、種々の追加、変更、置き換え、部分的削除等が可能である。例えば、前述した実施形態において、数値又は数式を説明に用いている場合、これらは例示的な目的で示されたものであり、本開示の範囲を限定するものではない。また、実施形態で示した各動作の順序も例示的なものであり、本開示の範囲を限定するものではない。
　本願は、日本国特許庁に２０２２年７月２６日に出願された日本国特許出願２０２２－１１８４９６号の優先権を主張するものであり、その全内容を参照することにより本願に援用する。
１００　画像処理装置
１０１　画像変換部
１０２　画像抽出部
１０３　スタイル調整部
１０４　ポイント管理部
１１０　モデル記憶部
１１１　画像情報記憶部
１１２　スタイル記憶部
１１３　ユーザ情報記憶部

Claims (20)

  1. 　少なくとも１つのメモリと、
    　少なくとも１つのプロセッサと、を備え、
    　前記少なくとも１つのプロセッサは、
    　　スタイルベクトル及び変換モデルに基づいて、第１の画像のスタイルを変換した第２の画像を生成すること、を実行し、
    　前記スタイルベクトルは、ユーザの指示に応じて、１以上のスタイルベクトルから選択されたスタイルベクトルであり、
    　選択された前記スタイルベクトルは、前記変換モデルに基づく第３の画像のスタイルを変換した第４の画像の生成に利用されたスタイルベクトルである、
    　画像処理装置。
  2. 　前記第２の画像の生成前に、少なくとも前記１以上のスタイルベクトル又は前記１以上のスタイルベクトルのそれぞれに関連付けられた情報のいずれかが表示装置に表示され、
    　前記少なくとも１つのプロセッサは、
    　　前記表示後、前記ユーザの指示に応じて選択された前記スタイルベクトルに基づいて、前記第２の画像を生成する、
    　請求項１に記載の画像処理装置。
  3. 　前記関連付けられた情報は、前記１以上のスタイルベクトルそれぞれを用いて生成された１以上の画像を含む、
    　請求項２に記載の画像処理装置。
  4. 　前記少なくとも１つのプロセッサは、更に、
    　　前記ユーザ又は他のユーザの指示により、前記スタイルベクトル及び前記変換モデルに基づいて、前記第３の画像のスタイルを変換した前記第４の画像を生成する、
    　請求項１に記載の画像処理装置。
  5. 　前記少なくとも１つのプロセッサは、
    　　前記ユーザの指示に応じて前記変換モデルを選択し、
    　少なくとも、前記変換モデルに対応する前記１以上のスタイルベクトル又は前記１以上のスタイルベクトルのそれぞれに関連付けられた情報のいずれかが前記表示装置に表示される、
    　請求項２に記載の画像処理装置。
  6. 　前記少なくとも１つのプロセッサは、
    　　前記選択後に前記ユーザの指示に応じて調整された前記スタイルベクトルと前記変換モデルに基づいて、前記第２の画像を生成する、
    　請求項１から５のいずれかに記載の画像処理装置。
  7. 　前記少なくとも１つのプロセッサは、
    　　前記ユーザの属性情報に応じて、選択された前記スタイルベクトルを調整可能とするか否かを判定する、
    　請求項６に記載の画像処理装置。
  8. 　前記少なくとも１つのプロセッサは、
    　　前記ユーザの指示に応じて前記スタイルベクトルが調整されたとき、前記ユーザが保有するポイントを減算する、
    　請求項７に記載の画像処理装置。
  9. 　前記少なくとも１つのプロセッサは、
    　　選択された前記スタイルベクトルの各パラメータについて、前記パラメータを第１の値に設定した前記スタイルベクトルに基づいて第５の画像のスタイルを変換した第６の画像と、前記パラメータを第２の値に設定した前記スタイルベクトルに基づいて前記第５の画像のスタイルを変換した第７の画像とを生成し、
    　前記第６の画像と前記第７の画像とが表示装置に表示される、
    　請求項６に記載の画像処理装置。
  10. 　前記第５の画像は、前記第１の画像に含まれる一部の領域である、
    　請求項９に記載の画像処理装置。
  11. 　前記少なくとも１つのプロセッサは、
    　　前記ユーザの指示により前記パラメータの値が変更されたとき、前記スタイルベクトルの各パラメータについて前記第６の画像及び前記第７の画像を再生成する、
    　請求項９に記載の画像処理装置。
  12. 　表示装置と、
    　少なくとも１つのメモリと、
    　少なくとも１つのプロセッサと、を備え、
    　前記少なくとも１つのプロセッサは、
    　　変換対象となる第１の画像を取得することと、
    　　少なくとも１以上のスタイルベクトル又は前記１以上のスタイルベクトルのそれぞれに関連付けられた情報のいずれかを前記表示装置に表示することと、
    　　ユーザの指示に応じて、前記１以上のスタイルベクトルからスタイルベクトルを選択することと、
    　　前記第１の画像のスタイルを変換した第２の画像を取得することと、
    　　前記第２の画像を前記表示装置に表示することと、
    　を実行し、
    　選択された前記スタイルベクトルは、変換モデルに基づく第３の画像のスタイルを変換した第４の画像の生成に利用されたスタイルベクトルであり、
    　前記第２の画像は、前記変換モデル及び選択された前記スタイルベクトルに基づいて生成された画像である、
    　画像表示装置。
  13. 　前記少なくとも１つのプロセッサは、
    　　前記ユーザの指示に応じて、１以上の変換モデルから前記変換モデルを選択する、
    　請求項１２に記載の画像表示装置。
  14. 　前記第４の画像は、前記ユーザ又は他のユーザの指示に基づいて生成された画像である、
    　請求項１２に記載の画像表示装置。
  15. 　前記関連付けられた情報は、前記１以上のスタイルベクトルそれぞれを用いて生成された１以上の画像を含む、
    　請求項１２に記載の画像表示装置。
  16. 　前記少なくとも１つのプロセッサは、
    　　前記選択後に前記ユーザの指示に応じて調整された前記スタイルベクトルと前記変換モデルに基づいて、前記第２の画像を生成する、
    　請求項１２から１５のいずれかに記載の画像表示装置。
  17. 　前記スタイルベクトルは、前記表示装置に表示された前記スタイルベクトルの各パラメータに対応するスライダーバーを前記ユーザが操作することによって調整される、
    　請求項１６に記載の画像表示装置。
  18. 　少なくとも１つのプロセッサが、
    　スタイルベクトル及び変換モデルに基づいて、第１の画像のスタイルを変換した第２の画像を生成すること、を実行し、
    　前記スタイルベクトルは、ユーザの指示に応じて、１以上のスタイルベクトルから選択されたスタイルベクトルであり、
    　選択された前記スタイルベクトルは、前記変換モデルに基づく第３の画像のスタイルを変換した第４の画像の生成に利用されたスタイルベクトルである、
    　画像処理方法。
  19. 　少なくとも１つのプロセッサが、
    　　変換対象となる第１の画像を取得することと、
    　　少なくとも１以上のスタイルベクトル又は前記１以上のスタイルベクトルのそれぞれに関連付けられた情報のいずれかを表示装置に表示することと、
    　　ユーザの指示に応じて、前記１以上のスタイルベクトルからスタイルベクトルを選択することと、
    　　前記第１の画像のスタイルを変換した第２の画像を取得することと、
    　　前記第２の画像を前記表示装置に表示することと、
    　を実行し、
    　選択された前記スタイルベクトルは、変換モデルに基づく第３の画像のスタイルを変換した第４の画像の生成に利用されたスタイルベクトルであり、
    　前記第２の画像は、前記変換モデル及び選択された前記スタイルベクトルに基づいて生成された画像である、
    　画像表示方法。
  20. 　少なくとも１つのプロセッサに、
    　　変換対象となる第１の画像を取得することと、
    　　少なくとも１以上のスタイルベクトル又は前記１以上のスタイルベクトルのそれぞれに関連付けられた情報のいずれかを表示装置に表示することと、
    　　ユーザの指示に応じて、前記１以上のスタイルベクトルからスタイルベクトルを選択することと、
    　　前記第１の画像のスタイルを変換した第２の画像を取得することと、
    　　前記第２の画像を前記表示装置に表示することと、
    　を実行させ、
    　選択された前記スタイルベクトルは、変換モデルに基づく第３の画像のスタイルを変換した第４の画像の生成に利用されたスタイルベクトルであり、
    　前記第２の画像は、前記変換モデル及び選択された前記スタイルベクトルに基づいて生成された画像である、
    　プログラム。
PCT/JP2023/027013 2022-07-26 2023-07-24 画像処理装置、画像表示装置、画像処理方法、画像表示方法及びプログラム WO2024024727A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022118496 2022-07-26
JP2022-118496 2022-07-26

Publications (1)

Publication Number Publication Date
WO2024024727A1 true WO2024024727A1 (ja) 2024-02-01

Family

ID=89706334

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/027013 WO2024024727A1 (ja) 2022-07-26 2023-07-24 画像処理装置、画像表示装置、画像処理方法、画像表示方法及びプログラム

Country Status (1)

Country Link
WO (1) WO2024024727A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012215927A (ja) * 2011-03-31 2012-11-08 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
JP2018132855A (ja) * 2017-02-14 2018-08-23 国立大学法人電気通信大学 画像スタイル変換装置、画像スタイル変換方法および画像スタイル変換プログラム
US20190026870A1 (en) * 2017-07-19 2019-01-24 Petuum Inc. Real-time Intelligent Image Manipulation System
JP2020112907A (ja) * 2019-01-09 2020-07-27 凸版印刷株式会社 画像スタイル変換装置、画像スタイル変換方法、及びプログラム
US20200286275A1 (en) * 2019-03-05 2020-09-10 Samsung Electronics Co., Ltd. Electronic device and control method thereof
KR102229572B1 (ko) * 2019-11-28 2021-03-18 영남대학교 산학협력단 영상 스타일 변환 장치 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012215927A (ja) * 2011-03-31 2012-11-08 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
JP2018132855A (ja) * 2017-02-14 2018-08-23 国立大学法人電気通信大学 画像スタイル変換装置、画像スタイル変換方法および画像スタイル変換プログラム
US20190026870A1 (en) * 2017-07-19 2019-01-24 Petuum Inc. Real-time Intelligent Image Manipulation System
JP2020112907A (ja) * 2019-01-09 2020-07-27 凸版印刷株式会社 画像スタイル変換装置、画像スタイル変換方法、及びプログラム
US20200286275A1 (en) * 2019-03-05 2020-09-10 Samsung Electronics Co., Ltd. Electronic device and control method thereof
KR102229572B1 (ko) * 2019-11-28 2021-03-18 영남대학교 산학협력단 영상 스타일 변환 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LEON GATYS, ECKER ALEXANDER, BETHGE MATTHIAS: "A Neural Algorithm of Artistic Style", JOURNAL OF VISION, ASSOCIATION FOR RESEARCH IN VISION AND OPHTHALMOLOGY, US, vol. 16, no. 12, 1 September 2016 (2016-09-01), US , pages 1 - 16, XP055571235, ISSN: 1534-7362, DOI: 10.1167/16.12.326 *

Similar Documents

Publication Publication Date Title
US10839493B2 (en) Transferring image style to content of a digital image
US8667016B2 (en) Sharing of presets for visual effects or other computer-implemented effects
AU2017228685B2 (en) Sketch2painting: an interactive system that transforms hand-drawn sketch to painting
US10867416B2 (en) Harmonizing composite images using deep learning
US9270926B2 (en) System and method for distributed media personalization
US20200302656A1 (en) Object-Based Color Adjustment
JP5408208B2 (ja) 画像表示システム、画像表示装置並びにプログラム
JP5344008B2 (ja) 画像表示システム、画像表示装置、画像表示方法、並びにプログラム
US20090070669A1 (en) Image management apparatus and control method therefor
JP7240505B2 (ja) 音声パケット推薦方法、装置、電子機器およびプログラム
CN107211106B (zh) 动画生成服务器、动画生成方法、动画生成***及计算机可读的记录介质
KR20220118545A (ko) 메시징 시스템에서의 캡처후 처리
CN112102445B (zh) 楼盘海报制作方法、装置、设备及计算机可读存储介质
CN115735231A (zh) 基于产品数据的增强现实内容
WO2024024727A1 (ja) 画像処理装置、画像表示装置、画像処理方法、画像表示方法及びプログラム
KR102099093B1 (ko) 사용자 맞춤형 모션 그래픽 영상 제작 시스템
US11263783B2 (en) Color prediction using machine learning
CN114047979A (zh) 展示项目配置及显示方法、装置、设备、存储介质
CN116991513A (zh) 配置文件生成方法、装置、电子设备、介质及程序产品
JP5652508B2 (ja) 画像表示システム、画像表示装置並びにプログラム
Zhao et al. Style attention based global-local aware GAN for personalized facial caricature generation
US9667709B2 (en) Picture conversion SNS system and method, apparatus, and terminal
CN111383289A (zh) 图像处理方法、装置、终端设备及计算机可读存储介质
KR102312481B1 (ko) 직관적인 인터페이스를 이용한 동영상 제작 서비스 제공 방법
Griffey Digital Media Production for Beginners

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23846457

Country of ref document: EP

Kind code of ref document: A1