WO2021010765A1 - 스케치 이미지의 채색 장치 및 방법 - Google Patents

스케치 이미지의 채색 장치 및 방법 Download PDF

Info

Publication number
WO2021010765A1
WO2021010765A1 PCT/KR2020/009368 KR2020009368W WO2021010765A1 WO 2021010765 A1 WO2021010765 A1 WO 2021010765A1 KR 2020009368 W KR2020009368 W KR 2020009368W WO 2021010765 A1 WO2021010765 A1 WO 2021010765A1
Authority
WO
WIPO (PCT)
Prior art keywords
color
image
coloring
pointer
user
Prior art date
Application number
PCT/KR2020/009368
Other languages
English (en)
French (fr)
Inventor
박준현
신유라
이두용
문주영
Original Assignee
네이버웹툰 유한회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 네이버웹툰 유한회사 filed Critical 네이버웹툰 유한회사
Priority to JP2022502292A priority Critical patent/JP7348380B2/ja
Publication of WO2021010765A1 publication Critical patent/WO2021010765A1/ko
Priority to US17/648,211 priority patent/US11922543B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Definitions

  • the present disclosure relates to the field of image processing. More specifically, the present disclosure relates to an apparatus and method for coloring a sketch image.
  • Webtoon creators create unpainted sketch images through sketch work, and then color the sketch images with their desired color.
  • program or service that allows easy coloring of sketch images yet.
  • An apparatus and method for coloring a sketch image makes it a technical task to quickly color a sketch image in a simple manner.
  • an apparatus and method for coloring a sketch image makes it possible to generate a colored image of a desired quality through a history management function of the colored images.
  • a method of coloring a sketch image includes: adding a color pointer on the sketch image according to a user input; Determining an object related to a point where the color pointer is located among objects constituting the sketch image; And generating a colored image by coloring the determined object based on the color of the color pointer.
  • the apparatus and method for coloring a sketch image according to an exemplary embodiment can quickly color a sketch image in a simple manner.
  • the apparatus and method for coloring a sketch image makes it possible to generate a colored image of a desired quality through a history management function of the colored images.
  • FIG. 1 is a diagram illustrating a coloring device according to an exemplary embodiment.
  • FIG. 2 is a flowchart illustrating a method of coloring a sketch image by a coloring device according to an exemplary embodiment.
  • FIG. 3 is an exemplary diagram illustrating a UI screen for coloring a sketch image.
  • FIG. 4 is an exemplary diagram illustrating a UI screen including a color pointer positioned on a sketch image.
  • FIG. 5 is an exemplary diagram illustrating a UI screen including a colored image colored based on a color pointer.
  • FIG. 6 is an exemplary diagram illustrating a UI screen including a second type of color pointer corresponding to a request for deletion of a color pointer.
  • FIG. 7 is an exemplary diagram illustrating a UI screen including a colored image changed by deletion of a color pointer.
  • FIG. 8 is an exemplary diagram illustrating a UI screen including a third type of color pointer added to a colored image.
  • FIG. 9 is an exemplary diagram illustrating a UI screen when a color extraction menu is selected.
  • FIG. 10 is an exemplary diagram illustrating a UI screen when a coloration non-applied menu is selected.
  • FIG. 11 is an exemplary diagram illustrating a UI screen when a thumbnail image of a sample colored image included in a history panel is selected.
  • FIG. 12 is a block diagram illustrating a configuration of a coloring device according to an exemplary embodiment.
  • a method of coloring a sketch image includes: adding a color pointer on the sketch image according to a user input; Determining an object related to a point where the color pointer is located among objects constituting the sketch image; And generating a colored image by coloring the determined object based on the color of the color pointer.
  • a coloring device includes: a processor; And a memory for storing at least one instruction, wherein the processor adds a color pointer on the sketch image according to the user's input according to the at least one instruction, and the color of the objects constituting the sketch image An object related to a point where a pointer is positioned may be determined, and a colored image may be generated by coloring the determined object based on the color of the color pointer.
  • one component when one component is referred to as “connected” or “connected” to another component, the one component may be directly connected to the other component or may be directly connected, It should be understood that as long as there is no substrate to be used, it may be connected or may be connected via another component in the middle.
  • each of the components to be described below may additionally perform some or all of the functions that other components are responsible for in addition to its own main function, and some of the main functions that each component is responsible for are different. It goes without saying that it may be performed exclusively by components.
  • FIG. 1 is a diagram illustrating a coloring device 100 according to an exemplary embodiment.
  • the coloring device 100 creates a colored image 20 by coloring the sketch image 10.
  • the user may determine a color for coloring the sketch image 10 through a user interface (UI) screen to be described later.
  • UI user interface
  • the coloring device 100 may learn a coloring method based on artificial intelligence (AI) in order to generate the colored image 20 of high quality. For example, the coloring device 100 learns a coloring method of objects constituting an image based on coloring images for learning, and based on the learned method, a color selected by the user, and a position of the color, the sketch image 10 Objects included in) can be colored. That is, according to an embodiment, without the need for the user to directly color the objects of the sketch image 10 with a predetermined color, the coloring device 100 can be preliminarily selected only by the user selecting the color and the location of the color. A colored image 20 of high quality may be generated based on the learned method.
  • AI artificial intelligence
  • the coloring device 100 may be a user terminal.
  • the user terminal may include various types of devices capable of image processing, such as, for example, a smart phone, a tablet PC, a notebook, and a desktop PC.
  • a program for coloring the sketch image 10 may be installed in the user terminal.
  • the user terminal may acquire the sketch image 10 selected by the user and may color the acquired sketch image 10.
  • the user terminal may display the colored image 20 generated from the sketch image 10 on the display. Also, the user terminal may display a UI screen for coloring the sketch image 10 on the display.
  • the coloring device 100 may be a server that communicates with a user terminal.
  • the server may receive the sketch image 10 from the user terminal or receive the sketch image 10 from another device connected through a network, and may color the received sketch image 10.
  • the server may transmit the colored image 20 to the user terminal.
  • the server may transmit a UI screen for coloring the sketch image 10 to the user terminal.
  • FIG. 2 is a flowchart illustrating a method of coloring a sketch image by the coloring device 100 according to an exemplary embodiment.
  • step S210 the coloring device 100 adds a color pointer on the sketch image according to a user input.
  • the user may select a color to be used for coloring the sketch image, and select a point on the sketch image where the color pointer is to be located.
  • the coloring device 100 may position a color pointer of a color selected by the user at a point selected by the user.
  • the color pointer added to the sketch image may have a first shape.
  • the color pointer of the first shape may include a first figure of a color selected by a user and a second figure of a predetermined color, which will be described later with reference to FIG. 4.
  • step S220 the coloring apparatus 100 determines an object related to a point where the color pointer is located among objects constituting the sketch image.
  • the sketch image can be made of several objects.
  • An object means a part of the sketch image. Objects may be distinguishable from each other.
  • the object when a sketch image represents a person, the object may be human hair, skin, top, bottom, or the like.
  • the sketch image when the sketch image represents a car, the object may be a window, a wheel, a license plate, or a sheet metal of a car.
  • the object may be a closed region surrounded by lines.
  • the coloring device 100 may identify objects constituting a sketch image to be colored. For example, objects constituting a sketch image can be identified according to an object identification method learned in advance based on AI.
  • the object related to the point where the color pointer is positioned may include an object including a point where the color pointer is positioned among objects constituting the sketch image.
  • the coloring device 100 may determine the face object as an object related to the color pointer.
  • the coloring device 100 may determine a face object as an object related to the color pointer, and a neck object and a hand object corresponding to the human skin.
  • the coloring apparatus 100 may determine an object closest to a point where a color pointer is positioned or an object positioned within a predetermined distance among objects constituting a sketch image as an object related to the color pointer.
  • step S230 the coloring apparatus 100 generates a colored image by coloring the object determined in step S220 based on the color of the color pointer.
  • the coloring device 100 may color the object with the color of a color pointer.
  • the object when a preset color exists in relation to the object determined in step S220, the object may be colored using the preset color and the color of the color pointer. This may be useful when a color familiar to people exists, such as an object corresponding to skin. For example, when a red color pointer is positioned on a face object, the coloring apparatus 100 may color the face object by mixing a preset color for the face object and red, which is a color of the color pointer.
  • the coloring device 100 may color the object with a color of a color pointer and/or a color preset for the object according to a coloring method learned in advance based on the coloring images for learning. That is, as a pre-learned coloring method, if the location of the shadow of a specific object and the brightness of the color are determined, the coloring device 100 considers the location and brightness of the predetermined shadow, and the color of the color pointer and/or the object You can color the object with a color preset for.
  • the user can color the sketch image through the UI screen, which will be described below with reference to FIGS. 3 to 11.
  • FIG. 3 is an exemplary diagram showing a UI screen 300 for coloring a sketch image.
  • the coloring device 100 may generate a UI screen 300 for receiving a user manipulation for coloring a sketch image.
  • the coloring device 100 when the coloring device 100 is a user terminal, the user terminal may generate and display the UI screen 300 on the display.
  • the coloring device 100 when the coloring device 100 is a server, the server may generate the UI screen 300 and transmit it to the user terminal, and the user terminal may display the received UI screen 300 on the display.
  • a UI screen 300 as shown in FIG. 3 may be generated by the coloring device 100.
  • the UI screen 300 may include a sketch image 310 to be colored, a history panel 320, a tool menu 330, and a color swatch 340.
  • 3 illustrates that the sketch image 310, the history panel 320, the tool menu 330, and the color swatch 340 are located in different areas on the UI screen 300, but this is only an example.
  • the tool menu 330 may be positioned on the sketch image 310, but may not be displayed when there is no user input, and may be displayed on the UI screen 300 only when there is a user input.
  • the sketch image 310 may be displayed in the UI screen 300 at a predetermined size regardless of the resolution of the sketch image 310. For example, if the predetermined size is 200 mm in width and 300 mm in height, the sketch image 310 may always be displayed in the UI screen 300 at a size of 200 mm in width and 300 mm in height regardless of the resolution of the sketch image 310. have.
  • the history panel 320 includes a plurality of thumbnail images 321 and 329. Specifically, the history panel 320 may include a thumbnail image 321 of the sketch image 310 and a thumbnail image 329 of a sample coloring image corresponding to the sketch image 310.
  • the coloring device 100 may generate a sample coloring image obtained by coloring the sketch image 310 selected by the user according to a pre-stored coloring method, and include the thumbnail image 329 of the sketch image 310 in the history panel 320. As described later, the user may generate a colored image by selecting a thumbnail image 329 corresponding to the sample colored image and changing the sample colored image.
  • the tool menu 330 may include menus used for coloring the sketch image 310.
  • the tool menu 330 may include a color pointer addition menu, a color pointer deletion menu, and a color extraction menu, and these menus will be described in a related section.
  • the color swatch 340 is used to designate the color of the color pointer.
  • the user may determine the color of the color pointer through the color swatch 340.
  • the user may select any one color from among the color samples illustrated in the color swatch 340, and may directly input an RGB value to select the color of the color pointer.
  • FIG. 4 is an exemplary diagram illustrating a UI screen 300 including color pointers 315a, 315b, 315c, etc. positioned on the sketch image 310.
  • the sketch image 310 may be colored. Specifically, the user selects a desired color from the color swatch 340, selects the color pointer add menu 331 of the tool menu 330 by a mouse click or touch, and then color pointers 315a, 315b, 315c. Etc.) can be added. Color pointers 315a, 315b, 315c, etc. of a color selected by the user may be positioned at a point selected by the user.
  • a user may position color pointers 315a, 315b, and 315c on a hair object, a top object, and a glove object of the sketch image 310.
  • Color pointers 315a, 315b, 315c, etc. added on the sketch image 310 may have a first shape.
  • the color pointer of the first shape may include a first figure of a color selected by a user and a second figure of a predetermined color.
  • the first figure may have a circular shape and the second figure may have a donut shape, but the present invention is not limited thereto.
  • the first type of color pointer may be distinguished from the second type of color pointer and the third type of color pointer to be described later.
  • the UI screen 300 when the user completes addition of the color pointers 315a, 315b, 315c, etc. and the user selects the application menu 305 is shown in FIG. 5.
  • FIG. 5 is an exemplary diagram illustrating a UI screen 300 including a colored image 350 colored based on color pointers 315a, 315b, 315c, and the like.
  • the coloring device 100 determines an object related to a point where the color pointers 315a, 315b, 315c, etc. are located, and the determined object based on the color of the color pointers 315a, 315b, 315c, etc.
  • the colored image 350 may be generated by coloring.
  • a thumbnail image 323 of the colored image 350 may be added to the history panel 320 together with the colored image 350 being generated. That is, in the history panel 320, thumbnail images of colored images generated according to a user's manipulation may be sequentially included according to generation time.
  • a colored image 350 generated according to a user's selection of the application menu 305 and color pointers 315a, 315b, 315c, etc. added to the colored image 350 are displayed on a UI screen ( 300).
  • the user may modify the colored image 350.
  • the user may select a thumbnail image corresponding to one of the thumbnail images included in the history panel 320 and modify the colored image corresponding to the selected thumbnail image.
  • the correction process of the colored image will be described with reference to FIGS. 6 to 8.
  • FIG. 6 is an exemplary diagram illustrating a UI screen 300 including a color pointer 316a of a second type corresponding to a request to delete a color pointer.
  • the user may delete the previously added color pointer (eg, 315a) in order to modify the previously generated colored image 350.
  • the user may select the color pointer deletion menu 333 from the tool menu 330 and then select the color pointer (eg, 315a) that was previously added.
  • the color pointer (eg, 315a) of the first shape selected by the user may be changed to the second shape.
  • the color pointer 316a of the second shape may include a first figure whose transparency is adjusted and a second figure whose transparency is adjusted.
  • the previously added first type color pointer 315a can be distinguished from other color pointers by changing to the second type color pointer 316a whose transparency is adjusted when the user requests deletion.
  • the user may delete all previously added color pointers 315a, 315b, 315c, etc. by selecting the delete all menu 337 from the tool menu 330.
  • a UI screen 300 when the user selects the apply menu 305 after deleting the color pointer 315a added to the hair object is shown in FIG. 7.
  • FIG. 7 is an exemplary diagram illustrating a UI screen 300 including a colored image 360 changed by deleting the color pointer 315a.
  • the previously created colored image 350 is changed to a new colored image 360, and the thumbnail image 325 of the new colored image 360 may be added to the history panel 320. have.
  • the new colored image 360 is generated based on color pointers 315b, 315c, etc. other than the color pointer 315a deleted in FIG. 6.
  • FIG. 8 is an exemplary diagram illustrating a UI screen 300 including a color pointer 315d of a third type added on the colored image 360.
  • the user can also add a new color pointer to the previously created colored image.
  • a user selects a color pointer add menu 331 from the tool menu 330, selects a desired color from the color swatch 340, and selects a point to which the color pointer is to be added, thereby selecting a new color pointer ( 315d) may be added on the colored image 360.
  • the color pointer 315d added to the colored image 360 may have a third shape.
  • the color pointer 315d of the third shape may include a first figure of a color selected by a user and a second figure of a predetermined color.
  • the color of the second figure included in the color pointer 315d of the third shape may be different from the color of the second figure included in the color pointer of the first shape described above. Accordingly, the color pointer 315d of the third shape can be distinguished from the color pointer of the first shape and the color pointer of the second shape.
  • the user may select a thumbnail image of any one colored image in the history panel 320 and then add a third type of color pointer to the colored image corresponding to the selected thumbnail image. have.
  • the user by implementing the shapes of the color pointer added on the sketch image, the color pointer to be deleted, and the color pointer added on the colored image to be distinguished from each other, the user changes the colored image in some way. It allows you to predict in advance what will happen.
  • a new colored image (not shown) may be generated based on the added third type color pointer 315d.
  • FIG. 9 is an exemplary diagram showing a UI screen 300 when the color extraction menu 335 is selected.
  • the color extraction menu 335 is used to designate a color included in the colored image 360 as a color of a color pointer. Specifically, when the user selects the color extraction menu 335, the enlarged pointer 336 is displayed in the UI screen 300, and the user can select a color to be extracted while changing the position of the enlarged pointer 336. .
  • the color of the partial area of the enlarged pointer 336 is changed to the color swatch 340 Is selected from
  • a color pointer add menu 331 and then selects a desired point
  • a color pointer having a color of a partial area in the enlarged pointer 336 is added on the colored image 360. That is, when it is difficult to select a desired color from the color swatch 340, the user can easily select the color of the color pointer by using the color included in the colored image 360.
  • FIG. 10 is an exemplary diagram illustrating a UI screen 300 when a color non-applied menu 391 is selected.
  • the sketch image 310 before coloring may be displayed on the UI screen 300.
  • the colored image 360 may be displayed on the UI screen 300.
  • the color pointers 315b, 315c, etc. added by the user are continuously displayed on the UI screen ( 300), but depending on implementation, the color pointers 315b, 315c, etc. may not be displayed in the UI screen 300 either.
  • the UI screen 300 may further include a color pointer display menu 392, an enlargement/reduction menu 393, a download menu 394, and the like.
  • the color pointer display menu 392 is a menu for controlling display and non-display of color pointers 315b and 315c located in the UI screen 300.
  • the color pointers 315b, 315c, etc. located in the UI screen 300 may not be displayed on the UI screen 300, and the user again selects the color pointer display menu. If (392) is selected, color pointers 315b, 315c, etc. may be displayed again on the UI screen 300.
  • the enlargement/reduction menu 393 is a menu for adjusting the size of the sketch image 310 or the colored image 360.
  • the download menu 394 is a menu for downloading the sketch image 310 or the colored image 360.
  • the coloring device 100 is a user terminal
  • the download menu 394 is selected by the user.
  • the user terminal may store the sketch image 310 or the colored image 360 in the memory.
  • the server may transmit the sketch image 310 or the coloring image 360 to the user terminal according to the user's selection of the download menu 394.
  • FIG. 11 is an exemplary diagram illustrating a UI screen 300 when a thumbnail image 328 of a sample colored image 370 included in the history panel 320 is selected.
  • the user may change the sample colored image 370 by selecting the thumbnail image 328 of the sample colored image 370 included in the history panel 320. Specifically, when any one thumbnail image 328 is selected by the user, a sample colored image 370 corresponding to the selected thumbnail image 328 may be displayed in the UI screen 300. 11, color pointers 375a and 375b positioned on the sample colored image 370 may also be displayed on the UI screen 300.
  • the user may place a new color pointer on the sample colored image 370 through the color pointer add menu 331, the color pointer delete menu 333, or the like, or delete the existing color pointers 375a and 375b, A new colored image may be generated through selection of the application menu 305.
  • FIG. 12 is a block diagram showing a configuration of a coloring device 100 according to an exemplary embodiment.
  • the coloring device 100 may include a memory 1210, a control unit 1230, and a communication unit 1250.
  • the memory 1210, the controller 1230, and the communication unit 1250 may be configured with at least one processor.
  • the memory 1210 may store a program for coloring a sketch image.
  • the memory 1210 may further store a sketch image, a colored image, and a sample colored image.
  • the controller 1230 may generate a UI screen for coloring a sketch image as a program stored in the memory 1210 is executed.
  • the controller 1230 may generate a colored image from the sketch image according to a user's manipulation input through the UI screen.
  • the controller 1230 when generating the UI screen, the controller 1230 generates a sample coloring image obtained by coloring a sketch image according to a pre-learned coloring method, and displays a thumbnail image of the sample coloring image on a UI screen, specifically a history. Can be included in the panel.
  • the communication unit 1250 communicates with other devices through a network.
  • the communication unit 1250 may receive a program for coloring a sketch image from another device.
  • the communication unit 1250 may transmit and receive a sketch image and/or a colored image with another device.
  • the above-described embodiments of the present disclosure can be written as programs or instructions that can be executed on a computer, and the written programs or instructions can be stored in a medium.
  • the medium may be one that continuously stores a program executable by a computer, or temporarily stores a program for execution or download.
  • the medium may be a variety of recording means or storage means in a form in which a single piece of hardware or several pieces of hardware are combined.
  • the medium is not limited to a medium directly connected to a computer system, but may be distributed on a network. Examples of media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs and DVDs, magnetic-optical media such as floptical disks, and And ROM, RAM, flash memory, and the like may be configured to store program instructions.
  • examples of other media include an app store that distributes applications, a site that supplies or distributes various software, and a recording medium or storage medium managed by a server.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)

Abstract

채색 장치에 의한 스케치 이미지의 채색 방법에 있어서, 사용자의 입력에 따라 스케치 이미지 상에 색상 포인터를 추가하는 단계; 스케치 이미지를 구성하는 오브젝트들 중 색상 포인터가 위치하는 지점과 관련된 오브젝트를 결정하는 단계; 및 색상 포인터의 색상을 기초로 오브젝트를 채색하여 채색 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 일 실시예에 따른 스케치 이미지의 채색 방법이 개시된다.

Description

스케치 이미지의 채색 장치 및 방법
본 개시는 이미지 처리 분야에 관한 것이다. 보다 구체적으로, 본 개시는 스케치 이미지를 채색하는 장치 및 방법에 관한 것이다.
종래에는 사용자들이 만화책 등을 통해 오프라인에서 만화를 소비하였지만, 최근 인터넷의 발전에 따라 웹툰 등을 통해 온라인으로 만화를 소비하는 경향이 높아졌다. 만화책은 인쇄 등의 문제로 흑백의 이미지들로 이루어진 경우가 대부분이었지만, 네트워크 속도 및 사용자 기기의 해상도의 발전으로 웹툰은 컬러 이미지로 제공되는 경우가 많다.
웹툰 제작자들은 스케치 작업을 거쳐 채색되지 않은 스케치 이미지를 생성한 후, 스케치 이미지를 자신이 원하는 색상으로 채색하는데, 아직까지는 스케치 이미지를 간편하게 채색할 수 있게 하는 프로그램이나 서비스가 제공되고 있지 않은 실정이다.
일 실시예에 따른 스케치 이미지의 채색 장치 및 방법은 간편한 방법으로 신속하게 스케치 이미지를 채색하는 것을 기술적 과제로 한다.
또한, 일 실시예에 따른 스케치 이미지의 채색 장치 및 방법은 채색 이미지들의 히스토리 관리 기능을 통해 원하는 품질의 채색 이미지를 생성할 수 있게 하는 것을 기술적 과제로 한다.
본 개시의 일 실시예에 따른 스케치 이미지의 채색 방법은, 사용자의 입력에 따라 스케치 이미지 상에 색상 포인터를 추가하는 단계; 상기 스케치 이미지를 구성하는 오브젝트들 중 상기 색상 포인터가 위치하는 지점과 관련된 오브젝트를 결정하는 단계; 및 상기 색상 포인터의 색상을 기초로 상기 결정된 오브젝트를 채색하여 채색 이미지를 생성하는 단계를 포함할 수 있다.
일 실시예에 따른 스케치 이미지의 채색 장치 및 방법은 간편한 방법으로 신속하게 스케치 이미지를 채색할 수 있다.
또한, 일 실시예에 따른 스케치 이미지의 채색 장치 및 방법은 채색 이미지들의 히스토리 관리 기능을 통해 원하는 품질의 채색 이미지를 생성할 수 있게 한다.
다만, 일 실시예에 따른 스케치 이미지의 채색 장치 및 방법이 달성할 수 있는 효과는 이상에서 언급한 것들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 명세서에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 일 실시예에 따른 채색 장치를 도시하는 도면이다.
도 2는 일 실시예에 따른 채색 장치에 의한 스케치 이미지의 채색 방법을 설명하기 위한 순서도이다.
도 3은 스케치 이미지의 채색을 위한 UI 화면을 도시하는 예시적인 도면이다.
도 4는 스케치 이미지 상에 위치된 색상 포인터를 포함하는 UI 화면을 도시하는 예시적인 도면이다.
도 5는 색상 포인터에 기초하여 채색된 채색 이미지를 포함하는 UI 화면을 도시하는 예시적인 도면이다.
도 6은 색상 포인터의 삭제 요청에 대응하는 제 2 형태의 색상 포인터를 포함하는 UI 화면을 도시하는 예시적인 도면이다.
도 7은 색상 포인터가 삭제됨으로써 변경된 채색 이미지를 포함하는 UI 화면을 도시하는 예시적인 도면이다.
도 8은 채색 이미지 상에 추가된 제 3 형태의 색상 포인터를 포함하는 UI 화면을 도시하는 예시적인 도면이다.
도 9는 색상 추출 메뉴가 선택되었을 때의 UI 화면을 도시하는 예시적인 도면이다.
도 10은 채색 미적용 메뉴가 선택되었을 때의 UI 화면을 도시하는 예시적인 도면이다.
도 11은 히스토리 패널에 포함된 샘플 채색 이미지의 썸네일 이미지가 선택되었을 때의 UI 화면을 도시하는 예시적인 도면이다.
도 12는 일 실시예에 따른 채색 장치의 구성을 도시하는 블록도이다.
본 개시의 일 실시예에 따른 스케치 이미지의 채색 방법은, 사용자의 입력에 따라 스케치 이미지 상에 색상 포인터를 추가하는 단계; 상기 스케치 이미지를 구성하는 오브젝트들 중 상기 색상 포인터가 위치하는 지점과 관련된 오브젝트를 결정하는 단계; 및 상기 색상 포인터의 색상을 기초로 상기 결정된 오브젝트를 채색하여 채색 이미지를 생성하는 단계를 포함할 수 있다.
본 개시의 다른 실시예에 따른 채색 장치는, 프로세서; 및 적어도 하나의 인스트럭션을 저장하는 메모리를 포함하되, 상기 프로세서는 상기 적어도 하나의 인스트럭션에 따라, 사용자의 입력에 따라 스케치 이미지 상에 색상 포인터를 추가하고, 상기 스케치 이미지를 구성하는 오브젝트들 중 상기 색상 포인터가 위치하는 지점과 관련된 오브젝트를 결정하고, 상기 색상 포인터의 색상을 기초로 상기 결정된 오브젝트를 채색하여 채색 이미지를 생성할 수 있다.
본 개시는 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고, 이를 상세한 설명을 통해 설명하고자 한다. 그러나, 이는 본 개시를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
실시예를 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 실시예의 설명 과정에서 이용되는 숫자(예를 들어, 제 1, 제 2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
또한, 본 명세서에서 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.
또한, 본 명세서에서 '~부(유닛)', '모듈' 등으로 표현되는 구성요소는 2개 이상의 구성요소가 하나의 구성요소로 합쳐지거나 또는 하나의 구성요소가 보다 세분화된 기능별로 2개 이상으로 분화될 수도 있다. 또한, 이하에서 설명할 구성요소 각각은 자신이 담당하는 주기능 이외에도 다른 구성요소가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성요소 각각이 담당하는 주기능 중 일부 기능이 다른 구성요소에 의해 전담되어 수행될 수도 있음은 물론이다.
이하, 본 개시의 기술적 사상에 의한 실시예들을 차례로 상세히 설명한다.
도 1은 일 실시예에 따른 채색 장치(100)를 도시하는 도면이다.
일 실시예에 따른 채색 장치(100)는 스케치 이미지(10)를 채색하여 채색 이미지(20)를 생성한다. 사용자는 후술하는 UI(user interface) 화면을 통해 스케치 이미지(10)를 채색하기 위한 색상 등을 결정할 수 있다.
채색 장치(100)는 높은 퀄리티의 채색 이미지(20)를 생성하기 위하여 AI(artificial intelligence) 기반으로 채색 방법을 학습할 수 있다. 예를 들어, 채색 장치(100)는 학습용 채색 이미지들에 기초하여 이미지를 구성하는 오브젝트들의 채색 방법을 학습하고, 학습된 방법, 사용자에 의해 선택된 색상 및 해당 색상의 위치에 기초하여 스케치 이미지(10)에 포함된 오브젝트를 채색할 수 있다. 즉, 일 실시예에 따르면, 사용자가 스케치 이미지(10)의 오브젝트들을 소정의 색상으로 직접 채색할 필요 없이, 단지 사용자가 색상 및 해당 색상의 위치를 선택하는 것만으로도 채색 장치(100)는 미리 학습된 방법을 기반으로 고퀄리티의 채색 이미지(20)를 생성할 수 있다.
일 실시예에 따른 채색 장치(100)는 사용자 단말일 수 있다. 사용자 단말은 예를 들어, 스마트폰, 태블릿 PC, 노트북, 데스크탑 PC 등 이미지 처리를 할 수 있는 다양한 종류의 기기를 포함할 수 있다. 사용자 단말에는 스케치 이미지(10)의 채색을 위한 프로그램이 설치될 수 있다. 사용자 단말은 사용자에 의해 선택된 스케치 이미지(10)를 획득하고, 획득한 스케치 이미지(10)를 채색할 수 있다. 사용자 단말은 스케치 이미지(10)로부터 생성된 채색 이미지(20)를 디스플레이에 표시할 수 있다. 또한, 사용자 단말은 스케치 이미지(10)의 채색을 위한 UI 화면을 디스플레이에 표시할 수도 있다.
다른 실시예에서, 채색 장치(100)는 사용자 단말과 통신하는 서버일 수 있다. 서버는 사용자 단말로부터 스케치 이미지(10)를 수신하거나, 네트워크를 통해 연결된 다른 장치로부터 스케치 이미지(10)를 수신하고, 수신된 스케치 이미지(10)를 채색할 수 있다. 서버는 채색 이미지(20)를 사용자 단말로 전송할 수 있다. 또한, 서버는 스케치 이미지(10)의 채색을 위한 UI 화면을 사용자 단말로 전송할 수 있다.
이하에서는, 도 2를 참조하여 채색 장치(100)의 동작에 대해 구체적으로 설명한다.
도 2는 일 실시예에 따른 채색 장치(100)에 의한 스케치 이미지의 채색 방법을 설명하기 위한 순서도이다.
S210 단계에서, 채색 장치(100)는 사용자 입력에 따라 스케치 이미지 상에 색상 포인터를 추가한다. 일 실시예에서, 사용자는 스케치 이미지의 채색에 이용될 색상을 선택하고, 스케치 이미지 상에서 색상 포인터가 위치될 지점을 선택할 수 있다. 채색 장치(100)는 사용자가 선택한 색상의 색상 포인터를 사용자가 선택한 지점에 위치시킬 수 있다.
스케치 이미지상에 추가되는 색상 포인터는 제 1 형태를 가질 수 있다. 예를 들어, 제 1 형태의 색상 포인터는, 사용자에 의해 선택된 색상의 제 1 도형 및 미리 결정된 색상의 제 2 도형을 포함할 수 있는데, 이에 대해서는 도 4를 참조하여 후술한다.
S220 단계에서, 채색 장치(100)는 스케치 이미지를 구성하는 오브젝트들 중 색상 포인터가 위치하는 지점과 관련된 오브젝트를 결정한다.
스케치 이미지는 여러 오브젝트들로 이루어질 수 있다. 오브젝트는 스케치 이미지의 일부 영역을 의미한다. 오브젝트들은 서로 간에 구별 가능할 수 있다. 예를 들어, 스케치 이미지가 사람을 표현하고 있는 경우, 오브젝트는 사람의 머리카락, 피부, 상의, 하의 등일 수 있다. 다른 예로, 스케치 이미지가 자동차를 표현하고 있는 경우, 오브젝트는 자동차의 유리창, 바퀴, 번호판, 판금 등일 수 있다. 또 다른 예로, 오브젝트는 선으로 둘러싸인 폐 영역(closed region)일 수도 있다.
채색 장치(100)는 채색하고자 하는 스케치 이미지를 구성하는 오브젝트들을 식별할 수 있다. 예를 들어, AI 기반으로 미리 학습된 오브젝트 식별 방법에 따라 스케치 이미지를 구성하는 오브젝트들을 식별할 수 있다.
일 실시예에서, 색상 포인터가 위치하는 지점과 관련된 오브젝트는, 스케치 이미지를 구성하는 오브젝트들 중 색상 포인터가 위치하는 지점을 포함하는 오브젝트를 포함할 수 있다. 예를 들어, 스케치 이미지가 사람을 나타내고, 색상 포인터가 사람의 얼굴 오브젝트 내에 위치하는 경우, 채색 장치(100)는 색상 포인터와 관련된 오브젝트로서 얼굴 오브젝트를 결정할 수 있다. 또한, 예를 들어, 색상 포인터가 사람의 얼굴 오브젝트 내에 위치하는 경우, 채색 장치(100)는 색상 포인터와 관련된 오브젝트로서 얼굴 오브젝트와, 사람의 피부에 해당하는 목 오브젝트 및 손 오브젝트를 결정할 수도 있다.
다른 실시예에서, 채색 장치(100)는 스케치 이미지를 구성하는 오브젝트들 중 색상 포인터가 위치하는 지점으로부터 가장 가까운 오브젝트 또는 소정 거리 이내에 위치하는 오브젝트를 색상 포인터와 관련된 오브젝트로 결정할 수도 있다.
S230 단계에서, 채색 장치(100)는 색상 포인터의 색상을 기초로 S220 단계에서 결정된 오브젝트를 채색하여 채색 이미지를 생성한다.
일 예로, 채색 장치(100)는 색상 포인터의 색상으로 오브젝트를 채색할 수 있다.
다른 예로, S220 단계에서 결정된 오브젝트와 관련하여 기 설정된 색상이 존재하는 경우, 기 설정된 색상과 색상 포인터의 색상을 이용하여 오브젝트를 채색할 수 있다. 이는, 피부에 해당하는 오브젝트와 같이, 사람들에게 익숙한 색상이 존재하는 경우에 유용할 수 있다. 예를 들어, 얼굴 오브젝트에 적색의 색상 포인터가 위치하는 경우, 채색 장치(100)는 얼굴 오브젝트에 대해 기 설정된 색상과 색상 포인터의 색상인 적색을 혼합하여 얼굴 오브젝트를 채색할 수 있다.
채색 장치(100)는 학습용 채색 이미지들에 기초하여 미리 학습된 채색 방법에 따라, 색상 포인터의 색상 및/또는 오브젝트에 대해 기 설정된 색상으로 오브젝트를 채색할 수 있다. 즉, 미리 학습된 채색 방법으로서, 특정 오브젝트의 음영의 위치, 색상의 밝기 등이 결정되어 있으면, 채색 장치(100)는 미리 결정된 음영의 위치 및 밝기를 고려하여, 색상 포인터의 색상 및/또는 오브젝트에 대해 기 설정된 색상으로 오브젝트를 채색할 수 있다.
전술한 바와 같이, 사용자는 UI 화면을 통해 스케치 이미지를 채색할 수 있는데, 이하에서는 도 3 내지 도 11을 참조하여 설명한다.
도 3은 스케치 이미지의 채색을 위한 UI 화면(300)을 도시하는 예시적인 도면이다.
채색 장치(100)는 스케치 이미지의 채색을 위한 사용자 조작을 입력받는 UI 화면(300)을 생성할 수 있다. 예를 들어, 채색 장치(100)가 사용자 단말인 경우, 사용자 단말은 UI 화면(300)을 생성하여 디스플레이에 표시할 수 있다. 또는 채색 장치(100)가 서버인 경우, 서버는 UI 화면(300)을 생성하여 사용자 단말로 전송하고, 사용자 단말은 수신된 UI 화면(300)을 디스플레이에 표시할 수 있다.
사용자가 채색하고자 하는 스케치 이미지를 선택하면, 도 3에 도시된 것과 같은 UI 화면(300)이 채색 장치(100)에 의해 생성될 수 있다.
도 3을 참조하면, UI 화면(300)은 채색의 대상이 되는 스케치 이미지(310), 히스토리 패널(320), 도구 메뉴(330) 및 색상 스와치(color swatch)(340)를 포함할 수 있다. 도 3은 스케치 이미지(310), 히스토리 패널(320), 도구 메뉴(330) 및 색상 스와치(340)가 UI 화면(300) 상에서 서로 다른 영역에 위치하는 것으로 도시하고 있지만, 이는 하나의 예시일 뿐이다. 예를 들어, 도구 메뉴(330)가 스케치 이미지(310) 상에 위치하되, 사용자의 소정 입력이 없을 때에는 표시되지 않다가 사용자의 소정 입력이 있을 때에만 UI 화면(300)에 표시될 수 있다.
스케치 이미지(310)는 스케치 이미지(310)의 해상도와 무관하게 미리 결정된 크기로 UI 화면(300) 내에 표시될 수 있다. 예를 들어, 미리 결정된 크기가 가로 200mm 및 세로 300mm인 경우, 스케치 이미지(310)의 해상도와 무관하게 스케치 이미지(310)는 항상 가로 200mm 및 세로 300mm의 크기로 UI 화면(300) 내에 표시될 수 있다.
히스토리 패널(320)은 복수의 썸네일 이미지들(321, 329)을 포함한다. 구체적으로, 히스토리 패널(320)은 스케치 이미지(310)의 썸네일 이미지(321), 및 스케치 이미지(310)에 대응하는 샘플 채색 이미지의 썸네일 이미지(329)를 포함할 수 있다. 채색 장치(100)는 사용자가 선택한 스케치 이미지(310)를 미리 저장된 채색 방법에 따라 채색한 샘플 채색 이미지를 생성하고, 이의 썸네일 이미지(329)를 히스토리 패널(320)에 포함시킬 수 있다. 후술하는 바와 같이, 사용자는 샘플 채색 이미지에 대응하는 썸네일 이미지(329)를 선택하여, 샘플 채색 이미지를 변경하는 방식으로 채색 이미지를 생성할 수도 있다.
도구 메뉴(330)는 스케치 이미지(310)의 채색에 이용되는 메뉴들을 포함할 수 있다. 예를 들어, 도구 메뉴(330)는 색상 포인터 추가 메뉴, 색상 포인터 삭제 메뉴, 색상 추출 메뉴 등을 포함할 수 있는데, 이들 메뉴에 대해서는 관련된 부분에서 설명한다.
색상 스와치(340)는 색상 포인터의 색상을 지정하는데 이용된다. 사용자는 색상 스와치(340)를 통해 색상 포인터의 색상을 결정할 수 있다. 사용자는 색상 스와치(340) 내 예시된 색상 샘플들 중에서 어느 하나의 색상을 선택할 수 있고, 직접 RGB 값을 입력하여 색상 포인터의 색상을 선택할 수도 있다.
도 4는 스케치 이미지(310) 상에 위치된 색상 포인터(315a, 315b, 315c 등)를 포함하는 UI 화면(300)을 도시하는 예시적인 도면이다.
본 개시의 일 실시예에서는, 사용자가 스케치 이미지(310)를 마우스 등을 이용해 직접 채색할 필요없고, 단순히 색상 포인터(315a, 315b, 315c 등)를 스케치 이미지(310) 상에 추가하는 것만으로 간편하게 스케치 이미지(310)를 채색할 수 있다. 구체적으로, 사용자는 색상 스와치(340)에서 원하는 색상을 선택하고, 도구 메뉴(330)의 색상 포인터 추가 메뉴(331)를 마우스 클릭, 터치 등의 방식으로 선택한 후, 색상 포인터(315a, 315b, 315c 등)가 추가될 지점을 선택할 수 있다. 사용자가 선택한 지점에, 사용자가 선택한 색상의 색상 포인터(315a, 315b, 315c 등)가 위치될 수 있다.
도 4에 도시된 바와 같이, 사용자는 스케치 이미지(310)의 머리카락 오브젝트, 상의 오브젝트, 장갑 오브젝트에 색상 포인터들(315a, 315b, 315c)을 위치시킬 수 있다. 스케치 이미지(310) 상에 추가되는 색상 포인터(315a, 315b, 315c 등)는 제 1 형태를 가질 수 있다. 예를 들어, 제 1 형태의 색상 포인터는 사용자에 의해 선택된 색상의 제 1 도형 및 미리 결정된 색상의 제 2 도형을 포함할 수 있다. 도 4에 도시된 바와 같이, 제 1 도형은 원 형상, 제 2 도형은 도넛 형상일 수 있으나, 이에 한정되는 것은 아니다. 제 1 형태의 색상 포인터는 후술하는 제 2 형태의 색상 포인터 및 제 3 형태의 색상 포인터와 구별될 수 있다.
사용자에 의해 색상 포인터(315a, 315b, 315c 등)의 추가가 완료되고, 사용자가 적용 메뉴(305)를 선택한 경우의 UI 화면(300)이 도 5에 도시되어 있다.
도 5는 색상 포인터(315a, 315b, 315c 등)에 기초하여 채색된 채색 이미지(350)를 포함하는 UI 화면(300)을 도시하는 예시적인 도면이다.
앞서 설명한 바와 같이, 채색 장치(100)는 색상 포인터(315a, 315b, 315c 등)가 위치하는 지점과 관련된 오브젝트를 결정하고, 색상 포인터(315a, 315b, 315c 등)의 색상을 기초로 상기 결정된 오브젝트를 채색하여 채색 이미지(350)를 생성할 수 있다. 사용자가 적용 메뉴(305)를 선택하면, 채색 이미지(350)가 생성되는 것과 함께 채색 이미지(350)의 썸네일 이미지(323)가 히스토리 패널(320)에 추가될 수 있다. 즉, 히스토리 패널(320)에는 사용자의 조작에 따라 생성된 채색 이미지들의 썸네일 이미지들이 생성 시간에 따라 순차적으로 포함될 수 있다.
도 5를 참조하면, 사용자의 적용 메뉴(305) 선택에 따라 생성된 채색 이미지(350)와, 해당 채색 이미지(350)에 대해 추가되었던 색상 포인터들(315a, 315b, 315c 등)이 UI 화면(300) 내에 표시될 수 있다.
사용자는 채색 이미지(350)를 수정할 수도 있다. 예를 들어, 사용자는 히스토리 패널(320)에 포함된 썸네일 이미지들 중 어느 하나의 채색 이미지에 대응하는 썸네일 이미지를 선택하고, 선택한 썸네일 이미지에 대응하는 채색 이미지를 수정할 수 있다. 채색 이미지의 수정 과정에 대해 도 6 내지 도 8을 참조하여 설명한다.
도 6은 색상 포인터의 삭제 요청에 대응하는 제 2 형태의 색상 포인터(316a)를 포함하는 UI 화면(300)을 도시하는 예시적인 도면이다.
사용자는 기 생성된 채색 이미지(350)를 수정하기 위해, 이전에 추가되었던 색상 포인터(예를 들어, 315a)를 삭제할 수 있다. 구체적으로, 사용자는 도구 메뉴(330)에서 색상 포인터 삭제 메뉴(333)를 선택한 후, 이전에 추가되었던 색상 포인터(예를 들어, 315a)를 선택할 수 있다. 이에 따라, 사용자에 의해 선택된 제 1 형태의 색상 포인터(예를 들어, 315a)는 제 2 형태로 변경될 수 있다. 예를 들어, 제 2 형태의 색상 포인터(316a)는 투명도가 조절된 제 1 도형 및 투명도가 조절된 제 2 도형을 포함할 수 있다. 다시 말하면, 기존에 추가되었던 제 1 형태의 색상 포인터(315a)는, 사용자의 삭제 요청시 투명도가 조절된 제 2 형태의 색상 포인터(316a)로 변경됨으로써, 다른 색상 포인터와 구별될 수 있다.
또한, 사용자는 도구 메뉴(330)에서 전체 삭제 메뉴(337)를 선택하여 이전에 추가되었던 모든 색상 포인터들(315a, 315b, 315c 등)을 삭제할 수도 있다.
사용자가 헤어 오브젝트에 추가된 색상 포인터(315a)를 삭제한 후, 적용 메뉴(305)를 선택한 경우의 UI 화면(300)이 도 7에 도시되어 있다.
도 7은 색상 포인터(315a)가 삭제됨으로써 변경된 채색 이미지(360)를 포함하는 UI 화면(300)을 도시하는 예시적인 도면이다.
도 7에 도시된 바와 같이, 기존에 생성되었던 채색 이미지(350)는 새로운 채색 이미지(360)로 변경되고, 새로운 채색 이미지(360)의 썸네일 이미지(325)는 히스토리 패널(320)에 추가될 수 있다. 새로운 채색 이미지(360)는 도 6에서 삭제된 색상 포인터(315a) 이외의 색상 포인터(315b, 315c 등)에 기초하여 생성된 것이다.
도 8은 채색 이미지(360) 상에 추가된 제 3 형태의 색상 포인터(315d)를 포함하는 UI 화면(300)을 도시하는 예시적인 도면이다.
사용자는 기존에 생성된 채색 이미지에 새로운 색상 포인터를 추가할 수도 있다. 도 8을 참조하면, 사용자는 도구 메뉴(330)에서 색상 포인터 추가 메뉴(331)를 선택하고, 색상 스와치(340)에서 원하는 색상을 선택한 후, 색상 포인터가 추가될 지점을 선택함으로써 새로운 색상 포인터(315d)를 채색 이미지(360) 상에 추가할 수 있다. 여기서, 채색 이미지(360)에 추가되는 색상 포인터(315d)는 제 3 형태를 가질 수 있다. 예를 들어, 제 3 형태의 색상 포인터(315d)는 사용자에 의해 선택된 색상의 제 1 도형 및 미리 결정된 색상의 제 2 도형을 포함할 수 있다. 제 3 형태의 색상 포인터(315d)에 포함된 제 2 도형의 색상은 전술한 제 1 형태의 색상 포인터에 포함된 제 2 도형의 색상과 상이할 수 있다. 이에 따라 제 3 형태의 색상 포인터(315d)는 제 1 형태의 색상 포인터 및 제 2 형태의 색상 포인터와 구별될 수 있다.
기존에 생성되었던 채색 이미지들이 복수 개인 경우, 사용자는 히스토리 패널(320)에서 어느 하나의 채색 이미지의 썸네일 이미지를 선택한 후, 선택된 썸네일 이미지에 대응하는 채색 이미지에 제 3 형태의 색상 포인터를 추가할 수 있다.
본 개시의 일 실시예에 따르면, 스케치 이미지 상에 추가된 색상 포인터, 삭제될 색상 포인터 및 채색 이미지 상에 추가된 색상 포인터의 형태를 서로 구별되도록 구현함으로써, 사용자로 하여금 채색 이미지가 어떤 식으로 변경될지를 미리 예측할 수 있게 한다.
채색 이미지(360) 상에 새로운 색상 포인터(315d)가 추가된 후, 사용자가 적용 메뉴(305)를 선택하면, 기존에 추가되었고 삭제되지 않은 제 1 형태의 색상 포인터(315b, 315c 등) 및 새롭게 추가된 제 3 형태의 색상 포인터(315d)에 기초하여 새로운 채색 이미지(미도시)가 생성될 수 있다.
도 9는 색상 추출 메뉴(335)가 선택되었을 때의 UI 화면(300)을 도시하는 예시적인 도면이다.
색상 추출 메뉴(335)는, 채색 이미지(360)에 포함된 색상을 색상 포인터의 색상으로 지정하는데 이용된다. 구체적으로, 사용자가 색상 추출 메뉴(335)를 선택하면, 확대 포인터(336)가 UI 화면(300) 내 표시되고, 사용자는 확대 포인터(336)의 위치를 변경하면서 추출하고자 하는 색상을 선택할 수 있다.
확대 포인터(336)가 채색 이미지(360) 내 일부 영역을 확대 표시하고 있는 상태에서, 사용자가 마우스 클릭, 터치 등의 입력을 하면 확대 포인터(336) 내 일부 영역의 색상이, 색상 스와치(340)에서 선택된다. 그리고, 사용자가 색상 포인터 추가 메뉴(331)를 선택한 후, 원하는 지점을 선택하면, 확대 포인터(336) 내 일부 영역의 색상을 갖는 색상 포인터가 채색 이미지(360) 상에 추가된다. 즉, 색상 스와치(340)에서 원하는 색상을 선택하기가 어려운 경우, 사용자는 채색 이미지(360)에 포함된 색상을 이용하여 색상 포인터의 색상을 쉽게 선택할 수 있는 것이다.
도 10은 채색 미적용 메뉴(391)가 선택되었을 때의 UI 화면(300)을 도시하는 예시적인 도면이다.
채색 이미지(360)가 UI 화면(300) 내 표시되어 있는 상태에서, 사용자가 채색 미적용 메뉴(391)를 선택하면, 채색되기 전의 스케치 이미지(310)가 UI 화면(300)에 표시될 수 있다. 사용자가 채색 미적용 메뉴(391)를 다시 선택하면, 채색 이미지(360)가 UI 화면(300)에 표시될 수 있다. 도 10을 참조하면, 사용자가 채색 미적용 메뉴(391)를 선택하여, 채색 이미지(360) 대신 스케치 이미지(310)가 표시되더라도 사용자가 추가하였던 색상 포인터(315b, 315c 등)는 계속적으로 UI 화면(300) 내에 표시될 수 있으나, 구현예에 따라, 색상 포인터(315b, 315c 등) 역시 UI 화면(300) 내에 표시되지 않을 수도 있다.
도 10을 참조하면, UI 화면(300)은 색상 포인터 표시 메뉴(392), 확대/축소 메뉴(393), 다운로드 메뉴(394) 등을 더 포함할 수 있다.
색상 포인터 표시 메뉴(392)는 UI 화면(300) 내 위치하는 색상 포인터(315b, 315c 등)의 표시 및 미표시를 제어하기 위한 메뉴이다. 사용자가 최초 색상 포인터 표시 메뉴(392)를 선택한 경우, UI 화면(300) 내 위치하는 색상 포인터(315b, 315c 등)가 UI 화면(300)에 표시되지 않을 수 있고, 사용자가 다시 색상 포인터 표시 메뉴(392)를 선택하면, UI 화면(300)에 색상 포인터(315b, 315c 등)가 다시 표시될 수 있다.
확대/축소 메뉴(393)는 스케치 이미지(310) 또는 채색 이미지(360)의 크기를 조절하기 위한 메뉴이다.
다운로드 메뉴(394)는 스케치 이미지(310) 또는 채색 이미지(360)를 다운로드할 수 있게 하는 메뉴로서, 예를 들어, 채색 장치(100)가 사용자 단말인 경우, 사용자의 다운로드 메뉴(394) 선택에 따라 사용자 단말은 스케치 이미지(310) 또는 채색 이미지(360)를 메모리에 저장할 수 있다. 또한, 예를 들어, 채색 장치(100)가 서버인 경우, 사용자의 다운로드 메뉴(394) 선택에 따라 서버는 스케치 이미지(310) 또는 채색 이미지(360)를 사용자 단말로 전송할 수 있다.
도 11은 히스토리 패널(320)에 포함된 샘플 채색 이미지(370)의 썸네일 이미지(328)가 선택되었을 때의 UI 화면(300)을 도시하는 예시적인 도면이다.
사용자는 히스토리 패널(320)에 포함된 샘플 채색 이미지(370)의 썸네일 이미지(328)를 선택하여, 샘플 채색 이미지(370)를 변경할 수도 있다. 구체적으로, 사용자에 의해 어느 하나의 썸네일 이미지(328)가 선택되면, 선택된 썸네일 이미지(328)에 대응하는 샘플 채색 이미지(370)가 UI 화면(300) 내 표시될 수 있다. 도 11에 도시된 바와 같이, 샘플 채색 이미지(370) 상에 위치하는 색상 포인터(375a, 375b) 역시 UI 화면(300)에 표시될 수 있다.
사용자는 색상 포인터 추가 메뉴(331), 색상 포인터 삭제 메뉴(333) 등을 통해 새로운 색상 포인터를 샘플 채색 이미지(370) 상에 위치시키거나, 기존의 색상 포인터(375a, 375b)를 삭제할 수 있고, 적용 메뉴(305)의 선택을 통해 새로운 채색 이미지를 생성할 수 있다.
도 12는 일 실시예에 따른 채색 장치(100)의 구성을 도시하는 블록도이다.
도 12를 참조하면, 채색 장치(100)는 메모리(1210), 제어부(1230) 및 통신부(1250)를 포함할 수 있다. 메모리(1210), 제어부(1230) 및 통신부(1250)는 적어도 하나의 프로세서로 구성될 수 있다.
메모리(1210)는 스케치 이미지의 채색을 위한 프로그램을 저장할 수 있다. 또한, 메모리(1210)는 스케치 이미지, 채색 이미지 및 샘플 채색 이미지를 더 저장할 수도 있다.
제어부(1230)는 메모리(1210)에 저장된 프로그램이 실행됨에 따라 스케치 이미지를 채색하기 위한 UI 화면을 생성할 수 있다. 제어부(1230)는 UI 화면을 통해 입력되는 사용자의 조작에 따라 스케치 이미지로부터 채색 이미지를 생성할 수 있다. 전술한 바와 같이, 제어부(1230)는 UI 화면을 생성할 때, 스케치 이미지를 기 학습된 채색 방법에 따라 채색한 샘플 채색 이미지를 생성하고, 샘플 채색 이미지의 썸네일 이미지를 UI 화면, 구체적으로는 히스토리 패널에 포함시킬 수 있다.
UI 화면을 통한 스케치 이미지의 채색 과정에 대해서는 설명하였으므로, 여기서는 상세한 설명을 생략한다.
통신부(1250)는 네트워크를 통해 다른 장치와 통신을 한다. 예를 들어, 통신부(1250)는 다른 장치로부터 스케치 이미지의 채색을 위한 프로그램을 수신할 수 있다. 일 예에서, 통신부(1250)는 다른 장치와 스케치 이미지 및/또는 채색 이미지를 송수신할 수도 있다.
한편, 상술한 본 개시의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램 또는 인스트럭션으로 작성가능하고, 작성된 프로그램 또는 인스트럭션은 매체에 저장될 수 있다.
매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.
이상, 본 개시의 기술적 사상을 바람직한 실시예를 들어 상세하게 설명하였으나, 본 개시의 기술적 사상은 상기 실시예들에 한정되지 않고, 본 개시의 기술적 사상의 범위 내에서 당 분야에서 통상의 지식을 가진 자에 의하여 여러 가지 변형 및 변경이 가능하다.

Claims (14)

  1. 채색 장치에 의한 스케치 이미지의 채색 방법에 있어서,
    사용자의 입력에 따라 스케치 이미지 상에 색상 포인터를 추가하는 단계;
    상기 스케치 이미지를 구성하는 오브젝트들 중 상기 색상 포인터가 위치하는 지점과 관련된 오브젝트를 결정하는 단계; 및
    상기 색상 포인터의 색상을 기초로 상기 결정된 오브젝트를 채색하여 채색 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 스케치 이미지의 채색 방법.
  2. 제1항에 있어서,
    상기 오브젝트를 결정하는 단계는,
    상기 오브젝트들 중 상기 색상 포인터가 위치하는 지점을 포함하는 오브젝트를 결정하는 단계를 포함하는 것을 특징으로 하는 스케치 이미지의 채색 방법.
  3. 제2항에 있어서,
    상기 채색하는 단계는,
    상기 결정된 오브젝트에 대해 기 설정된 색상 및 상기 색상 포인터의 색상에 기초하여 상기 결정된 오브젝트를 채색하는 단계를 포함하는 것을 특징으로 하는 스케치 이미지의 채색 방법.
  4. 제1항에 있어서,
    상기 스케치 이미지의 채색 방법은,
    상기 스케치 이미지에서 상기 사용자에 의해 선택된 지점에 제 1 형태의 상기 색상 포인터를 표시하는 단계;
    상기 사용자의 삭제 요청에 따라 상기 제 1 형태의 색상 포인터를 제 2 형태로 변경하는 단계; 및
    상기 제 2 형태의 색상 포인터에 기초하여 상기 채색 이미지를 변경하는 단계를 더 포함하는 것을 특징으로 하는 스케치 이미지의 채색 방법.
  5. 제4항에 있어서,
    상기 제 1 형태의 색상 포인터는, 사용자에 의해 선택된 색상의 제 1 도형 및 미리 결정된 색상의 제 2 도형을 포함하고,
    상기 제 2 형태의 색상 포인터는, 투명도가 조절된 상기 제 1 도형 및 투명도가 조절된 상기 제 2 도형을 포함하는 것을 특징으로 하는 스케치 이미지의 채색 방법.
  6. 제1항에 있어서,
    상기 스케치 이미지의 채색 방법은,
    상기 스케치 이미지 및 히스토리 패널을 포함하는 UI(user interface) 화면을 생성하는 단계를 더 포함하되,
    상기 히스토리 패널은, 상기 채색 이미지의 썸네일 이미지를 포함하는 것을 특징으로 하는 스케치 이미지의 채색 방법.
  7. 제6항에 있어서,
    상기 히스토리 패널은,
    상기 스케치 이미지의 썸네일 이미지 및 상기 스케치 이미지에 대응하는 샘플 채색 이미지의 썸네일 이미지를 더 포함하는 것을 특징으로 하는 스케치 이미지의 채색 방법.
  8. 제6항에 있어서,
    상기 스케치 이미지의 채색 방법은,
    상기 히스토리 패널에 포함된 썸네일 이미지 중 사용자에 의해 선택된 썸네일 이미지에 대응하는 채색 이미지, 및 색상 포인터를 상기 UI 화면에 표시하는 단계를 더 포함하는 것을 특징으로 하는 스케치 이미지의 채색 방법.
  9. 제8항에 있어서,
    상기 스케치 이미지의 채색 방법은,
    상기 사용자의 색상 포인터 추가 요청에 따라, 상기 사용자에 의해 선택된 썸네일 이미지에 대응하는 채색 이미지 상에서 상기 사용자에 의해 선택된 지점에 제 3 형태의 색상 포인터를 위치시키는 단계를 더 포함하는 것을 특징으로 하는 스케치 이미지의 채색 방법.
  10. 제6항에 있어서,
    상기 스케치 이미지의 채색 방법은,
    상기 스케치 이미지의 해상도와 무관하게 상기 스케치 이미지를 미리 결정된 크기로 상기 UI 화면에 표시하는 단계를 더 포함하는 것을 특징으로 하는 스케치 이미지의 채색 방법.
  11. 제6항에 있어서,
    상기 UI 화면은,
    도구 메뉴를 더 포함하며,
    상기 스케치 이미지의 채색 방법은,
    상기 도구 메뉴에서 색상 추출 메뉴가 상기 사용자에 의해 선택되면, 상기 채색 이미지의 일부 영역을 확대하는 확대 포인터를 상기 UI 화면에 표시하는 단계;
    상기 확대 포인터에 의해 선택된 일부 영역의 색상을 인식하는 단계; 및
    상기 사용자의 색상 포인터의 추가 요청에 따라, 상기 인식된 색상의 색상 포인터를 상기 채색 이미지 상에 위치시키는 단계를 더 포함하는 것을 특징으로 하는 스케치 이미지의 채색 방법.
  12. 제6항에 있어서,
    상기 UI 화면은,
    상기 색상 포인터의 색상을 선택하기 위한 색상 스와치(color swatch)를 더 포함하는 것을 특징으로 하는 스케치 이미지의 채색 방법.
  13. 하드웨어와 결합하여 제1항의 스케치 이미지의 채색 방법을 실행하기 위하여 매체에 저장된 프로그램.
  14. 프로세서; 및
    적어도 하나의 인스트럭션을 저장하는 메모리를 포함하되,
    상기 프로세서는 상기 적어도 하나의 인스트럭션에 따라,
    사용자의 입력에 따라 스케치 이미지 상에 색상 포인터를 추가하고,
    상기 스케치 이미지를 구성하는 오브젝트들 중 상기 색상 포인터가 위치하는 지점과 관련된 오브젝트를 결정하고,
    상기 색상 포인터의 색상을 기초로 상기 결정된 오브젝트를 채색하여 채색 이미지를 생성하는 것을 특징으로 하는 스케치 이미지의 채색 장치.
PCT/KR2020/009368 2019-07-18 2020-07-16 스케치 이미지의 채색 장치 및 방법 WO2021010765A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022502292A JP7348380B2 (ja) 2019-07-18 2020-07-16 スケッチイメージの彩色装置及び方法
US17/648,211 US11922543B2 (en) 2019-07-18 2022-01-18 Device and method for coloring sketch image with color pointer

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0087093 2019-07-18
KR1020190087093A KR102255212B1 (ko) 2019-07-18 2019-07-18 스케치 이미지의 채색 장치 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/648,211 Continuation US11922543B2 (en) 2019-07-18 2022-01-18 Device and method for coloring sketch image with color pointer

Publications (1)

Publication Number Publication Date
WO2021010765A1 true WO2021010765A1 (ko) 2021-01-21

Family

ID=74211065

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/009368 WO2021010765A1 (ko) 2019-07-18 2020-07-16 스케치 이미지의 채색 장치 및 방법

Country Status (4)

Country Link
US (1) US11922543B2 (ko)
JP (1) JP7348380B2 (ko)
KR (1) KR102255212B1 (ko)
WO (1) WO2021010765A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102527900B1 (ko) * 2021-02-10 2023-05-02 네이버웹툰 유한회사 스케치 이미지에 대한 자동 채색 모델 관리 방법 및 그 장치
KR102591594B1 (ko) * 2021-05-10 2023-10-19 네이버웹툰 유한회사 인공신경망을 이용한 채색 이미지 보정 방법 및 그 장치
KR102477798B1 (ko) * 2022-01-27 2022-12-15 주식회사 위딧 웹툰 캐릭터 채색 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03224076A (ja) * 1990-01-30 1991-10-03 Fujitsu Ltd 図形着色方式
KR20080046907A (ko) * 2006-11-23 2008-05-28 삼성전자주식회사 이미지 내 선택 영역을 일괄 저장하는 장치 및 이미지정보의 문서화 장치
JP4130457B2 (ja) * 2005-09-14 2008-08-06 ザイオソフト株式会社 画像処理方法および画像処理プログラム
JP2009199134A (ja) * 2008-02-19 2009-09-03 Dainippon Screen Mfg Co Ltd 領域指定装置、線画処理装置および領域指定プログラム、線画処理プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5630017A (en) * 1991-02-19 1997-05-13 Bright Star Technology, Inc. Advanced tools for speech synchronized animation
JP2003224734A (ja) * 2002-01-29 2003-08-08 Canon Inc 画像表示装置、画像処理方法、記録媒体及びプログラム
JP2005301492A (ja) 2004-04-08 2005-10-27 Olympus Corp 画像履歴処理プログラム、画像履歴処理方法、画像履歴処理装置及び記録媒体
WO2008010707A1 (en) 2006-07-18 2008-01-24 Ertain B.V. Image coloring device comprising a computer
JP2008059540A (ja) * 2006-08-30 2008-03-13 Ertain Corp コンピュータを用いた塗り絵装置
JP5020862B2 (ja) * 2008-03-03 2012-09-05 大日本スクリーン製造株式会社 線画処理装置、およびプログラム
JP2009272665A (ja) * 2008-04-30 2009-11-19 Dainippon Screen Mfg Co Ltd 画像処理装置、画像処理方法およびプログラム
JP6253007B2 (ja) * 2012-03-28 2017-12-27 パナソニックＩｐマネジメント株式会社 表示装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03224076A (ja) * 1990-01-30 1991-10-03 Fujitsu Ltd 図形着色方式
JP4130457B2 (ja) * 2005-09-14 2008-08-06 ザイオソフト株式会社 画像処理方法および画像処理プログラム
KR20080046907A (ko) * 2006-11-23 2008-05-28 삼성전자주식회사 이미지 내 선택 영역을 일괄 저장하는 장치 및 이미지정보의 문서화 장치
JP2009199134A (ja) * 2008-02-19 2009-09-03 Dainippon Screen Mfg Co Ltd 領域指定装置、線画処理装置および領域指定プログラム、線画処理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NEWY: "Newey. Now, AlphaGo Will Do the Painting for You!!. Automatic Coloring Site!!", 6 June 2018 (2018-06-06), XP054981385, Retrieved from the Internet <URL:https://www.youtube.com/watch?v=z9Ln7KlmhQg> *

Also Published As

Publication number Publication date
US20220139000A1 (en) 2022-05-05
JP2022540889A (ja) 2022-09-20
US11922543B2 (en) 2024-03-05
KR20210009922A (ko) 2021-01-27
JP7348380B2 (ja) 2023-09-25
KR102255212B1 (ko) 2021-05-24

Similar Documents

Publication Publication Date Title
WO2021010765A1 (ko) 스케치 이미지의 채색 장치 및 방법
WO2019035619A1 (en) METHOD FOR DISPLAYING CONTENT AND ASSOCIATED ELECTRONIC DEVICE
WO2015099293A1 (en) Device and method for displaying user interface of virtual input device based on motion recognition
WO2017135797A2 (en) Method and electronic device for managing operation of applications
WO2013105760A1 (en) Contents providing system and operating method thereof
WO2021246763A1 (ko) 사용자 맞춤형 웹기반 프로그램 작화 시스템
WO2019054796A1 (en) INTERACTION ACTIVATION METHOD USING A DIGITAL FOOTPRINT ON A DISPLAY AND ASSOCIATED ELECTRONIC DEVICE
WO2015064840A1 (ko) 학습자 맞춤형 학습 서비스 제공 서버 및 방법
WO2021112465A1 (ko) 클라우드 저작물 분석을 통한 디자인 추천 방법
WO2009145540A2 (en) Apparatus and method for inputting password using game
WO2023153631A1 (ko) 통신 시스템에서 인테리어 디자인을 추천하는 시스템 및 방법
WO2023043019A1 (ko) 사용자 학습 환경 기반의 강화학습 장치 및 방법
WO2012033337A2 (en) Multimedia apparatus and method for providing content
WO2014003448A1 (en) Terminal device and method of controlling the same
EP3469790A1 (en) Display apparatus and control method thereof
WO2014129748A1 (en) Display apparatus and control method thereof
WO2014116040A1 (ko) 디스플레이 장치에서 표시된 문자의 색상 변경 장치 및 방법
WO2016204412A1 (ko) 단말 장치 및 이에 의한 이미지 표시 방법, 및 웹 서버 및 이에 의한 웹 페이지 제공 방법
WO2023200060A1 (ko) 획득 가능 자원을 관리하는 방법 및 이를 이용한 장치
WO2023095952A1 (ko) 스크린 자동 생성 방법 및 이를 위한 장치
WO2022255571A1 (ko) 쌍방향 참여형 그림 제작 서비스 제공 시스템 및 이의 제어방법
WO2021020746A1 (ko) 가상 머신 관리 장치 및 방법
WO2015056942A1 (ko) Gui 공유 시스템과 gui 편집 장치
WO2016167446A1 (ko) 단축키 제공 장치
WO2016043449A1 (ko) 단말 장치 및 이에 의한 웹 페이지 표시 방법, 및 웹 서버 및 이에 의한 웹 페이지 제공 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20841179

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022502292

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20841179

Country of ref document: EP

Kind code of ref document: A1