JP6733251B2 - Drawing device and drawing method of drawing device - Google Patents

Drawing device and drawing method of drawing device Download PDF

Info

Publication number
JP6733251B2
JP6733251B2 JP2016057941A JP2016057941A JP6733251B2 JP 6733251 B2 JP6733251 B2 JP 6733251B2 JP 2016057941 A JP2016057941 A JP 2016057941A JP 2016057941 A JP2016057941 A JP 2016057941A JP 6733251 B2 JP6733251 B2 JP 6733251B2
Authority
JP
Japan
Prior art keywords
drawn
image
already
area
nail
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016057941A
Other languages
Japanese (ja)
Other versions
JP2017169727A (en
Inventor
義裕 手島
義裕 手島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2016057941A priority Critical patent/JP6733251B2/en
Publication of JP2017169727A publication Critical patent/JP2017169727A/en
Priority to JP2020117434A priority patent/JP6939957B2/en
Application granted granted Critical
Publication of JP6733251B2 publication Critical patent/JP6733251B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Ink Jet (AREA)
  • Image Processing (AREA)

Description

本発明は、描画装置及び描画装置の描画方法に関するものである。 The present invention relates to a drawing device and a drawing method for a drawing device.

従来、爪にネイルデザインを描画する描画装置が知られている（例えば、特許文献１参照）。
また、爪の表面に色や絵柄等のネイルデザインを描画する描画装置（ネイルプリント装置）として、描画を施す筆記具（描画用具であるペン）を搭載したプロッタ方式の描画装置を用いることも検討されている。
ペンを用いて描画を施す場合には、インクジェット方式のように小液滴のインクを吐出させる描画装置と比べて、使用可能なインクの粘度やインクに含まれる色材の粒径等に制約が少なく、粒径の大きな色材を含んだ発色のよいインクや光硬化型のインクのような高粘度のインクも用いることができる。このため、ネイルサロンで施されるものと同様の各種のネイルデザインを描画することが可能となる。 2. Description of the Related Art Conventionally, a drawing device that draws a nail design on a nail has been known (for example, see Patent Document 1).
Further, as a drawing device (nail printing device) for drawing a nail design such as a color or a design on the surface of the nail, it is also considered to use a plotter type drawing device equipped with a writing tool (pen as a drawing tool) for drawing ing.
When drawing with a pen, there are restrictions on the viscosity of the usable ink and the particle size of the coloring material contained in the ink, as compared with a drawing device that ejects a small droplet of ink such as an inkjet method. It is also possible to use a high-viscosity ink such as a good color-forming ink containing a small amount of a coloring material having a large particle diameter or a photo-curing ink. Therefore, it is possible to draw various nail designs similar to those applied at nail salons.

爪に描画を施す場合、例えば下地を塗布した後に、下地領域の上に絵柄等を描画するというように、複数回に分けて、描画領域に重ねて描画を行うことが行われる。この場合に、ネイルプリントの仕上がり品質を良くするためには、前回描画した領域をできるだけ正確に検出して描画位置が相互にずれないようにすることが好ましい。
このため、爪に光を当てて撮影を行い、取得された撮影画像に基づいて描画済み領域（既描画領域）を検出することが行われている。 When drawing on the nail, for example, after applying a base, a pattern or the like is drawn on the base area, and the drawing is performed in plural times so as to overlap the drawing area. In this case, in order to improve the finish quality of the nail print, it is preferable to detect the previously drawn area as accurately as possible so that the drawing positions do not shift from each other.
For this reason, it is performed that light is applied to the nail to perform image capturing, and a drawn region (already-drawn region) is detected based on the acquired captured image.

特表２００３−５３４０８３号公報Special table 2003-534083 gazette

しかしながら、例えば下地等は白色又はそれに近い色で描画されるところ、描画された色が白色又はこれに近い色であるような場合には、撮影画像を取得するために爪に照射した光が爪の表面で反射した場合に、その反射光により高輝度となっている部分と描画済み領域（既描画領域）との区別が付きにくく、描画済み領域（既描画領域）を正確に検出することができない場合がある。
また、描画済み領域（既描画領域）であっても光の照射によって部分的に影ができた場合には、他の描画済み領域（既描画領域）と異なる色の部分と認識されてしまい、正しく描画済み領域（既描画領域）と判断されない場合もある。
反射や影等が生じないような照明を設計することも考えられるが、爪の形状は人により、また各指ごとに様々であるため、どのような爪であっても反射や影が生じないようにすることは困難である。 However, for example, when the background is drawn in white or a color close to white, and when the drawn color is white or a color close to this, the light applied to the nail to acquire the captured image is the nail. When reflected on the surface of the, it is difficult to distinguish between the high-intensity part and the drawn area (drawn area) due to the reflected light, and it is possible to accurately detect the drawn area (drawn area). Sometimes you can't.
In addition, even if it is a drawn area (already drawn area), if a shadow is partially formed by the irradiation of light, it is recognized as a part of a color different from other drawn areas (already drawn area), In some cases, it may not be correctly determined that the area has already been drawn (drawn area).
It is possible to design lighting that does not cause reflections or shadows, but since the shape of the nail varies from person to person and from finger to finger, no reflection or shadow will occur on any nail. It is difficult to do so.

本発明は以上のような事情に鑑みてなされたものであり、既描画領域を過不足なく正確に検出することのできる描画装置及び描画装置の描画方法を提供することを目的とするものである。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a drawing apparatus and a drawing method of the drawing apparatus that can accurately detect an already drawn area without excess or deficiency. ..

前記課題を解決するために、本発明の描画装置は、
描画対象に描画を施す描画部と、
前記描画対象を照明する少なくとも一つの光源と、
前記描画部により第１の画像の描画が施された後の前記描画対象を、前記光源により前記描画対象を照明する方向を互いに異なる方向に変えて複数回撮影する撮影部と、
前記撮影部の複数回の撮影によって取得された複数の描画対象画像を合成して合成画像を生成し、当該合成画像に基づいて前記描画対象における前記第１の画像の描画が施されている既描画領域を検出する既描画領域検出部と、
を備え、
前記複数の描画対象画像は、少なくとも１つの、前記描画対象における前記第１の画像の描画が施された領域に影ができないように前記描画対象を照明する方向が設定されている前記複数の光源における第１の光源を使用した状態で撮影された第１の描画対象画像を含むことを特徴としている。 In order to solve the above problems, the drawing apparatus of the present invention is
A drawing unit that draws on the drawing target,
At least one light source for illuminating the drawing target;
An imaging unit that captures the drawing target after the drawing of the first image by the drawing unit multiple times by changing the directions in which the light source illuminates the drawing target to different directions.
A plurality of drawing target images acquired by a plurality of times of photographing by the photographing unit are combined to generate a combined image, and the first image in the drawing target is drawn based on the combined image. An already-drawn area detection unit that detects a drawing area,
Equipped with
The plurality of light source images are set such that at least one of the plurality of light source regions has a direction in which the light source is illuminated so that a shadow cannot be formed in a region of the image subject to which the first image is drawn. The first drawing target image photographed using the first light source is included.

本発明によれば、既描画領域を過不足なく正確に検出することができる。 According to the present invention, it is possible to accurately detect an already drawn area without excess or deficiency.

（ａ）は、本実施形態における描画装置の正面図であり、（ｂ）は、（ａ）に示された描画装置の内部構成を示す側面図である。(A) is a front view of the drawing apparatus in this embodiment, and (b) is a side view showing an internal configuration of the drawing apparatus shown in (a). 本実施形態に係る描画装置の制御構成を示した要部ブロック図である。It is a principal part block diagram which showed the control structure of the drawing apparatus which concerns on this embodiment. 既描画領域を検出する手順を示す説明図である。It is explanatory drawing which shows the procedure which detects the already-drawn area. 本実施形態における描画装置の描画処理を示すフローチャートである。It is a flow chart which shows the drawing processing of the drawing device in this embodiment.

図１（ａ）及び図１（ｂ）から図４を参照しつつ、本発明に係るネイルプリント装置（描画装置）及びネイルプリント装置（描画装置）における描画方法の一実施形態について説明する。
なお、以下に述べる実施形態には、本発明を実施するために技術的に好ましい種々の限定が付されているが、本発明の範囲を以下の実施形態及び図示例に限定するものではない。
また、以下の実施形態では、ネイルプリント装置１は手の指の爪を描画対象として、これに描画するものとして説明するが、本発明の描画対象は手の指の爪に限るものではなく、例えば足の指の爪を描画対象としてもよい。 An embodiment of a nail printing apparatus (drawing apparatus) and a drawing method in the nail printing apparatus (drawing apparatus) according to the present invention will be described with reference to FIGS. 1A and 1B to 4.
It should be noted that various technically preferable limitations for carrying out the present invention are given to the embodiments described below, but the scope of the present invention is not limited to the following embodiments and illustrated examples.
Further, in the following embodiments, the nail print apparatus 1 will be described as a drawing target of the fingernail of the hand, but the drawing target of the present invention is not limited to the fingernail of the hand. For example, the nail of the toe may be the drawing target.

図１（ａ）は、ネイルプリント装置の内部構成を示す正面図であり、図１（ｂ）は、図１（ａ）に示されたネイルプリント装置の内部構成を示す側面図である。
図１（ａ）及び図１（ｂ）に示すように、本実施形態におけるネイルプリント装置１は、描画ヘッド４３が描画用具であるペン４１とインクジェットヘッド７１とを備え、プロッタ方式とインクジェット方式とを併用しての爪Ｔに描画を施す描画装置である。
このネイルプリント装置１は、ケース本体（筐体）２と、このケース本体２に収容される装置本体１０とを備えている。ケース本体２は、外光がケース本体２内に進入しないように外光から遮光する構造になっている。 FIG. 1A is a front view showing the internal configuration of the nail printing apparatus, and FIG. 1B is a side view showing the internal configuration of the nail printing apparatus shown in FIG. 1A.
As shown in FIGS. 1A and 1B, the nail print apparatus 1 according to the present embodiment includes a drawing head 43 including a pen 41 which is a drawing tool and an inkjet head 71, and includes a plotter method and an inkjet method. Is a drawing device that draws on the nail T in combination with.
The nail print apparatus 1 includes a case body (housing) 2 and a device body 10 housed in the case body 2. The case body 2 has a structure that shields outside light from outside light so that the outside light does not enter the case body 2.

図１（ｂ）に示すように、ケース本体２には、その上面から上部前面にかけて、後述する描画部４０のペン４１及びインクジェットヘッド７１を交換するために開閉可能に構成された蓋部２３が設けられている。蓋部２３は、例えばヒンジ等を介して、図１（ｂ）に示すように閉状態から開状態まで回動自在となっている。 As shown in FIG. 1( b ), the case body 2 has a lid portion 23 configured to be openable and closable in order to replace a pen 41 and an inkjet head 71 of a drawing portion 40, which will be described later, from the upper surface to the upper front surface. It is provided. The lid portion 23 is rotatable, for example, via a hinge or the like from a closed state to an open state as shown in FIG.

ケース本体２の上面（天板）には操作部２５（図２参照）が設置されている。
操作部２５は、ユーザが各種入力を行う入力部である。
操作部２５には、例えば、ネイルプリント装置１の電源をＯＮする電源スイッチ釦、動作を停止させる停止スイッチ釦、爪Ｔに描画するデザイン画像を選択するデザイン選択釦、描画開始を指示する描画開始釦等、各種の入力を行うための図示しない操作釦が配置されている。 An operation unit 25 (see FIG. 2) is installed on the upper surface (top plate) of the case body 2.
The operation unit 25 is an input unit through which the user makes various inputs.
The operation unit 25 includes, for example, a power switch button for turning on the power of the nail printing apparatus 1, a stop switch button for stopping the operation, a design selection button for selecting a design image to be drawn on the nail T, and a drawing start for instructing drawing start. Operation buttons (not shown) for performing various inputs such as buttons are arranged.

また、ケース本体２の上面（天板）のほぼ中央部には表示部２６が設置されている。
表示部２６は、例えば液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、有機エレクトロルミネッセンスディスプレイその他のフラットディスプレイ等で構成されている。
本実施形態において、この表示部２６には、例えば、印刷指Ｕ１を撮影して得た爪画像（爪Ｔの画像を含む指画像）、この爪画像中に含まれる爪Ｔの輪郭線等の画像、爪Ｔに描画すべきデザイン画像を選択するためのデザイン選択画面、デザイン確認用のサムネイル画像、各種の指示を表示させる指示画面等が適宜表示される。
なお、表示部２６の表面に各種の入力を行うためのタッチパネルが一体的に構成されていてもよい。 In addition, a display unit 26 is installed substantially in the center of the upper surface (top plate) of the case body 2.
The display unit 26 is configured by, for example, a liquid crystal display (LCD: Liquid Crystal Display), an organic electroluminescence display, or another flat display.
In the present embodiment, the display unit 26 displays, for example, a nail image (a finger image including an image of the nail T) obtained by photographing the print finger U1, a contour line of the nail T included in the nail image, and the like. An image, a design selection screen for selecting a design image to be drawn on the nail T, a thumbnail image for design confirmation, an instruction screen for displaying various instructions, and the like are appropriately displayed.
A touch panel for performing various inputs may be integrally formed on the surface of the display unit 26.

装置本体１０は、ほぼ箱状に形成され、ケース本体２の内部下方に設置された下部機枠１１と、この下部機枠１１の上方で且つケース本体２の内部上方に設置されている上部機枠１２とを備えている。 The device main body 10 is formed in a substantially box shape, and a lower machine casing 11 installed below the inside of the case body 2 and an upper machine installed above the lower machine casing 11 and above the inside of the case body 2. And a frame 12.

まず、下部機枠１１について説明する。
下部機枠１１は、背面板１１１、底板１１２、左右一対の側板１１３ａ，１１３ｂ、Ｘ方向移動ステージ収容部１１４、Ｙ方向移動ステージ収容部１１５及び隔壁１１６を有する。
側板１１３ａ，１１３ｂの下端部は、底板１１２の左右両端部にそれぞれ連結され、側板１１３ａ，１１３ｂが底板１１２に対して立てられた状態に設けられている。
背面板１１１の下部は、前方（指挿入方向手前側）に向かって２段に窪むように形成されている。背面板１１１の下端部は底板１１２の前端部に連結されており、背面板１１１は、底板１１２と側板１１３ａ，１１３ｂによって囲われた領域を前後に区切っている。
この窪んだ背面板１１１の後ろ側に形成される空間がＸ方向移動ステージ収容部１１４、Ｙ方向移動ステージ収容部１１５（図１（ｂ）参照）となっている。Ｘ方向移動ステージ収容部１１４内には、描画部４０が前方（指挿入方向手前側）に移動した際に描画部４０のＸ方向移動ステージ４５が収容される。また、Ｙ方向移動ステージ収容部１１５内には、描画部４０のＹ方向移動ステージ４７が配置されている。
また、隔壁１１６は、下部機枠１１の内部前方側の空間（背面板１１１、底板１１２及び側板１１３ａ，１１３ｂによって囲われた指挿入方向手前側の空間）を上下に区切るように下部機枠１１の内側に設けられている。隔壁１１６はほぼ水平に設けられ、隔壁１１６の左右両端部が側板１１３ａ，１１３ｂにそれぞれ連結され、隔壁１１６の後端部が背面板１１１に連結されている。 First, the lower machine casing 11 will be described.
The lower machine casing 11 includes a back plate 111, a bottom plate 112, a pair of left and right side plates 113a and 113b, an X-direction moving stage housing 114, a Y-direction moving stage housing 115, and a partition 116.
The lower ends of the side plates 113a and 113b are respectively connected to the left and right ends of the bottom plate 112, and the side plates 113a and 113b are provided upright with respect to the bottom plate 112.
The lower part of the back plate 111 is formed so as to be recessed in two steps toward the front (front side in the finger insertion direction). The lower end of the back plate 111 is connected to the front end of the bottom plate 112, and the back plate 111 divides a region surrounded by the bottom plate 112 and the side plates 113a and 113b into front and rear.
Spaces formed on the rear side of the recessed back plate 111 are the X-direction moving stage housing portion 114 and the Y-direction moving stage housing portion 115 (see FIG. 1B). The X-direction moving stage 45 of the drawing unit 40 is housed in the X-direction moving stage housing unit 114 when the drawing unit 40 moves forward (toward the finger insertion direction). The Y-direction moving stage 47 of the drawing unit 40 is arranged in the Y-direction moving stage housing 115.
Further, the partition wall 116 vertically divides a space on the front side inside the lower machine casing 11 (a space on the front side surrounded by the back plate 111, the bottom plate 112, and the side plates 113a and 113b in the finger insertion direction) into upper and lower parts. It is provided inside. The partition 116 is provided substantially horizontally, the left and right ends of the partition 116 are connected to the side plates 113a and 113b, respectively, and the rear end of the partition 116 is connected to the back plate 111.

この下部機枠１１には、指固定部３０（図１（ｂ）参照）が一体的に設けられている。
指固定部３０は、描画を施す爪Ｔ（すなわち描画対象）に対応する指（以下、これを「印刷指Ｕ１」という。）を受け入れる指受入部３１と、この印刷指Ｕ１以外の指（以下、これを「非印刷指Ｕ２」という。）を退避させる指退避部３２と、から構成されている。
指受入部３１は、隔壁１１６の上側であって、例えば、下部機枠１１の幅方向の中央より少し右に配置されている。また、隔壁１１６によって下部機枠１１の下側に区分けられた空間が指退避部３２を構成している。
例えば、薬指の爪Ｔに描画を施す場合には、指受入部３１に印刷指Ｕ１としての薬指を挿入し、非印刷指Ｕ２であるその他の４指（親指、人差し指、中指、小指）を指退避部３２に挿入する。
指受入部３１は、下部機枠１１の前面側（印刷指挿入方向の手前側）に開口しており、下側が隔壁１１６の一部を構成する指載置部となっている。指載置部は、描画を施す爪Ｔの指（印刷指Ｕ１）をＸＹ平面上に載置するものである。
また、指受入部３１の上側は、開口しており、指受入部３１に挿入された印刷指Ｕ１の爪Ｔの表面（すなわち、描画対象面）が露出するようになっている。 A finger fixing portion 30 (see FIG. 1B) is integrally provided on the lower machine casing 11.
The finger fixing unit 30 includes a finger receiving unit 31 that receives a finger (hereinafter, referred to as “printing finger U1”) corresponding to a nail T (that is, a drawing target) to be drawn, and a finger other than the printing finger U1 (hereinafter, referred to as “printing finger U1”). , Which is referred to as “non-printing finger U2”).
The finger receiving section 31 is arranged on the upper side of the partition wall 116, for example, slightly to the right of the center of the lower machine casing 11 in the width direction. In addition, the space divided into the lower side of the lower machine casing 11 by the partition 116 constitutes the finger retreat portion 32.
For example, when drawing on the nail T of the ring finger, the ring finger as the printing finger U1 is inserted into the finger receiving portion 31, and the other four fingers (thumb, index finger, middle finger, little finger) which are the non-printing fingers U2 are fingered. It is inserted into the retreat section 32.
The finger receiving portion 31 is opened on the front surface side (the front side in the printing finger insertion direction) of the lower machine casing 11, and the lower side is a finger placing portion that forms a part of the partition wall 116. The finger placement section is for placing the finger of the nail T (printing finger U1) to be drawn on the XY plane.
The upper side of the finger receiving section 31 is open so that the surface of the nail T of the printing finger U1 inserted in the finger receiving section 31 (that is, the drawing target surface) is exposed.

また、隔壁１１６の上面であって下部機枠１１の前面側の両側部には、下部機枠１１の前面側を塞ぐ前壁３１ｆ（図１（ａ）参照）が立設されている。また、隔壁１１６の上面には、この前壁３１ｆの中央部寄りの端部から前記指受入部３１に向けて狭窄し、印刷指Ｕ１を指受入部３１内に案内する一対のガイド壁３１ｇ（図１（ａ）参照）が立設されている。
ユーザは指受入部３１に挿入した印刷指Ｕ１と指退避部３２に挿入した非印刷指Ｕ２との間に隔壁１１６を挟むことができる。そのため、指受入部３１内に挿入された印刷指Ｕ１が安定して固定される。 A front wall 31f (see FIG. 1A) that closes the front surface side of the lower machine casing 11 is erected on both sides of the upper surface of the partition wall 116 on the front surface side of the lower machine casing 11. Further, on the upper surface of the partition wall 116, a pair of guide walls 31g (narrowed from the end portion near the center of the front wall 31f toward the finger receiving portion 31 to guide the print finger U1 into the finger receiving portion 31 ( FIG. 1A) is erected.
The user can sandwich the partition wall 116 between the printing finger U1 inserted in the finger receiving section 31 and the non-printing finger U2 inserted in the finger retracting section 32. Therefore, the printing finger U1 inserted in the finger receiving portion 31 is stably fixed.

下部機枠１１の上面であって、指受入部３１の側方（ケース本体２の媒体挿出口２４に対応する位置であり、本実施形態では、図１（ａ）及び図２において左側）には、後述する描画ヘッド４３による描画可能範囲内に、後述するペン４１のペン先（先端部）４１３の書き出し時のかすれ等を無くすための慣らし書きを行う慣書部６１が設けられている。
慣書部６１は、平板状の部分であり、前述のケース本体２の媒体挿出口２４から挿入された図示しない描画媒体が載置されるようになっている。
慣書部６１に載置される描画媒体は、ペン先（先端部）４１３の慣らし書きを行うことができるものであればよく、例えば紙片である。 On the upper surface of the lower machine casing 11, to the side of the finger receiving portion 31 (at a position corresponding to the medium insertion port 24 of the case body 2, and in the present embodiment, on the left side in FIGS. 1A and 2). In the drawing possible range by the drawing head 43, which will be described later, a customary writing section 61 is provided for performing a break-in for eliminating a blur or the like when writing a pen tip (tip portion) 413 of the pen 41 described later.
The customary portion 61 is a flat plate-shaped portion on which a drawing medium (not shown) inserted from the medium insertion port 24 of the case body 2 is placed.
The drawing medium placed on the customary writing section 61 may be any one that allows the pen tip (tip portion) 413 to be written in, for example, a piece of paper.

なお、図示は省略するが、下部機枠１１の上面には、後述する描画ヘッド４３の移動可能範囲内に、非描画時にペン４１を待機させておくペン待機部や、後述するインクジェットヘッド７１を待機させておくインクジェット保守部等が設けられている。
ペン待機部には、例えばペン先４１３の乾燥を防ぐキャップ部等が設けられている。
また、インクジェット保守部には、インクジェットヘッド７１インク吐出部（ノズル面）をクリーニングする機構や、インク吐出部（ノズル面）の保湿状態を保つためのキャップ部等が設けられている。 Although illustration is omitted, on the upper surface of the lower machine casing 11, a pen standby unit for keeping the pen 41 on standby at the time of non-drawing and an inkjet head 71 to be described later are provided within a movable range of a drawing head 43 to be described later. An inkjet maintenance unit and the like that are kept on standby are provided.
The pen standby unit is provided with, for example, a cap unit that prevents the pen tip 413 from drying.
Further, the inkjet maintenance section is provided with a mechanism for cleaning the inkjet head 71 ink ejection section (nozzle surface), a cap section for maintaining a moisturizing state of the ink ejection section (nozzle surface), and the like.

描画部４０は、描画ヘッド４３、描画ヘッド４３を支持するユニット支持部材４４、描画ヘッド４３をＸ方向（図１（ａ）におけるＸ方向、描画装置１の左右方向）に移動させるためのＸ方向移動ステージ４５、Ｘ方向移動モータ４６、描画ヘッド４３をＹ方向（図１（ｂ）におけるＹ方向、描画装置１の前後方向）に移動させるためのＹ方向移動ステージ４７、Ｙ方向移動モータ４８等を備えて構成されている。 The drawing unit 40 has an X direction for moving the drawing head 43, a unit support member 44 that supports the drawing head 43, and the drawing head 43 in the X direction (the X direction in FIG. 1A, the horizontal direction of the drawing apparatus 1). The moving stage 45, the X direction moving motor 46, the Y direction moving stage 47 for moving the drawing head 43 in the Y direction (the Y direction in FIG. 1B, the front-back direction of the drawing apparatus 1), the Y direction moving motor 48, etc. Is configured.

図１（ａ）及び図１（ｂ）に示すように、本実施形態の描画ヘッド４３には、ペンを着脱可能に保持するペン保持部４２とインクジェットヘッド７１を保持するインクジェットホルダ７２とが隣り合って配置されている。
インクジェットヘッド７１は、例えば、イエロー（Ｙ；YELLOW）、マゼンタ（Ｍ；MAGENTA）、シアン（Ｃ；CYAN）のインクに対応する図示しないインクカートリッジと各インクカートリッジにおける描画対象（爪Ｔ）に対向する面（本実施形態では、図１（ａ）等における下面）に設けられた図示しないインク吐出部とが一体に形成されたインクカートリッジ一体型のヘッドである。インク吐出部は、それぞれの色のインクを噴射する複数のノズルからなるノズルアレイを備えており、インクジェットヘッド７１は、インクを微滴化し、インク吐出部から描画対象（爪Ｔ）の被描画面に対して直接にインクを吹き付けて描画を行う。なお、インクジェットヘッド７１は、上記３色のインクを吐出させるものに限定されない。その他のインクを貯留するインクカートリッジ及びインク吐出部を備えていてもよい。 As shown in FIGS. 1A and 1B, the drawing head 43 of the present embodiment is adjacent to a pen holder 42 that detachably holds a pen and an inkjet holder 72 that holds an inkjet head 71. It is arranged to fit.
The inkjet head 71 faces, for example, an ink cartridge (not shown) corresponding to yellow (Y; YELLOW), magenta (M; MAGENTA), and cyan (C; CYAN) inks and a drawing target (nail T) in each ink cartridge. The head is an ink cartridge integrated type head integrally formed with an unillustrated ink ejection portion provided on the surface (the lower surface in FIG. 1A and the like in the present embodiment). The ink ejecting unit includes a nozzle array including a plurality of nozzles that eject the inks of the respective colors, and the inkjet head 71 makes the ink droplets, and the ink ejecting unit ejects the drawing surface (nail T) of the drawing target surface. Drawing is performed by directly spraying ink on. The inkjet head 71 is not limited to the one that ejects the above three colors of ink. It may be provided with an ink cartridge for storing other ink and an ink ejection unit.

ペン保持部４２は、少なくとも１本のペン４１が装着可能に保持するものであり、本実施形態では、１本のペン４１を保持するペン保持部４２が描画ヘッド４３に１つ設けられている。
ペン４１は、爪Ｔの表面を描画対象面とし、先端部が描画対象面である爪Ｔの表面に接触して爪Ｔに描画を施す描画用具である。
図１（ａ）等に示すように、ペン４１は、中空円筒状のペンホルダ４１０内に挿通された棒状のペン軸部４１１の先端側（図１（ａ）において下側）にペン先４１３が設けられたものである。
ペン軸部４１１の内部は、各種インクを収容するインク収容部となっている。
ペン軸部４１１の内部に収容されるインクとしては、各種のインクが適用可能である。インクの粘度や色材の粒径（粒子の大きさ）等は特に限定されず、例えば、金銀のラメ入りのインクや白色のインク、ＵＶ硬化型のインクやジェルネイル、アンダーコート用インク、トップコート用インクやマニキュア液等も用いることができる。
本実施形態では、ペン４１が、ペン軸部４１１内に下地塗布用の白色のインクが収容された下地用のペンである場合を例として説明する。 The pen holding unit 42 holds at least one pen 41 so that it can be attached. In the present embodiment, one pen holding unit 42 that holds one pen 41 is provided in the drawing head 43. ..
The pen 41 is a drawing tool that uses the surface of the nail T as a drawing target surface and contacts the surface of the nail T, which is the drawing target surface, with its tip end to draw on the nail T.
As shown in FIG. 1A and the like, the pen 41 has a pen tip 413 on the tip side (lower side in FIG. 1A) of a rod-shaped pen shaft portion 411 inserted in a hollow cylindrical pen holder 410. It is provided.
The inside of the pen shaft portion 411 is an ink storage portion that stores various inks.
Various inks can be applied as the ink contained in the pen shaft portion 411. The viscosity of the ink and the particle size (particle size) of the coloring material are not particularly limited, and examples thereof include gold and silver lame-containing ink, white ink, UV curable ink and gel nail, undercoat ink, and topcoat. A coating ink, a nail polish, or the like can also be used.
In the present embodiment, a case will be described as an example where the pen 41 is a base pen in which white ink for base coating is contained in the pen shaft portion 411.

本実施形態において、ペン４１は、例えばペン先４１３を爪Ｔの表面に押し当てることでペン軸部４１１内に収容されているインクが染み出して描画する、ペン先４１３がボールペンタイプとなったペンである。
なお、ペン４１は、ボールペンタイプのものに限定されない。例えばフェルト状のペン先にインクを染み込ませて描画するサインペンタイプや、束ねた毛にインクを染み込ませて描画する筆ペンタイプのもの等であってもよい。また、ペン先４１３の太さも各種のものを用意することができる。 In the present embodiment, the pen 41 is a ball-point pen type in which the ink contained in the pen shaft portion 411 exudes and draws when the pen tip 413 is pressed against the surface of the nail T, for example. It's a pen.
The pen 41 is not limited to the ball-point pen type. For example, a felt-tip pen tip that draws ink by soaking it in a felt-like pen tip, or a brush pen type that draws ink by soaking bunched hair in ink may be used. Also, various thicknesses of the pen tip 413 can be prepared.

ペン保持部４２は、図示しない係止部により１つのペン４１を保持・固定して描画ヘッド４３とともに移動させるための部材である。本実施形態において、このペン保持部４２は、描画ヘッド４３の側部に支持されている。
また、ペン保持部４２は、描画ヘッド４３に搭載されたペン上下用モータ４２６（図２参照）の駆動によって上下方向に移動可能に構成されている。 The pen holding portion 42 is a member for holding and fixing one pen 41 by a not-shown locking portion and moving it together with the drawing head 43. In this embodiment, the pen holder 42 is supported on the side of the drawing head 43.
The pen holding unit 42 is configured to be movable in the vertical direction by driving a pen up/down motor 426 (see FIG. 2) mounted on the drawing head 43.

また、ユニット支持部材４４は、Ｘ方向移動ステージ４５に取り付けられたＸ方向移動部４５１に固定されている。Ｘ方向移動部４５１は、Ｘ方向移動モータ４６の駆動によりＸ方向移動ステージ４５上を図示しないガイドに沿ってＸ方向に移動するようになっており、これにより、ユニット支持部材４４に取り付けられている描画ヘッド４３が、Ｘ方向（図１（ａ）におけるＸ方向、ネイルプリント装置１の左右方向）に移動するようになっている。
また、Ｘ方向移動ステージ４５は、Ｙ方向移動ステージ４７のＹ方向移動部４７１に固定されている。Ｙ方向移動部４７１は、Ｙ方向移動モータ４８の駆動によりＹ方向移動ステージ４７上を図示しないガイドに沿ってＹ方向に移動するようになっており、これにより、ユニット支持部材４４に取り付けられている描画ヘッド４３が、Ｙ方向（図１（ｂ）におけるＹ方向、ネイルプリント装置１の前後方向）に移動するようになっている。
なお、本実施形態において、Ｘ方向移動ステージ４５及びＹ方向移動ステージ４７は、Ｘ方向移動モータ４６、Ｙ方向移動モータ４８と、図示しないボールネジ及びガイドとを組み合わせることで構成されている。
本実施形態では、Ｘ方向移動モータ４６及びＹ方向移動モータ４８等により、ペン４１を備える描画ヘッド４３をＸ方向及びＹ方向に駆動するＸＹ駆動部としてのヘッド移動部４９が構成されている。 The unit support member 44 is fixed to the X-direction moving portion 451 attached to the X-direction moving stage 45. The X-direction moving unit 451 is configured to move on the X-direction moving stage 45 in the X-direction along a guide (not shown) by driving the X-direction moving motor 46, and thus is attached to the unit support member 44. The drawing head 43 is moved in the X direction (the X direction in FIG. 1A, the left and right direction of the nail printing apparatus 1).
The X-direction moving stage 45 is fixed to the Y-direction moving portion 471 of the Y-direction moving stage 47. The Y-direction moving unit 471 is configured to move on the Y-direction moving stage 47 in the Y-direction along a guide (not shown) by the driving of the Y-direction moving motor 48, and thus is attached to the unit support member 44. The drawing head 43 is moved in the Y direction (the Y direction in FIG. 1B, the front-back direction of the nail printing apparatus 1).
In the present embodiment, the X-direction moving stage 45 and the Y-direction moving stage 47 are configured by combining the X-direction moving motor 46 and the Y-direction moving motor 48 with a ball screw and a guide (not shown).
In this embodiment, the X-direction movement motor 46, the Y-direction movement motor 48, and the like constitute a head movement unit 49 as an XY drive unit that drives the drawing head 43 including the pen 41 in the X and Y directions.

描画部４０におけるペン上下用モータ４２６、インクジェットヘッド７１、Ｘ方向移動モータ４６、Ｙ方向移動モータ４８は、後述する制御装置８０の描画制御部８１４（図２参照）に接続され、該描画制御部８１４によって制御されるようになっている。 The pen up/down motor 426, the inkjet head 71, the X-direction movement motor 46, and the Y-direction movement motor 48 in the drawing unit 40 are connected to a drawing control unit 814 (see FIG. 2) of the control device 80 described later, and the drawing control unit It is controlled by 814.

また、撮影部５０は、撮像装置５１と、照明装置５２，５５とを備えている。
この撮影部５０は、指受入部３１内に挿入されて上部の開口から見える印刷指Ｕ１の爪Ｔを照明装置５２や照明装置５５によって照明する。そして、撮像装置５１によってその印刷指Ｕ１を撮影し、印刷指Ｕ１の爪Ｔの撮影画像である爪画像（爪画像を含む指の画像）を取得するものである。本実施形態では、撮像装置５１は、爪Ｔに対する光の照射角度の異なる爪画像を複数取得するようになっている。
本実施形態では、撮像装置５１及び照明装置５２は、描画部４０の描画ヘッド４３の側方（図１（ａ）において描画ヘッド４３の右側）に固定配置されている。
すなわち、図１（ａ）及び図１（ｂ）に示すように、描画部４０の描画ヘッド４３は、上面の一端側（図１（ａ）において右側）に、側方に張り出す張出部４０１を有しており、この張出部４０１に基板５３が取り付けられている。撮影部５０を構成する撮像装置５１及び照明装置５２は、この基板５３の下面に、隔壁１１６に対向するように設けられている。
なお、基板５３の大きさや基板５３に取り付けられている撮像装置５１及び照明装置５２の位置は特に限定されない。 The image capturing unit 50 also includes an image capturing device 51 and illumination devices 52 and 55.
The photographing unit 50 illuminates the nail T of the printing finger U1 that is inserted into the finger receiving unit 31 and can be seen from the upper opening by the lighting device 52 and the lighting device 55. Then, the printing finger U1 is photographed by the imaging device 51, and a nail image (a finger image including the nail image) that is a photographed image of the nail T of the printing finger U1 is acquired. In the present embodiment, the imaging device 51 is configured to acquire a plurality of nail images with different light irradiation angles on the nail T.
In the present embodiment, the imaging device 51 and the illumination device 52 are fixedly arranged on the side of the drawing head 43 of the drawing unit 40 (on the right side of the drawing head 43 in FIG. 1A).
That is, as shown in FIGS. 1A and 1B, the drawing head 43 of the drawing unit 40 has an overhanging portion that projects laterally on one end side of the upper surface (right side in FIG. 1A). The substrate 53 is attached to the projecting portion 401. The imaging device 51 and the illumination device 52 that form the imaging unit 50 are provided on the lower surface of the substrate 53 so as to face the partition wall 116.
The size of the board 53 and the positions of the imaging device 51 and the illumination device 52 attached to the board 53 are not particularly limited.

撮像装置５１は、例えば、２００万画素程度以上の画素を有する固体撮像素子とレンズ等を備えて構成された小型カメラである。
本実施形態では、撮像装置５１によって取得された撮影画像（爪画像）に基づいて、後述する既描画領域検出部８１５（図２参照）がペン４１による描画が施された描画済み領域Ｆａの描画状況を判定する。
また、爪形状検出部８１２は、撮影画像（爪画像）に基づいてｘｙ平面上における爪Ｔの位置や、爪Ｔの垂直位置等、その他の爪情報を検出する。
なお、撮像装置５１は、印刷指Ｕ１の爪Ｔの湾曲形状等を検出するために、ヘッド移動部４９による移動によって、異なる位置・角度から爪Ｔを撮影して複数枚の撮影画像（爪画像）を取得することが好ましい。
撮像装置５１により複数枚の撮影画像（爪画像）が取得された場合には、これらの撮影画像（爪画像）に基づいて、爪形状検出部８１２（図３参照）が爪Ｔの湾曲形状を検出することができる。 The image pickup device 51 is, for example, a small camera including a solid-state image pickup device having pixels of about 2 million pixels or more, a lens, and the like.
In the present embodiment, based on the captured image (nail image) acquired by the imaging device 51, the already-drawn area detection unit 815 (see FIG. 2) described later draws the drawn area Fa drawn by the pen 41. Determine the situation.
Further, the nail shape detection unit 812 detects other nail information such as the position of the nail T on the xy plane and the vertical position of the nail T based on the captured image (nail image).
The imaging device 51 detects a curved shape of the nail T of the print finger U1 and the like, by moving the head moving unit 49, images the nail T from different positions and angles, and captures a plurality of captured images (nail images). ) Is preferably obtained.
When a plurality of captured images (nail images) are acquired by the imaging device 51, the nail shape detection unit 812 (see FIG. 3) determines the curved shape of the nail T based on these captured images (nail images). Can be detected.

照明装置５２は、例えば白色ＬＥＤ等の光源である。
照明装置５２は、下方に向けられていて、下方に向けて光を照射して、少なくとも撮像装置５１の下方の撮影範囲を照明する。撮像装置５１に対する照明装置５２の位置は一定となっている。なお、照明装置５２を設ける数や、その配置等は図示例に限定されない。 The lighting device 52 is a light source such as a white LED.
The illumination device 52 is directed downward and emits light downward to illuminate at least the imaging range below the imaging device 51. The position of the illumination device 52 with respect to the imaging device 51 is constant. Note that the number of the lighting devices 52 to be provided, the arrangement thereof, and the like are not limited to the illustrated example.

また、本実施形態では、これらこの照明装置５２とは別に、指受入部３１の上部であって、開口部から露出する爪Ｔに対して斜め上方向から光を照射可能な位置に照明装置５５が配置されている。
照明装置５５は、照明装置５２と同様に白色ＬＥＤ等で構成される光源である。
照明装置５５は、図１（ｂ）に二点鎖線の矢印で示すように、爪Ｔに対して爪Ｔの根元側の斜め上方向となっていて、爪Ｔに対して、爪Ｔの根元側の斜め上方向から光を照射するようになっており、照明装置５２とは爪Ｔを照明する向きが異なる方向から爪Ｔに光を照射することができる。 なお、上記においては、照明装置５２と照明装置５５とによる複数の光源を有して、照明装置５２と照明装置５５とを使い分ける（切り換える）ことにより爪Ｔを照明する方向を変える構成としたが、本発明はこの構成に限るものではない。例えば、一つの光源のみを有し、この光源の位置を変える機構を備えて、この機構により光源の位置を変えることにより爪Ｔを照明する方向を変えるようにしてもよい。 Further, in the present embodiment, in addition to these illumination devices 52, the illumination device 55 is located above the finger receiving portion 31 at a position where light can be emitted obliquely from above the nail T exposed from the opening. Are arranged.
The illumination device 55 is a light source configured by a white LED or the like like the illumination device 52.
The illuminating device 55 is, as shown by the two-dot chain line arrow in FIG. 1B, diagonally upward on the base side of the nail T with respect to the nail T, and the base of the nail T with respect to the nail T. The light is emitted obliquely from the upper side, and the nail T can be irradiated with light from a direction in which the nail T is illuminated in a direction different from that of the lighting device 52. In the above description, the illumination device 52 and the illumination device 55 are provided as a plurality of light sources, and the illumination direction of the nail T is changed by selectively using (switching) the illumination device 52 and the illumination device 55. The present invention is not limited to this configuration. For example, only one light source may be provided, and a mechanism for changing the position of the light source may be provided, and the direction of illuminating the nail T may be changed by changing the position of the light source by this mechanism.

この撮影部５０は、後述する制御装置８０の撮影制御部８１１（図２参照）に接続され、該撮影制御部８１１によって制御されるようになっている。
なお、撮影部５０によって撮影された画像の画像データは、後述する記憶部８２の爪画像記憶領域８２１に記憶される。 The photographing unit 50 is connected to a photographing control unit 811 (see FIG. 2) of the control device 80 described later and is controlled by the photographing control unit 811.
The image data of the image captured by the image capturing unit 50 is stored in the nail image storage area 821 of the storage unit 82 described later.

制御装置８０は、例えば上部機枠１２に配置された基板１３等に設置されている。
図２は、本実施形態における制御構成を示す要部ブロック図である。
制御装置８０は、図２に示すように、図示しないＣＰＵ（Central Processing Unit）により構成される制御部８１と、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等（いずれも図示せず）で構成される記憶部８２とを備えるコンピュータである。 The control device 80 is installed on, for example, the substrate 13 arranged in the upper machine casing 12.
FIG. 2 is a principal block diagram showing the control configuration in this embodiment.
As shown in FIG. 2, the control device 80 includes a control unit 81 including a CPU (Central Processing Unit) (not shown), a ROM (Read Only Memory), a RAM (Random Access Memory), etc. (none of which are shown). And a storage unit 82 configured by.

記憶部８２には、ネイルプリント装置１を動作させるための各種プログラムや各種データ等が格納されている。
具体的には、記憶部８２のＲＯＭには、爪画像（撮影画像）から既描画領域を検出するための既描画検出プログラム、爪画像（撮影画像）から、爪Ｔの幅方向における湾曲形状、爪の幅、爪の面積等の各種の爪情報を検出するための爪情報検出プログラム、描画データを生成するための描画データ生成プログラム、描画処理を行うための描画プログラム等の各種プログラムが格納されており、これらのプログラムが制御装置８０によって実行されることによって、ネイルプリント装置１の各部が統括制御されるようになっている。
また、本実施形態において記憶部８２には、撮影部５０によって取得されたユーザの印刷指Ｕ１の爪Ｔの爪画像（撮影画像）を記憶する爪画像記憶領域８２１、爪形状検出部８１２によって検出された爪情報（爪Ｔの形状を示す輪郭線や爪Ｔの湾曲形状等）が記憶される爪情報記憶領域８２２、及び爪Ｔに描画されるネイルデザインの画像データを記憶するネイルデザイン記憶領域８２３等が設けられている。 The storage unit 82 stores various programs for operating the nail printing apparatus 1, various data, and the like.
Specifically, in the ROM of the storage unit 82, an already drawn detection program for detecting an already drawn area from the nail image (captured image), a curved shape in the width direction of the nail T from the nail image (captured image), Various programs such as a nail information detection program for detecting various nail information such as nail width and nail area, a drawing data generation program for generating drawing data, and a drawing program for performing drawing processing are stored. When these programs are executed by the control device 80, each part of the nail print device 1 is centrally controlled.
Further, in the present embodiment, in the storage unit 82, a nail image storage area 821 that stores a nail image (captured image) of the nail T of the print finger U1 of the user acquired by the imaging unit 50, and detected by the nail shape detection unit 812. Nail information storage area 822 in which stored nail information (contour lines showing the shape of nail T, curved shape of nail T, etc.), and nail design storage area in which image data of nail design drawn on nail T is stored 823 and the like are provided.

制御部８１は、機能的に見た場合、撮影制御部８１１、爪形状検出部８１２、描画データ生成部８１３、描画制御部８１４、既描画領域検出部８１５、表示制御部８１６等を備えている。これら撮影制御部８１１、爪形状検出部８１２、描画データ生成部８１３、描画制御部８１４、既描画領域検出部８１５、表示制御部８１６等としての機能は、制御部８１のＣＰＵと記憶部８２のＲＯＭに記憶されたプログラムとの協働によって実現される。 From a functional viewpoint, the control unit 81 includes an imaging control unit 811, a nail shape detection unit 812, a drawing data generation unit 813, a drawing control unit 814, an already drawn area detection unit 815, a display control unit 816, and the like. .. The functions of the imaging control unit 811, the nail shape detection unit 812, the drawing data generation unit 813, the drawing control unit 814, the already drawn area detection unit 815, the display control unit 816, and the like are performed by the CPU of the control unit 81 and the storage unit 82. It is realized by cooperation with the program stored in the ROM.

撮影制御部８１１は、撮影部５０の撮像装置５１、照明装置５２及び照明装置５５を制御して撮像装置５１により、指受入部３１に挿入された印刷指Ｕ１の爪Ｔの画像を含む指の画像である爪画像（撮影画像）を撮影させて、撮影された爪画像（撮影画像）を取得するものである。
本実施形態では、描画部４０により１つの爪Ｔについて第１の色（例えば下地用の白色）で第１の描画動作（ペン４１による下地描画動作）を行った後、第２の色（インクジェットヘッド７１によって描画可能な各色）で第２の描画動作（インクジェットヘッド７１による絵柄等の描画）を行う場合に、撮影制御部８１１は、撮影部５０を制御して、少なくとも第２の描画動作前に、光の照射方向を変えて複数回爪Ｔを撮影させて、複数の爪画像を取得する。
そして、この撮影の際には、照明装置５２と照明装置５５とを適宜切り替えて異なる位置から爪Ｔに光を照射しながら、撮影制御部８１１が、撮像装置５１により複数回爪Ｔを撮影させて、複数枚の爪画像（撮影画像）を取得する。
なお、１つの爪Ｔについて何枚の撮影画像を取得するかは特に限定されないが、多くの撮影画像を取得した方がこれらを既描画領域検出部８１５において生成される合成画像の精度が向上するため好ましい。
また、撮影制御部８１１によって取得される画像のうち、少なくとも１枚は、爪Ｔの表面（少なくとも爪Ｔの表面のうち第１の描画動作において描画された領域）に影となっている部分（影領域）が現れない状態の画像となるように設定されている。
撮影制御部８１１により取得された爪画像の画像データは、記憶部８２の爪画像記憶領域８２１に記憶される。 The imaging control unit 811 controls the imaging device 51, the illuminating device 52, and the illuminating device 55 of the imaging unit 50, and causes the imaging device 51 to detect a finger including an image of the nail T of the print finger U1 inserted in the finger receiving unit 31. A nail image (captured image) that is an image is captured, and the captured nail image (captured image) is acquired.
In the present embodiment, the drawing unit 40 performs the first drawing operation (the background drawing operation by the pen 41) on the one nail T with the first color (for example, white for the background), and then performs the second color (inkjet). When performing the second drawing operation (drawing of a pattern or the like by the inkjet head 71) with each color that can be drawn by the head 71), the shooting control unit 811 controls the shooting unit 50 to perform at least the second drawing operation. Then, the nail T is photographed a plurality of times by changing the light irradiation direction, and a plurality of nail images are acquired.
Then, at the time of this photographing, the photographing control unit 811 causes the image pickup device 51 to photograph the nail T a plurality of times while appropriately switching between the illumination device 52 and the illumination device 55 and irradiating the nail T with light from different positions. Then, a plurality of nail images (captured images) are acquired.
It should be noted that the number of captured images for one nail T is not particularly limited, but the more the captured images are acquired, the higher the accuracy of the composite image generated in the already-drawn region detection unit 815 is. Therefore, it is preferable.
In addition, at least one of the images acquired by the imaging control unit 811 has a shadow on the surface of the nail T (at least the area of the surface of the nail T drawn in the first drawing operation). The image is set so that the shadow area) does not appear.
The image data of the nail image acquired by the imaging control unit 811 is stored in the nail image storage area 821 of the storage unit 82.

爪形状検出部８１２は、撮影制御部８１１により取得された指受入部３１に挿入された印刷指Ｕ１の爪Ｔの画像（撮影画像）に基づいて、印刷指Ｕ１の爪Ｔについての爪情報を検出するものである。
本実施形態では、爪形状検出部８１２は、撮影画像（爪画像）に基づいて爪Ｔの輪郭形状を爪情報として検出する。
なお、爪形状検出部８１２によって取得される爪情報は爪Ｔの輪郭形状に限定されず、例えば、爪Ｔの水平位置のＸＹ座標、爪Ｔの高さ（爪Ｔの垂直方向の位置、以下「爪Ｔの垂直位置」又は単に「爪Ｔの位置」ともいう。）、爪Ｔの幅方向における形状、すなわち、爪Ｔの表面の、ＸＹ平面に対する傾斜角度（爪Ｔの湾曲形状、爪Ｔの傾斜角度）等を含んでいてもよい。
爪形状検出部８１２によって取得された爪情報は、記憶部８２の爪情報記憶領域８２２に記憶される。 The nail shape detecting unit 812 obtains nail information about the nail T of the printing finger U1 based on the image (captured image) of the nail T of the printing finger U1 inserted in the finger receiving unit 31 acquired by the imaging control unit 811. It is something to detect.
In the present embodiment, the nail shape detection unit 812 detects the contour shape of the nail T as nail information based on the captured image (nail image).
The nail information acquired by the nail shape detection unit 812 is not limited to the contour shape of the nail T. For example, the XY coordinate of the horizontal position of the nail T, the height of the nail T (the vertical position of the nail T, "Vertical position of the nail T" or simply "position of the nail T"), the shape in the width direction of the nail T, that is, the inclination angle of the surface of the nail T with respect to the XY plane (the curved shape of the nail T, the nail T. Angle of inclination) and the like may be included.
The nail information acquired by the nail shape detection unit 812 is stored in the nail information storage area 822 of the storage unit 82.

描画データ生成部８１３は、爪形状検出部８１２により検出された爪情報に基づいて、描画ヘッド４３により印刷指Ｕ１の爪Ｔに施される描画用の描画データを生成する。
具体的には、描画データ生成部８１３は、爪形状検出部８１２により検出された爪Ｔの形状（輪郭形状）等に基づいてネイルデザインの画像データを拡大、縮小、切出し等することにより爪Ｔの形状に合わせ込む合せ込み処理を行う。
また、描画データ生成部８１３は、爪形状検出部８１２により検出された爪Ｔの湾曲形状に応じて、爪Ｔに描画するように指定されたネイルデザインの画像データに適宜曲面補正等を行う画像データ補正部としても機能する。
これにより、ペン４１やインクジェットヘッド７１によって描画されるネイルデザインの描画用のデータが生成される。 The drawing data generation unit 813 generates drawing data for drawing, which is applied to the nail T of the print finger U1 by the drawing head 43, based on the nail information detected by the nail shape detection unit 812.
Specifically, the drawing data generation unit 813 enlarges, reduces, or cuts out the nail design image data based on the shape (contour shape) of the nail T detected by the nail shape detection unit 812, and the like. The fitting process is performed to match the shape of.
In addition, the drawing data generation unit 813 appropriately performs curved surface correction or the like on the image data of the nail design specified to be drawn on the nail T according to the curved shape of the nail T detected by the nail shape detection unit 812. It also functions as a data correction unit.
As a result, drawing data for the nail design drawn by the pen 41 or the inkjet head 71 is generated.

描画制御部８１４は、描画データ生成部８１３によって生成された描画データに基づいて描画部４０に制御信号を出力し、爪Ｔに対してこの描画データにしたがった描画を施すように描画部４０のＸ方向移動モータ４６、Ｙ方向移動モータ４８、ペン上下用モータ４２６、インクジェットヘッド７１等の動作を制御する制御部である。 The drawing control unit 814 outputs a control signal to the drawing unit 40 based on the drawing data generated by the drawing data generation unit 813, and the drawing unit 40 performs drawing according to the drawing data on the nail T. The control unit controls the operations of the X-direction movement motor 46, the Y-direction movement motor 48, the pen up/down motor 426, the inkjet head 71, and the like.

既描画領域検出部８１５は、撮影制御部８１１によって取得された複数の爪画像を合成して合成画像を生成し、当該合成画像に基づいて第１の描画動作（ペン４１による下地描画動作）により描画された既描画領域（例えば白色のインクが塗布された下地塗布領域）を検出するものである。
本実施形態の既描画領域検出部８１５は、まず複数の爪画像を合成することにより、光の反射（正反射等）によって既描画領域と同様に白く見えているが実際には既描画領域ではない高輝度領域を排除して、既に描画が施された領域と推定される領域である「既描画推定領域」を検出するとともに、画像中では影となっていて既描画推定領域と判断されなかったが実際には既描画領域である影領域を取り込み、最終的な「既描画領域」として検出する。
以下、図３を参照しつつ、既描画領域検出部８１５による既描画領域の検出手法を具体的に説明する。 The already-drawn area detection unit 815 synthesizes a plurality of nail images acquired by the imaging control unit 811 to generate a synthetic image, and based on the synthetic image, performs a first drawing operation (background drawing operation by the pen 41). It is for detecting a drawn already drawn area (for example, a base application area where white ink is applied).
The already-drawn area detection unit 815 of the present embodiment first synthesizes a plurality of nail images, so that it looks white like the already-drawn area due to light reflection (regular reflection or the like). Excludes high brightness areas, detects the "pre-drawn estimation area" that is the area that is estimated to have already been drawn, and it is not judged as the pre-drawn estimation area because it is a shadow in the image. However, actually, the shadow area which is the already drawn area is captured and detected as the final "already drawn area".
Hereinafter, the method of detecting the already-drawn area by the already-drawn area detection unit 815 will be specifically described with reference to FIG.

本実施形態において既描画領域検出部８１５は、照明装置５２，５５からの光の照射方向を変えて撮影制御部８１１によって取得された複数の爪画像をＨＤＲ合成の手法により合成してＨＤＲ合成画像Ｉｂｈ（図３参照）を生成する。なお、ＨＤＲ合成の具体的な手法としてどのような手法を用いるかは特に限定されず、一般的に用いられるＨＤＲ合成の手法を適用することができる。ここで、爪Ｔは、爪Ｔの先端側が、第１の描画動作によって例えば白色の下地用のインクが塗布された既描画領域ＰＡとなっており、爪Ｔの既描画領域ＰＡ以外の領域が、インクが塗布されていない未描画領域Ｎとなっている場合について説明する。
撮影制御部８１１によって取得された複数の爪画像の中には、光の反射によって高輝度（白飛び）となっている領域（これ以下「高輝度部ＨＡ」という。図３に示す画像Ｉｂ０において破線で示す領域）や、光の照射において影となり暗くなっている領域（これ以下「影部ＳＡ」という。）を含むものがある。これらの複数の画像を合成するＨＤＲ合成では、概略、白飛びしている高輝度部ＨＡを、他の高輝度部ＨＡを有していない画像と置き換えるような処理をすることにより、この高輝度部ＨＡをほとんど除去することができるため、これら複数の爪画像をＨＤＲ合成して得られるＨＤＲ合成画像（図３に示す画像Ｉｂｈ）には高輝度部ＨＡはほとんど現れない。なお、仮にＨＤＲ合成画像Ｉｂｈにおいて多少高輝度部ＨＡが残っていた場合でも、既描画領域ＰＡと明確に区別できる程度の色の差を付けることができる。ただし、ＨＤＲ合成では黒潰れしていない程度の影部を除去することはできないため、ＨＤＲ合成画像Ｉｂｈには、図３に示すように、黒潰れしていない程度の影部が含まれている場合がある。
また、既描画領域検出部８１５は、撮影制御部８１１によって取得された複数の爪画像の中から、爪Ｔの表面（少なくとも爪Ｔの表面のうち第１の描画動作において描画された描画領域ＰＡ）に影が現れない状態で撮影された爪画像（図３において画像Ｉｂ０）を少なくとも１枚取得する。 In the present embodiment, the already-drawn region detection unit 815 changes the irradiation direction of the light from the illumination devices 52 and 55 and combines the plurality of nail images acquired by the imaging control unit 811 by the HDR combination method to create an HDR composite image. Ibh (see FIG. 3) is generated. Note that what kind of method is used as a specific method of HDR combination is not particularly limited, and a commonly used method of HDR combination can be applied. Here, in the nail T, the tip side of the nail T is an already drawn area PA where, for example, white background ink is applied by the first drawing operation, and an area other than the already drawn area PA of the nail T is present. A case will be described in which the undrawn area N is not coated with ink.
In the plurality of nail images acquired by the imaging control unit 811, a region having high brightness (whiteout) due to light reflection (hereinafter, referred to as “high brightness unit HA”. In the image Ib0 illustrated in FIG. There is a region including a region indicated by a broken line) and a region which becomes a shadow upon irradiation with light and is dark (hereinafter referred to as a “shadow portion SA”). In HDR synthesis for synthesizing a plurality of these images, the high-luminance portion HA that is generally blown out is replaced with an image that does not have another high-luminance portion HA, and this high luminance Since the part HA can be almost removed, the high-intensity part HA hardly appears in the HDR combined image (image Ibh shown in FIG. 3) obtained by HDR combining these plural nail images. Even if the high-intensity part HA remains in the HDR composite image Ibh, a color difference that can be clearly distinguished from the already drawn area PA can be provided. However, since it is not possible to remove shadow areas that are not blackened by HDR synthesis, the HDR composite image Ibh includes shadow areas that are not blackened, as shown in FIG. There are cases.
The already-drawn area detection unit 815 also selects the surface of the nail T (at least the drawing area PA of the surface of the nail T drawn in the first drawing operation) from the plurality of nail images acquired by the imaging control unit 811. ), at least one nail image (image Ib0 in FIG. 3) taken in a state in which no shadow appears is acquired.

既描画領域検出部８１５は、まずＨＤＲ合成画像Ｉｂｈにおける色分布情報に基づいて、爪Ｔのうち既に描画されていると推定される領域を既描画推定領域Ｐ１として、ＨＤＲ合成画像Ｉｂｈから抽出する。
具体的には、既描画領域検出部８１５は、第１の描画動作（ペン４１による下地描画動作）後の撮影において取得された影部ＳＡを含まない１枚の爪画像（図３において画像Ｉｂ０）や第１の描画動作（ペン４１による下地描画動作）後の撮影において取得された複数の爪画像をＨＤＲ合成して生成したＨＤＲ合成画像Ｉｂｈから、第１の描画動作によって描画された描画領域ＰＡの色分布情報、及びそれ以外の未描画領域Ｎの色分布情報（例えば描画されていない生の爪Ｔや指の皮膚、その他背景等の色分布情報）を取得し、この色分布情報に基づいて、第２の描画動作（例えばインクジェットヘッド７１による絵柄描画動作）前の撮影において取得された影部ＳＡを含まない１枚の爪画像（図３において画像Ｉｂ０）や第２の描画動作（例えばインクジェットヘッド７１による絵柄描画動作）前に取得された複数の爪画像をＨＤＲ合成して生成したＨＤＲ合成画像Ｉｂｈから既描画推定領域Ｐ１を抽出するためのセグメンテーション処理を行う。
このセグメンテーション処理により、第２の描画動作前の撮影において取得された高輝度部ＨＡを含むが影部ＳＡを含まない１枚の爪画像（図３において画像Ｉｂ０）から、既描画推定領域Ｐ２及び高輝度領域Ｈ１を白、それ以外の領域を黒に区分したセグメンテーションマップ（図３においてマップＭ０）と、第２の描画動作前の撮影において取得された画像をＨＤＲ合成して得られた高輝度領域ＨＡを含まず、影部ＳＡを含むＨＤＲ合成画像から、既描画推定領域を白、それ以外の領域を黒に区分したセグメンテーションマップ（図３においてマップＭｈ）が作成される。
既描画領域検出部８１５がＨＤＲ合成画像Ｉｂｈから既描画推定領域を抽出するためのセグメンテーション処理の手法としては、例えばグラフカットの手法が用いられる。なお、既描画推定領域を抽出するためのセグメンテーション処理の手法は特に限定されず、色の差を閾値として持つことで既描画推定領域の境界を判定していく等の手法によってもよい。 The already-drawn area detection unit 815 first extracts an area of the nail T that is estimated to be already drawn as the already-drawn estimated area P1 from the HDR combined image Ibh based on the color distribution information in the HDR combined image Ibh. ..
Specifically, the already-drawn area detection unit 815 includes one nail image (image Ib0 in FIG. 3) that does not include the shadow area SA acquired in the shooting after the first drawing operation (base drawing operation by the pen 41). ) Or the HDR combined image Ibh generated by HDR combining a plurality of nail images acquired in the shooting after the first drawing operation (background drawing operation by the pen 41), the drawing area drawn by the first drawing operation. The color distribution information of the PA and the color distribution information of the other non-drawing area N (for example, the color distribution information of the raw nail T or the skin of the finger which is not drawn, the other background, etc.) are acquired, and the color distribution information is obtained. Based on this, one nail image (image Ib0 in FIG. 3) that does not include the shadow portion SA acquired in the shooting before the second drawing operation (for example, the pattern drawing operation by the inkjet head 71) and the second drawing operation ( For example, a segmentation process for extracting the already-drawn estimated region P1 from the HDR combined image Ibh generated by HDR combining a plurality of nail images acquired before (a pattern drawing operation by the inkjet head 71) is performed.
By this segmentation processing, from one nail image (image Ib0 in FIG. 3) that includes the high-intensity portion HA but does not include the shadow portion SA acquired in the imaging before the second drawing operation, the estimated drawing area P2 and A high brightness obtained by HDR combining a segmentation map (map M0 in FIG. 3) in which the high-luminance region H1 is divided into white and the other regions into black, and the image acquired in the photographing before the second drawing operation. A segmentation map (map Mh in FIG. 3) is created from the HDR composite image that does not include the area HA but includes the shadow area SA, in which the drawn estimation area is divided into white and the other areas are divided into black.
As a method of segmentation processing for the already-drawn region detection unit 815 to extract the already-drawn estimated region from the HDR composite image Ibh, for example, a graph cut technique is used. Note that the method of segmentation processing for extracting the already-drawn estimation region is not particularly limited, and a method of determining the boundary of the already-drawn estimation region by using a color difference as a threshold may be used.

さらに、既描画領域検出部８１５は、セグメンテーションマップＭ０とセグメンテーションマップＭｈとのＥＸＯＲによる、セグメンテーションマップ（図３においてマップＭｘｏｒ）を作成する。このマップＭｘｏｒでは、図３に示すように、既描画推定領域Ｐ２中の影領域Ｓ１と既描画推定領域Ｐ２外の高輝度領域Ｈ１とが白、それ以外の領域が黒に区分され、これらが既描画領域ＰＡであるか否かは不明となっている。
また、既描画領域検出部８１５は、セグメンテーションマップＭ０とセグメンテーションマップＭｈとのＡＮＤによる、セグメンテーションマップ（図３においてマップＭａｎｄ）を作成する。このマップＭａｎｄでは、図３に示すように、既描画推定領域Ｐ１が白、それ以外の領域が黒に区分されている。
また、既描画領域検出部８１５は、セグメンテーションマップＭ０の反転とセグメンテーションマップＭｈの反転とのＯＲによる、セグメンテーションマップ（図３においてマップＭｎｏｔ）を作成する。このマップＭｎｏｔでは、図３に示すように、未描画領域Ｓ２が白、既描画推定領域Ｐ２及び高輝度領域Ｈ１が黒に区分されている。 Further, the already-drawn area detection unit 815 creates a segmentation map (map Mxor in FIG. 3) by EXOR of the segmentation map M0 and the segmentation map Mh. In this map Mxor, as shown in FIG. 3, the shadow area S1 in the estimated drawing area P2 and the high-luminance area H1 outside the estimated drawing area P2 are divided into white, and the other areas are divided into black. It is unknown whether or not it is the already drawn area PA.
Further, the already-drawn region detection unit 815 creates a segmentation map (map Mand in FIG. 3) by ANDing the segmentation map M0 and the segmentation map Mh. In this map Mand, as shown in FIG. 3, the already-drawn estimated region P1 is divided into white and the other regions are divided into black.
The already-drawn region detection unit 815 also creates a segmentation map (map Mnot in FIG. 3) by ORing the inversion of the segmentation map M0 and the inversion of the segmentation map Mh. In this map Mnot, as shown in FIG. 3, the undrawn region S2 is divided into white, and the already-drawn estimated region P2 and the high-luminance region H1 are divided into black.

さらに、既描画領域検出部８１５は、セグメンテーションマップＭａｎｄをＨＤＲ合成画像Ｉｂｈに重ねることにより、ＨＤＲ合成画像Ｉｂｈにおける、既描画推定領域Ｐ１の色分布情報ＣＤｔを求める。
また、既描画領域検出部８１５は、セグメンテーションマップＭｎｏｔをＨＤＲ合成画像Ｉｂｈに重ねることにより、ＨＤＲ合成画像Ｉｂｈにおける、未描画領域Ｓ２の色分布情報ＣＤｒを求める。
また、既描画領域検出部８１５は、セグメンテーションマップＭｘｏｒをＨＤＲ合成画像Ｉｂｈに重ねることにより、ＨＤＲ合成画像Ｉｂｈにおける、セグメンテーションマップＭｘｏｒにおいて検出されている各領域Ｓ１，Ｈ１の色と、色分布情報ＣＤｔ及び色分布情報ＣＤｒにより、各領域が、高輝度部ＨＡであって既描画領域ＰＡでないのか、既描画領域ＰＡ中の影部ＳＡであるのか、を判定する。 Further, the already-drawn region detection unit 815 obtains the color distribution information CDt of the already-drawn estimated region P1 in the HDR combined image Ibh by superimposing the segmentation map Mand on the HDR combined image Ibh.
Further, the already-drawn region detection unit 815 obtains the color distribution information CDr of the undrawn region S2 in the HDR combined image Ibh by superimposing the segmentation map Mnot on the HDR combined image Ibh.
In addition, the already-drawn region detection unit 815 superimposes the segmentation map Mxor on the HDR composite image Ibh, so that the colors of the regions S1 and H1 detected in the segmentation map Mxor in the HDR composite image Ibh and the color distribution information CDt. Also, it is determined from the color distribution information CDr whether each area is the high-luminance area HA and not the already-drawn area PA or the shadow area SA in the already-drawn area PA.

なお、各領域が、高輝度部ＨＡであって既描画領域ＰＡでないのか、既描画領域ＰＡ中の影部ＳＡであるのか、を判定するにあたっては、既描画領域検出部８１５は、当該既描画推定領域の周辺領域の画素について既描画推定領域Ｐ１との色の差を判定し、当該色の差が段階的に変化する領域を既描画領域ＰＡ中の影部ＳＡであるとして、既描画推定領域Ｐ１とともに既描画領域ＰＡとして検出する。
すなわち、既描画領域検出部８１５は、セグメンテーションマップＭａｎｄにおいて検出されている既描画推定領域Ｐ１の輪郭に近い位置から外側に向かって、セグメンテーションマップＭｘｏｒにおける各領域が、既描画領域ＰＡの色分布ＣＤｔに近いか否か、未描画領域Ｎの色分布情報ＣＤｒに近いか否か、を判定していく。
既描画領域ＰＡ中の影部ＳＡの色は、既描画領域ＰＡの色から徐々に変化していくようになっている。このため、影部ＳＡにおいては、外側に向かって隣接する画素間の色の差は小さい。一方、高輝度部ＨＡであって、既描画領域ＰＡでない場合は、既描画領域ＰＡの色から比較的大きく異なる色（生の爪Ｔの色等）になっている。このため、ＨＤＲ合成画像における、セグメンテーションマップＭｘｏｒの各白領域に対応する領域おいて、セグメンテーションマップＭａｎｄの境界（輪郭）に近い位置の画素から外側に向かって、各画素の色情報を見ていき、既描画領域ＰＡの色に対して差が比較的小さい色を既描画領域ＰＡの色に含めるように、既描画領域ＰＡの色分布情報ＣＤｔを順次更新していく。これにより、光の反射による高輝度部ＨＡについては既描画領域ＰＡに含めることなく、影部ＳＡについては既描画領域ＰＡに含めるようにすることができる。 When determining whether each area is the high-intensity area HA and not the already-drawn area PA or the shadow area SA in the already-drawn area PA, the already-drawn area detection unit 815 determines whether the previously-drawn area is present. The pixels in the peripheral area of the estimation area are judged to have a color difference from the drawn estimation area P1, and the area in which the color difference changes stepwise is regarded as the shadow area SA in the drawn area PA, and the drawing estimation is performed. It is detected as the already-drawn area PA together with the area P1.
That is, the already-drawn area detection unit 815 causes each area in the segmentation map Mxor to have a color distribution CDt of the already-drawn area PA from the position near the contour of the already-drawn estimation area P1 detected in the segmentation map Mand toward the outside. It is determined whether or not it is close to the color distribution information CDr of the undrawn region N.
The color of the shadow area SA in the already-drawn area PA gradually changes from the color of the already-drawn area PA. Therefore, in the shaded area SA, the difference in color between the pixels adjacent to each other outward is small. On the other hand, in the case of the high-luminance portion HA and not the already-drawn area PA, the color is relatively different from the color of the already-drawn area PA (the color of the raw nail T or the like). Therefore, in the region corresponding to each white region of the segmentation map Mxor in the HDR composite image, the color information of each pixel is viewed from the pixel near the boundary (outline) of the segmentation map Mand toward the outside. The color distribution information CDt of the already drawn area PA is sequentially updated so that the color of the already drawn area PA includes a color having a relatively small difference from the color of the already drawn area PA. As a result, the high-intensity portion HA due to light reflection can be excluded from the already drawn area PA, and the shadow portion SA can be included into the already drawn area PA.

表示制御部８１６は、表示部２６を制御して表示部２６に各種の表示画面を表示させるものである。本実施形態では、表示制御部８１６は、例えばネイルデザインの選択画面やデザイン確認用のサムネイル画像、印刷指Ｕ１を撮影して取得した爪画像、各種の指示画面、操作画面等を表示部２６に表示させるようになっている。 The display control unit 816 controls the display unit 26 to display various display screens on the display unit 26. In the present embodiment, the display control unit 816 displays on the display unit 26, for example, a nail design selection screen, a thumbnail image for design confirmation, a nail image acquired by photographing the print finger U1, various instruction screens, an operation screen, and the like. It is supposed to be displayed.

次に、図４を参照しつつ、本実施形態におけるネイルプリント装置（描画装置）による描画方法について説明する。 Next, a drawing method by the nail print device (drawing device) according to the present embodiment will be described with reference to FIG.

このネイルプリント装置１により描画を行う場合、ユーザはまず、電源スイッチを入れて制御装置８０を起動させる。
表示制御部８１６は、表示部２６にデザイン選択画面を表示させ、ユーザは操作部２５の操作釦等を操作して、デザイン選択画面に表示された複数のネイルデザインの中から所望のネイルデザインを選択する。これにより、操作部２５から選択指示信号が出力されて爪Ｔに描画すべきネイルデザインが選択される。
ユーザが印刷指Ｕ１を指受入部３１に挿入し、非印刷指Ｕ２を指退避部３２に挿入して、操作部２５の図示しない描画スイッチを操作すると、指受入部３１内に印刷指Ｕ１が固定される。 When drawing with the nail print device 1, the user first turns on the power switch to activate the control device 80.
The display control unit 816 displays a design selection screen on the display unit 26, and the user operates an operation button or the like of the operation unit 25 to select a desired nail design from a plurality of nail designs displayed on the design selection screen. select. As a result, the selection instruction signal is output from the operation unit 25 and the nail design to be drawn on the nail T is selected.
When the user inserts the printing finger U1 into the finger receiving section 31, inserts the non-printing finger U2 into the finger retracting section 32, and operates a drawing switch (not shown) of the operating section 25, the printing finger U1 is inserted into the finger receiving section 31. Fixed.

描画スイッチから指示が入力されると、描画動作を開始する前に、まず描画制御部８１４がヘッド移動部４９を制御して撮影部５０を所定の撮影位置に移動させ、印刷指Ｕ１を撮影させて爪画像（撮影画像）を取得させる（ステップＳ１の描画前の撮影）。なお、この描画前の撮影においては、撮影部５０を移動させながら複数の位置や角度から爪Ｔを撮影することが好ましい。このように、撮影位置等の異なる爪画像を複数取得することにより、爪形状検出部８１２による爪の輪郭形状や湾曲形状等の検出をより高精度に行うことができる。
爪画像（撮影画像）が取得されると、爪形状検出部８１２は、爪画像（撮影画像）に基づいて爪Ｔの外形形状である輪郭形状を検出する。また、爪形状検出部８１２は、爪画像（撮影画像）に基づいて、爪Ｔの湾曲形状、その他の爪情報を検出する（ステップＳ２）。
次いで、描画データ生成部８１３は、爪形状検出部８１２により検出された爪情報に基づいて、第１の色のペン４１（例えば下地用の白色のインクによる描画を行うペン４１）による描画対象領域を決定するとともに、画像データに適宜曲面補正等の補正を行ってネイルデザインの描画データを生成する。描画データが生成されると、描画制御部８１４は、描画データを描画部４０に出力し、ヘッド移動部４９を動作させて適宜描画ヘッド４３を移動させながら、爪Ｔに第１の色による描画処理（すなわち、第１の色のペン４１による第１の描画動作）を行う（ステップＳ３）。
第１のペン４１による描画が終了すると、撮影部５０により印刷指Ｕ１を撮影して、爪Ｔに対する光の照射方向の異なる複数の爪画像（撮影画像）を取得する（第１の描画動作後の撮影、ステップＳ４）。
既描画領域検出部８１５は、この爪画像のうち、影領域ＳＡを含まない少なくとも１枚の爪画像Ｉｂ０を取得するとともに、複数の爪画像をＨＤＲ合成することによりＨＤＲ合成画像Ｉｂｈを作成する（ステップＳ５）。
そして、既描画領域検出部８１５は、取得した爪画像Ｉｂ０及びＨＤＲ合成画像Ｉｂｈから色分布情報を取得する（ステップＳ６）。 When an instruction is input from the drawing switch, the drawing control unit 814 controls the head moving unit 49 to move the photographing unit 50 to a predetermined photographing position before photographing the printing finger U1 before starting the drawing operation. A nail image (photographed image) is acquired (photographing before drawing in step S1). Note that, in the photographing before drawing, it is preferable to photograph the nail T from a plurality of positions and angles while moving the photographing unit 50. In this way, by acquiring a plurality of nail images with different shooting positions and the like, the nail shape detection unit 812 can detect the contour shape and the curved shape of the nail with higher accuracy.
When the nail image (captured image) is acquired, the nail shape detection unit 812 detects the contour shape that is the outer shape of the nail T based on the nail image (captured image). Further, the nail shape detecting unit 812 detects the curved shape of the nail T and other nail information based on the nail image (captured image) (step S2).
Next, the drawing data generation unit 813 draws an area to be drawn by the pen 41 of the first color (for example, the pen 41 that draws with white ink for the background) on the basis of the nail information detected by the nail shape detection unit 812. And the image data is appropriately corrected such as curved surface correction to generate drawing data of the nail design. When the drawing data is generated, the drawing control unit 814 outputs the drawing data to the drawing unit 40, operates the head moving unit 49 to move the drawing head 43 appropriately, and draws the nail T in the first color. The processing (that is, the first drawing operation by the pen 41 of the first color) is performed (step S3).
When the drawing with the first pen 41 is completed, the printing finger U1 is photographed by the photographing unit 50 to acquire a plurality of nail images (photographed images) having different light irradiation directions on the nail T (after the first drawing operation). Shooting, step S4).
The already-drawn area detection unit 815 acquires at least one nail image Ib0 that does not include the shadow area SA in the nail image, and creates an HDR composite image Ibh by performing HDR composite of the plurality of nail images ( Step S5).
Then, the already-drawn region detection unit 815 acquires color distribution information from the acquired nail image Ib0 and HDR composite image Ibh (step S6).

その後、第１の描画処理が施された爪Ｔについて乾燥処理が行われ（ステップＳ７）、第２の色のインクによる第２の描画処理（例えばインクジェットヘッド７１による描画処理）が行われる前に、撮影部５０により印刷指Ｕ１を撮影して、爪Ｔに対する光の照射方向の異なる複数の爪画像（撮影画像）を取得する（第２の描画動作前の撮影、ステップＳ８）。
既描画領域検出部８１５は、この爪画像のうち、影領域ＳＡを含まない少なくとも１枚の爪画像Ｉｂ０を取得するとともに、複数の爪画像をＨＤＲ合成することによりＨＤＲ合成画像Ｉｂｈを作成する（ステップＳ９）。
そして、既描画領域検出部８１５は、グラフカットの手法等によりセグメンテーション処理を行い（ステップＳ１０）、セグメンテーションマップ（図３におけるマップＭ０，Ｍｈ，Ｍｘｏｒ，Ｍａｎｄ，Ｍｎｏｔ）を作成する（ステップＳ１０）。 After that, the nail T that has been subjected to the first drawing process is dried (step S7), and before the second drawing process using the ink of the second color (for example, the drawing process by the inkjet head 71) is performed. The image capturing unit 50 captures an image of the print finger U1 to acquire a plurality of nail images (images) with different light irradiation directions on the nail T (second image capturing operation before drawing operation, step S8).
The already-drawn area detection unit 815 acquires at least one nail image Ib0 that does not include the shadow area SA in the nail image, and creates an HDR composite image Ibh by performing HDR composite of the plurality of nail images ( Step S9).
Then, the already-drawn area detection unit 815 performs segmentation processing by a graph cut method or the like (step S10) and creates a segmentation map (maps M0, Mh, Mxor, Mand, Mnot in FIG. 3) (step S10).

また、既描画領域検出部８１５は、取得した爪画像Ｉｂ０及びＨＤＲ合成画像Ｉｂｈから色分布情報を取得して（ステップＳ１２）、この色分布情報に基づき、爪画像における各画素ごとに既描画推定領域か否かの振り分けを行う（ステップＳ１３）。本実施形態では、図３におけるセグメンテーションマップＭｈにおいて白抜きで示されている領域に対応する画素が既描画推定領域Ｐ１内の画素として振り分けられる。
なお、本実施形態では、図３に示すように、爪Ｔの長さ方向の先端部分だけに第１の色である下地用の白色のインクが描画されるため、爪Ｔの長さ方向の半分よりも上に位置する画素だけを既描画推定領域Ｐ１か否かの振り分けを行う対象画素とする。このようにすることで既描画推定領域Ｐ１か否かの振り分けを行う必要のない部分については処理を省略することができ、処理時間を短縮することができる。なお、対象画素を設定することは必須ではなく、爪Ｔの全体について画素ごとに既描画推定領域Ｐ１か否かの振り分けを行ってもよい。
既描画領域検出部８１５は、対象画素についての振り分けがすべて終了したか否かを判断し（ステップＳ１４）、終了していない場合（ステップＳ１４；ＮＯ）には、ステップＳ１３の処理を繰り返す。
他方、終了している場合（ステップＳ１４；ＹＥＳ）には、既描画推定領域Ｐ１に振り分けられた画素を既に第１の色による描画が行われた既描画領域ＰＡとして検出する（ステップＳ１５）。 Further, the already-drawn area detection unit 815 acquires color distribution information from the acquired nail image Ib0 and the HDR composite image Ibh (step S12), and based on this color distribution information, the already-drawn estimation for each pixel in the nail image. Whether or not it is a region is sorted (step S13). In the present embodiment, the pixels corresponding to the regions shown in white in the segmentation map Mh in FIG. 3 are sorted as pixels in the already-drawn estimated region P1.
Note that, in the present embodiment, as shown in FIG. 3, since the white background ink of the first color is drawn only on the tip portion of the nail T in the length direction, the nail T in the length direction is drawn. Only pixels located above the half are set as target pixels for which whether or not to be the estimated drawing area P1 is determined. By doing so, it is possible to omit processing for a portion that does not need to be classified as to whether or not it is the estimated drawing area P1, and it is possible to shorten the processing time. Note that it is not essential to set the target pixel, and the entire nail T may be sorted for each pixel as to whether it is the already-drawn estimated region P1.
The already-drawn area detection unit 815 determines whether or not all the allocations for the target pixel have been completed (step S14), and if not completed (step S14; NO), the process of step S13 is repeated.
On the other hand, if the processing has been completed (step S14; YES), the pixels assigned to the estimated drawing area P1 are detected as the already drawn area PA in which the drawing with the first color has already been performed (step S15).

次に、既描画領域検出部８１５は、既描画推定領域Ｐ１とされた領域の周辺領域に所定の色条件を満たす画素があるか否かを判断する（ステップＳ１６）。
具体的には、既描画推定領域との色の差を判定し、当該色の差が段階的に変化する領域の画素を所定の色条件を満たす画素と判断する。
既描画推定領域Ｐ１とされた領域の周辺領域には、高輝度部ＨＡ及び影部ＳＡが存在する可能性があるが、前述のように、既描画領域ＰＡ中の影部ＳＡの色は、既描画領域ＰＡの色から徐々に変化していくため、影部ＳＡにおいては、外側に向かって隣接する画素間の色の差は小さい。これに対して、高輝度部ＨＡであって、既描画領域ＰＡでない場合は、既描画領域ＰＡの色から比較的大きく異なる色となっている。このため、色の差の変化を見ることで、高輝度部ＨＡと影部ＳＡとを適切に区別することができる。
既描画領域検出部８１５は、既描画推定領域Ｐ１とされた領域の周辺領域に所定の色条件を満たす画素がある場合（ステップＳ１６；ＹＥＳ）、すなわち、既描画推定領域との色の差が段階的に変化する領域の画素がある場合には、これを既描画領域ＰＡ中の影部ＳＡであるとして、既描画推定領域とともに既描画領域ＰＡとして検出する（ステップＳ１７）。そしてこの場合には、既描画領域検出部８１５は、既描画領域ＰＡの色に対して差が比較的小さい色を既描画領域ＰＡの色に含めるように、既描画領域ＰＡの色情報を更新する（ステップＳ１８）。
他方、既描画推定領域とされた領域の周辺領域に所定の色条件を満たす画素がない場合（ステップＳ１６；ＮＯ）には、そのまま次のステップに進む。 Next, the already-drawn area detection unit 815 determines whether or not there is a pixel satisfying a predetermined color condition in the peripheral area of the area that is the already-drawn estimated area P1 (step S16).
Specifically, the difference in color from the already drawn estimated area is determined, and the pixel in the area where the difference in color changes stepwise is determined to be a pixel that satisfies a predetermined color condition.
Although there is a possibility that the high-luminance portion HA and the shadow portion SA exist in the peripheral area of the already drawn estimated area P1, the color of the shadow portion SA in the already drawn area PA is as described above. Since the color of the already-drawn area PA gradually changes, in the shaded area SA, the difference in color between pixels adjacent to the outside is small. On the other hand, in the case of the high-luminance portion HA and not the already drawn area PA, the color is relatively different from the color of the already drawn area PA. Therefore, the high-luminance portion HA and the shadow portion SA can be appropriately distinguished by observing the change in the color difference.
The already-drawn area detection unit 815 determines that there is a pixel satisfying a predetermined color condition in the peripheral area of the area which has been set as the already-drawn estimated area P1 (step S16; YES), that is, the difference in color from the already-drawn estimated area is If there is a pixel in an area that changes stepwise, it is detected as a shadow area SA in the already-drawn area PA and is detected as an already-drawn area PA together with the already-drawn estimation area (step S17). Then, in this case, the already drawn area detection unit 815 updates the color information of the already drawn area PA so that the color of the already drawn area PA includes a color having a relatively small difference from the color of the already drawn area PA. Yes (step S18).
On the other hand, if there is no pixel satisfying the predetermined color condition in the peripheral area of the already drawn estimated area (step S16; NO), the process directly proceeds to the next step.

既描画領域検出部８１５により既描画領域ＰＡが検出されると、当該領域に対して描画部４０により第２の色による描画処理（第２の描画動作）が行われる（ステップＳ１９）。具体的には、例えば、第１の描画動作により白色の下地が描画された既描画領域ＰＡに、第２の描画動作として、インクジェットヘッド７１により絵柄を描画する。
そして、再度乾燥動作を行い（ステップＳ２０）、乾燥が完了するだけの所定の時間乾燥させたのち、印刷指Ｕ１の固定を解除して描画処理を終了する。 When the already-drawn area PA is detected by the already-drawn area detection unit 815, the drawing unit 40 performs the drawing process (second drawing operation) with the second color on the area (step S19). Specifically, for example, a pattern is drawn by the inkjet head 71 as a second drawing operation in the already drawn area PA in which the white background is drawn by the first drawing operation.
Then, the drying operation is performed again (step S20), and after the drying is completed for a predetermined time, the fixing of the printing finger U1 is released and the drawing process is ended.

以上のように、本実施形態によれば、描画部４０により１つの爪について第１の色で第１の描画動作（例えばペン４１による白色のインクの塗布）を行った後に、第２の色で第２の描画動作（例えばインクジェットヘッド７１による絵柄の描画）を行う場合、第２の描画動作前に光の照射方向を変えて複数回爪Ｔを撮影して複数の爪画像を取得し、取得された複数の爪画像を合成して合成画像を生成する。そして当該合成画像に基づいて第１の描画動作により描画された既描画領域ＰＡを検出する。
これにより、光の正反射等により生じる高輝度部ＨＡについては既描画領域ＰＡから除外し、既描画領域ＰＡ内であって暗くなっている影部ＳＡについては既描画領域ＰＡに含めることができるため、既描画領域ＰＡを過不足なく適切に検出することができる。このため、第１の描画動作によって描画済みの領域に対して正確に第２の描画動作を行うことができ、下地の上に絵柄を描画するように複数回に分けて重ねて描画動作を行う場合にも描画位置がずれずに高精細な描画を行うことができる。
また、本実施形態では、既描画領域検出部８１５は、合成画像における色分布情報に基づいて爪Ｔのうち既に描画されていると推定される領域を既描画推定領域Ｐ１として合成画像から抽出するとともに、当該既描画推定領域Ｐ１の周辺領域の画素について既描画推定領域Ｐ１との色の差を判定し、当該色の差が段階的に変化する領域を既描画推定領域Ｐ１とともに既描画領域ＰＡとして検出する。これにより、高輝度部ＨＡについては既描画領域ＰＡから除外し、影部ＳＡだけを適切に既描画領域ＰＡに取り込むことができる。
ことを特徴とする請求項１に記載の描画装置。
また、本実施形態では、既描画領域検出部８１５は、ＨＤＲ合成により合成画像を生成する。合成画像の生成にＨＤＲ合成の手法を用いることにより、光の反射等で発生する高輝度部ＳＡを適切に除去することができる。
また、本実施形態では、既描画領域検出部８１５は、合成画像からグラフカットの手法により既描画推定領域Ｐ１を抽出する。グラフカットの手法により既描画推定領域Ｐ１を抽出することにより、閾値等によって領域の境界を特定する場合よりも正確に領域抽出Ｐ１を行うことができる。
また、本実施形態では、既描画領域検出部８１５は、既描画推定領域Ｐ１に隣接する画素から徐々に既描画推定領域Ｐ１から遠ざかる方向に向かって各画素と既描画推定領域Ｐ１との色の差を判定することにより色の差が段階的に変化する領域を検出する。既描画推定領域Ｐ１とされた領域の周辺領域には高輝度部ＨＡ及び影部ＳＡが存在する可能性があるが、前述のように、影部ＳＡと高輝度部ＨＡとでは既描画領域ＰＡからの色の差の変化の仕方が異なる。このため、色の差の変化を見ることで、高輝度部ＨＡと影部ＳＡとを適切に区別して影部ＳＡだけを既描画領域ＰＡに取り込むことができる。 As described above, according to the present embodiment, the drawing unit 40 performs the first drawing operation (for example, application of white ink by the pen 41) on the one nail with the first color, and then the second color. When performing the second drawing operation (for example, drawing a pattern with the inkjet head 71), the irradiation direction of light is changed and a plurality of nails T are photographed to acquire a plurality of nail images before the second drawing operation. A plurality of acquired nail images are combined to generate a combined image. Then, the already drawn area PA drawn by the first drawing operation is detected based on the composite image.
As a result, the high-luminance portion HA caused by regular reflection of light or the like can be excluded from the already drawn area PA, and the shadow portion SA that is dark in the already drawn area PA can be included in the already drawn area PA. Therefore, the already drawn area PA can be appropriately detected without excess or deficiency. For this reason, the second drawing operation can be accurately performed on the already drawn area by the first drawing operation, and the drawing operation is performed plural times so as to draw the pattern on the base. Also in this case, high-definition drawing can be performed without shifting the drawing position.
Further, in the present embodiment, the already-drawn area detection unit 815 extracts an area of the nail T that is estimated to be already drawn from the composite image based on the color distribution information in the composite image as the already-drawn estimated area P1. At the same time, it determines the color difference between the pixels in the peripheral area of the drawing-estimated estimation area P1 and the drawing-estimated estimation area P1, and determines the area in which the color difference changes stepwise together with the drawing-estimated estimation area P1. To detect as. As a result, the high-luminance portion HA can be excluded from the already-drawn area PA, and only the shadow portion SA can be properly taken into the already-drawn area PA.
The drawing apparatus according to claim 1, wherein:
Further, in the present embodiment, the already-drawn area detection unit 815 generates a composite image by HDR composition. By using the HDR synthesizing method for generating the synthetic image, it is possible to appropriately remove the high-luminance portion SA generated due to reflection of light or the like.
Further, in the present embodiment, the already-drawn area detection unit 815 extracts the already-drawn estimated area P1 from the composite image by the graph cutting method. By extracting the already-drawn estimated region P1 by the graph cut method, it is possible to perform the region extraction P1 more accurately than when the boundary of the region is specified by the threshold value or the like.
Further, in the present embodiment, the already-drawn region detection unit 815 determines the color of each pixel and the already-drawn estimation region P1 from the pixel adjacent to the already-drawn estimation region P1 in the direction of gradually moving away from the already-drawn estimation region P1. By determining the difference, an area in which the color difference changes stepwise is detected. Although there is a possibility that the high-luminance portion HA and the shadow portion SA exist in the peripheral area of the area that has been assumed as the already-drawn estimated area P1, as described above, the already-drawn area PA in the shadow portion SA and the high-luminance portion HA. The way the color difference from changes is different. Therefore, by observing the change in the color difference, it is possible to properly distinguish the high-luminance portion HA and the shadow portion SA and capture only the shadow portion SA in the already drawn area PA.

なお、以上本発明の実施形態について説明したが、本発明は、かかる実施形態に限定されず、その要旨を逸脱しない範囲で、種々変形が可能であることは言うまでもない。 Although the embodiments of the present invention have been described above, it is needless to say that the present invention is not limited to the embodiments and various modifications can be made without departing from the scope of the invention.

例えば、本実施形態では、第１の色を描画する第１の描画動作がペン４１による下地用の白色のインクの塗布であり、第２の色を描画する第２の描画動作がインクジェットヘッド７１による絵柄の描画である場合を例示したが、第１の描画動作、第２の描画動作はここに例示したものに限定されない。例えば、第２の描画動作が、ペン４１によるライン模様の描画等であってもよい。 For example, in the present embodiment, the first drawing operation for drawing the first color is application of white ink for the background by the pen 41, and the second drawing operation for drawing the second color is the inkjet head 71. However, the first drawing operation and the second drawing operation are not limited to those illustrated here. For example, the second drawing operation may be drawing a line pattern with the pen 41.

また、本実施形態では、第１の描画動作後（第１の描画動作の直後）と第２の描画動作前（第２の描画動作の直前）とにおいて撮影を行い、爪画像を取得してＨＤＲ合成画像の作成や色分布情報の取得等を行う場合を例示したが、第１の描画動作の直後の撮影は必須ではない。例えば、ネイルデザインにおいて指定されている第１の描画動作で描画される色を実際に爪Ｔ（ユーザの爪ではない一般人のモデル爪でもよい。）に描画した場合における既描画領域ＰＡの色情報及び生爪や指の皮膚等、既描画領域ＰＡの周囲の色情報が予め記憶部８２に登録される等により把握されている場合であれば、第１の描画動作の直後の撮影及び撮影された爪画像に基づくＨＤＲ合成画像の作成や色分布情報の取得等（すなわち、図４においてステップＳ４からステップＳ６の処理）を行わなくてもよい。 In addition, in the present embodiment, imaging is performed after the first drawing operation (immediately after the first drawing operation) and before the second drawing operation (immediately before the second drawing operation) to acquire a nail image. Although the case where the HDR composite image is created or the color distribution information is acquired is illustrated, the shooting immediately after the first drawing operation is not essential. For example, the color information of the already drawn area PA when the color drawn by the first drawing operation designated in the nail design is actually drawn on the nail T (a model nail of a general person other than the user's nail). If the color information around the already drawn area PA, such as the skin of a soft nail or finger, is known in advance by being registered in the storage unit 82, the image is taken immediately after the first drawing operation and taken. The HDR composite image based on the nail image, the color distribution information acquisition, and the like (that is, the processing from step S4 to step S6 in FIG. 4) may not be performed.

また、本実施形態では、ネイルプリント装置（描画装置）１の描画ヘッド４３に描画用のペン４１を保持するペン保持部４２の他、インクジェットヘッド７１を備える構成としたが、インクジェットヘッド７１を備えることは必須の構成ではなく、ペン４１のみにより描画を行う描画装置であってもよい。 Further, in the present embodiment, the inkjet head 71 is provided in addition to the pen holding unit 42 that holds the drawing pen 41 in the drawing head 43 of the nail printing apparatus (drawing apparatus) 1. This is not an essential configuration, and a drawing device that draws only with the pen 41 may be used.

また、上記各実施形態では、描画ヘッド４３にペン保持部４２を１つ備えている場合を例示したが、描画ヘッド４３に設けられるペン保持部４２の数は１つに限定されない。例えば２つ以上のペン保持部４２を備え、描画用のペン４１が２本以上保持されていてもよい。 Further, in each of the above-described embodiments, the case where the drawing head 43 is provided with one pen holding unit 42 is illustrated, but the number of the pen holding units 42 provided in the drawing head 43 is not limited to one. For example, two or more pen holding units 42 may be provided and two or more drawing pens 41 may be held.

また、上記各実施形態では、描画ヘッド４３に撮像装置５１や照明装置５２が搭載されている場合を例示したが、撮像装置５１や照明装置５２を設ける位置はこれに限定されない。
例えば描画ヘッド４３を移動させる機構とは別に撮影部５０を移動させる機構を別途設けてもよい。 Further, in each of the above-described embodiments, the case where the imaging device 51 and the lighting device 52 are mounted on the drawing head 43 is illustrated, but the positions where the imaging device 51 and the lighting device 52 are provided are not limited to this.
For example, a mechanism for moving the imaging unit 50 may be provided separately from the mechanism for moving the drawing head 43.

また、上記各実施形態では、指を１本ずつ装置に挿入して順次描画を行うネイルプリント装置１を例としたが、複数本の指に対して、各指を抜き差しすることなく、連続的に描画を行うことのできる構成とすることも可能である。 Further, in each of the above-described embodiments, the nail print device 1 in which one finger is inserted into the device and the drawing is sequentially performed is described as an example. However, a plurality of fingers can be continuously connected without removing and inserting each finger. It is also possible to adopt a configuration in which drawing can be performed.

以上本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
描画対象に描画を施す描画部と、
前記描画対象を照明する少なくとも一つの光源と、
前記描画部により第１の画像の描画が施された後の前記描画対象を、前記光源により前記描画対象を照明する方向を互いに異なる方向に変えて複数回撮影する撮影部と、
前記撮影部の複数回の撮影によって取得された複数の描画対象画像を合成して合成画像を生成し、当該合成画像に基づいて前記描画対象における前記第１の画像の描画が施されている既描画領域を検出する既描画領域検出部と、
を備えていることを特徴とする描画装置。
＜請求項２＞
前記描画対象に前記第１の画像の描画が施された後に、前記描画部が前記描画対象に前記第１の画像の少なくとも一部に重ねて第２の画像の描画を施すとき、前記第２の画像の描画位置及び前記第２の画像の大きさの少なくとも一方が、前記既描画領域検出部により検出された前記既描画領域に基づいて調整されることを特徴とする請求項１に記載の描画装置。
＜請求項３＞
前記光源を複数有し、
前記複数の光源の各々は、前記描画対象を照明する方向が互いに異なっており、
前記撮影部は、前記複数の光源のいずれかを使用することにより前記描画対象を照明する方向を互いに異なる方向に変えて前記複数回撮影することを特徴とする請求項１又は請求項２に記載の描画装置。
＜請求項４＞
前記既描画領域検出部は、ＨＤＲ合成により前記合成画像を生成することを特徴とする請求項１から請求項３のいずれか一項に記載の描画装置。
＜請求項５＞
前記複数の描画対象画像は、少なくとも１つの、前記描画対象における前記第１の画像の描画が施された領域に影ができないように前記描画対象を照明する方向が設定されている前記複数の光源における第１の光源を使用した状態で撮影された第１の描画対象画像を含むことを特徴とする請求項１から請求項４のいずれか一項に記載の描画装置。
＜請求項６＞
前記複数の描画対象画像は、少なくとも１つの、前記描画対象における前記第１の画像の描画が施された領域に影ができるように前記描画対象を照明する方向が設定されている前記複数の光源における第２の光源を使用した状態で撮影された第２の描画対象画像を含むことを特徴とする請求項１から請求項５のいずれか一項に記載の描画装置。
＜請求項７＞
前記既描画領域検出部は、前記合成画像における色分布情報に基づいて前記爪における前記第１の画像が描画されていると推定される領域を既描画推定領域として前記合成画像から抽出するとともに、当該既描画推定領域の周辺領域の画素について前記既描画推定領域との色の差を判定し、当該色の差が段階的に変化している領域を前記既描画推定領域とともに前記既描画領域として検出することを特徴とする請求項１から請求項６のいずれか一項に記載の描画装置。
＜請求項８＞
前記既描画領域検出部は、前記合成画像からグラフカットの手法により前記既描画推定領域を抽出することを特徴とする請求項７に記載の描画装置。
＜請求項９＞
前記既描画領域検出部は、前記既描画推定領域に隣接する画素から徐々に前記既描画推定領域から遠ざかる方向に向かって各画素と前記既描画推定領域との色の差を判定することにより色の差が段階的に変化している領域を検出することを特徴とする請求項７又は請求項８に記載の描画装置。
＜請求項１０＞
描画装置の描画方法であって、
前記描画装置は描画対象に描画を施す描画部と、前記描画対象を照明する少なくとも一つの光源と、を備え、
前記描画部により第１の画像が描画された後の前記描画対象を、前記光源により前記描画対象を照明する方向を互いに異なる複数の方向に変えて複数回撮影し、
前記複数回の撮影により取得された複数の爪描画対象画像を合成して合成画像を生成し、
前記合成画像に基づいて前記描画対象における前記第１の画像の描画が施されている既描画領域を検出する、
ことを特徴とする描画装置の描画方法。 Although some embodiments of the present invention have been described above, the scope of the present invention is not limited to the above-described embodiments, and includes the scope of the invention described in the claims and the equivalent scope thereof. ..
Hereinafter, the inventions described in the claims attached to the application of this application will be additionally described. The claim numbers described in the appendices are as set forth in the claims attached first to the application for this application.
[Appendix]
<Claim 1>
A drawing unit that draws on the drawing target,
At least one light source for illuminating the drawing target;
An imaging unit that captures the drawing target after the drawing of the first image by the drawing unit multiple times by changing the directions in which the light source illuminates the drawing target to different directions.
A plurality of drawing target images acquired by a plurality of times of photographing by the photographing unit are combined to generate a combined image, and the first image in the drawing target is drawn based on the combined image. An already-drawn area detection unit that detects a drawing area,
A drawing apparatus comprising:
<Claim 2>
When the drawing unit draws the second image on the drawing target after overlapping the at least a part of the first image after the drawing of the first image on the drawing target, At least one of a drawing position of the image and a size of the second image is adjusted based on the already-drawn area detected by the already-drawn area detecting unit. Drawing device.
<Claim 3>
Having a plurality of the light sources,
Each of the plurality of light sources, the direction of illuminating the drawing target is different from each other,
The said imaging|photography part changes the direction which illuminates the said drawing object to a mutually different direction by using either of these light sources, and image|photographs the said multiple times. Drawing device.
<Claim 4>
The drawing apparatus according to any one of claims 1 to 3, wherein the already-drawn area detection unit generates the composite image by HDR composition.
<Claim 5>
The plurality of light source images are set such that at least one of the plurality of light source regions has a direction in which the light source is illuminated so that a shadow cannot be formed in a region of the image subject to which the first image is drawn. The drawing apparatus according to any one of claims 1 to 4, wherein the drawing apparatus includes a first drawing target image captured in a state in which the first light source is used.
<Claim 6>
At least one of the plurality of drawing target images has a direction in which the drawing target is illuminated so that a shadow can be formed in a region of the drawing target where the first image is drawn. The drawing apparatus according to any one of claims 1 to 5, wherein the drawing apparatus includes a second drawing target image captured in a state in which the second light source is used.
<Claim 7>
The already-drawn area detection unit extracts, from the composite image, an area in which the first image of the nail is estimated to be drawn based on color distribution information in the composite image, as an already-drawn estimated area, from the composite image, Regarding the pixels in the peripheral area of the already drawn estimated area, the difference in color from the already drawn estimated area is determined, and the area in which the color difference is changed stepwise is set as the already drawn area together with the already drawn estimated area The drawing device according to claim 1, wherein the drawing device detects the drawing device.
<Claim 8>
The drawing apparatus according to claim 7, wherein the already-drawn area detection unit extracts the already-drawn estimated area from the composite image by a graph cut method.
<Claim 9>
The already-drawn area detection unit determines a color difference by determining a color difference between each pixel and the already-drawn estimation area in a direction gradually moving away from the pixels adjacent to the already-drawn estimation area in a direction away from the already-drawn estimation area. The drawing apparatus according to claim 7 or 8, wherein an area in which the difference between the two is changed stepwise is detected.
<Claim 10>
A drawing method of a drawing device,
The drawing device includes a drawing unit that draws a drawing target, and at least one light source that illuminates the drawing target,
The drawing target after the first image is drawn by the drawing unit is photographed a plurality of times by changing the direction of illuminating the drawing target by the light source to a plurality of different directions,
A composite image is generated by combining a plurality of nail drawing target images acquired by the plurality of photographing operations,
Detecting an already drawn area in which the drawing of the first image in the drawing target is performed based on the composite image,
A drawing method of a drawing apparatus, which is characterized by the above.

１ ネイルプリント装置
４０ 描画部
４１ ペン
４３ 描画ヘッド
５０ 撮影部
５１ 撮像装置
５２ 照明装置
５５ 照明装置
８１ 制御部
８２ 記憶部
８１２ 爪形状検出部
８１５ 既描画領域検出部
Ｔ 爪
Ｕ１ 印刷指 1 nail print device 40 drawing unit 41 pen 43 drawing head 50 photographing unit 51 image pickup device 52 lighting device 55 lighting device 81 control unit 82 storage unit 812 nail shape detection unit 815 already drawn area detection unit T nail U1 printing finger

Claims (9)

描画対象に描画を施す描画部と、
前記描画対象を照明する少なくとも一つの光源と、
前記描画部により第１の画像の描画が施された後の前記描画対象を、前記光源により前記描画対象を照明する方向を互いに異なる方向に変えて複数回撮影する撮影部と、
前記撮影部の複数回の撮影によって取得された複数の描画対象画像を合成して合成画像を生成し、当該合成画像に基づいて前記描画対象における前記第１の画像の描画が施されている既描画領域を検出する既描画領域検出部と、
を備え、
前記複数の描画対象画像は、少なくとも１つの、前記描画対象における前記第１の画像の描画が施された領域に影ができないように前記描画対象を照明する方向が設定されている前記複数の光源における第１の光源を使用した状態で撮影された第１の描画対象画像を含むことを特徴とする描画装置。 A drawing unit that draws on the drawing target,
At least one light source for illuminating the drawing target;
An imaging unit that captures the drawing target after the drawing of the first image by the drawing unit multiple times by changing the directions in which the light source illuminates the drawing target to different directions.
A plurality of drawing target images acquired by a plurality of times of photographing by the photographing unit are combined to generate a combined image, and the first image in the drawing target is drawn based on the combined image. An already-drawn area detection unit that detects a drawing area,
Equipped with
The plurality of light source images are set such that at least one of the plurality of light source regions has a direction in which the light source is illuminated so that a shadow cannot be formed in a region of the image subject to which the first image is drawn. A drawing apparatus including a first drawing target image photographed using the first light source . 前記描画対象に前記第１の画像の描画が施された後に、前記描画部が前記描画対象に前記第１の画像の少なくとも一部に重ねて第２の画像の描画を施すとき、前記第２の画像の描画位置及び前記第２の画像の大きさの少なくとも一方が、前記既描画領域検出部により検出された前記既描画領域に基づいて調整されることを特徴とする請求項１に記載の描画装置。 When the drawing unit draws the second image on the drawing target after overlapping the at least a part of the first image after the drawing of the first image on the drawing target, At least one of a drawing position of the image and a size of the second image is adjusted based on the already-drawn area detected by the already-drawn area detecting unit. Drawing device. 前記光源を複数有し、
前記複数の光源の各々は、前記描画対象を照明する方向が互いに異なっており、
前記撮影部は、前記複数の光源のいずれかを使用することにより前記描画対象を照明する方向を互いに異なる方向に変えて前記複数回撮影することを特徴とする請求項１又は請求項２に記載の描画装置。 Having a plurality of the light sources,
Each of the plurality of light sources, the direction of illuminating the drawing target is different from each other,
The said imaging|photography part changes the direction which illuminates the said drawing object to a mutually different direction by using either of these light sources, and image|photographs the said multiple times. Drawing device. 前記既描画領域検出部は、ＨＤＲ合成により前記合成画像を生成することを特徴とする請求項１から請求項３のいずれか一項に記載の描画装置。 The drawing apparatus according to any one of claims 1 to 3, wherein the already-drawn area detection unit generates the composite image by HDR composition. 前記複数の描画対象画像は、少なくとも１つの、前記描画対象における前記第１の画像の描画が施された領域に影ができるように前記描画対象を照明する方向が設定されている前記複数の光源における第２の光源を使用した状態で撮影された第２の描画対象画像を含むことを特徴とする請求項１から請求項４のいずれか一項に記載の描画装置。 At least one of the plurality of drawing target images has a direction in which the drawing target is illuminated so that a shadow can be formed in a region of the drawing target where the first image is drawn. The drawing apparatus according to any one of claims 1 to 4 , further comprising a second drawing target image photographed in a state where the second light source is used. 前記既描画領域検出部は、前記合成画像における色分布情報に基づいて前記描画対象における前記第１の画像が描画されていると推定される領域を既描画推定領域として前記合成画像から抽出するとともに、当該既描画推定領域の周辺領域の画素について前記既描画推定領域との色の差を判定し、当該色の差が段階的に変化している領域を前記既描画推定領域とともに前記既描画領域として検出することを特徴とする請求項１から請求項５のいずれか一項に記載の描画装置。 The already-drawn area detection unit extracts, from the composite image, an area in which the first image in the drawing target is estimated to be drawn based on color distribution information in the composite image, as an already-drawn estimated area. , The color difference between the pixels in the peripheral area of the already drawn estimated area and the already drawn estimated area is determined, and the area in which the color difference is changed stepwise is the already drawn area together with the already drawn estimated area. The drawing device according to any one of claims 1 to 5 , wherein: 前記既描画領域検出部は、前記合成画像からグラフカットの手法により前記既描画推定領域を抽出することを特徴とする請求項６に記載の描画装置。 The drawing apparatus according to claim 6 , wherein the already-drawn area detection unit extracts the already-drawn estimated area from the composite image by a graph cut method. 前記既描画領域検出部は、前記既描画推定領域に隣接する画素から徐々に前記既描画推定領域から遠ざかる方向に向かって各画素と前記既描画推定領域との色の差を判定することにより色の差が段階的に変化している領域を検出することを特徴とする請求項６又は請求項７に記載の描画装置。 The already-drawn region detection unit determines a color difference by determining a color difference between each pixel and the already-drawn estimation region in a direction in which the pixel is gradually moved away from the pixels adjacent to the already-drawn estimation region in a direction of gradually moving away from the already-drawn estimation region. The drawing apparatus according to claim 6 or 7 , wherein an area in which the difference between the two is changed stepwise is detected. 描画装置の描画方法であって、
前記描画装置は描画対象に描画を施す描画部と、前記描画対象を照明する少なくとも一つの光源と、を備え、
前記描画部により第１の画像が描画された後の前記描画対象を、前記光源により前記描画対象を照明する方向を互いに異なる複数の方向に変えて複数回撮影し、
前記複数回の撮影により取得された複数の描画対象画像を合成して合成画像を生成し、
前記合成画像に基づいて前記描画対象における前記第１の画像の描画が施されている既描画領域を検出し、
前記複数の描画対象画像は、少なくとも１つの、前記描画対象における前記第１の画像の描画が施された領域に影ができないように前記描画対象を照明する方向が設定されている前記複数の光源における第１の光源を使用した状態で撮影された第１の描画対象画像を含むことを特徴とする描画装置の描画方法。 A drawing method of a drawing device,
The drawing device includes a drawing unit that draws on a drawing target, and at least one light source that illuminates the drawing target,
The drawing target after the first image is drawn by the drawing unit is photographed a plurality of times by changing the direction of illuminating the drawing target by the light source to a plurality of different directions,
By synthesizing a plurality of portrayal target image obtained by photographing a plurality of times to generate a composite image,
Detecting a pre-drawing area drawing is applied in the first image in the drawing target on the basis of the composite image,
The plurality of light source images are set such that at least one of the plurality of light source regions has a direction in which the light source is illuminated so that a shadow cannot be formed in a region of the image subject to which the first image is drawn. In the drawing method of the drawing apparatus, the first drawing target image photographed in the state of using the first light source is included .
JP2016057941A 2016-03-23 2016-03-23 Drawing device and drawing method of drawing device Active JP6733251B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016057941A JP6733251B2 (en) 2016-03-23 2016-03-23 Drawing device and drawing method of drawing device
JP2020117434A JP6939957B2 (en) 2016-03-23 2020-07-08 Drawing device and drawing method of drawing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016057941A JP6733251B2 (en) 2016-03-23 2016-03-23 Drawing device and drawing method of drawing device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020117434A Division JP6939957B2 (en) 2016-03-23 2020-07-08 Drawing device and drawing method of drawing device

Publications (2)

Publication Number Publication Date
JP2017169727A JP2017169727A (en) 2017-09-28
JP6733251B2 true JP6733251B2 (en) 2020-07-29

Family

ID=59969555

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016057941A Active JP6733251B2 (en) 2016-03-23 2016-03-23 Drawing device and drawing method of drawing device

Country Status (1)

Country Link
JP (1) JP6733251B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7225913B2 (en) 2019-02-28 2023-02-21 カシオ計算機株式会社 printer

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60163163A (en) * 1984-02-03 1985-08-26 Mitsubishi Electric Corp Visual sensor device
JP2000125289A (en) * 1998-10-15 2000-04-28 Toshiba Mach Co Ltd Method for generating image with emphasized recessed part
JP4578109B2 (en) * 2004-01-16 2010-11-10 三菱電機株式会社 Fingerprint reader and fingerprint verification device
JP6186975B2 (en) * 2012-09-06 2017-08-30 カシオ計算機株式会社 Nail printing apparatus and printing control method for nail printing apparatus
JP2014233484A (en) * 2013-06-03 2014-12-15 キヤノン株式会社 Ophthalmologic photographing apparatus and image forming method thereof
JP2015231118A (en) * 2014-06-04 2015-12-21 キヤノン株式会社 Image composition device, image composition system and image composition method
JP6128067B2 (en) * 2014-06-27 2017-05-17 カシオ計算機株式会社 Drawing apparatus and drawing control method of drawing apparatus

Also Published As

Publication number Publication date
JP2017169727A (en) 2017-09-28

Similar Documents

Publication Publication Date Title
JP6428415B2 (en) Drawing apparatus and nail shape detection method
JP6493198B2 (en) Drawing apparatus and drawing method of drawing apparatus
JP6186975B2 (en) Nail printing apparatus and printing control method for nail printing apparatus
JP6428411B2 (en) Drawing apparatus and nail inclination detection method
JP6206346B2 (en) Drawing apparatus and drawing control method of drawing apparatus
JP6589469B2 (en) Drawing apparatus and drawing method of drawing apparatus
JP6701853B2 (en) Drawing device and drawing method of drawing device
JP6790513B2 (en) Drawing device and drawing method of drawing device
JP6128067B2 (en) Drawing apparatus and drawing control method of drawing apparatus
JP2015019769A (en) Nail printing device and printing method of the same
JP2014121344A (en) Nail printing device and printing control method for nail printing device
JP6582619B2 (en) Nail printing apparatus and drawing method of nail printing apparatus
JP6808936B2 (en) Drawing device and control method of drawing device
JP6733251B2 (en) Drawing device and drawing method of drawing device
JP2017154502A (en) Drawing device, and drawing control method of drawing device
JP6939957B2 (en) Drawing device and drawing method of drawing device
JP2017055933A (en) Nail shape detection device, drawing device, and nail shape detection method
JP7184130B2 (en) Rendering device and rendering method
JP6213065B2 (en) Nail printing apparatus and printing method for nail printing apparatus
JP2015054153A (en) Nail printing equipment, and printing method for nail printing equipment
JP6349718B2 (en) Drawing device
JP6825244B2 (en) Drawing device and drawing method of drawing device
JP6500529B2 (en) Drawing apparatus and drawing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200107

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200305

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200609

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200622

R150 Certificate of patent or registration of utility model

Ref document number: 6733251

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150