JP2024043999A - 情報処理装置、学習用データの生成方法及びプログラム - Google Patents

Abstract

【課題】爪の形状の認識精度を向上させる学習用データをより容易に増やすことのできる情報処理装置、学習用データの生成方法及びプログラムを提供する。【解決手段】情報処理装置は、爪を含む指画像を取得する画像取得手段と、指画像における爪輪郭（Ｎｂ）及び指輪郭（Ｆｂ）を取得する輪郭取得手段と、爪輪郭（Ｎｂ）を移動させ、移動後の爪輪郭（Ｎｂ）を基準として指輪郭（Ｆｂ）の内側を変形させた変形指画像を生成する生成手段と、を備える。【選択図】図３

Description

この発明は、情報処理装置、学習用データの生成方法及びプログラムに関する。

撮影画像に基づいて人の爪を認識して、当該爪や爪に貼付するネイルシールなどに対して着色（印刷；ネイルプリント）などの処理を行う技術がある。認識には、画像認識処理が用いられればよい。画像認識処理には、機械学習モデルを利用したものが含まれ得る。対象位置に置かれた人の爪を撮影し、当該撮影画像に対して画像認識を行うことで、爪の位置及び範囲が特定される。特許文献１には、複数枚の爪の画像をそのうち少なくともいずれかに位置関係を示す標識を含めて撮影することで、爪の三次元的形状を精度よく特定する技術が開示されている。

特開２０２０－１７７５７８号公報

しかしながら、爪の状態によってはその境界を特定しづらい場合がある。一方で、このような特定しづらい状態の爪の画像を学習用に大量に集めるのは難しく、また、手間がかかるという課題がある。

この発明の目的は、爪の形状の認識精度を向上させる学習用データをより容易に増やすことのできる情報処理装置、学習用データの生成方法及びプログラムを提供することにある。

上記目的を達成するため、本発明は、
爪を含む指画像を取得する画像取得手段と、
前記指画像における爪輪郭及び指輪郭を取得する輪郭取得手段と、
前記爪輪郭を移動させ、当該移動後の前記爪輪郭を基準として前記指輪郭の内側を変形させた変形指画像を生成する生成手段と、
を備える情報処理装置である。

本発明に従うと、爪の形状の認識精度を向上させるのに好適な学習用データをより容易に増やすことができるという効果がある。

情報処理装置の機能構成を示すブロック図である。 爪の形状について説明する図である。 指画像の変形について説明する図である。 指画像生成制御処理の制御手順を示すフローチャートである。 学習制御処理及び画像調整制御処理の制御手順を示すフローチャートである。

以下、本発明の実施の形態を図面に基づいて説明する。
図１は、情報処理装置１の機能構成を示すブロック図である。

本実施形態の情報処理装置１は、一般的なＰＣ（Personal Computer；コンピュータ）であってもよい。情報処理装置１は、ＣＰＵ１１（Central Processing Unit）と、ＲＡＭ１２（Random Access Memory）と、記憶部１３と、通信部１４と、表示部１５と、操作受付部１６などを備える。

ＣＰＵ１１は、演算処理を行い、情報処理装置１の動作を統括制御するプロセッサである。ＣＰＵ１１は、単一のプロセッサを有していてもよいし、複数のプロセッサが並列又は用途などに応じて独立に処理を行ってもよい。ＣＰＵ１１は、本実施形態の情報処理装置１において、画像取得手段、輪郭取得手段、生成手段、学習制御手段及び爪領域判定手段を構成する。

ＲＡＭ１２は、ＣＰＵ１１に作業用のメモリ空間を提供し、一時データを記憶する。ＲＡＭ１２は、例えば、ＤＲＡＭであるが、これに限られるものではない。

記憶部１３は、プログラム１３１及び各種設定データなどを記憶する不揮発性メモリである。不揮発性メモリには、ＨＤＤ（Hard Disk Drive）が含まれ得る。記憶部１３は、周辺機器として情報処理装置に外付けされるものであってもよい。あるいは、記憶部１３は、ネットワーク上に位置するネットワークストレージやクラウドサーバなどであってもよい。また、記憶部１３には、後述の爪輪郭の画像認識に係る機械学習モデル１３２を有していてもよい。

通信部１４は、通信規格に従って外部機器との間でデータの送受信を行う。通信規格には、例えば、ＬＡＮ（Local Area Network）に係るＴＣＰ／ＩＰなど各種規格が含まれる。

表示部１５は、表示画面を有し、ＣＰＵ１１の制御に基づいて当該表示画面への表示を行う。表示画面は、例えば、液晶表示画面であるが、これに限られるものではない。また、表示部１５は、動作状態などを報知するためのＬＥＤランプなどを有していてもよい。

操作受付部１６は、入力操作を受け付けて受け付けた内容に応じた入力信号をＣＰＵ１１へ出力する。操作受付部１６は、例えば、キーボードやポインティングデバイスなどからの入力操作を受け付ける。
なお、表示部１５及び操作受付部１６は、情報処理装置１とは別個の構成であって周辺機器として取り付けられて動作するものであってもよい。

次に、画像からの爪検出について説明する。
ここでいう爪には、手足の爪のいずれもが含まれ得る。爪を含む指の撮影画像（指画像）における爪の検出は、画像認識処理により行われる。画像認識処理には、機械学習モデルが用いられる。機械学習モデルは、特には限られないが、例えば、ＤＮＮ（Deep Neural Network）、ＣＮＮ（Convolutional Neural Network）、セマンティックセグメンテーションなどのディープラーニングに係るアルゴリズムを用いたものである。学習は、教師有学習であり、教師データの作成担当者が指画像を視認しながら爪の輪郭を指定することで教師データが得られる。

図２は、爪の形状について説明する図である。
図２（ａ）に示すように、爪Ｎは、概ねピンク色の爪甲部分Ｎ１と、その先端で指の皮膚から離れて白くなっている爪先部分Ｎ２とを含む。この爪先部分Ｎ２が指の皮膚の先端よりも伸びていると、画像認識において爪Ｎの輪郭、特に先端が特定されやすい。一方で、図２（ｂ）に示すように、爪先部分Ｎ２が短い又はない（深爪）状態、特に、爪の先端が指の皮膚の先端より根元側にあって、爪の輪郭が指の輪郭に内包される（これらの輪郭が一致する部分を有さない）場合には、画像認識において爪Ｎの先端が相対的に特定しづらくなりやすい。

これに対し、特定しづらいタイプの爪を含む指画像を多く与えて機械学習モデルの学習を行わせるのがよい。しかしながら、例外的な爪の画像を多く入手するのは、容易ではない。

本実施形態の情報処理装置１では、一枚の学習用データから複数の学習用データを生成することで学習用データを増量する。

情報処理装置１では、元の学習用データの画像における指の輪郭を維持したまま爪の輪郭を微調整する。微調整には、サイズの変更（縦横比の変更を含む）に加えて微小角度の回転及び平行移動を含み得る。このとき、主に爪のサイズ変更に伴って爪の輪郭付近を大きく変形すると、実際の人間の指に即した画像から乖離し得る。このように変形された画像は、学習用データとして不適切となる。

図３は、指画像の変形について説明する図である。
図３（ａ）に示すように、情報処理装置１では、爪輪郭Ｎｂの若干内側（爪輪郭Ｎｂより小さい）及び外側（爪輪郭Ｎｂよりも大きい）にそれぞれ境界線Ｎｂｉ（内側境界線）及び境界線Ｎｂо（外側境界線）が設定される。破線で示したこれらの境界線Ｎｂｉ、Ｎｂоは、それぞれ爪Ｎの領域をモルフォロジー変換などにより数画素（例えば、２～１０画素程度）縮小処理及び拡張処理してそれぞれ変形された領域の外縁であってもよい。境界線Ｎｂｉ、Ｎｂо上には、それぞれある間隔で複数の頂点が定められる。間隔は、爪輪郭の曲線状で当該曲線が概ね適切に表現される程度であればよい。また、爪輪郭Ｎｂの重心位置（あるいは上記境界線の重心位置であってもよい）が基準位置Ｐ０として定められる。

また、指輪郭Ｆｂは、単純に指画像からコントラスト（輝度の傾斜）などに基づいて自動設定されてもよい。指Ｆの付け根側には、照明範囲などにより、あるいは指先から適宜な長さの位置に便宜上の指輪郭Ｆｂが設定されてもよい。この自動設定を容易にするために、指画像は、背面が単色、特に濃色（黒など）の状態で撮影されるのがより好ましい。指輪郭Ｆｂ上にも、ある間隔で頂点が定められる。あるいは、指輪郭Ｆｂよりも若干内側（例えば、２～３画素）に指の境界線を設定して、当該境界線上に頂点を定めてもよい。これにより、指の外縁の画素には変形による変更が生じない。この場合も、指の境界線は、指の範囲のモルフォロジー変換などによって定められた領域の外縁であってもよい。爪Ｎが指の皮膚の先端よりも外側に突出している場合には、当該部分において指輪郭Ｆｂは、爪輪郭Ｎｂと一致する。

点線で示すように、上記境界線Ｎｂｉ、Ｎｂоと交差しないようにこれらの頂点及び基準位置Ｐ０を３点つないで、指輪郭Ｆｂ内を三角形（多角形）のタイル（ポリゴン、領域）に分割する（ここでは説明のために頂点の間隔を広くとっている）。指輪郭Ｆｂ（又は指の境界線。以下同じ）上の頂点は、他の指輪郭Ｆｂ上の頂点及び境界線Ｎｂо上の頂点とのみ接続する。これらの頂点により分割されるタイルは、爪Ｎの周囲の指部分Ｆｓのみを含む（爪輪郭Ｎｂの近傍領域の外側）。基準位置Ｐ０は、境界線Ｎｂｉ上の頂点とのみ接続する。これらの頂点により分割されるタイルは、爪Ｎの内部のみを含む（爪輪郭Ｎｂの近傍領域の内側）。

図３（ｂ）に示すように、爪輪郭Ｎｂを移動させるように境界線Ｎｂｉ、Ｎｂо（の上の頂点）を変更サイズや回転などのパラメータに応じて移動させる。ここでは、一例として、基準位置Ｐ０から各頂点への距離が０．９倍となるように当該各頂点が移動している。当該移動に応じて各タイル（指輪郭Ｆｂの内側、区分された各々）を変形する。
爪輪郭Ｎｂが指輪郭Ｆｂに内包されている場合には、変形により指輪郭Ｆｂは移動せず、固定された状態となる。上記のように学習用データの数が不足しがちなこのタイプの指画像を選択的に変形の対象としてもよい。

タイル（ポリゴン）への分割は、従来周知の方法で行われてもよい。例えば、ドロネーの三角形分割などが周知の方法の一例として挙げられる。

サイズ変更の際の変更量は、現実的に想定される範囲に概ね収まる大きさを上限として、縦（指の伸びる方向）、横（指の幅方向）のそれぞれについて基準位置Ｐ０からの距離の例えば元の０．７倍以上の係数などとして定められる。係数は、変形指画像ごとに各々ランダムに又は予め定められた出現頻度分布に基づいて定められてもよいし、予め適宜な分布で複数の値が設定されていてもよい。また、爪輪郭Ｎｂが指輪郭Ｆｂに内包されている画像への変形に限定される場合には、指輪郭Ｆｂと爪輪郭Ｎｂ（境界線Ｎｂｏであってもよい）との距離が下限距離以上である範囲に変更量が限定されてもよい。回転時の回転角度は微小であってよく、例えば、５度以下などである。また、手指の爪が曲がることは少ないので、回転変形は、足の爪に限定されてもよい。

このような分割により、爪輪郭Ｎｂを含む境界線Ｎｂｉ、Ｎｂоの間（爪輪郭Ｎｂの近傍領域）は、当該境界線Ｎｂｉ、Ｎｂо上の頂点を結んだタイルのみとなる。したがって、爪輪郭Ｎｂ周囲の点の位置関係が大きく変化しない。特に、この範囲の変形では、爪輪郭Ｎｂに垂直な方向には変化が小さく、かつ一様になりやすいので、実際の人間の指に対して歪んだ変形指画像となりにくい。

図４は、情報処理装置１で実行される指画像生成制御処理のＣＰＵ１１による制御手順を示すフローチャートである。本実施形態の学習用データの生成方法を含むこの指画像生成制御処理は、例えば、ユーザ又はバッチコマンドなどにより対象の指画像ファイルを指定した開始命令に応じて記憶部１３からプログラム１３１が読み出されて起動される。

ＣＰＵ１１は、指定された指画像データを取得する（ステップＳ１０１；画像取得手段、画像取得ステップ）。ＣＰＵ１１は、指画像における指の輪郭（指輪郭Ｆｂ）を特定、取得する（ステップＳ１０２）。例えば、ＣＰＵ１１は、指画像を表示部１５に表示させて、操作受付部１６への入力操作を受け付ける（ステップＳ１０３）。ＣＰＵ１１は、入力操作の内容に応じて爪の輪郭線（爪輪郭Ｎｂ）を取得する（ステップＳ１０４）。入力操作は、例えば、表示画面の表示された指画像の爪輪郭Ｎｂをポインティングデバイスでなぞるなどで直接爪輪郭Ｎｂを指定するものであってもよい。あるいは、入力操作は、簡易的な画像処理（例えばエッジ検出など）や、現時点までの学習用データに基づいて学習されている機械学習モデルを利用して得られた初期輪郭を修正、承認するものであってもよい。なお、外部で予め対象の指画像における指輪郭Ｆｂの教師データが設定され、情報処理装置１がこの教師データを取得して、記憶部１３に保持していてもよい。この場合には、ＣＰＵ１１は、単純にこの教師データを記憶部１３から読み出せばよい。ステップＳ１０２、Ｓ１０４の処理が本実施形態の輪郭取得手段、輪郭取得ステップに対応する。

ＣＰＵ１１は、指輪郭Ｆｂ上にある間隔で頂点を設定する（ステップＳ１０５）。ＣＰＵ１１は、爪輪郭Ｎｂの内外に境界線Ｎｂｉ、Ｎｂоを定めて、当該境界線Ｎｂｉ、Ｎｂо上にそれぞれ頂点を設定する（ステップＳ１０６）。

ＣＰＵ１１は、取得された爪輪郭Ｎｂが指輪郭Ｆｂから基準距離以上内側にあるか否かを判別する（ステップＳ１０７）。すなわち、ＣＰＵ１１は、爪輪郭Ｎｂが指輪郭Ｆｂに内包されており、かつ十分に指輪郭Ｆｂの内側に位置する深爪状態であるか否かを判別する。ここでは、ＣＰＵ１１は、指輪郭Ｆｂ上の頂点と、境界線Ｎｂｏ上の頂点との最短距離を求めて、当該最短距離と基準距離とを比較する。基準距離は、例えば、爪輪郭Ｎｂと境界線Ｎｂｏとの下限距離に定められてもよい。爪輪郭Ｎｂが指輪郭Ｆｂから基準距離以上内側にないと判別された場合には（ステップＳ１０７で“ＮＯ”）、ＣＰＵ１１は、得られた指輪郭Ｆｂの情報と対応付けて指画像データを記憶する。そして、ＣＰＵ１１は、指画像生成制御処理を終了する。

爪輪郭Ｎｂが指輪郭Ｆｂから基準距離以上内側にある（深爪状態である）と判別された場合には（ステップＳ１０７で“ＹＥＳ”）、ＣＰＵ１１は、爪輪郭Ｎｂの重心位置を特定して基準位置Ｐ０とする（ステップＳ１０８）。ＣＰＵ１１は、指輪郭Ｆｂの範囲内（爪Ｎ及びその周囲の指部分Ｆｓ）を三角形のタイル（ポリゴン）に分割する（ステップＳ１０９）。

ＣＰＵ１１は、爪Ｎの形状変更に係る変更パラメータを設定する（ステップＳ１１０）。変更パラメータには、上記のように基準位置Ｐ０からの距離の変更に係る係数、回転角度及び基準位置Ｐ０自体の移動距離が含まれ得る。係数は、指輪郭Ｆｂ上の頂点と境界線Ｎｂｏとの最短距離が下限距離以上となる範囲で定められてもよい。ＣＰＵ１１は、上記変更パラメータに従って境界線Ｎｂｉ、Ｎｂо上の頂点、及び必要に応じて基準位置Ｐ０を連動して移動させる。このとき、ＣＰＵ１１は、爪輪郭Ｎｂの位置も併せて変更する。

ＣＰＵ１１は、移動に応じて各タイル内の各画素の位置を変換して、変形指画像を生成する（ステップＳ１１１）。縮尺変更などで画素の移動元と移動先とが１対１で対応しない場合には、対応する複数画素や、周囲の画素などの情報が利用される。例えば、移動先に複数の画素が対応する場合には、ＣＰＵ１１は、当該複数画素の画素値を重み付き平均してもよい。また、移動先に対応する画素がない場合には、ＣＰＵ１１は、周囲の画素による線形補間などにより当該画素の輝度値（階調値）が定められてもよい。これらにより、爪輪郭Ｎｂの移動後の位置を基準として、指輪郭Ｆｂの内側、すなわち、爪Ｎ（爪輪郭Ｎｂの内側）及びその周囲の指部分Ｆｓ（爪輪郭Ｎｂの外側）が変形される。ＣＰＵ１１は、生成された変形指画像のデータを予め特定、変更されている爪輪郭Ｎｂのデータとともに記憶する。ステップＳ１１０、Ｓ１１１の処理が本実施形態の生成手段、生成ステップに対応する。

ＣＰＵ１１は、規定された範囲の変更パラメータの設定がなされたか否かを判別する（ステップＳ１１２）。規定された範囲の全体で設定されていないと判別された場合には（ステップＳ１１２で“ＮＯ”）、ＣＰＵ１１の処理は、ステップＳ１１０に戻る。規定された範囲の全体で設定されたと判別された場合には（ステップＳ１１２で“ＹＥＳ”）、ＣＰＵ１１は、指画像生成制御処理を終了する。

機械学習モデル１３２は、上記のようにして記憶された指画像データ（変形指画像データ）及び爪輪郭情報の組み合わせに基づいて学習が行われる。これにより、機械学習モデル１３２は、指画像データの入力に対して爪輪郭Ｎｂ内の爪Ｎの範囲を特定して出力することが可能となる。ＣＰＵ１１は、通信部１４を介して受け付けた指画像データを学習済の機械学習モデル１３２に入力して爪Ｎの範囲の特定結果を取得し、外部機器や表示部１５に出力することが可能であってもよい。通信部１４は、指の撮影装置に直接接続されて、撮影装置のデータを取得可能であってもよい。

さらに、情報処理装置１は、プリントエンジン（印刷機構）に接続されていてもよい。情報処理装置１は、印刷装置（ネイルプリンタ）の一部（制御機構）であってもよい。あるいは、情報処理装置１が外部の１又は複数の印刷装置に対して通信部１４を介して接続されているのであってもよい。プリントエンジンは、例えば、インクを吐出する機構の駆動部を有する。インクの吐出方式は、任意のものであってよく、従来周知のものであってもよい。

ＣＰＵ１１は、取得、設定されたネイルプリント画像を、指画像から特定された爪Ｎの範囲に合わせて調整する。調整対象には、基準位置、サイズ（縮尺、トリミング、アスペクト比など）及び向き（回転方向）などが含まれ得る。ＣＰＵ１１は、調整済みのネイルプリント画像のデータをプリントエンジンに出力することで、プリント位置に置かれた指、又はネイルシール若しくはネイルチップなどに対して当該プリントエンジンによりプリントを行わせる。

図５は、情報処理装置１で実行される学習制御処理（ａ）及び画像調整制御処理（ｂ）のＣＰＵ１１による制御手順を示すフローチャートである。

図５（ａ）に示す学習制御処理は、本実施形態の学習制御手段を構成する。学習制御処理は、操作受付部１６への入力操作などにより、学習対象の機械学習モデル１３２及び学習用データ（教師データ付き）が指定されて開始される。

学習制御処理が開始されると、ＣＰＵ１１は、指定された学習対象の機械学習モデル１３２に順番に選択した１枚の学習用の指画像データを入力する（ステップＳ１４１）。この学習用の指画像データは、上記の変形指画像データを含むものである。

ＣＰＵ１１は、機械学習モデル１３２から出力された指輪郭（又は指の領域）と、入力された指画像データに対応付けられている教師データとを比較する。ＣＰＵ１１は、比較結果に基づいて損失関数を算出する（ステップＳ１４２）。

ＣＰＵ１１は、損失関数を機械学習モデル１３２のパラメータにフィードバックする（ステップＳ１４３）。フィードバックは周知の技術、例えば、誤差逆伝播法などにより行われればよい。

ＣＰＵ１１は、機械学習モデル１３２の学習終了条件を満たしているか否かを判別する（ステップＳ１４４）。学習終了条件は、例えば、損失関数の大きさや、入力された学習用画像データの枚数などについて定められていればよい。学習終了条件を満たしていないと判別された場合には（ステップＳ１４４で“ＮＯ”）、ＣＰＵ１１の処理は、ステップＳ１４１に戻る。学習終了条件を満たしていると判別された場合には（ステップＳ１４４で“ＹＥＳ”）、ＣＰＵ１１は、学習制御処理を終了する。このとき、ＣＰＵ１１は、満たされた学習終了条件などに応じて学習の成功又は失敗を判断してもよい。学習が成功した場合には、ＣＰＵ１１は、機械学習モデル１３２を学習済モデルとして記憶部１３に別途記憶保持してもよい。

図５（ｂ）に示す画像調整制御処理は、調整を行う印刷対象画像データ及び印刷対象（ネイルシールの貼付対象）とされる指の撮影画像データとともに操作受付部１６により又は通信部１４を介して外部から要求されることで開始される。

ＣＰＵ１１は、学習済の機械学習モデル（学習済モデル）に撮影画像を入力する（ステップＳ１８１）。ＣＰＵ１１は、学習済モデルから爪輪郭（又は領域）の出力結果を取得する（ステップＳ１８２）。ＣＰＵ１１は、取得した爪輪郭の結果に合わせて印刷対象画像の位置、サイズや向きなどを調整する（ステップＳ１８３）。ステップＳ１８２、Ｓ１８３の処理が本実施形態の爪領域判定手段を構成する。

ＣＰＵ１１は、調整済みの印刷対象画像のデータを出力する（ステップＳ１８４）。出力先は、撮影画像の送付元の外部機器であってもよいし、自機の表示部１５であってもよい。あるいは、ＣＰＵ１１は、上記のようにプリントエンジンに調整済み印刷対象画像のデータを出力して、セット済みの指やネイルシールなどに対して当該印刷対象画像の印刷を行わせてもよい。そして、ＣＰＵ１１は、画像調整制御処理を終了する。

以上のように、本実施形態の情報処理装置１は、ＣＰＵ１１を備える。ＣＰＵ１１は、画像取得手段として爪Ｎを含む指画像を取得する。ＣＰＵ１１は、輪郭取得手段として指画像の爪輪郭Ｎｂ及び指輪郭Ｆｂを取得する。ＣＰＵ１１は、生成手段として爪輪郭Ｎｂを移動させ、この移動後の爪輪郭Ｎｂを基準として指輪郭Ｆｂの内側を変形させた変形指画像を生成する。このように、情報処理装置１では、元の画像における指輪郭Ｆｂを保ったまま、爪輪郭Ｎｂを移動させる。そして、移動された後の爪Ｎの輪郭（爪輪郭Ｎｂ）を基準として指画像を変形する。これにより、爪Ｎの輪郭近辺の変形による歪みを低減することができる。したがって、実際の爪Ｎの近傍の状態から乖離が小さい変形指画像を生成することができる。よって、この情報処理装置１によれば、爪の形状の認識精度を向上させるための学習用データをより容易に増やすことができる。

また、ＣＰＵ１１は、生成手段として、爪輪郭Ｎｂが指輪郭Ｆｂに内包される指画像から選択的に変形指画像を生成することとしてもよい。爪輪郭Ｎｂ、特に爪の先端が指輪郭Ｆｂの内側にある画像における爪の先端の認識は他の爪と比較して難しい。したがって、このような画像を選択して学習用データに追加する変形指画像の生成に用いることで、効率的に認識精度の高い学習済モデルを得るための学習用データを生成することができる。特に、深爪などの撮影画像は全体に比して少ないので、好適な学習用画像のオリジナルを大量に取得することは難しい。したがって、情報処理装置１では、爪輪郭Ｎｂが指輪郭Ｆｂに内包される変形指画像を選択的に生成することで、機械学習モデルの学習により好ましい学習用データを効率よく取得することができる。さらに、ネイルプリントでは、爪の先端に位置を合わせて色材を付与することが多いので、爪の先端の認識精度が向上することで、プリントミスを低減することが可能となる。

また、ＣＰＵ１１は、生成手段として、指輪郭Ｆｂの内側（指Ｆ）を爪輪郭Ｎｂの近傍領域（境界線Ｎｂｉと境界線Ｎｂоとの間）、近傍領域の内側の領域（境界線Ｎｂｉの内側）及び近傍領域の外側の領域（境界線Ｎｂｏの内側）に区分して、区分された各々を、移動後の爪輪郭Ｎｂを基準として変形させる。このように、爪輪郭Ｎｂを不自然に変形させないように近傍領域の変形量が定められる。また、近傍領域の両側の領域の変形量が当該近傍領域の変形を補うように定められる。したがって、爪輪郭Ｎｂ付近の変形が不自然になりにくい。よって、この情報処理装置１は、爪輪郭Ｎｂの認識の学習に好適な学習用データが効率よく容易に得ることができる。

また、ＣＰＵ１１は、輪郭取得手段として、爪Ｎの基準位置Ｐ０を設定し、指輪郭Ｆｂと、爪輪郭Ｎｂより小さい境界線Ｎｂｉと、爪輪郭Ｎｂより大きい境界線Ｎｂоと、に沿ってそれぞれ複数の頂点を設定する。ＣＰＵ１１は、生成手段として、境界線Ｎｂｉ上の頂点と境界線Ｎｂо上の頂点とを連動して移動させることで爪輪郭Ｎｂを移動させる。すなわち、情報処理装置１では、単に爪輪郭Ｎｂを境界とするだけではなく、当該爪輪郭Ｎｂの内側と外側に境界線Ｎｂｉ、Ｎｂоを設定する。すなわち、内側の境界線Ｎｂｉよりも内側の爪内部、外側の境界線Ｎｂоよりも外側の指部分Ｆｓに加えて、爪輪郭Ｎｂを含む２本の境界線Ｎｂｉ、Ｎｂоの間を更に別領域に定められる。これにより、情報処理装置１では、境界線Ｎｂｉ、Ｎｂоの間の部分の狭い範囲で周囲の変形に対して微調整するので、爪輪郭Ｎｂの近傍で画像が大きく歪むのを抑制することができる。よって、情報処理装置１では、爪の認識にとって不自然さの少ない変形指画像を生成することができる。

また、ＣＰＵ１１は、生成手段として境界線Ｎｂｉ及び境界線Ｎｂоと交差しないように基準位置Ｐ０と頂点とを結んで、指輪郭Ｆｂ内（爪を含む）を多角形の領域に分割し、頂点の移動に応じて各領域を変形する。このように指輪郭Ｆｂ内を境界線Ｎｂｉ、Ｎｂоの内外で別個に分割することで、情報処理装置１は、爪輪郭Ｎｂの歪みを抑えつつ適切に爪Ｎを変形させた指画像を得ることができる。

また、爪輪郭Ｎｂに基づいて定められた頂点の移動は、境界線Ｎｂｉと境界線Ｎｂｏの間に位置する多角形の領域を、境界線Ｎｂｉの内側及び境界線Ｎｂｏの外側に位置する多角形の領域に比して歪みを抑えるように定められる。爪輪郭Ｎｂを挟んだ境界線Ｎｂｉ、Ｎｂｏの間の狭い領域で多角形の領域に分割し、爪輪郭Ｎｂ自体を大きく変形させないようにしながら縮尺を変更させたり回転させたりすることで、この領域内の各多角形の変形による歪みを抑えることができるので、爪Ｎ付近の不自然な歪みの抑えられた現実的におかしくない変形指画像を容易に得ることができる。

また、爪Ｎの基準位置Ｐ０は、爪輪郭Ｎｂの重心位置であってもよい。重心位置に対して爪Ｎのサイズを変更したり爪Ｎを回転させることで、爪Ｎの変形が不自然になりにくい。したがって、情報処理装置１は、適切な変形指画像を生成することができる。

また、ＣＰＵ１１は、生成手段として、指輪郭Ｆｂの頂点と境界線Ｎｂｏの頂点との最短距離が下限距離以上である範囲で爪輪郭Ｎｂを移動することとしてもよい。これにより、指輪郭Ｆｂの近傍及び爪輪郭Ｎｂの近傍の画像の歪みを適切に抑えつつ、従来爪輪郭Ｎｂを判別しにくい画像を効率的に生成、増量して機械学習モデルの学習に用いることができる。

また、情報処理装置１は、表示部１５と、操作受付部１６と、を備える。ＣＰＵ１１は、輪郭取得手段として、取得した指画像に対して操作受付部１６により受け付けられた内容に基づいて爪輪郭Ｎｂを特定、取得する。すなわち、教師データとなる爪輪郭Ｎｂは、ユーザ操作などによって、表示部１５に表示された指画像に対応して適切に定められて、取得されればよい。

ＣＰＵ１１は、学習制御手段として、取得された指画像及び爪輪郭、並びに生成された変形指画像及び移動された爪輪郭を用いて、指の撮影画像の入力に対して爪の範囲に係る情報を出力する機械学習モデル１３２を学習させる。ＣＰＵ１１は、爪領域判定手段として、得られた学習済モデルに対して指の撮影画像を入力して、爪の範囲に係る情報を取得する。
このように、情報処理装置１が機械学習モデル１３２を学習させて、指の撮影画像から爪の範囲を判定してもよい。上記のように生成された学習用データを利用することで、この情報処理装置１では、爪の判別精度が向上した学習済モデルが得られる。また、この学習済モデルを用いることで、情報処理装置１は、爪をより精度よく判別することができる。

また、本実施形態の学習用データの生成方法は、爪を含む指画像を取得する画像取得ステップ、指画像の爪輪郭Ｎｂの位置及び指輪郭Ｆｂの位置を取得する輪郭取得ステップ、爪輪郭Ｎｂを変形させ、変形後の爪輪郭Ｎｂの位置に応じて爪Ｎ及び当該爪Ｎの周囲の指部分Ｆｓとを変形させた変形指画像を生成する生成ステップ、を含む。
この学習用データの生成方法によれば、爪の形状を画像認識するための機械学習モデルの学習に用いられるのに好適な画像データを教師データ共々効率よく増量することができる。したがって、撮影、データ収集及び教師データの生成の手間を軽減しつつ、認識精度の高い学習済モデルを得ることができる。

また、上記学習用データの生成方法に係るプログラム１３１を汎用のコンピュータにインストールして実行することで、爪を画像認識するための機械学習モデルを学習させるために好適な学習用データを、特殊な構成を必要とせずに効率よく増量することができる。

なお、本発明は、上記実施の形態に限られるものではなく、様々な変更が可能である。
例えば、上記実施の形態では、指輪郭Ｆｂが爪輪郭Ｎｂを内包する場合にのみ変形指画像が生成されるものとして説明したが、これに限られなくてもよい。また、この場合には、指輪郭Ｆｂの外側にある爪輪郭Ｎｂの変形に伴って必要な指輪郭Ｆｂが適宜定められてもよい。また、この場合には、指の伸びる方向についての変形により爪先部分Ｎ２の長さが変わり得る。したがって、爪甲部分Ｎ１と爪先部分Ｎ２とが区分されて変形処理がなされてもよい。

また、上記実施の形態では、爪輪郭の内側と外側とにそれぞれ境界線Ｎｂｉ、Ｎｂоが設定されて、爪輪郭Ｎｂが爪Ｎ及び指部分Ｆｓとは別領域とされたが、これに限られない。境界線の一部が爪輪郭Ｎｂと重なっていてもよいし、単純に爪輪郭Ｎｂを基準に内外に２分割してもよい。

また、上記実施の形態では、基準位置Ｐ０は、爪輪郭Ｎｂの重心位置ではなくてもよい。例えば、基準位置は、爪の左右両端の中心かつ根元位置などに定められてもよい。

また、上記実施の形態では、操作受付部１６により爪輪郭Ｎｂの入力操作を受け付けるものとして説明したが、これに限られない。情報処理装置１は、予め外部で爪輪郭Ｎｂが設定された指画像を取得するだけであってもよい。

また、上記実施の形態では、単一の情報処理装置１により変形指画像の生成に係る処理が行われることとしたが、これに限られない。例えば、あるサーバ装置が爪輪郭と指輪郭の位置関係を判別し、変形指画像の生成の対象となる元画像のデータを外部のクライアント装置に送信してもよい。クライアント装置は、各々変形指画像を生成して、生成した変形指画像のデータをサーバ装置に生成データを送信するか、又は共通のデータサーバなどに送信、記憶させてもよい。

また、上記実施の形態では、爪を認識するための機械学習モデルを学習させるための画像データを予め準備する目的で変形指画像を生成したが、これに限られるものではない。生成された変形指画像と元の指画像とに基づいて機械学習モデルを即座に学習させて更新し、更新された機械学習モデルを用いて同一ユーザの他の指の爪輪郭を認識する処理が行われてもよい。この場合、例えば、最初に取得された指画像における爪輪郭の認識結果がユーザに提示（表示部１５により表示）されて、ユーザの承認又は修正操作を受け付けることで、爪輪郭Ｎｂが特定される。特定された爪輪郭Ｎｂが教師データとされて、機械学習モデルの更新に利用される。ユーザに提示される認識結果は一種類ではなくてもよい。複数種類の候補が表示されて、ユーザにより正しいものが選択されてもよい。

また、情報処理装置１は、機械学習モデル１３２を有さず、プリントエンジンに接続されていなくてもよい。情報処理装置１は、生成した変形指画像のデータ及びその爪輪郭情報を外部のデータベースサーバなどに出力するのみであってもよい。機械学習モデル１３２を有する外部の情報処理装置又は印刷装置がデータベースサーバに記憶されたデータを用いて機械学習モデル１３２の学習を行わせてもよい。印刷装置は、学習済の機械学習モデルを取得して、爪Ｎの領域判別に利用するだけであってもよい。

また、以上の説明では、本発明の指画像生成制御に係るプログラム１３１を記憶するコンピュータ読み取り可能な媒体としてＨＤＤ、フラッシュメモリなどの不揮発性メモリなどからなる記憶部１３を例に挙げて説明したが、これらに限定されない。その他のコンピュータ読み取り可能な媒体として、ＭＲＡＭなどの他の不揮発性メモリや、ＣＤ－ＲＯＭ、ＤＶＤディスクなどの可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウェーブ（搬送波）も本発明に適用される。
その他、上記実施の形態で示した具体的な構成、処理動作の内容及び手順などは、本発明の趣旨を逸脱しない範囲において適宜変更可能である。本発明の範囲は、特許請求の範囲に記載した発明の範囲とその均等の範囲を含む。

１ 情報処理装置
１１ ＣＰＵ
１２ ＲＡＭ
１３ 記憶部
１３１ プログラム
１４ 通信部
１５ 表示部
１６ 操作受付部
Ｆ 指
Ｆｂ 指輪郭
Ｎ 爪
Ｎ１ 爪甲部分
Ｎ２ 爪先部分
Ｎｂ 爪輪郭
Ｎｂｉ、Ｎｂо 境界線
Ｐ０ 基準位置

Claims (12)

1. 爪を含む指画像を取得する画像取得手段と、
   前記指画像における爪輪郭及び指輪郭を取得する輪郭取得手段と、
   前記爪輪郭を移動させ、当該移動後の前記爪輪郭を基準として前記指輪郭の内側を変形させた変形指画像を生成する生成手段と、
   を備える情報処理装置。
2. 前記生成手段は、前記爪輪郭が前記指輪郭に内包される前記指画像から選択的に前記変形指画像を生成する請求項１記載の情報処理装置。
3. 前記生成手段は、前記指輪郭の内側を前記爪輪郭の近傍領域、前記近傍領域の内側の領域及び前記近傍領域の外側の領域に区分して、区分された各々を、前記移動後の前記爪輪郭を基準として変形させる請求項１記載の情報処理装置。
4. 前記輪郭取得手段は、前記爪の基準位置を設定し、前記指輪郭と、前記爪輪郭より小さい内側境界線と、前記爪輪郭より大きい外側境界線と、に沿ってそれぞれ複数の頂点を設定し、
   前記生成手段は、前記内側境界線上の頂点と前記外側境界線上の頂点とを連動して移動させることで前記爪輪郭を移動させる請求項１記載の情報処理装置。
5. 前記生成手段は、前記内側境界線及び前記外側境界線と交差しないように前記基準位置と前記頂点とを結んで、前記指輪郭内を多角形の領域に分割し、前記頂点の移動に応じて各領域を変形する請求項４記載の情報処理装置。
6. 前記頂点の移動は、前記内側境界線と前記外側境界線の間に位置する多角形の領域を前記内側境界線の内側及び前記外側境界線の外側に位置する多角形の領域に比して歪みを抑えるように定められる請求項５記載の情報処理装置。
7. 前記爪の基準位置は、前記爪輪郭の重心位置である請求項４記載の情報処理装置。
8. 前記生成手段は、前記指輪郭の前記頂点と前記外側境界線の前記頂点との最短距離が下限距離以上である範囲で前記爪輪郭を移動させる請求項５記載の情報処理装置。
9. 表示部と、
   操作受付部と、
   を備え、
   前記輪郭取得手段は、取得した前記指画像に対して前記操作受付部により受け付けられた内容に基づいて前記爪輪郭を取得する
   請求項１記載の情報処理装置。
10. 前記画像取得手段により取得された前記指画像及び前記輪郭取得手段により取得された前記爪輪郭、並びに前記生成手段により生成された前記変形指画像及び変形された前記爪輪郭を用いて、指の撮影画像の入力に対して爪の範囲に係る情報を出力する機械学習モデルを学習させる学習制御手段と、
    前記学習制御手段により学習された前記機械学習モデルに対して指の撮影画像を入力して、爪の範囲に係る情報を取得する爪領域判定手段と、
    を備える請求項１記載の情報処理装置。
11. 爪を含む指画像を取得する画像取得ステップ、
    前記指画像における爪輪郭及び指輪郭を取得する輪郭取得ステップ、
    前記爪輪郭を移動させ、当該移動後の前記爪輪郭を基準として前記指輪郭の内側を変形させた変形指画像を生成する生成ステップ、
    を含む学習用データの生成方法。
12. コンピュータを、
    爪を含む指画像を取得する画像取得手段、
    前記指画像における爪輪郭及び指輪郭を取得する輪郭取得手段、
    前記爪輪郭を移動させ、当該移動後の前記爪輪郭を基準として前記指輪郭の内側を変形させた変形指画像を生成する生成手段、
    として機能させるプログラム。

Images