JP7405565B2 - 画像処理装置、ミシン、及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置、ミシン、及び画像処理方法に関する。

縫製対象物の意匠性を高めるために、縫製対象物にステッチが形成される場合がある。特許文献１には、車両用シートに使用される表皮材にステッチを形成する技術が開示されている。

特開２０１３－１６２９５７号公報

車両用シートに使用される表皮材に孔が設けられる。孔が模様を形成することにより、車両用シートの意匠性がより高められる。ステッチは、孔の模様が設けられていない領域に形成される。ステッチを形成する場合、孔の模様が設けられている領域と孔の模様が設けられていない領域とを識別する必要がある。

本発明の態様は、孔の模様が設けられている領域と孔の模様が設けられていない領域とを識別することを目的とする。

本発明の態様に従えば、縫製対象物に係る画像を示す対象物画像を取得する対象物画像取得部と、前記対象物画像を規定のサーチ領域で走査して、注目画素が規定色画素か否かを判定する走査部と、判定結果に基づいて、前記縫製対象物の表面をテクスチャ領域とステッチ領域とに分割して、前記テクスチャ領域と前記ステッチ領域との境界線を算出する領域分割部と、を備える、画像処理装置が提供される。

本発明の態様によれば、孔の模様が設けられている領域と孔の模様が設けられていない領域とを識別することを識別することができる。

図１は、本実施形態に係るミシンを示す斜視図である。 図２は、本実施形態に係るミシンの一部を示す斜視図である。 図３は、本実施形態に係る縫製対象物の一部を示す断面図である。 図４は、本実施形態に係る縫製対象物を示す平面図である。 図５は、本実施形態に係る縫製対象物の一部を示す断面図である。 図６は、本実施形態に係る縫製対象物の一部を示す平面図である。 図７は、本実施形態に係る縫製対象物の一部を示す平面図である。 図８は、本実施形態に係るミシンを示す機能ブロック図である。 図９は、本実施形態に係る撮像装置の動作を説明するための図である。 図１０は、本実施形態に係る境界線の算出方法を説明するための図である。 図１１は、本実施形態に係る境界線を説明するための図である。 図１２は、本実施形態に係る補正点を説明するための図である。 図１３は、本実施形態に係る特徴点の算出方法の一例を説明するための図である。 図１４は、本実施形態に係る特徴点の算出方法の一例を説明するための図である。 図１５は、本実施形態に係る基準ベクトルを説明するための図である。 図１６は、本実施形態に係る基準ベクトルを説明するための図である。 図１７は、本実施形態に係る補正点の算出方法の一例を説明するための図である。 図１８は、本実施形態に係る補正点の算出方法の一例を説明するための図である。 図１９は、本実施形態に係る補正点の算出方法の一例を説明するための図である。 図２０は、本実施形態に係る縫製方法を示すフローチャートである。 図２１は、本実施形態に係る領域分割処理を示すフローチャートである。 図２２は、本実施形態に係る補正点算出処理を示すフローチャートである。 図２３は、本実施形態に係るコンピュータシステムを示すブロック図である。

以下、本発明に係る実施形態について図面を参照しながら説明するが、本発明はこれに限定されない。以下で説明する実施形態の構成要素は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。

本実施形態においては、ミシン１についてローカル座標系が規定される。以下の説明においては、ミシン１について規定されるローカル座標系を適宜、ミシン座標系、と称する。ミシン座標系は、ＸＹＺ直交座標系により規定される。本実施形態においては、ミシン座標系に基づいて各部の位置関係について説明する。所定面内のＸ軸と平行な方向をＸ軸方向とする。Ｘ軸と直交する所定面内のＹ軸と平行な方向をＹ軸方向とする。所定面と直交するＺ軸と平行な方向をＺ軸方向とする。また、Ｘ軸を中心とする回転方向又は傾斜方向をθＸ方向とする。Ｙ軸を中心とする回転方向又は傾斜方向をθＹ方向とする。Ｚ軸を中心とする回転方向又は傾斜方向をθＺ方向とする。また、本実施形態においては、Ｘ軸及びＹ軸を含む平面を適宜、ＸＹ平面、と称する。Ｘ軸及びＺ軸を含む平面を適宜、ＸＺ平面、と称する。Ｙ軸及びＺ軸を含む平面を適宜、ＹＺ平面、と称する。ＸＹ平面は、所定面と平行である。ＸＹ平面とＸＺ平面とＹＺ平面とは直交する。また、本実施形態においては、ＸＹ平面と水平面とが平行であることとする。Ｚ軸方向は上下方向である。＋Ｚ方向は上方向であり－Ｚ方向は下方向である。なお、ＸＹ平面が水平面に対して傾斜していてもよい。

［ミシン］
図１は、本実施形態に係るミシン１を示す斜視図である。図２は、本実施形態に係るミシン１の一部を示す斜視図である。本実施形態において、ミシン１は、電子サイクルミシンである。ミシン１は、ミシン本体１０と、作業者によって操作される操作装置２０と、縫製対象物Ｓを撮像可能な撮像装置３０とを備える。

ミシン本体１０は、テーブル２の上面に搭載される。ミシン本体１０は、ミシンフレーム１１と、ミシンフレーム１１に支持される針棒１２と、ミシンフレーム１１に支持される針板１３と、支持部材１４を介してミシンフレーム１１に支持される保持部材１５と、針棒１２を移動させる動力を発生するアクチュエータ１６と、保持部材１５を移動させる動力を発生するアクチュエータ１７と、保持部材１５の少なくとも一部を移動させる動力を発生するアクチュエータ１８とを有する。

ミシンフレーム１１は、Ｙ軸方向に延在する水平アーム１１Ａと、水平アーム１１Ａよりも下方に配置されたベッド１１Ｂと、水平アーム１１Ａの＋Ｙ側の端部とベッド１１Ｂとを繋ぐ垂直アーム１１Ｃと、水平アーム１１Ａの－Ｙ側に配置されたヘッド１１Ｄとを有する。

針棒１２は、ミシン針３を保持する。針棒１２は、ミシン針３とＺ軸とが平行になるようにミシン針３を保持する。針棒１２は、Ｚ軸方向に移動可能にヘッド１１Ｄに支持される。

針板１３は、縫製対象物Ｓを支持する。針板１３は、保持部材１５を支持する。針板１３は、ベッド１１Ｂに支持される。針板１３は、保持部材１５よりも下方に配置される。

保持部材１５は、縫製対象物Ｓを保持する。保持部材１５は、ミシン針３の直下の縫製位置Ｐｓを含むＸＹ平面内において縫製対象物Ｓを保持して移動可能である。保持部材１５は、撮像装置３０の直下の撮像位置Ｐｆを含むＸＹ平面内において縫製対象物Ｓを保持して移動可能である。保持部材１５が縫製対象物Ｓを保持した状態で、縫製データに基づいて縫製位置Ｐｓを含むＸＹ平面内において移動することにより、縫製対象物ＳにステッチＣＨが形成される。保持部材１５は、支持部材１４を介して水平アーム１１Ａに支持される。

保持部材１５は、押え部材１５Ａと、押え部材１５Ａに対向する下板１５Ｂとを有する。押え部材１５Ａは、枠状の部材である。押え部材１５Ａは、Ｚ軸方向に移動可能である。下板１５Ｂは、押え部材１５Ａの下方に配置される。保持部材１５は、押え部材１５Ａと下板１５Ｂとで縫製対象物Ｓを挟むことによって縫製対象物Ｓを保持する。

押え部材１５Ａが＋Ｚ方向に移動すると、押え部材１５Ａと下板１５Ｂとが離れる。これにより、作業者は、押え部材１５Ａと下板１５Ｂとの間に縫製対象物Ｓを配置することができる。押え部材１５Ａと下板１５Ｂとの間に縫製対象物Ｓが配置された状態で押え部材１５Ａが－Ｚ方向に移動すると、縫製対象物Ｓは押え部材１５Ａと下板１５Ｂとで挟まれる。これにより、縫製対象物Ｓは保持部材１５によって保持される。また、押え部材１５Ａが＋Ｚ方向に移動することにより、保持部材１５による縫製対象物Ｓの保持が解除される。これにより、作業者は、押え部材１５Ａと下板１５Ｂとの間から縫製対象物Ｓを取り出すことができる。

アクチュエータ１６は、針棒１２をＺ軸方向に移動させる動力を発生する。アクチュエータ１６は、パルスモータを含む。アクチュエータ１６は、水平アーム１１Ａに配置される。

水平アーム１１Ａの内部には、Ｙ軸方向に延在する水平アームシャフトが配置される。アクチュエータ１６は、水平アームシャフトの＋Ｙ側の端部に連結される。水平アームシャフトの－Ｙ側の端部は、ヘッド１１Ｄの内部に配置されている動力伝達機構を介して針棒１２に連結される。アクチュエータ１６の作動により、水平アームシャフトが回転する。アクチュエータ１６で発生した動力は、水平アームシャフト及び動力伝達機構を介して針棒１２に伝達される。これにより、針棒１２に保持されているミシン針３は、Ｚ軸方向に往復移動する。

垂直アーム１１Ｃの内部には、Ｚ軸方向に延在するタイミングベルトが配置される。また、ベッド１１Ｂの内部には、Ｙ軸方向に延在するベッドシャフトが配置される。水平アームシャフト及びベッドシャフトのそれぞれにプーリが配置される。タイミングベルトは、水平アームシャフトに配置されているプーリ及びベッドシャフトに配置されているプーリのそれぞれに架けられる。水平アームシャフトとベッドシャフトとは、タイミングベルトを含む動力伝達機構を介して連結される。

ベッド１１Ｂの内部には、釜が配置される。釜には、ボビンケースに入れられたボビンが収容される。アクチュエータ１６の作動により、水平アームシャフト及びベッドシャフトのそれぞれが回転する。アクチュエータ１６で発生した動力は、水平アームシャフト、タイミングベルト、及びベッドシャフトを介して釜に伝達される。これにより、釜は、針棒１２のＺ軸方向の往復移動と同期して回転する。

アクチュエータ１７は、保持部材１５をＸＹ平面内で移動させる動力を発生する。アクチュエータ１７は、パルスモータを含む。アクチュエータ１７は、保持部材１５をＸ軸方向に移動させる動力を発生するＸ軸モータ１７Ｘと、保持部材１５をＹ軸方向に移動させる動力を発生するＹ軸モータ１７Ｙとを含む。アクチュエータ１７は、ベッド１１Ｂの内部に配置される。

アクチュエータ１７で発生した動力は、支持部材１４を介して保持部材１５に伝達される。これにより、保持部材１５は、ミシン針３と針板１３との間においてＸ軸方向及びＹ軸方向のそれぞれに移動可能である。アクチュエータ１７の作動により、保持部材１５は、ミシン針３の直下の縫製位置Ｐｓを含むＸＹ平面内において縫製対象物Ｓを保持して移動可能である。

アクチュエータ１８は、保持部材１５の押え部材１５ＡをＺ軸方向に移動させる動力を発生する。アクチュエータ１８は、パルスモータを含む。押え部材１５Ａが＋Ｚ方向に移動することにより、押え部材１５Ａと下板１５Ｂとが離れる。押え部材１５Ａが－Ｚ方向に移動することにより、押え部材１５Ａと下板１５Ｂとで縫製対象物Ｓが挟まれる。

図２に示すように、ミシン本体１０は、ミシン針３の周囲に配置される中押え部材１９を有する。中押え部材１９は、ミシン針３の周囲の縫製対象物Ｓを押える。中押え部材１９は、Ｚ軸方向に移動可能にヘッド１１Ｄに支持される。ヘッド１１Ｄの内部には、中押え部材１９をＺ軸方向に移動させる動力を発生する中押えモータが配置される。中押えモータの作動により、中押え部材１９は、針棒１２と同期してＺ軸方向に移動する。中押え部材１９により、ミシン針３の移動による縫製対象物Ｓの浮き上がりが抑制される。

操作装置２０は、作業者に操作される。操作装置２０が操作されることにより、ミシン１が作動する。本実施形態において、操作装置２０は、操作パネル２１と、操作ペダル２２とを含む。操作パネル２１は、テーブル２の上面に搭載される。操作ペダル２２は、テーブル２の下方に配置される。作業者は、足で操作ペダル２２を操作する。作業者により操作パネル２１及び操作ペダル２２の少なくとも一方が操作されることにより、ミシン１は作動する。

撮像装置３０は、保持部材１５に保持されている縫製対象物Ｓを撮像する。撮像装置３０は、光学系と、光学系を介して入射する光を受光するイメージセンサとを有する。イメージセンサは、ＣＣＤ（Couple Charged Device）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを含む。

撮像装置３０は、針板１３及び保持部材１５よりも上方に配置される。撮像位置Ｐｆは、撮像装置３０の光学系の光軸ＡＸの位置を含む。撮像装置３０に撮像領域ＦＡが規定される。撮像領域ＦＡは、撮像装置３０の光学系の視野領域を含む。撮像領域ＦＡは、撮像位置Ｐｆを含む。撮像装置３０は、撮像領域ＦＡに配置された縫製対象物Ｓの少なくとも一部の画像を取得する。撮像装置３０は、押え部材１５Ａの内側に配置されている縫製対象物Ｓの少なくとも一部を上方から撮像する。

撮像装置３０の位置は、固定される。撮像装置３０とミシンフレーム１１との相対位置は、固定される。ＸＹ平面内における撮像装置３０の光学系の光軸ＡＸとミシン針３との相対位置は、固定される。ＸＹ平面内における撮像装置３０の光学系の光軸ＡＸとミシン針３との相対位置を示す相対位置データは、ミシン１の設計データから導出可能な既知データである。

撮像装置３０により取得される画像の位置は、カメラ座標系において規定される。規定の変換式又は変換行列により、カメラ座標系において規定される画像の位置がミシン座標系において規定される画像の位置に変換される。

なお、撮像装置３０の取付け誤差に起因して、撮像装置３０の実際の位置と設計データにおける位置とに差異が生じる場合、撮像装置３０の取付け後において、ＸＹ平面内におけるミシン針３の位置を計測し、計測されたミシン針３の位置を撮像装置３０に向かって既知データ分だけ移動し、ＸＹ平面内における撮像装置３０の実際の位置と移動後のミシン針３の位置との差分を算出することにより、その差分に基づいて、撮像装置３０の光学系の光軸ＡＸとミシン針３との正確な相対位置を算出することができる。

［縫製対象物］
図３は、本実施形態に係る縫製対象物Ｓの一部を示す断面図である。図４は、本実施形態に係る縫製対象物Ｓを示す平面図である。図３及び図４は、縫製処理前の縫製対象物Ｓを示す。本実施形態において、縫製対象物Ｓは、車両用シートに使用される表皮材である。

図３に示すように、縫製対象物Ｓは、表材４と、パッド材５と、裏材６とを有する。表材４に孔７が設けられる。

表材４の表面は、車両用シートに搭乗者が着座したときに搭乗者と接触する着座面である。表材４は、織布、不織布、及び皮革の少なくとも一つを含む。パッド材５は、弾力性を有する。パッド材５は、例えばウレタン樹脂を含む。裏材６は、織布、不織布、及び皮革の少なくとも一つを含む。

図４に示すように、孔７は、表材４に複数設けられる。孔７は、規定パターンＲＳで配置される。規定パターンＲＳは、複数の基準パターンＵＳを含む。複数の孔７により、基準パターンＵＳが形成される。本実施形態において、基準パターンＵＳは、２５個の孔７で構成される。

図４に示すように、基準パターンＵＳは、間隔をあけて表材４に配置される。基準パターンＵＳは、Ｘ軸方向及びＹ軸方向のそれぞれに等間隔で配置される。Ｘ軸方向に隣り合う基準パターンＵＳの間に、Ｙ軸方向の位置が異なる基準パターンＵＳが配置される。隣り合う基準パターンＵＳの間に孔７は形成されない。

以下の説明においては、表材４の表面において基準パターンＵＳが設けられる領域を適宜、テクスチャ領域ＴＡ、と称し、表材４の表面において基準パターンＵＳの間の基準パターンＵＳが設けられない領域を適宜、ステッチ領域ＳＡ、と称する。

ステッチ領域ＳＡには、縫製対象物Ｓに形成されるステッチＣＨの目標ステッチラインＲＬが規定される。

［縫製対象物の表面の変位］
図５は、本実施形態に係る縫製対象物Ｓの一部を示す断面図である。図５は、縫製処理後の縫製対象物Ｓを示す。縫製対象物Ｓは、厚みがあり弾力性を有する。厚みがあり弾力性を有する縫製対象物ＳにステッチＣＨが形成されることにより、図５に示すように、縫製対象物Ｓが縮む。

図６及び図７のそれぞれは、本実施形態に係る縫製対象物Ｓの一部を示す平面図である。図６は、縫製処理前の縫製対象物Ｓを示す。図７は、縫製処理後の縫製対象物Ｓを示す。

図６に示すように、ステッチ領域ＳＡに目標ステッチラインＲＬが規定される。縫製対象物ＳにステッチＣＨが形成されると、縫製対象物Ｓが縮む。縫製対象物Ｓが縮むと、縫製対象物Ｓの表面が変位する。図７に示すように、縫製対象物ＳにステッチＣＨが形成されると、目標ステッチラインＲＬに対して縫製対象物Ｓの表面がＸＹ平面内において変位する。

目標ステッチラインＲＬに対して縫製対象物Ｓの表面がＸＹ平面内において変位した場合、目標ステッチラインＲＬに従って保持部材１５を移動させると、ステッチＣＨを縫製対象物Ｓの表面の所望位置に形成することが困難となる。

本実施形態においては、ステッチＣＨの形成により縫製対象物Ｓが縮んで縫製対象物Ｓの表面が変位した場合、縫製対象物Ｓの表面の変位量に基づいて、目標ステッチラインＲＬの位置が補正される。保持部材１５は、補正された目標ステッチラインＲＬに基づいて移動される。

［画像処理装置］
図８は、本実施形態に係るミシン１を示す機能ブロック図である。ミシン１は、画像処理装置４０と、制御装置５０と、記憶装置６０とを備える。

画像処理装置４０は、コンピュータシステムを含む。図８に示すように、画像処理装置４０は、撮像装置３０、制御装置５０、記憶装置６０、入力装置７０、及び出力装置８０のそれぞれと接続される。画像処理装置４０は、縫製対象物Ｓに係る画像を処理する。

入力装置７０は、作業者に操作されることにより入力データを生成する。入力装置７０として、コンピュータ用キーボード、マウス、及びタッチパネルが例示される。

出力装置８０は、出力データを出力する。出力装置８０として、表示装置及び印刷装置が例示される。表示装置は、出力データとして表示データを出力する。印刷装置は、出力データとして印刷データを出力する。表示装置として、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）又は有機ＥＬディスプレイ（ＯＥＬＤ：Organic Electroluminescence Display）のようなフラットパネルディスプレイが例示される。印刷装置として、インクジェットプリンタが例示される。

制御装置５０は、コンピュータシステムを含む。図８に示すように、制御装置５０は、ミシン針３をＺ軸方向に移動させるアクチュエータ１６、保持部材１５をＸＹ平面内において移動させるアクチュエータ１７、保持部材１５の押え部材１５ＡをＺ軸方向に移動させるアクチュエータ１８、操作装置２０、画像処理装置４０、及び記憶装置６０のそれぞれと接続される。制御装置５０は、画像処理装置４０の処理結果に基づいて、保持部材１５を移動させるアクチュエータ１７を制御する制御指令を出力する。

また、制御装置５０は、アクチュエータ１６の駆動量を検出する駆動量センサ３１、及びアクチュエータ１７の駆動量を検出する駆動量センサ３２と接続される。

駆動量センサ３１は、アクチュエータ１６であるパルスモータの回転量を検出するエンコーダを含む。駆動量センサ３１の検出データは、制御装置５０に出力される。

駆動量センサ３２は、Ｘ軸モータ１７Ｘの回転量を検出するＸ軸センサ３２Ｘと、Ｙ軸モータ１７Ｙの回転量を検出するＹ軸センサ３２Ｙとを含む。Ｘ軸センサ３２Ｘは、Ｘ軸モータ１７Ｘの回転量を検出するエンコーダを含む。Ｙ軸センサ３２Ｙは、Ｙ軸モータ１７Ｙの回転量を検出するエンコーダを含む。駆動量センサ３２の検出データは、制御装置５０に出力される。

駆動量センサ３２は、ＸＹ平面内における保持部材１５の位置を検出する位置センサとして機能する。アクチュエータ１７の駆動量と保持部材１５の移動量とは１対１で対応する。

Ｘ軸センサ３２Ｘは、Ｘ軸モータ１７Ｘの回転量を検出することにより、ミシン座標系における原点からの保持部材１５のＸ軸方向の移動量を検出可能である。Ｙ軸センサ３２Ｙは、Ｙ軸モータ１７Ｙの回転量を検出することにより、ミシン座標系における原点からの保持部材１５のＹ軸方向の移動量を検出可能である。

制御装置５０は、駆動量センサ３１の検出データに基づいて、アクチュエータ１６を制御する。制御装置５０は、駆動量センサ３１の検出データに基づいて、例えばアクチュエータ１６の作動タイミングを決定する。

制御装置５０は、駆動量センサ３２の検出データに基づいて、アクチュエータ１７を制御する。制御装置５０は、駆動量センサ３２の検出データに基づいて、保持部材１５が所望位置に移動するようにアクチュエータ１７をフィードバック制御する。

制御装置５０は、駆動量センサ３２の検出データに基づいて、ＸＹ平面内における保持部材１５の位置を算出する。駆動量センサ３２の検出データに基づいて、ＸＹ平面内における原点からの保持部材１５の移動量が検出される。制御装置５０は、検出された保持部材１５の移動量に基づいて、ＸＹ平面内における保持部材１５の位置を算出する。

記憶装置６０は、ＲＯＭ（Read Only Memory）又はストレージのような不揮発性メモリ及びＲＡＭ（Random Access Memory）のような揮発性メモリを含む。図８に示すように、記憶装置６０は、画像処理装置４０及び制御装置５０のそれぞれと接続される。

記憶装置６０は、縫製データ記憶部６１と、設計データ記憶部６２と、プログラム記憶部６３とを有する。

縫製データ記憶部６１は、縫製処理において参照される縫製データを記憶する。

縫製処理とは、縫製対象物ＳにステッチＣＨを形成する処理をいう。本実施形態において、縫製処理は、第１ステッチＣＨ１を形成するための第１縫製処理、及び第２ステッチＣＨ２を形成するための第２縫製処理を含む。同様に、縫製処理は、第３ステッチＣＨ３から第１４ステッチＣＨ１４のそれぞれを形成するための第３縫製処理から第１４縫製処理を含む。

縫製データは、縫製対象物Ｓに形成されるステッチＣＨの目標ステッチラインＲＬ、及び保持部材１５の移動条件を含む。

目標ステッチラインＲＬは、縫製対象物Ｓに形成されるステッチＣＨの目標形状及びミシン座標系におけるステッチＣＨの目標位置を規定する。

図４に示すように、目標ステッチラインＲＬは、第１ステッチＣＨ１を形成するための第１目標ステッチラインＲＬ１、及び第２ステッチＣＨ２を形成するための第２目標ステッチラインＲＬ２を含む。同様に、目標ステッチラインＲＬは、第３ステッチＣＨ３から第１４ステッチＣＨ１４のそれぞれを形成するための第３目標ステッチラインＲＬ３から第１４目標ステッチラインＲＬ１４を含む。

保持部材１５の移動条件は、ミシン座標系において規定される保持部材１５の移動軌跡を含む。保持部材１５の移動軌跡は、ＸＹ平面内における保持部材１５の移動軌跡を含む。保持部材１５の移動条件は、目標ステッチラインＲＬに基づいて定められる。

第１縫製処理は、第１目標ステッチラインＲＬ１に基づいて縫製対象物Ｓに第１ステッチＣＨ１を形成する処理を含む。第１縫製処理は、縫製対象物Ｓが保持部材１５に保持された後に最初に実施される。

第２縫製処理は、第２目標ステッチラインＲＬ２に基づいて縫製対象物Ｓに第２ステッチＣＨ２を形成する処理を含む。第２縫製処理は、第１縫製処理の次に実施される。

同様に、第３縫製処理から第１４縫製処理のそれぞれは、第３目標ステッチラインＲＬ３から第１４目標ステッチラインＲＬ１４のそれぞれに基づいて縫製対象物Ｓに第３ステッチＣＨ３から第１４ステッチＣＨ１４のそれぞれを形成する処理を含む。第３縫製処理から第１４縫製処理は、順次実施される。

設計データ記憶部６２は、縫製対象物Ｓの設計データを記憶する。縫製対象物Ｓの設計データは、縫製対象物Ｓの表面におけるテクスチャ領域ＴＡの位置及び範囲と、ステッチ領域ＳＡの位置及び範囲と、基準パターンＵＳの形状及び寸法とを含む。縫製対象物ＳがＣＡＤ（Computer Aided Design）により設計される場合、縫製対象物Ｓの設計データは、ＣＡＤデータを含む。

縫製対象物Ｓの設計データは、初期状態における縫製対象物Ｓの設計データである。縫製対象物Ｓの初期状態とは、第１縫製処理前の状態をいう。すなわち、縫製対象物Ｓの初期状態とは、縫製対象物ＳにステッチＣＨが未だ形成されていない状態をいう。

プログラム記憶部６３は、ミシン１を制御するためのコンピュータプログラムを記憶する。コンピュータプログラムは、制御装置５０に読み込まれる。制御装置５０は、プログラム記憶部６３に記憶されているコンピュータプログラムに従ってミシン１を制御する。

画像処理装置４０は、対象物画像取得部４１と、走査部４２と、領域分割部４３と、補正点設定部４４と、特徴点抽出部４５と、基準ベクトル算出部４６と、基準ベクトル記憶部４７と、補正量算出部４８と、領域分割画像出力部４９とを有する。

対象物画像取得部４１は、縫製対象物Ｓに係る画像を示す対象物画像ＳＭを取得する。撮像装置３０は、縫製対象物Ｓを撮像して、対象物画像ＳＭを画像処理装置４０に出力する。対象物画像取得部４１は、撮像装置３０から対象物画像ＳＭを取得する。

図９は、本実施形態に係る撮像装置３０の動作を説明するための図である。撮像装置３０は、保持部材１５に保持されている縫製対象物Ｓを撮像する。図９に示すように、撮像装置３０の撮像領域ＦＡは、縫製対象物Ｓよりも小さい。縫製対象物Ｓと撮像装置３０の撮像領域ＦＡとの相対移動により、対象物画像ＳＭが複数取得される。縫製対象物Ｓを保持した保持部材１５は、撮像装置３０の撮像位置Ｐｆを含むＸＹ平面内において移動する。撮像装置３０は、撮像領域ＦＡに配置された縫製対象物Ｓの一部を撮像する。ＸＹ平面内における保持部材１５の移動と撮像領域ＦＡに配置された縫製対象物Ｓの一部の撮像処理とが繰り返されることにより、複数の対象物画像ＳＭが順次取得される。

図９に示すように、撮像装置３０の第１の撮像処理における撮像領域ＦＡと第２の撮像処理における撮像領域ＦＡの一部とが重複するように、縫製対象物Ｓと撮像装置３０とが相対移動しながら、複数の対象物画像ＳＭが順次取得される。複数の撮像処理のそれぞれにおいて取得された対象物画像ＳＭが繋ぎ合わせられることにより、縫製対象物Ｓ全体の対象物画像ＳＭが生成される。

撮像装置３０は、縫製処理前において、縫製対象物Ｓを撮像する。すなわち、撮像装置３０は、第１縫製処理前及び第２縫製処理前のそれぞれにおいて、縫製対象物Ｓを撮像する。同様に、撮像装置３０は、第３縫製処理前から第１４縫製処理前のそれぞれにおいて、縫製対象物Ｓを撮像する。対象物画像取得部４１は、第１縫製処理前から第１４縫製処理前のそれぞれにおいて撮像された縫製対象物Ｓの対象物画像ＳＭを撮像装置３０から取得する。

なお、第１縫製処理前において撮像装置３０により取得される対象物画像ＳＭと、設計データ記憶部６２に記憶されている初期状態における縫製対象物Ｓの設計データとが同一である場合、対象物画像取得部４１は、第１縫製処理前の対象物画像ＳＭとして、初期状態における縫製対象物Ｓの設計データ記憶部６２から取得してもよい。

走査部４２は、対象物画像ＳＭを規定のサーチ領域ＨＡで走査して、対象物画像ＳＭを構成する複数の画素のそれぞれの状態を判定する。

領域分割部４３は、対象物画像ＳＭに基づいて、縫製対象物Ｓの表面をテクスチャ領域ＴＡとステッチ領域ＳＡとに分割して、テクスチャ領域ＴＡとステッチ領域ＳＡとの境界線ＢＬを算出する。

図１０は、本実施形態に係る境界線ＢＬの算出方法を説明するための図である。図１０に示すように、走査部４２は、対象物画像ＳＭを規定のサーチ領域ＨＡで走査して、対象物画像ＳＭを構成する複数の画素のそれぞれの状態を取得する。

なお、対象物画像ＳＭを走査する前に、対象物画像ＳＭの前処理が実施されてもよい。前処理として、平滑化フィルタ処理及び最大値フィルタ処理が例示される。前処理が実施されることにより、画素の状態の判定が円滑に実施される。

走査部４２は、複数の画素のそれぞれが規定色画素か否かを判定する。本実施形態において、規定色が黒色であり、規定色画素が黒画素であることとする。走査部４２は、複数の画素のそれぞれが黒画素か否かを判定する。以下の説明においては、黒画素か否かの判定対象の画素を適宜、注目画素ＡＰ、と称する。

図１０に示すように、走査部４２は、孔７の画像を構成する注目画素ＡＰｂは黒画素であると判定する。走査部４２は、表材４の画像を構成する注目画素ＡＰｔ及び注目画素ＡＰｓは黒画素でないと判定する。

領域分割部４３は、走査部４２の判定結果に基づいて、縫製対象物Ｓの表面をテクスチャ領域ＴＡとステッチ領域ＳＡとに分割する。

領域分割部４３は、黒画素であると判定された注目画素ＡＰをテクスチャ領域ＴＡに分類する。図１０に示す例において、領域分割部４３は、黒画素であると判定された注目画素ＡＰｂをテクスチャ領域ＴＡに分類する。

領域分割部４３は、黒画素でないと判定された注目画素ＡＰとその注目画素ＡＰの周囲の黒画素との相対位置が規定条件を満足するか否かを判定する。規定条件は、注目画素ＡＰと黒画素との相対距離が予め定められた閾値以下である条件を含む。閾値は、テクスチャ領域ＴＡにおいて隣り合う孔７の間隔と、ステッチ領域ＳＡの寸法（幅）とに基づいて定められる。

図１０に示す例において、注目画素ＡＰｔは、表材４の画像を構成するものの、テクスチャ領域ＴＡの画像を構成する。注目画素ＡＰｓは、ステッチ領域ＳＡの画像を構成する。テクスチャ領域ＴＡの画像を構成する注目画素ＡＰｔとその注目画素ＡＰｔの周囲の孔７の画像を構成する黒画素との距離は、短い。一方、ステッチ領域ＳＡの画像を構成する注目画素ＡＰｓとその注目画素ＡＰｓの周囲の孔７の画像を構成する黒画素との距離は、長い。注目画素ＡＰｔとその注目画素ＡＰｔの周囲の黒画素との距離は、閾値以下である。注目画素ＡＰｓとその注目画素ＡＰｓの周囲の黒画素との距離は、閾値よりも長い。

領域分割部４３は、黒画素でないと判定された注目画素ＡＰｔと注目画素ＡＰｔの周囲の黒画素との距離が閾値以下であると判定した場合、注目画素ＡＰｔをテクスチャ領域ＴＡに分類する。領域分割部４３は、黒画素でないと判定された注目画素ＡＰｓと注目画素ＡＰｓの周囲の黒画素との距離が閾値よりも長いと判定した場合、注目画素ＡＰｓをステッチ領域ＳＡに分類する。

領域分割部４３は、対象物画像ＳＭの全ての画素をテクスチャ領域ＴＡとステッチ領域ＳＡとに分類する。領域分割部４３は、対象物画像ＳＭの複数の画素をテクスチャ領域ＴＡとステッチ領域ＳＡとに分類することにより、テクスチャ領域ＴＡとステッチ領域ＳＡとの境界線ＢＬを算出することができる。

なお、注目画素ＡＰの分類が終了した後、対象物画像ＳＭの後処理が実施されてもよい。対象物画像ＳＭの後処理が実施された後に、境界線ＢＬが算出されてもよい。後処理として、オープニング処理、クロージング処理、ノイズ除去処理、及び穴埋め処理が例示される。後処理が実施された後、ラベリング処理、及び輪郭トレース処理が実施されることにより、テクスチャ領域ＴＡとステッチ領域ＳＡとの境界を示す複数の基準点が算出される。領域分割部４３は、複数の基準点から最小二乗曲線を算出する。領域分割部４３は、算出した最小二乗曲線を境界線ＢＬとしてもよい。

図１１は、本実施形態に係る境界線ＢＬを説明するための図である。図１１に示すように、境界線ＢＬは、テクスチャ領域ＴＡのエッジを通る線である。テクスチャ領域ＴＡが孔７を含む場合、境界線ＢＬは、テクスチャ領域ＴＡにおいて最も外側に配置されている孔７の外側のエッジを結ぶように生成される。

補正点設定部４４は、ステッチ領域ＳＡに規定された目標ステッチラインＲＬを補正するための補正点ＣＰを設定する。第１縫製処理前に、第１目標ステッチラインＲＬ１から第１４目標ステッチラインＲＬ１４のそれぞれを補正するための補正点ＣＰが設定される。

図１２は、本実施形態に係る補正点ＣＰを説明するための図である。図１２に示すように、縫製対象物Ｓに補正点ＣＰが設定される。補正点ＣＰは、目標ステッチラインＲＬの補正に使用される。補正点ＣＰは、作業者により任意の位置に設定される。作業者は、入力装置７０を操作して、縫製対象物Ｓの任意の位置に補正点ＣＰを設定することができる。補正点設定部４４は、入力装置７０の操作により生成された入力データに基づいて、補正点ＣＰを設定する。図１２に示す例では、補正点ＣＰは、ステッチ領域ＳＡにおいて、補正対象の目標ステッチラインＲＬに重複するように設定される。なお、補正点ＣＰは、補正対象の目標ステッチラインＲＬの近傍に設定されていればよく、目標ステッチラインＲＬから外れた位置に設定されてもよいし、テクスチャ領域ＴＡに設定されてもよい。補正点ＣＰの位置は、ミシン座標系において規定される。

ステッチＣＨが形成されると、補正点ＣＰ及び目標ステッチラインＲＬに対して縫製対象物Ｓの表面が変位する。

特徴点抽出部４５は、領域分割部４３により算出された境界線ＢＬに基づいて、テクスチャ領域ＴＡの特徴点ＦＰを抽出する。特徴点ＦＰとは、境界線ＢＬにおいて特徴的な形状を有する部分をいう。縫製対象物Ｓの表面が変位しても、特徴点ＦＰの特徴的な形状は実質的に維持される。特徴点ＦＰとして、境界線ＢＬの角点、極大点、極小点、及び変曲点が例示される。

図１３は、本実施形態に係る特徴点ＦＰの算出方法の一例を説明するための図である。図１３に示すように、特徴点抽出部４５は、例えば基準線ＸＬを規定し、基準線ＸＬと境界線ＢＬの複数の境界点ＢＰのそれぞれとの距離を算出する。距離は、基準線ＸＬと直交する方向の距離である。特徴点抽出部４５は、基準線ＸＬからの距離が最も長い境界点ＢＰを特徴点ＦＰと決定することができる。

なお、角点、極大点、極小点、及び変曲点のような明確な特徴点ＦＰが境界線ＢＬに存在しない場合がある。特徴点ＦＰは基準線ＸＬを用いずに算出することができる。

図１４は、本実施形態に係る特徴点ＦＰの算出方法の一例を説明するための図である。図１４に示すように、角点、極大点、極小点、及び変曲点のような明確な特徴点ＦＰが境界線ＢＬに存在しない場合、特徴点抽出部４５は、複数の境界線ＢＬの相対距離に基づいて、特徴点ＦＰを抽出する。図１４に示すように、一対の境界線ＢＬが対向するように規定された場合、特徴点抽出部４５は、一方の境界線ＢＬの境界点ＢＰと、他方の境界線ＢＬの境界点ＢＰとの距離を算出する。図１４に示す例において、Ｘ軸方向における一方の境界線ＢＬの境界点ＢＰの位置と他方の境界線ＢＬの境界点ＢＰの位置とは同一である。特徴点抽出部４５は、境界線ＢＬの複数の境界点ＢＰのそれぞれについて距離を算出する。特徴点抽出部４５は、距離が最も長い境界線ＢＬの境界点ＢＰを特徴点ＦＰと決定することができる。

図９を参照して説明したように、複数の撮像処理のそれぞれにおける撮像領域ＦＡの一部を重複させながら複数の対象物画像ＳＭが取得される。複数の対象物画像ＳＭが繋ぎ合わせられることにより、縫製対象物Ｓ全体の対象物画像ＳＭが生成される。そのため、明確な特徴点ＦＰが無くても、特徴点抽出部４５は、繋ぎ合わせられた複数の対象物画像ＳＭから、図１４に示したような対向する一対の境界線ＢＬを探索することができる。

なお、撮像装置３０は、撮像領域ＦＡを拡大して、縫製対象物Ｓ全体の対象物画像ＳＭを一括して取得してもよい。縫製対象物Ｓ全体の対象物画像ＳＭを一括して取得された場合においても、明確な特徴点ＦＰが無くても、図１４に示したような対向する一対の境界線ＢＬを探索することができる。

基準ベクトル算出部４６は、補正点設定部４４により設定された補正点ＣＰと境界線ＢＬに設定された境界点ＢＰとの相対位置を示す基準ベクトルＲＶを算出する。

図１５及び図１６のそれぞれは、本実施形態に係る基準ベクトルＲＶを説明するための図である。図１６は、図１５の一部を拡大した図である。縫製処理前の縫製対象物Ｓに補正点ＣＰが設定される。図１５及び図１６において、補正点ＣＰは、第１縫製処理前の初期状態の縫製対象物Ｓに設定される。境界点ＢＰは、境界線ＢＬに設定される。境界点ＢＰは、複数の孔７のそれぞれの近傍に設定される。境界点ＢＰは、補正点ＣＰの近傍に設定される。基準ベクトルＲＶは、第１縫製処理前の縫製対象物Ｓにおける、境界点ＢＰに対する補正点ＣＰの方位、及び境界点ＢＰと補正点ＣＰとの距離を示す。基準ベクトルＲＶは、ミシン座標系において規定される。

境界点ＢＰは、境界線ＢＬに複数設定される。境界点ＢＰは、特徴点ＦＰを含む。図１５及び図１６に示す例において、特徴点ＦＰは、境界線ＢＬの角点（角部）である。図１５に示すように、基準ベクトル算出部４６は、補正点ＣＰと特徴点ＦＰを含む複数の境界点ＢＰのそれぞれとの基準ベクトルＲＶを算出する。基準ベクトルＲＶは、複数算出される。境界点ＢＰの数と基準ベクトルＲＶの数とは等しい。

基準ベクトル記憶部４７は、基準ベクトル算出部４６により算出された基準ベクトルＲＶによって示される境界点ＢＰと補正点ＣＰとの相対位置データを記憶する。

補正量算出部４８は、第１縫製処理後の縫製対象物Ｓの境界点ＢＰと基準ベクトル記憶部４７に記憶されている基準ベクトルＲＶとに基づいて、第１縫製処理後の補正点ＣＰを算出する。縫製処理により、補正点ＣＰに対して縫製対象物Ｓの表面が変位する可能性がある。そのため、縫製対象物Ｓの表面の変位量に基づいて、第１縫製処理後の補正点ＣＰの位置が補正される。補正量算出部４８は、第１縫製処理後の縫製対象物Ｓの境界点ＢＰと基準ベクトルＲＶとに基づいて、第１縫製処理後の補正点ＣＰを算出する。

図１７は、本実施形態に係る補正点ＣＰの算出方法の一例を説明するための図である。第１縫製処理後の縫製対象物Ｓの対象物画像ＳＭが撮像装置３０により取得される。第１縫製処理後の対象物画像ＳＭに基づいて境界線ＢＬが算出され、境界線ＢＬに複数の境界点ＢＰが設定される。境界点ＢＰは、孔７の近傍に設定される。第１縫製処理後の複数の境界点ＢＰと第１縫製処理前の複数の境界点ＢＰとは、１対１で対応する。

補正量算出部４８は、第１縫製処理後の縫製対象物Ｓの複数の境界点ＢＰと第１縫製処理前に算出された複数の基準ベクトルＲＶとに基づいて、補正点ＣＰに係る複数の候補点ＫＰを算出する。補正量算出部４８は、複数の候補点ＫＰに基づいて、第１縫製処理後の補正点ＣＰを算出する。

すなわち、補正量算出部４８は、第１縫製処理後の境界点ＢＰに、第１縫製処理前に算出された基準ベクトルＲＶを付加する。縫製処理後の境界点ＢＰに基準ベクトルＲＶを付加するとは、境界点ＢＰから基準ベクトルＲＶで示される方位に基準ベクトルＲＶで示される距離だけ離れた点を示す候補点ＫＰを算出することをいう。

補正量算出部４８は、第１縫製処理前の境界点ＢＰについて算出された基準ベクトルＲＶを、第１縫製処理後の境界点ＢＰに付加する。例えば、第１縫製処理前の第１境界点ＢＰ１について第１基準ベクトルＲＶ１が算出された場合、補正量算出部４８は、第１縫製処理前の第１境界点ＢＰ１に対応する第１縫製処理後の第１境界点ＢＰ１に第１基準ベクトルＲＶ１を付加する。第１縫製処理前の第２境界点ＢＰ２について第２基準ベクトルＲＶ２が算出された場合、補正量算出部４８は、第１縫製処理前の第２境界点ＢＰ２に対応する第１縫製処理後の第２境界点ＢＰ２に第２基準ベクトルＲＶ２を付加する。同様に、第１縫製処理前の規定の境界点ＢＰについて規定の基準ベクトルＲＶが算出された場合、補正量算出部４８は、第１縫製処理前の規定の境界点ＢＰに対応する第１縫製処理後の境界点ＢＰに規定の基準ベクトルＲＶを付加する。

補正量算出部４８は、１つの境界線ＢＬに設定された複数の境界点ＢＰのそれぞれに付加された基準ベクトルＲＶの先端部の交点を候補点ＫＰとする。図１７に示す例では、テクスチャ領域ＴＡが４つあり、境界線ＢＬは４つある。１つの境界線ＢＬに境界点ＢＰは３つ設定される。４つの候補点ＫＰが算出される。

補正量算出部４８は、ステッチ領域ＳＡのうち４つの候補点ＫＰで囲まれた一部の領域に補正点ＣＰを設定する。本実施形態において、補正量算出部４８は、ＸＹ平面内における４つの候補点ＫＰの重心点（中心点）を算出し、重心点を補正点ＣＰに設定する。

なお、複数の候補点ＫＰの少なくとも一つに重みが設けられてもよい。例えば、補正点ＣＰに最も近い特徴点ＦＰの基準ベクトルＲＶに基づいて算出された候補点ＫＰに重みが付加されてもよい。

なお、候補点ＫＰの算出において、特徴点ＦＰのみが考慮され、特徴点ＦＰではない境界点ＢＰは考慮されなくてもよい。すなわち、特徴点ＦＰに付加された基準ベクトルＲＶのみに基づいて、候補点ＫＰが算出されてもよい。

なお、ここでは、第１縫製処理前の初期状態において基準ベクトルＲＶが算出され、第１縫製処理後の境界点ＢＰと基準ベクトルＲＶとに基づいて、候補点ＫＰが算出され、候補点ＫＰに基づいて補正点ＣＰが算出されることとした。第２縫製処理前において基準ベクトルＲＶが算出され、第２縫製処理後の境界点ＢＰと基準ベクトルＲＶとに基づいて、候補点ＫＰが算出され、候補点ＫＰに基づいて第２縫製処理後の補正点ＣＰが算出されてもよい。第３縫製処理から第１４縫製処理のそれぞれの間においても、同様の処理が実施される。

なお、縫製処理後の補正点ＣＰの位置は、基準ベクトルＲＶを用いずに算出されてもよい。

図１８は、本実施形態に係る補正点ＣＰの算出方法の一例を説明するための図である。図１８（Ａ）は、撮像領域ＦＡに配置された縫製処理前の縫製対象物Ｓの一部を示す図である。図１８（Ｂ）は、撮像領域ＦＡに配置された縫製処理後の縫製対象物Ｓの一部を示す図である。図１８（Ａ）に示すように、一対の境界線ＢＬが対向する。境界線ＢＬは、Ｙ軸方向に延伸する。境界線ＢＬに明確な特徴点ＦＰは存在しない。図１８（Ｂ）に示すように、縫製処理により、境界線ＢＬが－Ｘ方向に移動した場合、補正点ＣＰは、境界線ＢＬの移動量と同様の移動量で－Ｘ方向に移動したと推定することができる。このように、境界線ＢＬに明確な特徴点ＦＰが存在しない場合、境界線ＢＬの移動量に基づいて、縫製処理後の補正点ＣＰの位置が算出されてもよい。境界線ＢＬが＋Ｘ方向に移動した場合も同様である。また、一対の境界線ＢＬがＹ軸方向に延伸し、＋Ｙ方向又は－Ｙ方向に移動した場合も同様である。

図１９は、本実施形態に係る補正点ＣＰの算出方法の一例を説明するための図である。図１９（Ａ）は、撮像領域ＦＡに配置された縫製処理前の縫製対象物Ｓの一部を示す図である。図１９（Ｂ）は、撮像領域ＦＡに配置された縫製処理後の縫製対象物Ｓの一部を示す図である。図１９（Ａ）に示すように、一対の境界線ＢＬが対向する。境界線ＢＬは、Ｘ軸方向及びＹ軸方向のそれぞれと傾斜する方向に延伸する。境界線ＢＬに明確な特徴点ＦＰは存在しない。図１９（Ｂ）に示すように、縫製処理により、境界線ＢＬが移動した場合において、境界線ＢＬはＸ軸方向及びＹ軸方向のそれぞれと傾斜する方向に延伸しているので、撮像領域ＦＡにおいて縫製対象物ＳがＸ軸方向に移動したのかＹ軸方向に移動したのかを判定することが困難である。このような場合、撮像装置３０は、撮像領域ＦＡを拡大して、例えば図１４を参照して説明したように、特徴点ＦＰを算出可能な一対の境界線ＢＬを探索してもよい。また、撮像領域ＦＡにおいて縫製対象物ＳがＸ軸方向に移動したのかＹ軸方向に移動したのかを判定することが困難である場合、出力装置８０が警告を出力してもよい。

領域分割画像出力部４９は、領域分割画像ＤＭを出力装置８０に出力する。本実施形態において、領域分割部４３は、縫製対象物Ｓの表面をテクスチャ領域ＴＡとステッチ領域ＳＡとに分割した後、テクスチャ領域ＴＡとステッチ領域ＳＡとを含む画像を示す領域分割画像ＤＭを生成する。領域分割画像出力部４９は、領域分割部４３により分割されたテクスチャ領域ＴＡ及びステッチ領域ＳＡを含む領域分割画像ＤＭを出力装置８０に出力する。

［縫製方法］
図２０は、本実施形態に係る縫製方法を示すフローチャートである。本実施形態において、縫製方法は、アライメント処理Ｓ０と、対象物画像取得処理Ｓ１と、領域分割処理Ｓ２と、補正点算出処理Ｓ３と、目標ステッチライン補正処理Ｓ４と、縫製処理Ｓ５と、終了判定処理Ｓ６とを含む。

アライメント処理Ｓ０は、保持部材１５に保持された縫製対象物Ｓのテクスチャ領域ＴＡ及びステッチ領域ＳＡをミシン座標系に関連付ける処理である。縫製処理前の縫製対象物Ｓが保持部材１５に保持された後、撮像装置３０は、縫製対象物Ｓを撮像する。撮像装置３０は、例えば縫製対象物Ｓの複数の特徴点ＦＰを撮像する。なお、縫製対象物Ｓにアライメントマークが設けられている場合、撮像装置３０は、アライメントマークを撮像してもよい。撮像装置３０で撮像された縫製対象物Ｓの画像の位置は、カメラ座標系において規定される。規定の変換式又は変換行列により、カメラ座標系において規定される画像の位置がミシン座標系において規定される画像の位置に変換される。これにより、縫製対象物Ｓのテクスチャ領域ＴＡの位置及びステッチ領域ＳＡの位置がミシン座標系において規定される。

対象物画像取得処理Ｓ１は、対象物画像ＳＭを取得する処理である。第１縫製処理前においては、対象物画像取得部４１は、撮像装置３０から初期状態の対象物画像ＳＭを取得してもよいし、設計データ記憶部６２から初期状態の対象物画像ＳＭを取得してもよい。

第１縫製処理後においては、対象物画像ＳＭは、撮像装置３０により取得される。撮像装置３０は、第１縫製処理後であって第２縫製処理前の対象物画像ＳＭ、及び第２縫製処理後であって第３縫製処理前の対象物画像ＳＭを取得する。同様に、撮像装置３０は、第３縫製処理から第１４縫製処理のそれぞれの間において、対象物画像ＳＭを取得する。

領域分割処理Ｓ２は、対象物画像ＳＭに基づいて、縫製対象物Ｓの表面をテクスチャ領域ＴＡとステッチ領域ＳＡとに分割して、テクスチャ領域ＴＡとステッチ領域ＳＡとの境界線ＢＬを算出する処理である。領域分割処理Ｓ２は、第１縫製処理前、及び第１縫製処理後であって第２縫製処理前のそれぞれに実施される。同様に、領域分割処理Ｓ２は、第２縫製処理から第１４縫製処理のそれぞれの間において実施される。

図２１は、本実施形態に係る領域分割処理を示すフローチャートである。走査部４２は、対象物画像ＳＭを規定のサーチ領域ＨＡで走査する（ステップＳ２１）。

走査部４２は、対象物画像ＳＭの注目画素ＡＰが黒画素か否かを判定する（ステップＳ２２）。

ステップＳ２２において、注目画素ＡＰが黒画素であると判定された場合（ステップＳ２２：Ｙｅｓ）、領域分割部４３は、黒画素であると判定された注目画素ＡＰをテクスチャ領域ＴＡに分類する（ステップＳ２３）。

ステップＳ２２において、注目画素ＡＰが黒画素でないと判定された場合（ステップＳ２２：Ｙｅｓ）、領域分割部４３は、黒画素でないと判定された注目画素ＡＰとその注目画素ＡＰの周囲の黒画素との相対位置が規定条件を満足するか否かを判定する（ステップＳ２４）。

ステップＳ２４において、注目画素ＡＰが規定条件を満足すると判定された場合（ステップＳ２４：Ｙｅｓ）、領域分割部４３は、規定条件を満足すると判定された注目画素ＡＰをテクスチャ領域ＴＡに分類する（ステップＳ２３）。

ステップＳ２４において、注目画素ＡＰが規定条件を満足しないと判定された場合（ステップＳ２４：Ｎｏ）、領域分割部４３は、規定条件を満足しないと判定された注目画素ＡＰをステッチ領域ＳＡに分類する（ステップＳ２５）。

領域分割部４３は、テクスチャ領域ＴＡに分類された画素とステッチ領域ＳＡに分類された画素とに基づいて、テクスチャ領域ＴＡとステッチ領域ＳＡとの境界線ＢＬを算出する（ステップＳ２６）。

補正点算出処理Ｓ３は、縫製処理前の縫製対象物Ｓに設定された補正点ＣＰと境界線ＢＬに設定された境界点ＢＰとの相対位置を示す基準ベクトルＲＶを算出し、縫製処理後の縫製対象物Ｓの境界点ＢＰと基準ベクトルＲＶとに基づいて、縫製処理後の補正点ＣＰを算出する処理である。第１縫製処理前の初期状態においては、補正点ＣＰは、作業者により設定される。作業者は、補正点ＣＰを設定するために、入力装置７０を操作する。補正点設定部４４は、入力装置７０の入力データに基づいて、初期状態における補正点ＣＰを設定する。補正点算出処理Ｓ３は、第１縫製処理前には実施されない。補正点算出処理Ｓ３は、第１縫製処理後、及び第２縫製処理後であって第３縫製処理前のそれぞれに実施される。同様に、補正点算出処理Ｓ３は、第４縫製処理から第１４縫製処理のそれぞれの間において実施される。

図２２は、本実施形態に係る補正点算出処理Ｓ３を示すフローチャートである。領域分割部４３は、境界線ＢＬに境界点ＢＰを設定する。領域分割部４３は、補正点ＣＰの周囲に境界点ＢＰを設定する。換言すれば、領域分割部４３は、補正点ＣＰの近傍に境界点ＢＰを設定する（ステップＳ３１）。

特徴点抽出部４５は、境界線ＢＬに基づいて、特徴点ＦＰを抽出する（ステップＳ３２）。

特徴点ＦＰは、境界線ＢＬに存在する。境界点ＢＰは、特徴点ＦＰを含む。

補正量算出部４８は、基準ベクトル記憶部４７から複数の基準ベクトルＲＶを取得する（ステップＳ３３）。

図１５及び図１６を参照して説明したように、補正点算出処理前（縫製処理前）において、基準ベクトル算出部４６により基準ベクトルＲＶが算出され、基準ベクトル記憶部４７に記憶される。したがって、補正量算出部４８は、基準ベクトル記憶部４７から縫製処理前に算出された複数の基準ベクトルＲＶを取得することができる。

補正量算出部４８は、ステップＳ３２において抽出された特徴点ＦＰを含む複数の境界点ＢＰと、ステップＳ３３において取得された複数の基準ベクトルＲＶとに基づいて、複数の候補点ＫＰを算出する（ステップＳ３４）。

補正量算出部４８は、ステップＳ３４において算出された複数の候補点ＫＰに基づいて、縫製処理後の補正点ＣＰを算出する（ステップＳ３５）。

補正量算出部４８は、複数の候補点ＫＰの重心点を、縫製処理後の補正点ＣＰに設定する。

縫製処理後の補正点ＣＰは、縫製処理前の補正点ＣＰから変位している。補正量算出部４８は、ステップＳ３５において算出された補正点ＣＰの位置に基づいて、縫製処理前から縫製処理後の補正点ＣＰの変位量を算出する（ステップＳ３６）。

補正点ＣＰは、複数存在する。補正量算出部４８は、複数の補正点ＣＰのそれぞれの変位量を算出する。

目標ステッチライン補正処理Ｓ４は、補正点算出処理Ｓ３により算出された補正点ＣＰに基づいて、目標ステッチラインＲＬを補正する処理である。縫製処理により縫製対象物Ｓの表面の変位に起因して、作業者により設定された補正点ＣＰ及び縫製データにより規定されている目標ステッチラインＲＬは、変位する。補正点ＣＰの変位量は、補正点算出処理Ｓ３により算出される。制御装置５０は、補正量算出部４８により算出された補正点ＣＰの変位量に基づいて、目標ステッチラインＲＬを補正する。制御装置５０は、例えば補正点ＣＰの変位量と同じ変位量だけ目標ステッチラインＲＬを変位させる。

目標ステッチラインＲＬについて、複数の補正点ＣＰが設定される。目標ステッチラインＲＬは、複数の補正点ＣＰのそれぞれの変位量に基づいて補正される。ミシン座標系における目標ステッチラインＲＬの位置が補正される。

目標ステッチライン補正処理Ｓ４は、第１縫製処理前には実施されない。第１縫製処理は、縫製データにより規定される初期状態の目標ステッチラインＲＬに基づいて実施される。目標ステッチライン補正処理Ｓ４は、第１縫製処理後、及び第２縫製処理後であって第３縫製処理前のそれぞれに実施される。同様に、目標ステッチライン補正処理Ｓ４は、第４縫製処理から第１４縫製処理のそれぞれの間において実施される。

縫製処理Ｓ５は、目標ステッチラインＲＬに基づいてステッチＣＨを形成する処理である。縫製処理は、第１縫製処理から第１４縫製処理を含む。第１縫製処理は、縫製データにより規定される初期状態の目標ステッチラインＲＬに基づいて実施される。第２縫製処理から第１４縫製処理は、目標ステッチライン補正処理Ｓ４により補正された後の目標ステッチラインＲＬに基づいて実施される。制御装置５０は、目標ステッチラインＲＬに従ってステッチＣＨが形成されるように、アクチュエータ１７に制御指令を出力する。

終了判定処理Ｓ６は、縫製対象物Ｓの縫製処理が終了したか否かを判定する処理である。制御装置５０は、縫製データに基づいて、縫製対象物Ｓの縫製処理が終了したか否かを判定する。第１縫製処理から第１３縫製処理が終了した状態においては、制御装置５０は、終了判定処理Ｓ６において、縫製処理は終了していないと判定する。第１４縫製処理が終了した状態において、制御装置５０は、終了判定処理Ｓ６において、縫製処理は終了したと判定する。

［コンピュータシステム］
図２３は、コンピュータシステム１０００の一例を示すブロック図である。上述の画像処理装置４０及び制御装置５０のそれぞれは、コンピュータシステム１０００を含む。コンピュータシステム１０００は、ＣＰＵ（Central Processing Unit）のようなプロセッサ１００１と、ＲＯＭ（Read Only Memory）のような不揮発性メモリ及びＲＡＭ（Random Access Memory）のような揮発性メモリを含むメインメモリ１００２と、ストレージ１００３と、入出力回路を含むインターフェース１００４とを有する。画像処理装置４０の機能及び制御装置５０の機能のそれぞれは、コンピュータプログラムとしてストレージ１００３に記憶されている。プロセッサ１００１は、コンピュータプログラムをストレージ１００３から読み出してメインメモリ１００２に展開し、コンピュータプログラムに従って上述の処理を実行する。なお、コンピュータプログラムは、ネットワークを介してコンピュータシステム１０００に配信されてもよい。

コンピュータプログラムは、上述の実施形態に従って、縫製対象物Ｓに係る画像を示す対象物画像ＳＭを規定のサーチ領域ＨＡで走査して、注目画素ＡＰが規定色画素か否かを判定することと、判定結果に基づいて、縫製対象物Ｓの表面をテクスチャ領域ＴＡとステッチ領域ＳＡとに分割して、テクスチャ領域ＴＡとステッチ領域ＳＡとの境界線ＲＬを算出することと、を実行することができる。

［効果］
以上説明したように、本実施形態によれば、対象物画像ＳＭが走査され、対象物画素ＳＭの複数の画素のそれぞれが黒画素か否かが判定される。これにより、孔７が設けられたテクスチャ領域ＴＡと孔７が設けられていないステッチ領域ＳＡとが識別される。また、ステッチＣＨの形成により縫製対象物Ｓの表面が変位しても、注目画素ＡＰが黒画素か否かが判定されることにより、テクスチャ領域ＴＡとステッチ領域ＳＡとが識別される。

また、黒画素でないと判定された注目画素ＡＰは、周囲の黒画素との相対位置が規定条件を満足する場合、テクスチャ領域ＴＡに分類され、周囲の黒画素との相対位置が規定条件を満足しない場合、ステッチ領域ＳＡに分類される。これにより、黒画素でなくても、注目画素ＡＰは、テクスチャ領域ＴＡ及びステッチ領域ＳＡの一方に適切に分類される。

［その他の実施形態］
上述の実施形態においては、撮像装置３０により対象物画像ＳＭを取得するとき、撮像装置３０の位置が固定された状態で、縫製対象物Ｓを保持する保持部材１５がＸＹ平面内において移動することとした。縫製対象物Ｓの位置が固定された状態で、撮像装置３０の撮像領域ＦＡがＸＹ平面内において移動してもよいし、撮像領域ＦＡ及び縫製対象物Ｓの両方がＸＹ平面内において移動してもよい。

上述の実施形態において、境界線ＢＬは、テクスチャ領域ＴＡにおいて最も外側に配置されている孔７の外側のエッジを通るように生成されることとした。境界線ＢＬは、テクスチャ領域ＴＡにおいて最も外側に配置されている孔７を通るように生成されてもよい。境界点ＢＰは、孔７に設定されてもよい。

１…ミシン、２…テーブル、３…ミシン針、４…表材、５…パッド材、６…裏材、７…孔、１０…ミシン本体、１１…ミシンフレーム、１１Ａ…水平アーム、１１Ｂ…ベッド、１１Ｃ…垂直アーム、１１Ｄ…ヘッド、１２…針棒、１３…針板、１４…支持部材、１５…保持部材、１５Ａ…押え部材、１５Ｂ…下板、１６…アクチュエータ、１７…アクチュエータ、１７Ｘ…Ｘ軸モータ、１７Ｙ…Ｙ軸モータ、１８…アクチュエータ、１９…中押え部材、２０…操作装置、２１…操作パネル、２２…操作ペダル、３０…撮像装置、３１…駆動量センサ、３２…駆動量センサ、３２Ｘ…Ｘ軸センサ、３２Ｙ…Ｙ軸センサ、４０…画像処理装置、４１…対象物画像取得部、４２…走査部、４３…領域分割部、４４…補正点設定部、４５…特徴点抽出部、４６…基準ベクトル算出部、４７…基準ベクトル記憶部、４８…補正量算出部、４９…領域分割画像出力部、５０…制御装置、６０…記憶装置、６１…縫製データ記憶部、６２…設計データ記憶部、６３…プログラム記憶部、７０…入力装置、８０…出力装置、１０００…コンピュータシステム、１００１…プロセッサ、１００２…メインメモリ、１００３…ストレージ、１００４…インターフェース、ＡＰ…注目画素、ＡＰｂ…注目画素、ＡＰｓ…注目画素、ＡＰｔ…注目画素、ＡＸ…光軸、ＢＰ…境界点、ＣＰ…補正点、ＣＨ…ステッチ、ＤＭ…領域分割画像、ＦＡ…撮像領域、ＦＰ…特徴点、ＨＡ…サーチ領域、ＫＰ…候補点、Ｐｆ…撮像位置、Ｐｓ…縫製位置、ＲＬ…目標ステッチライン、ＲＳ…規定パターン、Ｓ…縫製対象物、ＳＭ…対象物画像、ＳＡ…ステッチ領域、ＴＡ…テクスチャ領域、ＵＳ…基準パターン。

Claims (5)

1. 縫製対象物に係る画像を示す対象物画像を取得する対象物画像取得部と、
   前記対象物画像を規定のサーチ領域で走査して、注目画素が規定色画素か否かを判定する走査部と、
   判定結果に基づいて、前記縫製対象物の表面を複数の孔により形成された基準パターンが設けられる複数のテクスチャ領域と、相互に隣り合う前記テクスチャ領域の間に設けられ前記基準パターンが設けられずに目標ステッチラインが規定されるステッチ領域とに分割して、前記テクスチャ領域と前記ステッチ領域との境界線を算出する領域分割部と、を備える、
   画像処理装置。
2. 前記領域分割部は、前記規定色画素であると判定された前記注目画素を前記テクスチャ領域に分類する、
   請求項１に記載の画像処理装置。
3. 前記領域分割部は、前記規定色画素でないと判定された前記注目画素と前記注目画素の周囲の前記規定色画素との相対位置が規定条件を満足する場合、前記注目画素を前記テクスチャ領域に分類し、前記相対位置が前記規定条件を満足しない場合、前記注目画素を前記ステッチ領域に分類し、
   前記規定条件は、前記注目画素と前記規定色画素との相対距離が予め定められた閾値以下である条件を含み、
   前記閾値は、前記テクスチャ領域において隣り合う前記孔の間隔と、前記ステッチ領域の幅とに基づいて定められる、
   請求項２に記載の画像処理装置。
4. ミシン針の直下の縫製位置を含む所定面内において縫製対象物を保持して移動可能な保持部材と、
   保持部材を移動させる動力を発生するアクチュエータと、
   請求項１から請求項３のいずれか一項に記載の画像処理装置と、
   前記画像処理装置の処理結果に基づいて、前記アクチュエータを制御する制御指令を出力する制御装置と、を備える、
   ミシン。
5. 縫製対象物に係る画像を示す対象物画像を規定のサーチ領域で走査して、注目画素が規定色画素か否かを判定することと、
   判定結果に基づいて、前記縫製対象物の表面を複数の孔により形成された基準パターンが設けられる複数のテクスチャ領域と、相互に隣り合う前記テクスチャ領域の間に設けられ前記基準パターンが設けられずに目標ステッチラインが規定されるステッチ領域とに分割して、前記テクスチャ領域と前記ステッチ領域との境界線を算出することと、を含む、
   画像処理方法。

Images