JP5615998B2 - 物体を走査する装置 - Google Patents

物体を走査する装置 Download PDF

Info

Publication number
JP5615998B2
JP5615998B2 JP2005231403A JP2005231403A JP5615998B2 JP 5615998 B2 JP5615998 B2 JP 5615998B2 JP 2005231403 A JP2005231403 A JP 2005231403A JP 2005231403 A JP2005231403 A JP 2005231403A JP 5615998 B2 JP5615998 B2 JP 5615998B2
Authority
JP
Japan
Prior art keywords
camera
foot
image
cameras
scanner
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005231403A
Other languages
English (en)
Other versions
JP2006053147A5 (ja
JP2006053147A (ja
Inventor
ピッシュダダィアン ハミド
ピッシュダダィアン ハミド
エイ. ジェンガ ジュニア リチャード
エイ. ジェンガ ジュニア リチャード
シナジ アラン
シナジ アラン
ダブリュー. シロチン ジャスティン
ダブリュー. シロチン ジャスティン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Acushnet Co
Original Assignee
Acushnet Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Acushnet Co filed Critical Acushnet Co
Publication of JP2006053147A publication Critical patent/JP2006053147A/ja
Publication of JP2006053147A5 publication Critical patent/JP2006053147A5/ja
Application granted granted Critical
Publication of JP5615998B2 publication Critical patent/JP5615998B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • AHUMAN NECESSITIES
    • A43FOOTWEAR
    • A43DMACHINES, TOOLS, EQUIPMENT OR METHODS FOR MANUFACTURING OR REPAIRING FOOTWEAR
    • A43D1/00Foot or last measuring devices; Measuring devices for shoe parts
    • A43D1/02Foot-measuring devices
    • A43D1/025Foot-measuring devices comprising optical means, e.g. mirrors, photo-electric cells, for measuring or inspecting feet

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Footwear And Its Accessory, Manufacturing Method And Apparatuses (AREA)

Description

この発明は全般的には物体を走査する装置および方法に関する。さらに詳細には、この発明は足の三次元形状を走査する装置および方法に関する。
フットウェア(履物)産業は、大きく、特殊で、また競争が激しい環境にある。この業界には古くから確立した慣行があり、その1つは、足の長さおよび幅に基づいて靴のサイズを決定することである。足型は、靴をその上に載せて製造する立体フォームであり、靴のサイズごとの足型を用いて靴が製造される。したがって、適切な寸法取りをした足型は、靴の輪郭を上手に構成するための基本的な事項である。うまくフィットする靴は利用者にとって常に重要であるが、ゴルファーにとってはフィットはひときわ重要である。ゴルファーは比較的硬いゴルフシューズを履き、種々な地形を、長い時間、種々な天候条件下、歩くからである。ゴルファーは、フィットしていないゴルフシューズによりしばしば靴擦れを起こす。フィットしていないゴルフシューズを履いていると、ゴルフスイングの間に足の基礎が安定しないので、ゴルファーの打撃成績にも悪影響を及ぼす。このような問題を最小化するために、もっともフィットする靴を得ることは重要なことである。
種々の機械技術が足を測定するために過去に提案されている。例えば、ほとんどの靴屋は、ニューヨーク州、シラキュースのブラノックデバイスカンパニーが製造するボラノックスデバイスとして知られる足測定スケールを広く用いている。このデバイスは、金属製基部プレートにいくつかのスライド式スケールを備えて成るものである。これは、足の長さおよび幅を測定して適切な靴のサイズを決定する。このブラノックデバイスに関連する問題は、自ずとたった2つの損報から足の測定を行なうという点である。すなわち、爪先から踵までの長さと幅である。この手法では、ヒールのタイプ例えば骨張っているか肉付きが良いか、爪先のタイプ例えば四角か細くなっているか、土踏まずの孤、その他の特性のファクタを考慮していない。この手法は、さらに、足の異常を解決するためにより大きな靴サイズを必要とする瘤等の医療的な問題に関連する特性を測定できない。
いくつかのシステムは足の特性を決定するためにカメラを用いている。特許文献1は、身体またはその一部の形状を3次元測定してデジタル化する方法および構成を開示している。データを用いて例えば足型、寝具、足のモールディングを自動的に製造する。このシステムは、足/身体部分を囲む複数のカメラにより撮像する間、足/身体部分を覆う弾性の外装を用いる。この外装により大きなコントラストのパターンが形成され、画像のデジタル化を可能にする。この手法では、身体や身体部分に大きなコントラストパターンを与えてデジタル処理が可能なようにする必要がある。
他のシステムは、特許文献2、特許文献3、および特許文献4に開示されるように、レーザビーム測定を用いて足の特性を決定することを提案している。特許文献2および特許文献3では、ヒール部分が測定されない。特許文献4では、足の上方部分の寸法が得られない。足のすべての領域は、適切なフィットのためにすべて重要であるので、これらの猟期を省略することは好ましくない。光源により構成される付加的なレーザは、一度に足全体を照射するものではない。足は、典型的には、足全体がペイントされるまで、線順次で順次にペイントされていく。照射のこの手法は、時間を要し、レーザの制御機構を必要とする。この時間の間、足を静止状態にしておく必要がある。さらにレーザシステムは高価である。
特許文献5は、CCDカメラを実装したイメージピックアップヘッドが足のイメージを撮像するイメージシステムを開示している。イメージピックアップヘッドは、足を包囲する楕円形のレール上に実装される。この文献は、信号線および補助線が絡まないような具体的な構成も開示している。カメラが足のすべての面を撮像し終えるまで、比較的長い間、足を静止状態にしておく必要がある。この文献は、足の三次元モデルを生成するためにイメージをどのように処理するかについては何等記載がない。
したがって、足を正確に測定して足型を製造したり、適切にフィットする靴を選択したりする装置および方法が、当業界において、依然として要望されている。
米国特許第5911126号 米国特許第4745290号 米国特許第5164793号 米国特許第5237520号 米国特許第6633326号
この発明は、走査対象の物体の周りに配置される複数のカメラを具備するスキャナに向けられており、物体は、織り目(textured)表面で覆われ、非構造光により照射される。好ましくは、少なくとも2つのカメラが対に配列され、相互に接近して配置され、また、対のカメラは相互に2方向たとえば水平方向および垂直方向にずれて位置づけられる。ずれのあるカメラ対は、走査された物体の深さ認知を実現する。少なくとも3つのカメラ対を足の走査に用い、また2つの対を足ストップとして用いることができる。カメラ対は、少なくとも2つのカメラ対の視野が重なるように位置づけられる。カメラの開口を小さくしてカメラからの所定の距離の範囲で焦点合わせがいらないようにすべきである。
各カメラ対は、感光パネルを含み、好ましくは単一のサポート例えば印刷配線ボードに実装される、好ましくは、感光パネルは実質的に相互に平行に位置づけられる。平行関係からの誤差を補償するために、感光パネルは較正され、また較正上方が印刷配線ボード上に記憶される。
この発明は、また、足を撮像するように適合化された少なくとも1つのデジタルカメラを含むスキャナに向けられており、足は、約12°〜20°、好ましくは約14°〜約18°、最も好ましくは約16°の傾き角度で配置される。
この発明は、また、走査対象物体の周りに配置される複数のカメラを具備するスキャナに向けられている。ここでは、少なくとも2つのカメラが対をなして相互に近接して配置され、またカメラ対は単一のサポート上に実装される。こられ対をなすカメラは、少なくとも1つの方向に相互にずれている。
この発明は、また、物体の三次元イメージを組み立てる方法に向けられており、この方法は、対のカメラにより物体のイメージを取得するステップと、上記カメラ対により取得したイメージに三角測量を提供して三角測量イメージを生成するステップと、上記三角測量イメージを組み合わせて飛び地(アイランド)解析により三次元イメージを生成するステップと、操作された物体の点クラウドを生成するステップとを有する。
この発明は、また、少なくとも2つの感光パネルを単一のサポートに取り付ける方法に向けられており、この方法は、上記サポート上に溶融ハンダ領域を供給するステップと、1の領域に1の感光パネルを配置するステップと、上記溶融ハンダの表面張力により上記感光パネルを相互に実質的に平行に整合するステップと、上記溶融ハンダが固化したときに上記感光パネルを上記サポートに取り付けるステップとを有する。上記単一のサポート上に実装されたカメラ対の較正方法も開示される。
この発明は、さらに、複数のカメラを具備するスキャナに足を載置するステップと、上記足の近くの非構造光のレベルを測定するステップと、足が正しく位置づけられているか決定するステップと、上記カメラで上記足の撮像するステップと、上記カメラにより取得した画像から点クラウドを組み立てるステップとを有する、足を走査する方法に向けられている。
図1において、スキャナ10は、ハウジング16上にネック14によって支持されるディスプレイすなわちモニタ12を有している。ディスプレイ12は好ましくはユーザとインタフェースするためにタッチスクリーン機能を有する。ネック14は伸縮自在であり、モニタ12が上昇したり下降したりできるようになっている。ハウジング16は、キャビティ18を規定し、走査対象の物体を受容する大きさおよび形状をしている。任意の三次元物体を走査することができ、キャビティ18は任意のサイズの物体を受容できるように大きくすることができる。この発明は、以下では足を例に挙げて説明するが、この発明はどのような具体的な走査対象にも限定されない。
図2に示すように、ハウジング16は好ましくはスキャナを保持する表面から傾いて配置される。この発明の発明者らによれば、所定の傾き角度範囲に足を傾けると足に均等な圧力がかかることがわかった。換言すると、好ましい傾きであると、足がヒールおよび指の付け根に等しい圧力をかける。好ましくは、足のどの部分も不均一に変形されたりへこまされたりせず、足の測定が不適切にならないようにする。100ポンドから250ポンドの体重の人物については、好ましい傾き角度の範囲は、約12°〜約20°であり、より好ましくは、約14°〜18°であり、もっとも好ましくは、約16°である。
図3〜図6において、カメラ24、26からなるカメラ対22と、中央処理ユニットすなわち中央処理装置(CPU)28が、ハウジング16の内部で、プラットフォーム20に支持されている。プラットフォーム20は、またハードドライブ、入出力(I/O)ボード、USB、電話モデム、ワイヤレス通信デバイス、表示ユニット等を支持してもよい。カメラ対としてあることが好ましい。なぜならば、カメラ対は、双眼鏡や人間・動物の目と同様に、イメージの深度を認知するからである。カメラ対により取得されたイメージからのデータの操作・処理については以下に説明する。この発明はここでは対に配列されたカメラ22を用いた例で説明されるが、この発明においても対の代わりに単一構成のカメラを採用しても良い。単一構成のカメラの場合、隣接カメラを対として用いて深度を認知する。単一構成のカメラは2つの隣接カメラと共に2対のそれぞれの一部を構成することができる。単一構成のカメラは隣接していないカメラと対をなしても良い。パッド30はプラットフォーム20の中央の近傍に設けられ、足の正しいまたは好ましい配置を案内する。
この発明で特殊な点は、体系化されていない光を用いて、織り目表面により被覆された走査物体を照射することである。体系化されていない光には、これに限定されないが、太陽光、ダイオード、蛍光灯光、白熱灯光等が含まれる。体系化されていない光は、広くは、周波数が制御されていない任意の光を含む。全体走査物体は一度に照射可能である。このため、構造化されたレーザビームで線順次に物体をペイントするステップに時間を浪費することがない。走査物体を解析するための光学パターンは走査物体を被覆する織り目表面により実現される。この発明の一側面によれば、織り目表面は、足を包み込む布地靴下でよい。好ましくは、靴下は足にぴったりとフィットし、足首のまわりにたるみができないようにし、適切な足の測定が実現されるようにする。適切な靴下は、任意の色、任意のパテーンでよく、好ましくは単一色である。靴下が複数色の場合、好ましくは、実質的に相互に対照しないものとする。靴下は、運動靴下でもよいし、ドレス靴下でもよく、また、織物、非織物、ステッチボンドの非織物、編み物布地で製造されてもよい。
少なくとも3対のカメラを配置して足を撮像してもよい。これには、爪先カメラ対32および2つの側部カメラ対34が含まれる。3つのカメラ対は足のトップおよび側部を撮像できる。代替的には、2つの側部カメラ対を位置決め装置、例えば踵ストップまたは爪先ストップ(図示しない)と共に採用できる。任意の個数のカメラを配置しても良いが、好ましくは、図3〜図6に示すように7つのカメラ対を配置する。
図4に示すように、カメラ対の1つは、好ましくは、爪先カメラ対32であり、残りのカメラ対が図示のとおり均等に分散されて足のすべての領域を撮像できるようにする。残りのカメラ対のうちの2つは好ましくは側部カメラ対34である。代替的には、カメラ対22は均等に離間されていなくてもよい。ただし、それらの撮像領域(フィールドオブビジョン。FOV)が相互にオーバーラップして足の表面領域のすべてが撮像できるようにする。カメラ対22は、角度上、均等に離間されていて、走査物体への距離が不均一であってもよい。角度と距離の関係がその逆でも良い。この発明の他の側面によれば、FOVは必ずしもオーバーラップしない。ただし、FOVの各々が、足の明確な部分を撮像しこれにより足のサイズを測定でき、また、足を表す足型を製造できる。靴製造業界では、足の12の異なる測定が足型の構築に必要である。したがって、各カメラまたは各カメラ対は、足型を作るために1またはそれ以上の測定を行なう。
撮像の前に焦点合わせを行なうのは省略するために、カメラは好ましくは比較的小さな開口を有する。開口はF−22より小さくして良い。開口が小さくなるほど、焦点合わせを行なわずにすむ距離を長くすることができる。1実施例においては、カメラに対してF−8の開口を選択した。この開口では、レンズからの距離が約6インチから14インチの範囲で固定焦点にできる。好ましくは、走査物体は固定焦点距離内に配置される。カメラ22はそれぞれ異なる開口を持っても良い。
適切なカメラは、これに限定されないが、CMOS(コンプレメンタリ・メタル・オキサイド・センサ)デジタルすなわち電気光学カメラである。適切なCMOSカメラはカリフォルニア州のサニーベイルのオムニ・ビジョン・テクノロジーズ社、アイダホ州のボイシのマイクロン・テクノロジー社、カリフォルニア州のサンノゼのベオ社等から購入できる。カメラの各々は、光を、イメージセンサ感光セルすなわちピクセルのアレイまたはパネルに、案内するレンズを具備する。各感光セルすなわちピクセルは、光を、光レベルを表す電圧信号に変換するフォトトランジスタである。電圧信号はアナログ信号としてストアされ、その後、アナログ・デジタル変換器によりデジタル化される。代替的には、CCD(電荷結合デバイス)カメラを採用できる。CMOSおよびCCDカメラはコンシューマデジタルカメラとして広く入手できる。アナログカメラも採用できる。ただし、イメージを、事後的に、デジタル走査によりデジタル化する必要がある。
図5はカメラ対22の正面を示しており、この図において、カメラ対22のカメラ24、26は前面フェース36の支持されている。前面フェース36は、また、印刷配線基板(PC)38に実装された電子部を保護する。図7に、明瞭化のために他の細部を省略して示すように、各カメラ24、26のすぐ後方に感光パネル24’、26’がそれぞれある。好ましくは、感光パネル24’、26’は、相互に、平行または同一平面上に配置される。この発明の一側面によれば、各感光パネルは、1280ピクセル×1084ピクセルの二次元アレイを有し、1パネルあたり約1.38メガピクセルを実現する。1実施例では、カメラは黒、白のカメラであり、各ピクセルは露光時にグレイスケールで0〜255の数値のグレイ値を記録する。代替的には、カラーカメラを用いても良い。製造時、各パネル24’、26’はPC38に溶融半田により固定的に取り付けられる。比較的大きな粘度のために、溶融半田の表面張力がパネルをPC38に対して実質的に平行に保持する。半田が固まったとき、感光パネル24’、26’はPC38に固着される。
このような平行配列の整合誤差を補償するために、各PCが較正される。図7において、カメラ24、26(図示しない)は、感光パネル24’、26’の頂部に、較正ボード40の前面の配置で実装される。較正ボード40は複数のマーク42を有する。各マーク42は好ましくは相互に別のものであり、較正ボード40におけるマーク42の位置は既知である。較正ボード40はPC38に対して既知の距離だけ離して平行に配置され、カメラ24、26に対する各マークの三次元空間における位置は既知である。各マーク42はカメラ24、26により焦点位置24f、26fを介して撮像される。各マークは感光パネル24’、26’上で異なる位置に露出される。以下に説明するように三角測量法を用いて、感光パネル24’、26’上の各マークの位置を、相互に、較正ボード40上の対応するマークの既知の位置と比較し、平行方向のいかなる配列誤差も検出できる。較正ボード40は、較正時に、好ましくは、異なる3つの位置、例えば、PC38から6インチ、11インチおよび14インチの点に配置される。平行配列を修復する訂正は計算されPC38上のメモリにストアできる。
この発明の明確な利点は、両感光性パネルおよび両カメラをPC38上に配置することにより、感光性パネルを平行または同一平面に配置するのが容易になるということである。
図5にもっとも良く示されるように、カメラ対22の各カメラ相互にずれされて配置されている。すなわち、垂直方向にも水平方向にも整合していない。この発明の一側面によれば、カメラ24、26はプラットフォーム20を基準にして垂直方向に約0.5インチずれており、同水平方向に約1.0インチずれている。任意の幾何学的なずれを採用できる。ずれた配置により、カメラ対の深さ検知が増強する。
両カメラにおって三次元空間における単一点すなわち単一ピクセルを位置決めする手法は、両眼三角測量法に基づく。図7において、三次元空間の所定の点a、(x,y,z)または(R,Φ,Θ)は、パネル24’上にイメージ点24aを生成し、パネル26’上にイメージ点26aを生成する。一例では、点aは足を包む靴下の織り目表面の任意の点でよい。これらイメージ点の相対位置は、感光パネルごとに異なる。換言すれば、イメージ点24aおよび26aは、感光パネル24’および26’上で異なる相対位置で配置される(ただし、点aが2つの感光パネルの中点である場合を除く)。イメージ点24aをイメージ点26bに突き合わせて三次元空間で点aを表すために、1例では、PCプロセッサが好ましくはPC38に配置され、垂直方向および水平方向の隣接点すなわちピクセルをサーチして突き合わせる。垂直方向および水平方向のピクセルが相互にマッチするとき、イメージ点24aおよびイメージ点26aのマッチが決定される。足すなわち走査物体の輪郭が鋭いとき、例えば、足首まわり、45°より大きいとき、すなわち、点aがカメラレンズのエッジに近いときに、イメージ点24a、26aは相互にマッチしないかもしれない。マッチしない点の数は比較的少ないし、いくつかのイメージはマッチしない点を持たない。
両眼三角測量法は深さ検知も可能である。なぜなら、物体を2つのレンズ(または目)で見て、2つのイメージを合成して1つのイメージを生成するからである。走査物体(例えば走査されている足または較正ボード40)およびカメラ24、26の間の深さすなわち距離は、PCボード上で測定されるマッチした点24a、26aの間の距離と、点24aおよび点aを結ぶ線24”および点26aおよび点aを結ぶ線26”のなす角度により決定できる。したがって、カメラ対を用いることにより、カメラ対に対する三次元空間の走査すべき足の任意の点を表すピクセルの位置は既知である。また、上述のように、単一構成のカメラに関しても、隣接(または非隣接)の単一構成のカメラを対にして、両眼三角測量法を採用することができる。
計算誤差を最小化するために、イメージ点24aをイメージ点26aに突き合わせた後、カメラ24から見た、三次元空間の点aとカメラ26から見た同一の点aとの間の距離が測定される。最適には、この距離はできる限り小さくすべきであり、好ましくはゼロに近づくべきである。この距離が所定の閾値より大きいと、PCプロセッサすなわちCPU28がエラー信号を返す。
上述のとおり、各PC38は、好ましくは自己のプロセッサすなわちコントローラを具備してカメラにより生成されるデータを処理し、また、メモリ記憶装置(例えばフラッシュメモリ、EEPROM、EPROM、RAM等)を有し、生のデータや、マッチ点および非マッチ点の三角測量データを記憶し、また、較正ルーチンを記憶し、三角測量データをCPU28に転送してさらなる解析に供する。PC38は、CPU28と、無線周波数、シリアル、パラレルポート接続、光学ファイバ、USB,等により通信する。USBおよびUSB−2が、高速および低コストの点から好ましい連結態様である。
較正後、各PCおよびカメラ対は固定してプラットフォーム20に取り付けられ、カメラ対の位置が既知であるようにし、著しく動かないようにする。各カメラ対はそのFOV内で他のカメラ対を撮像して、カメラ間の相対距離を測定して較正する。例えば、図4において、左側カメラ対34は、右側カメラ対34を撮像でき、下方右側カメラ対22は上方左側カメラ対22および爪先カメラ対32を撮像でき、それぞれ位置を修正できる。プラットフォーム20上の各カメラ対の相互の相対位置はCPU28に保持できる。
各カメラ対22は較正されてそのカメラ対に対するそのFOV内の走査イメージの三次元空間の位置は既知であるので、また、各カメラ対のスキャナ10のプラットフォーム20上の相互の相対位置も既知であるので、各カメラ対のイメージを縫い合わせた後走査対象の足を表す三次元空間の各ピクセルの位置は、また既知である。
CPU28はカメラ対により撮像された三角測量イメージのすべてを受け取り、その後、CPU28はこれらイメージを縫い合わせ、あるいは、結合して、靴下で覆われたあしの三次元イメージ例えば点のクラウドを生成する。CPU28により受信されるイメージの例を図8(a)に示す。好ましい例では、32ピクセル×32ピクセルに等しい領域43を選択して、イメージを隣接イメージに突き合わせる。選択領域43は、カメラ対により撮像された織り目靴下の一部を表す。選択領域43は、隣接カメラ対のFOVが相互に重なり合う領域にある。任意の選択領域43において、各ピクセルは、黒・白のカメラにより生成された0〜255のグレイスケール値を有している。ゼロは白を表し、255は黒を表し、その間の各々も種々のシェードすなわちグレイを表す。したがって、1つのイメージ中のグレイスケールの選択領域43を、隣接イメージにおいて探索し、対応する選択領域43と突き合わすことができる。突き合わせがなされると、2つの隣接三角測量イメージを縫い合わせ重畳することができる。
グレイスケールの選択領域43は多量のメモリ容量および処理速度を要求するので、選択領域43をグレイスケールから黒/白すなわち2値のスケールに変換して効率および処理速度を改善しても良い。所定の閾値のグレイ値が選択される。図8(b)に示すように、この閾値グレイスケールを超える任意のグレイスケール値は黒に変換され、このグレイスケールより下の任意のグレイスケール値は白に変換される。変換後、1または複数の飛び地44が生成され、また、閾値が大きいとほとんど飛び地ができない。閾値を、スキャナ10の動作中に調節して、イメージの縫い合わせ処理を調整しても良い。選択領域43中の飛び地44を用いてイメージを隣接イメージと突き合わせても良い。計算エラーを最小化するために、飛び地突き合わせ処理の間、飛び地44の大きさおよび位置を比較する。大きさおよび位置の差が所定の閾値を超えるときにはCPU28がエラーメッセージを返す。
縫い合わせ処理において、1つの三角測量イメージから非マッチの点が選択されて、隣接三角測量イメージへの探索に用いられる。1つのイメージ中の非マッチイメージ点が隣接イメージ中に対応するマッチイメージ点を持つ場合、そのマッチ点が用いられる。たくさんの非マッチ点が有る場合にはCPU28はイメージを破棄してカメラ対に足の他のイメージセットを生成するように命令しても良い。
7つのカメラ対22により撮像した7つのイメージを一緒に縫い合わせ、これら7つのイメージから、走査した足を示す点クラウド48を、図9に示すように、生成できる。上述したように、スキャナ10のプラットフォーム20上でカメラ対22の相対および固定位置は既知であるから、また、カメラ対により撮像したイメージはカメラに対する各ピクセルの三次元位置を含むから、点クラウド48は走査された足の三次元表示である。
代替的には、点クラウド表現の代わりに、コンボリューションフィルタ処理を縫い合わせたイメージに適用して足のエンボスビューを生成しても良い。コンボリューションフィルタはフォトショップソフトウェアで広く入手でき、典型的には、これを用いて、走査物体の輪郭を鮮明にできる。
図10において、両足を走査する処理例が示される。右足または左足の一方が先に走査される。第1のステップで、足を挿入するキャビティ18(図1)の光のレベルを調整する。各カメラまたはカメラ対は自己の光センサを有する。スキャナ10は、自己の非構造光の光源を具備しても良い。これらはカメラ対22の間やカメラ対の近傍に配置できる。これら光源から生成される照射量は、CPU28やカメラ対用のPCコントローラにより光センサにより検出された光レベルに応じて制御することができる。一例では、光源はハウジング16の屋根部の下側に取り付ける。
つぎのステップでは、すべてのカメラをチェックして足がキャビティ18内に適切に配置されているかどうかを判別する。足の配置は、いくつかのまたはすべてのカメラで足を撮像してチェックする。爪先および踵を含む足のすべてが撮像できたら、足の配置は許容できる。
足の位置が確定したら、すべてのカメラを用いて足を再撮像する。あるいは、イメージの最初のセットを用いても良い。足が不適切に配置されているときには、足が撮像される前に、ユーザは足を動かすように指示される。
カメラ対22によりイメージが取得されると、その品質を確かめるためにイメージが解析される。例えば、非マッチイメージ点の数は許容可能か、カメラ24およびカメラ26で観察される同一点aの距離は許容範囲か、等が解析される。この後、イメージを縫い合わせて点クラウドを生成できる。
つぎに、CPUは点クラウドが許容できるかどうかを判別する。例えば、隣接イメージ間の選択領域43を突き合わせることができるかどうかを判別する。つぎに、点クラウドをチェックして足の形状を反映しているかどうかを判別する。
これらステップが成功裏に実行された後、図10に示すように、もう一方の足を走査して同一のステップが繰り返される。両方の足が走査されたのち、スキャナ10は走査した足のサイズを決定できる。
代替的には、足を走査・測定した後、上方をストアして特注の足型を製造するのに用いる。
この発明の他の側面によれば、各スキャナ10には通信デバイスが設けられ、ホームベースと通信できるようになっている。通信デバイスは電話モデムでよく、電話回線を用いてホームベースと通信する。代替的には、通信デバイスはワイヤレス例えばブラックベリ・イーメイル・デバイスに似たものでよい。スキャナ10がホームベースと通信を確立した後、スキャナ10は、走査した足に関して保持している情報をホームベースに転送すし、ホームベースから、要求や情報、例えば、スキャナ10が配置された地域に関するマーケティング情報を受け取る。ホームベースに転送された足の走査情報は市場のニーズに合致した新たな靴のサイズを開発するのに用いることができる。
この発明の他の側面によれば、各スキャナ10は、デスクトップコンピュータやラップトップのIPアドレスに類似した固有のIPアドレスを持ち、ホームベースが個々のスキャナを区別でき、目標情報を個別のスキャナに送出することができる。
以上、この発明について種々説明したが、ここに示したこの発明の実施例の種々の特徴は単一にまたは組み合わせて利用できることを理解されたい。この発明は、ここで説明して具体的な好ましい実施例に限定されない。
この発明によるスキャナの斜視図である。 図1のスキャナの側面図である。 図1のスキャナ中に含まれるカメラおよび処理装置の斜視図である。 図3のカメラおよび処理装置の平面図である。 図4の5−5線に沿う断面図である。 図4の6−6線に沿う断面図である。 三角測量技術および較正技術を説明するための、複数のカメラ対のうちの1つの背後に配置された印刷配線ボード(明瞭にするために細部を省略する)の正面図である。 グレイスケールの三角測量イメージの例示部分を示す図である。 図8(a)の例示部分が2値の黒/白スケールである図である。 操作された足を示す点クラウドの例を示す図である。 足を走査する方法の例を示すフローチャートである。
符号の説明
10 スキャナ
12 モニタ
14 ネック
16 ハウジング
18 キャビティ
20 プラットフォーム
22 カメラ対
24 カメラ
24 感光パネル
26 パネル
26 カメラ
30 パッド
32 爪先カメラ対
34 側部カメラ対
36 前面フェース
38 印刷配線基板
40 較正ボード
42 マーク
43 選択領域
44 飛び地
48 点クラウド

Claims (4)

  1. 走査対象物体の周りに配された複数のカメラを有し、上記物体は非構造光により照射され、かつ上記物体は織り目表面により覆われており、
    少なくとも2つのカメラがカメラ対をなし、相互に近接して、かつ垂直方向および水平方向にずれて配置され、
    カメラ対は各々単一のサポートに実装され、
    上記サポートは印刷配線ボードを含み、
    上記カメラ対をなす各カメラは感光パネルを有し、当該各カメラの感光パネルは、当該感光パネルの各々において測定対象の目標三次元位置に対応するマッチ点を特定して両眼三角測量法により当該目標三次元位置の座標を決定するものであり、
    上記感光パネルは、実質的に相互に平行になるように、上記印刷配線ボードに固定的に取り付けられているスキャナ。
  2. 上記感光パネルは平行の配置からのずれを補償するように較正される請求項1記載のスキャナ。
  3. 上記カメラ対は、少なくとも2つのカメラ対の視野が相互に重なるように配置される請求項1記載のスキャナ。
  4. 上記カメラ対をなす各カメラは15.2cm(6インチ)から35.6cm(14インチ)の固定焦点を有して上記各カメラは単一色の織り目表面を走査して、対象物体を表す点の三次元座標両眼三角測量により生成するようになす請求項1記載のスキャナ。
JP2005231403A 2004-08-11 2005-08-09 物体を走査する装置 Expired - Fee Related JP5615998B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/915900 2004-08-11
US10/915,900 US7557966B2 (en) 2004-08-11 2004-08-11 Apparatus and method for scanning an object

Publications (3)

Publication Number Publication Date
JP2006053147A JP2006053147A (ja) 2006-02-23
JP2006053147A5 JP2006053147A5 (ja) 2008-09-18
JP5615998B2 true JP5615998B2 (ja) 2014-10-29

Family

ID=34654480

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005231403A Expired - Fee Related JP5615998B2 (ja) 2004-08-11 2005-08-09 物体を走査する装置

Country Status (3)

Country Link
US (4) US7557966B2 (ja)
JP (1) JP5615998B2 (ja)
GB (1) GB2417153B (ja)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0301183D0 (en) * 2003-01-18 2003-02-19 Rolls Royce Plc Electrostatic sensors
TWI277912B (en) * 2005-01-11 2007-04-01 Huper Lab Co Ltd Method for calculating a transform coordinate on a second video of an object having an object coordinate on a first video and related operation process and video surveillance system
US20070248260A1 (en) * 2006-04-20 2007-10-25 Nokia Corporation Supporting a 3D presentation
NO327576B1 (no) * 2006-06-01 2009-08-17 Ana Tec As Framgangsmate og apparat for analyse av objekter
TWI440836B (zh) 2006-09-21 2014-06-11 Msd Consumer Care Inc 足部照護產品分裝資訊站
CN103006230B (zh) * 2006-09-21 2015-11-25 Msd消费保健品公司 足部测量设备
US8117922B2 (en) * 2006-09-21 2012-02-21 Msd Consumer Care, Inc. Footcare product dispensing kiosk
WO2009061458A1 (en) * 2007-11-07 2009-05-14 Amfit, Inc. Impression foam digital scanner
IL188645A (en) * 2008-01-07 2011-12-29 Eliaho Gerby Foot measuring device
WO2009095775A1 (en) * 2008-01-28 2009-08-06 Shamus Fairhall Digital scanner
US8390685B2 (en) * 2008-02-06 2013-03-05 International Business Machines Corporation Virtual fence
TW200937348A (en) * 2008-02-19 2009-09-01 Univ Nat Chiao Tung Calibration method for image capturing device
JP4886716B2 (ja) * 2008-02-26 2012-02-29 富士フイルム株式会社 画像処理装置および方法並びにプログラム
US20100130830A1 (en) * 2008-11-24 2010-05-27 Wei-Cheng Lin Foot examination and measurement system and method of the same
US8103088B2 (en) * 2009-03-20 2012-01-24 Cranial Technologies, Inc. Three-dimensional image capture system
US8217993B2 (en) * 2009-03-20 2012-07-10 Cranial Technologies, Inc. Three-dimensional image capture system for subjects
CN103154867B (zh) * 2010-10-12 2017-09-22 纽约大学 用于传感利用瓷片、具有一组板的传感器和多点触摸表面目标识别的装置和方法
USD671542S1 (en) * 2010-11-13 2012-11-27 Lexmark International, Inc. Imaging device
US20130176399A1 (en) * 2010-11-29 2013-07-11 Hewlett-Packard Development Company, L.P. System and method for creating a three-dimensional image file
EP2543272A1 (de) * 2011-07-05 2013-01-09 Fenix Outdoor AB publ. Standboden zur Erfassung der Sprengung und/oder der Raumform eines Fusses, Erfassungsvorrichtung sowie Verfahren hierfür
AU2012288600B2 (en) * 2011-07-25 2016-04-21 C & J Clark International Limited A footgauge
CN103703763B (zh) 2011-07-29 2018-02-27 惠普发展公司,有限责任合伙企业 视觉分层的***和方法
KR101795644B1 (ko) 2011-07-29 2017-11-08 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 투영 캡쳐 시스템, 투영 캡쳐 프로그래밍, 및 투영 캡쳐 방법
EP2740008A4 (en) * 2011-08-02 2015-09-16 Hewlett Packard Development Co SYSTEM AND METHOD FOR ACQUIRING PROJECTION
US9521276B2 (en) 2011-08-02 2016-12-13 Hewlett-Packard Development Company, L.P. Portable projection capture device
US9019359B2 (en) 2012-03-29 2015-04-28 Nike, Inc. Foot imaging and measurement apparatus
US9076262B2 (en) 2012-08-01 2015-07-07 Dreamworks Animation Llc Scripted stereo curves for stereoscopic computer animation
JP6416456B2 (ja) * 2012-10-16 2018-10-31 Jfeスチール株式会社 車体剛性試験装置及び車体剛性試験方法
CA2890174A1 (en) 2012-11-05 2014-05-08 360 Heros, Inc. 360 degree camera mount and related photographic and video system
CN103824318B (zh) * 2014-02-13 2016-11-23 西安交通大学 一种多摄像头阵列的深度感知方法
US9648926B2 (en) 2014-09-23 2017-05-16 William H. Marks Footwear recommendations from foot scan data describing feet of a user
WO2016051416A1 (en) 2014-09-30 2016-04-07 Fitfully Ltd. System and method of 3d modeling and virtual fitting of 3d objects
US20160107391A1 (en) * 2014-10-21 2016-04-21 Saerome Bae Parish System and method for custom-sizing bespoke shoes
CN107079126A (zh) 2014-11-13 2017-08-18 惠普发展公司,有限责任合伙企业 图像投影
US20160219266A1 (en) * 2015-01-25 2016-07-28 3dMD Technologies Ltd Anatomical imaging system for product customization and methods of use thereof
CN106152937B (zh) * 2015-03-31 2019-10-25 深圳超多维科技有限公司 空间定位装置、***及其方法
MX2018004181A (es) 2015-10-05 2018-05-17 Bayer Healthcare Llc Generacion de productos ortoticos recomendaciones.
DE102015224885A1 (de) * 2015-12-10 2017-06-14 Adidas Ag Verfahren für die Platzierung von Patches und hergestellte Artikel
US10463257B2 (en) * 2016-03-30 2019-11-05 Aetrex Worldwide, Inc. System and method for identifying physical properties of feet
US10492712B2 (en) * 2016-03-30 2019-12-03 Aetrex Worldwide, Inc. System and method for identifying physical properties of feet
WO2017177304A1 (en) * 2016-04-13 2017-10-19 Cryos Technologies Inc. Membrane-based foot imaging apparatus including a camera for monitoring foot positioning
JP6123010B1 (ja) * 2016-09-14 2017-04-26 株式会社ミリメーター 木型設計用データ取得装置
PT3523601T (pt) * 2016-10-05 2022-08-22 Safesize Holding B V Obtenção da forma de um pé utilizando uma tecnologia de sensores de profundidade e placa de pressão
CN111278321A (zh) * 2017-08-25 2020-06-12 鞋履检索公司 鞋类尺码确定的***和方法
US20210076777A1 (en) * 2017-09-07 2021-03-18 Aptulum, Llc Three-dimensional inclined foot scanner
EP3668380A1 (en) 2017-10-13 2020-06-24 Scholl's Wellness Company LLC Footcare product dispensing kiosk
JP2020067393A (ja) * 2018-10-25 2020-04-30 株式会社Vrc 三次元モデリングデータ生成装置
JPWO2020179549A1 (ja) * 2019-03-03 2020-09-10
US10765346B1 (en) * 2019-05-09 2020-09-08 Brendan Lee Adams McLaughlin Method of capturing a non-distorted image of the foot
CN112449066A (zh) * 2019-09-02 2021-03-05 刘佳 一种骨科用脚形3d扫描仪
US11151738B2 (en) 2020-03-06 2021-10-19 Aetrex Worldwide, Inc. Scanning device with imaging and pressure-sensing functionality
JP7511465B2 (ja) * 2020-12-24 2024-07-05 株式会社アシックス 靴型作製支援装置、および靴型作製システム
WO2024091223A1 (en) * 2022-10-25 2024-05-02 Aetrex, Inc. Scanning device with geometric patterns for camera calibration

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4272181A (en) * 1978-12-29 1981-06-09 International Business Machines Corporation Electrophotographic printer with duplex printed sheet output
GB2133537B (en) * 1982-12-16 1986-07-09 Glyben Automation Limited Position detector system
US4654872A (en) 1983-07-25 1987-03-31 Omron Tateisi Electronics Co. System for recognizing three-dimensional objects
US4634279A (en) 1984-02-06 1987-01-06 Robotic Vision Systems, Inc. Method of three-dimensional measurement with few projected patterns
US4745290A (en) * 1987-03-19 1988-05-17 David Frankel Method and apparatus for use in making custom shoes
US4846577A (en) * 1987-04-30 1989-07-11 Lbp Partnership Optical means for making measurements of surface contours
US4982438A (en) * 1987-06-02 1991-01-01 Hitachi, Ltd. Apparatus and method for recognizing three-dimensional shape of object
GB8923169D0 (en) * 1989-10-13 1989-11-29 British United Shoe Machinery Digitising irregularly shaped articles
DE3941144C2 (de) 1989-12-13 1994-01-13 Zeiss Carl Fa Koordinatenmeßgerät zur berührungslosen Vermessung eines Objekts
US5237520A (en) * 1990-05-11 1993-08-17 Foot Image Technology, Inc. Foot measurement and footwear sizing system
FR2679327B1 (fr) * 1991-07-15 1996-12-27 Cebelor Procede de mesure tridimensionnelle, sans contact, de l'enveloppe d'un objet, notamment un pied, et appareil de mesure permettant la mise en óoeuvre du procede.
US5164793A (en) * 1991-09-13 1992-11-17 Brown Group, Inc. Shoe size selection system and apparatus therefor
GB9304058D0 (en) 1993-03-01 1993-04-14 Orthotics Limited Improvements relating to foot orthoses
DE4417872A1 (de) 1994-05-22 1995-11-23 Robert Prof Dr Ing Massen Optische Digitalisierung von Körperteilen
US6028672A (en) 1996-09-30 2000-02-22 Zheng J. Geng High speed three dimensional imaging method
GB9515311D0 (en) 1995-07-26 1995-09-20 3D Scanners Ltd Stripe scanners and methods of scanning
US7562392B1 (en) * 1999-05-19 2009-07-14 Digimarc Corporation Methods of interacting with audio and ambient music
US6044170A (en) 1996-03-21 2000-03-28 Real-Time Geometry Corporation System and method for rapid shape digitizing and adaptive mesh generation
DE69733233T2 (de) 1996-09-11 2006-01-19 Canon K.K. Bildverarbeitung zur dreidimensionalen Wiedergabe von Bilddaten auf der Anzeige eines Bildaufnahmegeräts
IT1287977B1 (it) 1996-10-31 1998-09-10 Label Elettronica Srl Unita' per la realizzazione di calzature personalizzate per portatori di handicap alle estremita'inferiori
JP3020898B2 (ja) 1997-07-22 2000-03-15 株式会社エイ・ティ・アール人間情報通信研究所 アフィンカメラ補正による三次元位置の線形推定方法
DE19800086A1 (de) 1998-01-02 1999-07-08 Junior Schmid Gmbh Verfahren und Vorrichtung zur Ermittlung einer an einen Fuß angepaßten Form eines Schuhs
JP4021026B2 (ja) 1998-01-29 2007-12-12 富士重工業株式会社 ステレオ画像処理システム
JP4562820B2 (ja) * 1998-03-02 2010-10-13 富士フイルム株式会社 固体撮像素子の取付方法
US6377700B1 (en) 1998-06-30 2002-04-23 Intel Corporation Method and apparatus for capturing stereoscopic images using image sensors
JP2958458B1 (ja) * 1998-08-26 1999-10-06 防衛庁技術研究本部長 多眼画像センサ
JP3377492B2 (ja) * 2000-02-18 2003-02-17 月星化成株式会社 足サイズ測定器
KR20010090191A (ko) 2000-03-23 2001-10-18 이건우 인터넷을 이용한 주문형 신발 제작 시스템 및 방법
JP2001255127A (ja) * 2000-03-14 2001-09-21 Den:Kk メッシュを利用した3d測定方法
US6549639B1 (en) 2000-05-01 2003-04-15 Genovation Inc. Body part imaging system
DE10025922A1 (de) * 2000-05-27 2001-12-13 Robert Massen Automatische photogrammetrische Digitalisierung von Körpern und Objekten
JP4501239B2 (ja) * 2000-07-13 2010-07-14 ソニー株式会社 カメラ・キャリブレーション装置及び方法、並びに、記憶媒体
DE10033828A1 (de) 2000-07-19 2002-01-31 Robert Massen Optische Erfasung der Raumform von Körpern und Körperteilen
JP4608152B2 (ja) * 2000-09-12 2011-01-05 ソニー株式会社 三次元データ処理装置および三次元データ処理方法、並びにプログラム提供媒体
JP3548110B2 (ja) 2000-09-29 2004-07-28 三洋電機株式会社 3次元撮影装置
DE10049926A1 (de) * 2000-10-07 2002-04-11 Robert Massen Kamera zur kostengünstigen Erfassung der Raumform von Körpern
JP3436929B2 (ja) * 2001-03-30 2003-08-18 岩手県 3次元形状計測システム
JP4101478B2 (ja) * 2001-05-29 2008-06-18 松下電器産業株式会社 人体端点検出方法及び装置
DE10156908A1 (de) * 2001-11-21 2003-05-28 Corpus E Ag Kostengünstige Erfassung der Raumform von Körpern
JP2003200377A (ja) * 2001-12-26 2003-07-15 Sony Corp ロボット,ロボットによる測距方法
EP1466137B1 (en) 2001-12-28 2010-04-14 Rudolph Technologies, Inc. Stereoscopic three-dimensional metrology system and method
JP2003269928A (ja) 2002-03-12 2003-09-25 Nec Corp 3次元形状計測方法および装置ならびにプログラム
JP2004139035A (ja) * 2002-09-25 2004-05-13 Seiko Epson Corp 赤外カットフィルタ付レンズ及びその製造方法並びに小型カメラ

Also Published As

Publication number Publication date
US20100157388A1 (en) 2010-06-24
US7557966B2 (en) 2009-07-07
GB0508143D0 (en) 2005-06-01
GB2417153B (en) 2007-10-03
US20060098896A1 (en) 2006-05-11
US7706028B2 (en) 2010-04-27
US7978378B2 (en) 2011-07-12
US20090273664A1 (en) 2009-11-05
US7738145B2 (en) 2010-06-15
GB2417153A (en) 2006-02-15
US20060034548A1 (en) 2006-02-16
JP2006053147A (ja) 2006-02-23

Similar Documents

Publication Publication Date Title
JP5615998B2 (ja) 物体を走査する装置
US6546356B1 (en) Body part imaging method
US6549639B1 (en) Body part imaging system
US11100661B2 (en) Multi-modal depth mapping
JP3912867B2 (ja) 足型計測装置
US20070165243A1 (en) Device for measuring 3d shape using irregular pattern and method for the same
WO2015054281A1 (en) Calibration of 3d scanning device
US20020048392A1 (en) Foot measurement system and method
CN104080401B (zh) 生成人体对象虚拟模型的方法及***
CN111127625B (zh) 一种足部扫描方法、***及装置
US20150097968A1 (en) Integrated calibration cradle
JP2012215394A (ja) 三次元計測装置および三次元計測方法
CN109493418B (zh) 一种基于LabVIEW的三维点云获取方法
US6734980B1 (en) Body scanning equipment
JP3854599B2 (ja) 足型測定器
JP4077755B2 (ja) 位置検出方法、その装置及びそのプログラム、並びに、較正情報生成方法
Al-Baghdadi et al. A dense surface modelling technique for foot surface imaging
US20230284933A1 (en) Portable three-dimensional image measuring device, three-dimensional image measuring method using same, and medical image matching system
US20060153427A1 (en) Image methods for determining contour of terrain
WO2020179549A1 (ja) 三次元足計測システム
CN111528579A (zh) 一种基于机器视觉的非接触式测脚方法
JP2013064657A (ja) 足背高測定法及びその測定法を使用した足型測定器

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080801

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080801

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101228

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110315

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110318

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111213

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120308

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120313

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120409

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120412

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120511

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120516

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120606

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130402

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130801

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20130808

A912 Removal of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20130823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140911

R150 Certificate of patent or registration of utility model

Ref document number: 5615998

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees