JP5297325B2

JP5297325B2 - ゴルフスイング撮影時の手ぶれ補正方法

Info

Publication number: JP5297325B2
Application number: JP2009230385A
Authority: JP
Inventors: 勝彦植田; 良明白井; 伸敬島田
Original assignee: Sumitomo Rubber Industries Ltd; Dunlop Sports Co Ltd
Current assignee: Sumitomo Rubber Industries Ltd; Dunlop Sports Co Ltd
Priority date: 2009-10-02
Filing date: 2009-10-02
Publication date: 2013-09-25
Anticipated expiration: 2029-10-02
Also published as: JP2011078066A

Description

本発明は、ゴルフスイングの診断等の目的で撮影された画像の手ぶれを補正する方法に関する。

ゴルファーがゴルフボールを打撃するとき、左右の爪先を結ぶ線が打撃方向とほぼ平行となるようにアドレスする。右利きのゴルファーのアドレスでは、左足が打撃方向前側に位置し、右足が打撃方向後側に位置する。アドレスでは、ゴルフクラブのヘッドはゴルフボールの近くに位置する。この状態からゴルファーはテイクバックを開始し、ヘッドを後へ、次いで上方へと振り上げる。最もヘッドが振り上げられた位置がトップ位置である。トップ位置からダウンスイングが開始されてヘッドが振り下ろされ、ヘッドがゴルフボールと衝突する（インパクト）。インパクト後、ゴルファーはゴルフクラブを前方へ、次いで上方へと振り抜き（フォロースルー）、フィニッシュを迎える。

ゴルファーの技量向上において、適切なスイングフォームの習得が重要である。技量向上の一助とすべく、スイング診断がなされている。スイング診断では、ビデオカメラでスイングが撮影される。ゴルフ用品の開発に役立つ資料の収集の目的で、スイングが撮影されることもある。

撮影では、動画のデータから、所定のフレームが取り出される。例えば、アドレスのフレーム、トップ位置のフレーム、ダウンスイングのフレーム、インパクトのフレーム、フィニッシュのフレーム等が、解析される。複数のフレームが対比され、診断がなされることもある。画像処理によってスイングが診断される装置が、特開２００４−１３４８９１公報に開示されている。

特開２００４−１３４８９１公報

撮影中、撮影者の手ぶれが起こることがある。この場合、動画から取り出された１つのフレームと、他のフレームとにおいて、画像原点の不一致が起こりうる。この不一致は、２つのフレームの対比によって診断を行う場合の精度を阻害する。

手ぶれ補正機能を有するカメラが市販されている。しかし、一般的なカメラの手ぶれ補正機能の精度は、十分ではない。高精度な手ぶれ補正機能を有するカメラは、概して高価である。近年、動画撮影機能を有するカメラが搭載された携帯電話機が普及している。このカメラの手ぶれ補正機能の精度は、十分ではない。

カメラが三脚に装着されれば、手ぶれは生じない。しかし、スイング診断が、三脚が設置できない場所でなされることがある。三脚を携帯していないゴルファーが、スイング診断を望むこともある。精度のよいスイング診断を手軽に受けられることを、ゴルファーは望んでいる。

本発明の目的は、ゴルフスイング撮影時の手ぶれ補正が精度よくなされうる方法の提供にある。

本発明に係るゴルフスイング撮影時の手ぶれ補正方法は、
ゴルフのスイングをカメラで撮影し、第一フレームの画像データと、その撮影時刻が第一フレームの撮影時刻よりも後である第二フレームの画像データとを得るステップ、
上記第一フレームの画像データから、特徴点を決定するステップ、
上記第二フレームの画像データから、上記特徴点に対応する対応点を決定するステップ、
上記特徴点の座標と対応点の座標との相違に基づいて変換式を決定するステップ、
及び
上記変換式に基づいて第二フレームの画像の座標を変換し、変換画像を得るステップ
を含む。

好ましくは、特徴点の決定は、ハリスのコーナー検出法によって達成される。好ましくは、対応点の決定に、Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズムが用いられる。対応点の決定に、テンプレートマッチング処理が用いられてもよい。

好ましくは、対応点の決定に、ＲＧＢカラーモデルの輝度に基づくＬｕｃａｓ−Ｋａｎａｄｅアルゴリズムと、ＲＧＢカラーモデルの色ベクトルに基づくテンプレートマッチング処理とが用いられる。

変換式は、行列を含みうる。好ましくは、特徴点の座標と変換座標との差を小さくする行列が、最小二乗法によって決定される。

本発明に係るゴルフスイング撮影時の手ぶれ補正システムは、
（Ａ）ゴルフのスイング撮影するためのカメラ、
（Ｂ）撮影された画像を記憶するメモリ
及び
（Ｃ）演算手段
を備える。この演算手段は、
（Ｃ１）メモリから第一フレームの画像データとその撮影時刻が第一フレームの撮影時刻よりも後である第二フレームの画像データを抽出する画像抽出部、
（Ｃ２）上記第一フレームの画像データから、特徴点を決定する特徴点決定部、
（Ｃ３）上記第二フレームの画像データから、上記特徴点に対応する対応点を決定する対応点決定部、
（Ｃ４）上記特徴点の座標と対応点の座標との相違に基づいて変換式を決定する変換式決定部、
及び
（Ｃ５）上記変換式に基づいて第二フレームの画像の座標を変換し、変換画像を得る変換部
を含む。

本発明に係る手ぶれ補正方法により、精度のよいスイング診断がなされうる。

図１は、本発明の一実施形態に係る手ぶれ補正システムが示された概念図である。図２は、図１のシステムの演算部の詳細が示された概念図である。図３は、図１のシステムによってなされる手ぶれ補正方法が示されたフローチャートである。図４は、図１のカメラの画面が示された説明図である。図５は、図３の補正方法のためのマスクが示された説明図である。図６（ａ）は縦方向の差分の重みづけが示された説明図であり、図６（ｂ）は横方向の差分の重みづけが示された説明図である。図７は、ハリスのコーナー検出における重みづけが示された説明図である。図８は、本発明の他の実施形態に係る手ぶれ補正システムが示された概念図である。図９は、実施例１の差分処理の結果が示された画像である。図１０は、比較例１の差分処理の結果が示された画像である。図１１は、実施例２の結果が示されたグラフである。図１２は、比較例２の結果が示されたグラフである。

以下、適宜図面が参照されつつ、好ましい実施形態に基づいて本発明が詳細に説明される。

図１に示されたシステム２は、携帯電話機４とサーバ６とを備えている。携帯電話機４とサーバ６とは、通信回線８を介して接続されている。携帯電話機４は、カメラ１０、メモリ１２及び送受信部１４を備えている。サーバ６は、演算部１６、メモリ１８及び送受信部２０を備えている。メモリ１２の具体例としては、ＲＡＭ、ＳＤカード（ミニＳＤ、マイクロＳＤ等を含む）及びその他の記憶媒体が挙げられる。

典型的な演算部は、ＣＰＵである。図２には、演算部１６が示されている。この演算部１６は、画像抽出部２２、特徴点決定部２４、対応点決定部２６、変換式決定部２８及び変換部３０を含んでいる。

図３には、図１のシステム２によってなされる手ぶれ補正方法のフローチャートが示されている。この補正方法では、カメラ１０によって撮影がなされる（ＳＴＥＰ１）。図４には、撮影が開始される前の画面が示されている。この画面は、携帯電話機４のモニタ（図示されず）に表示される。この画面には、ゴルフクラブ３２を持ったゴルファー３４のアドレスが撮影されている。この画面では、ゴルファー３４が後方から撮影されている。この画面には、第一枠３６及び第二枠３８が示されている。これらの枠３６、３８は、携帯電話機４のＣＰＵ（図示されず）の上で実行されるソフトウエアにより、表示される。これらの枠３６、３８は、撮影者がカメラ１０のアングルを決定するときの一助となる。撮影者は、第一枠３６にグリップ４０が含まれ、第二枠３８にヘッド４２が含まれるように、カメラ１０のアングルを決定する。これらの枠３６、３８は、カメラ１０とゴルファー３４との距離の決定の一助ともなる。

図４に示された状態から、撮影が開始される。撮影開始後、ゴルファー３４はスイングを開始する。ゴルフボール（図示されず）が打撃され、さらにスイングが終了するまで、撮影が継続される。撮影により、動画のデータが得られる。このデータは、メモリ１２に記憶される（ＳＴＥＰ２）。この動画の画素数は、例えば６４０×３２０である。

撮影者又はゴルファー３４が携帯電話機４を操作することにより、動画のデータがサーバ６へと送信される（ＳＴＥＰ３）。データは、携帯電話機４の送受信部１４から、サーバ６の送受信部２０へ送信される。送信は、通信回線８を介してなされる。データは、サーバ６のメモリ１８に記憶される（ＳＴＥＰ４）。

画像抽出部２２は、動画のデータから多数のフレーム（すなわち静止画のデータ）を抽出する（ＳＴＥＰ５）。１秒あたりの抽出数は３０又は６０である。これらフレームには、第一フレームと、その撮影時刻が第一フレームの撮影時刻よりも後である第二フレームが含まれる。特徴点決定部２４は、第一フレームの画像データから、特徴点を決定する（ＳＴＥＰ６）。対応点決定部２６は、第二フレームの画像データから、特徴点に対応する対応点を決定する（ＳＴＥＰ７）。変換式決定部２８は、特徴点の座標と対応点の座標との相違に基づき、変換式を決定する（ＳＴＥＰ８）。変換部３０は、この変換式に基づき、第二フレームの画像の座標を変換する（ＳＴＥＰ９）。変換により、変換画像が得られる。この変換画像が第一フレームの画像と対比され、スイングが診断される（ＳＴＥＰ１０）。

第一フレームと第二フレームとの間に手ぶれが生じていた場合、第一フレームの画像データと第二フレームの画像データとの間にズレが生じる。第一フレームの画像データと第二フレームの画像データとの相違には、スイングに起因するものと、手ぶれに起因するものとが含まれる。座標変換により、手ぶれに起因する相違がほぼキャンセルされる。換言すれば、手ぶれ補正がなされる。変換画像が第一フレームの画像と対比されることにより、精度よくスイングが診断されうる。

以下、手ぶれ補正の詳細が説明される。特徴点の決定（ＳＴＥＰ６）には、典型的には、ハリスのコーナー検出法によって達成される。この検出法は、ハリスのオペレータ又はハリスのコーナー検出関数に基づき、各ピクセルが特徴点であるか否かを判定する方法である。ある点（ｘ０，ｙ０）を中心とする小領域と、この点が少しだけ動いた点（ｘ０＋ｄｘ，ｙ０＋ｄｙ）を中心とする小領域が対比される。様々な微小変位（ｄｘ，ｄｙ）のいずれに対しても、移動前後の領域が似ていなければ、この点（ｘ０，ｙ０）は特徴点（典型的にはコーナー）とみなされうる。ハリスのコーナー検出法は、この原理によって特徴点を見つけ出す方法である。ハリスのコーナー検出法は、当業者によって知られている。

本実施形態では、第一フレームに、図５に示されるマスク４４が設定される。図５から明らかなように、マスク４４は、図４に示されたゴルファー３４及びゴルフクラブ３２を含む。マスク４４の外縁は、ゴルファー３４の外縁よりも外側であり、ゴルフクラブ３２の外縁よりも外側である。マスク４４に含まれるピクセルは、特徴点の決定のための計算の対象とされない。マスク４４により、スイングによって動きが生じる可能性があるピクセルが特徴点とされることが防がれる。

マスク４４に含まれないそれぞれのピクセルにつき、計算が行われる。ＲＧＢカラーモデルのＲ成分、Ｇ成分及びＢ成分のそれぞれにつき、計算が行われる。以下、Ｒ成分について詳説する。まず、Ｒ（ｘ，ｙ）について、縦方向の差分及び横方向の差分が計算される。計算には、重みづけが採用される。縦差分の重みづけが、図６（ａ）に示されている。横差分の重みづけが、図６（ｂ）に示されている。

縦差分Ｒｘ（ｘ，ｙ）、横差分Ｒｙ（ｘ，ｙ）及び重みｗ（ｕ，ｖ）が用いられ、下記数式によって行列Ａ（ｘ，ｙ）が算出される。

行列Ａ（ｘ，ｙ）の算出では、原画素（ｘ０，ｙ０）を中心とした４９ピクセル（７×７）の範囲で、計算がなされる。この計算において、図７に示された重みづけが採用される。もし重みづけがなければ、同じ値のピクセルが４９個存在し、特徴のあるピクセルが判別できない。重みづけにより、真の特徴点が特徴点として把握されうる。重みづけに供されるピクセル数は、４９には限られない。ピクセル数は、適宜決定される。

上記行列Ａが用いられ、下記数式により、ハリスのコーナー検出関数Ｈ（ｘ，ｙ）が算出される。

ＲＧＢカラーモデルのＧ成分及びＢ成分に関しても、Ｒ成分と同様に、行列Ａ及びコーナー検出関数Ｈ（ｘ，ｙ）が算出される。３成分のＨ（ｘ，ｙ）が足し合わされる。この結果が所定値（例えば１０）を超えるとき、当該ピクセルは、候補点とされる。

候補点を中心とした２２５（１５×１５）のピクセルの中で、３成分のＨ（ｘ，ｙ）が足し合わされた結果が最も大きい候補点が、特徴点とされる。３成分のＨ（ｘ，ｙ）が足し合わされた結果が所定値以上であっても、この値が最も大きい候補点以外の候補点は、特徴点とされない。この処理により、接近した２つの特徴点が選定されることが抑制される。換言すれば、特徴点同士はある程度離れている。従って、後に詳説される対応点決定（ＳＴＥＰ７）における誤追跡が、防止されうる。

決定された特徴点は、典型的には、物体のコーナーである。ビルディング等の固定構造物のコーナーが、特徴点とされうる。他の典型的な特徴点は、長尺物体の端である。例えば、ポールの頂点が、特徴点とされうる。好ましくは、第一フレームにおける特徴点の数は、６以上５０以下である。

第一フレームの画像データから特徴点が決定されると、次に、第二フレームの画像データから対応点が決定される（ＳＴＥＰ７）。この決定は、好ましくは、Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズムと、テンプレートマッチング処理とによってなされる。好ましくは、Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズムは、ＲＧＢカラーモデルの輝度Ｉに基づいてなされる。好ましくは、テンプレートマッチング処理は、ＲＧＢカラーモデルの色ベクトルに基づいてなされる。Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズムと、テンプレートマッチング処理とのいずれか一方により、対応点が決定されてもよい。

Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズムにより、第一フレームの特徴点が追跡され、これに対応する点が第二フレームから決定される。このアルゴリズムは、同一物体の局所領域内では、オプティカルフローが一様であるとの仮定によって成り立つ空間的局所最適化法である。

第ｆ番目のフレームの特徴点（ｘ，ｙ）の輝度を、Ｉ（ｘ、ｙ、ｆ）とする。第（ｆ＋δｆ）番目のフレームの局所領域ｗにおける、特徴点と対応する点（ｘ’，ｙ’）は、下記数式によって得られる。なお、局所領域ｗの範囲は、適宜決定される。本発明者は、「１０×１０」の領域において、下記計算を行った。

この点（ｘ’，ｙ’）は、候補点である。この数式では、ＲＧＢカラーモデルの輝度Ｉに基づいて、候補点が決定される。輝度は、ＲＧＢカラーモデルのＲ成分、Ｇ成分及びＢ線分のそれぞれに係数がかけられたものが合算されて求められる。輝度Ｉに代えて、Ｒ成分に基づいて、候補点（ｘ’，ｙ’）が決定されてもよい。輝度Ｉに代えて、Ｇ成分に基づいて、候補点（ｘ’，ｙ’）が決定されてもよい。輝度Ｉに代えて、Ｂ成分に基づいて、候補点（ｘ’，ｙ’）が決定されてもよい。ＲＧＢカラーモデルに基づく色情報のいずれによっても、候補点（ｘ’，ｙ’）が決定され得る。

Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズムに引き続き、テンプレートマッチング処理がなされる。テンプレートマッチング処理では、Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズムによって決定された候補点が、真の対応点であるか否かが判定される。ここで対応点とは、第二フレームに含まれるピクセルのうち、第一フレームの特徴点に対するピクセルを意味する。

テンプレートマッチング処理では、特徴点（ｘ，ｙ）と候補点（ｘ’，ｙ’）の間で、マッチが判断される。この判断には、第一フレームのテンプレートと、第二フレームのテンプレートとが用いられる。第一フレームのテンプレートの中心には、特徴点（ｘ，ｙ）が位置する。第二フレームのテンプレートの中心には、候補点（ｘ’，ｙ’）が位置する。第一フレームのテンプレートに含まれるピクセルの色ベクトル（ＲＧＢ空間）と、このピクセルに対応し第二フレームのテンプレートに含まれるピクセルの色ベクトルとの差分が算出される。差分が所定の閾値θより小さい場合、両ピクセルはマッチしていると判断される。テンプレート内の全てのピクセルについて、マッチしているか否かが判断される。マッチしているピクセルの数が所定値α以上である場合、候補点（ｘ’，ｙ’）が特徴点（ｘ，ｙ）と対応していると判断される。この判断がなされた候補点（ｘ’，ｙ’）は、対応点に昇格する。

本発明者が用いた処理の具体例は、以下の通りである。
テンプレートのピクセル数：１００（１０×１０）
θ：１８０
α：９５
この例では、１００のピクセルのうち９５以上が「マッチ」であるとき、当該候補点が対応点に昇格する。

Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズムは、広義のテンプレートマッチングの概念にに含まれるアルゴリズムである。従って、ＲＧＢカラーモデルの色ベクトルに基づいてＬｕｃａｓ−Ｋａｎａｄｅアルゴリズムがなされれば、この後のテンプレートマッチング（狭義のテンプレートマッチング）は不要である。ＲＧＢカラーモデルの色ベクトルに基づくＬｕｃａｓ−Ｋａｎａｄｅアルゴリズムがなされる場合、全ピクセルが対象であるため、演算部１６に大きな負荷がかかる。本実施形態では、輝度Ｉ（つまり色情報の一部）に基づいてＬｕｃａｓ−Ｋａｎａｄｅアルゴリズムがなされる。さらに本実施形態では、Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズムによって候補点とされたピクセルについてのみ、色ベクトルに基づくテンプレートマッチング処理がなされる。従って、演算部１６への負荷は小さい。

この実施形態では、
（１）Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズムによって候補点と判定される
（２）テンプレートマッチング処理によって、マッチしているピクセルの数が所定値α以上であると判定される
との２つの条件を満たすピクセルが、対応点とされる。上記（１）及び（２）以外に、
（３）特徴点との座標のズレが所定値以下である
との条件が必須とされてもよい。この場合、特徴点との座標のズレが所定値以下（例えば４ピクセル以下）である候補点のみが、対応点に昇格する。上記（３）の条件を課すことにより、対応点ではない点が対応点と誤認識されることが抑制されうる。

以下、変換式の決定（ＳＴＥＰ８）が詳説される。このステップでは、特徴点の座標と対応点の座標との相違が考慮される。前述の通り、第一フレームは、複数の特徴点を含む。従って第二フレームは、複数の対応点を含む。ｆ番目のフレームにおけるｔ番目の対応点の座標は、（ｘ^ｆ _ｔ，ｙ^ｆ _ｔ）で表される。なお、第二フレームの場合、ｆは２である。この対応点の座標が変換された座標を、（ｘ’^ｆ _ｔ，ｙ’^ｆ _ｔ）で表す。対応点の座標と変換後の座標との間には、下記数式（Ｉ）が成り立つ。

この数式（Ｉ）を展開すると、下記数式（II）及び（III)が得られる。

第一フレームの特徴点（ｘ^１ _ｔ，ｙ^１ _ｔ）と、ｆ番目のフレームの対応点の変換後の点（ｘ’^ｆ _ｔ，ｙ’^ｆ _ｔ）との差の和Ｄｆは、下記数式（IV）で示される。この数式（IV）において、ｐは特徴点に対応した対応点の数を表す。

上記数式（II）及び（III)を数式（IV）に代入し、Ｄ^ｆが最小となる行列Ａ^ｆ及びベクトルＢ^ｆが、導出される。行列Ａ^ｆ及びベクトルＢ^ｆの導出には、既知の種々の方法が採用されうる。典型的には、最小二乗法により、行列Ａ^ｆ及びＢ^ｆが導出される。この行列Ａ^ｆ及びベクトルＢ^ｆを上記数式（Ｉ）に代入するすることで、変換式が決定される。得られた変換式が、下記に示されている。

手ぶれを構成する動作は、主として平行移動、回転及び比率変更である。これら動作の組み合わせで、手ぶれが生じる。上記変換式におけるａからｆに関し、アフィン変換行列の一覧が、下記の表１に示される。

得られた変換式に基づいて、第二フレームの画像の座標が変換される（ＳＴＥＰ９）。このステップでは、第二フレームの全てのピクセルに対し、座標変換がなされる。これにより、変換画像が得られる。第一フレームの画像と変換画像とのズレは、ほとんどない。換言すれば、座標変換により、手ぶれによるズレがほぼキャンセルされる。

第一フレームの画像と、第二フレームの変換画像との対比により、スイングの診断がなされうる。実際のゴルフのスイングでは、テイクバックからフィニッシュまで、０．５秒から３．０秒程度を要する。このスイングを撮影した動画からは、多数のフレームが得られうる。スイングの診断は、通常、多数のフレームに基づいてなされる。第二フレームに対してなされたと同様の手ぶれ補正が、第三フレーム以降の多数のフレームについてなされる。

以下、第三フレームが例とされて、手ぶれ補正が詳説される。この手ぶれ補正では、Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズムにより、第二フレームの特徴点が追跡され、これに対応する候補点が第三フレームから決定される。候補点の決定は、ＲＧＢカラーモデルに基づく色情報のいずれかによってなされる。なお、第三フレームとの関係において「第二フレームの特徴点」と称されるピクセルは、第一フレームとの関係において「第二フレームの対応点」と称されるピクセルである。

Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズムに引き続き、テンプレートマッチング処理がなされる。テンプレートマッチング処理では、Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズムによって決定された候補点が、真の対応点であるか否かが判定される。第二フレームのテンプレートの各ピクセルと、第三フレームのテンプレートの各ピクセルとの対比により、真の対応点であるか否かが判定される。具体的には、テンプレート内においてマッチしているピクセルの数が所定値α以上である場合、第三フレームの候補点が第二フレームの特徴点と対応していると判断される。この判断がなされた候補点は、第三フレームの対応点に昇格する。

第一フレームの特徴点の座標と第三フレームの対応点の座標との相違が考慮されて、変換式が決定される。変換式の決定には、上記数式（Ｉ）から（IV）が用いられる。得られた変換式に基づいて、第三フレームの画像の座標が変換される。第四フレーム以降も、第三フレームと同様に、手ぶれ補正がなされる。

以上をまとめると、第ｆ番目のフレームに関しては、以下の手順で手ぶれ補正がなされる。
・第（ｆ−１）番目のフレームにおける特徴点が追跡され、第ｆ番目のフレームの対応点が決定される。
・第一フレームとの対比において、変換式が決定される。
なお、ここで第一フレームとは、動画の撮影が開始されたときの最初のフレームを意味するのではない。スイング中の任意のフレームが、第一フレームに選定されうる。

第（ｆ−１）番目のフレームにおける１つの特徴点に対応する点が、第ｆ番目のフレームにおいて見つからない場合がある。この場合、対応点の数が減少する。フレームの進行に伴い、対応点の数が大幅に減少することがある。大幅な減少は、変換式の精度を落とす。精度の観点から、対応点復活ルーチンが実効されることが好ましい。

対応点復活ルーチンは、第（ｆ−１）番目のフレームにおける１つの特徴点に対応する点が、第ｆ番目のフレームにおいて見つからない場合になされる。このルーチンでは、第一フレームの特徴点が、第ｆフレームにおいて追跡される。追跡には、前述のＬｕｃａｓ−Ｋａｎａｄｅアルゴリズム及びテンプレートマッチング処理が用いられる。

対応点復活ルーチンでは、第ｆフレームのピクセルであって、
（１）Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズムによって候補点と判定される
（２）テンプレートマッチング処理によって、マッチしているピクセルの数が所定値α以上であると判定される
（３）特徴点との座標のズレが所定値以下（例えば８ピクセル以下）である
との条件を満たすピクセルが、復活対応点とされる。復活対応点は、通常の対応点と共に、変換式の決定に加味される。

図１に示されたシステム２では、通信回線８を通じて携帯電話機４とサーバ６とが接続されている。接続が、ＵＳＢケーブル等のケーブルでなされてもよい。図１に示されたシステム２では、携帯電話機４が内蔵するカメラ１０で撮影がなされる。カメラ専用機で、撮影がなされてもよい。

このシステム２が用いられることにより、三脚がなくても、精度のよいスイング診断がなされうる。本発明に係る手ぶれ補正方法が採用されることにより、携帯電話機４に内蔵されたカメラ１０のような、比較的低額のカメラで、精度のよいスイング診断がなされうる。

図８は、本発明の他の実施形態に係る手ぶれ補正システム４６が示された概念図である。このシステム４６は、携帯電話機４８を備えている。この携帯電話機４８は、カメラ５０、メモリ５２及び演算部５４を備えている。図示されていないが、この演算部５４は、図１に示された演算部１６と同様、画像抽出部２２、特徴点決定部２４、対応点決定部２６、変換式決定部２８及び変換部３０を含んでいる。この演算部５４は、図２に示された演算部１６と同等の機能を果たす。つまり、この演算部５４が、手ぶれ補正を行う。従って、携帯電話機４８とサーバとの接続は不要である。撮影者は、携帯電話機４８のみを持参すれば、その場でスイングを診断しうる。

以下、実施例によって本発明の効果が明らかにされるが、この実施例の記載に基づいて本発明が限定的に解釈されるべきではない。

［実験１］
［実施例１］
ゴルフスイングの動画を、携帯電話機に内蔵されたカメラで撮影した。この動画から、多数のフレームを得た。アドレスのフレームを第一フレームとし、トップ位置のフレームを第二フレームとした。この第一フレームに対し、ハリスのコーナー検出法によって特徴点を決定した。第二フレームに対し、Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズム及びテンプレートマッチング処理により、対応点を決定した。さらに、最小二乗法により、変換式を求めた。この変換式に基づき、第二フレームの画像を座標変換し、変換画像を得た。第一フレームの画像と第二フレームの変換画像との間で差分処理を行った。この結果が、図９に示されている。差分処理によって両画像に相違があったピクセルが、図９において黒で示されている。

［比較例１］
実施例１の第二フレームの画像を、変換することなく、第一フレームとの差分に供した。この結果が、図１０に示されている。

ゴルファーやゴルフクラブは、スイング中に動く。従って、図９及び１０において、ゴルファー及びゴルフクラブは、黒く示されている。風や日照の影響で、背景の一部も、黒く示されうる。ゴルファーの地面は、本来は白く示されるべきである。図９及び１０において地面のうち黒く示されたピクセルは、手ぶれの悪影響が及んでいると考えられる。地面のうち黒いピクセルの数は、図９において少なく、図１０において多い。図９では、補正によって手ぶれの悪影響がある程度キャンセルされていると考えられる。

［実験２］
［実施例２］
ゴルフスイングの動画を、携帯電話機に内蔵されたカメラで撮影した。この動画から、９６のフレームを得た。第一フレームに対し、ハリスのコーナー検出法によって特徴点を決定した。他のフレームに対し、Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズム及びテンプレートマッチング処理により、対応点を決定した。さらに、最小二乗法により、変換式を求めた。この変換式に基づき、各フレームの画像を座標変換し、変換画像を得た。各変換画像における対応点と、第一フレームにおける特徴点との距離を２乗した結果が、図１１に示されている。

［比較例２］
変換を行うことなく、各フレームにおける対応点と第一フレームにおける特徴点との距離を２乗した。この結果が、図１２に示されている。

図１１及び１２において、横軸はフレーム番号であり、縦軸は距離の２乗である。図１１の縦軸の縮尺は、図１２のそれに比べてはるかに小さい。図１１と図１２との対比より、手ぶれ補正の効果は明らかである。

以上説明された手ぶれ補正方法は、スイングの診断、ゴルフクラブの開発、ゴルフシューズの開発等において有用である。

２・・・システム
４、４８・・・携帯電話機
６・・・サーバ
８・・・通信回線
１０、５０・・・カメラ
１２・・・メモリ
１６・・・演算部
３６・・・第一枠
３８・・・第二枠
４４・・・マスク

Claims

ゴルフのスイングをカメラで撮影するステップ、
上記カメラで撮影するステップで得られたアドレスからフィニッシュまでの画像データから、第一フレームの画像データと、その撮影時刻が第一フレームの撮影時刻よりも後であり、第一フレームとスイング姿勢が異なる第二フレームの画像データとを得るステップ、
上記第一フレームの画像データから、特徴点を決定するステップ、
上記第二フレームの画像データから、上記特徴点に対応する対応点を決定するステップ、
上記特徴点の座標と対応点の座標との相違に基づいて変換式を決定するステップ、
及び
上記変換式に基づいて第二フレームの画像の座標を変換し、変換画像を得るステップ
を含み、
上記カメラで撮影するステップでは、撮影が開始される前の画面に、第一枠及び第二枠が設定されており、第一枠にアドレスのグリップが含まれ、第二枠にアドレスのヘッドが含まれるようにアングルが決定されているゴルフスイング撮影時の手ぶれ補正方法。
上記特徴点を決定するステップでは、第一フレームの画像データのピクセルから特徴点が決定されており、
このピクセルがゴルファーの外縁より外側にあり、ゴルフクラブの外縁より外側にある請求項１に記載の手ぶれ補正方法。
上記第一フレームがアドレスのフレームである請求項１又は２に記載の手ぶれ補正方法。
上記特徴点の決定が、ハリスのコーナー検出法によって達成される請求項１から３のいずれかに記載の手ぶれ補正方法。
上記対応点の決定に、Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズムが用いられる請求項１から４のいずれかに記載の手ぶれ補正方法。
上記対応点の決定に、テンプレートマッチング処理が用いられる請求項１から５のいずれかに記載の手ぶれ補正方法。
上記対応点の決定に、ＲＧＢカラーモデルの輝度に基づくＬｕｃａｓ−Ｋａｎａｄｅアルゴリズムと、ＲＧＢカラーモデルの色ベクトルに基づくテンプレートマッチング処理とが用いられる請求項１から４のいずれかに記載の手ぶれ補正方法。
上記変換式が行列を含んでおり、上記特徴点の座標と変換座標との差を小さくする行列が最小二乗法によって決定される請求項１から７のいずれかに記載の手ぶれ補正方法。
（Ａ）ゴルフのスイング撮影するためのカメラ、
（Ｂ）撮影された画像のデータを記憶するメモリ
及び
（Ｃ）演算手段
を備えており、
この演算手段が、
（Ｃ１）メモリに記録されたアドレスからフィニッシュまでの画像データから、第一フレームの画像データとその撮影時刻が第一フレームの撮影時刻よりも後であり、第一フレームとスイング姿勢が異なる第二フレームの画像データを抽出する画像抽出部、
（Ｃ２）上記第一フレームの画像データから、特徴点を決定する特徴点決定部、
（Ｃ３）上記第二フレームの画像データから、上記特徴点に対応する対応点を決定する対応点決定部、
（Ｃ４）上記特徴点の座標と対応点の座標との相違に基づいて変換式を決定する変換式決定部、
及び
（Ｃ５）上記変換式に基づいて第二フレームの画像の座標を変換し、変換画像を得る変換部
を含み、
上記カメラのスイング撮影が開始される前の画面に、アドレスのグリップが含まれる第一枠とアドレスのヘッドが含まれる第二枠とが設定されている、
ゴルフスイング撮影時の手ぶれ補正システム。