JP5664478B2 - 物体認識支援装置，プログラムおよび方法 - Google Patents

Description

本発明は，物体認識を支援する技術であって，物体認識させる画像を取得する際に，処理に妥当な枚数の画像を取得できるようにする技術に関する。

近年，画像に含まれている物体の名称を推定する物体認識技術は，様々な産業で利用が期待されている。

利用分野の一例としては，健康指導サービス分野が挙げられる。健康指導サービスとは，偏った食生活によって引き起こされる生活習慣病を予防するため，健康指導に関する情報をユーザに提供するサービスである。現在，健康指導サービスでは，ユーザが撮影および送信した食事の画像をもとに，管理栄養士などの専門家がユーザの食事内容を確認してコメントを記述することによって，ユーザに健康指導に関する情報を提供している。

しかし，画像を見て食事内容を確認するという専門家の作業を介しているために，サービス提供費用が高くなり，利用できるユーザが限られてしまっているという問題がある。

より多くのユーザが健康指導サービスを利用できるように費用を低く抑えるためには，サービスの自動化が不可欠である。

そのため，物体認識を利用する他のサービス提供分野でも同様であるが，上記の健康指導サービスでは，物体認識技術を利用して，食事の画像から食事名称を自動的に認識し，食事名称をもと食生活の自動分析を行うことで，人（専門家）の作業負担の低減およびサービス提供の効率化が期待されている。

物体認識処理は，画像の特徴情報を抽出する特徴抽出段階と，抽出した特徴情報をもとに画像に含まれる物体の名称を推定する物体認識段階とを有する。物体認識装置に１枚の静止画像を入力すると，画像中に含まれる物体の名称が出力される。

図１２は，ある物体（ラーメン）をある方向から撮影した画像例を示す図，および，図１３は，図１２の物体（ラーメン）を別の方向から撮影した画像例を示す図である。

図１２に示す画像が物体認識装置に入力されると，物体認識装置は，画像から抽出された特徴をもとに画像の物体を「ラーメン」と認識し，その物体名称を出力する。

しかし，物体認識装置は，図１３の画像が入力されると，画像の物体を別のもの「チャーハン」と誤推定してしまい，正しい物体「ラーメン」と認識することができない場合がある。

このように，１枚の画像だけから得られる情報に依存して物体認識を行う場合には，入力画像の撮影条件によっては適切に物体認識を行うために必要な特徴が抽出されず，誤った物体として推定してしまうという問題がある。この問題を解決するために，同一物体に対して撮影向きなどの条件を変化させながら複数回の撮影を行い，それらの画像群による推定結果を統合的に用いる方法がある。

複数の画像群を使用する物体認識装置は，特徴抽出段階，物体認識段階に，さらに認識統合段階を有する。かかる物体認識装置は，同一物体に対して撮影向きなどの条件を変えながら撮影した複数の画像が入力されると，特徴抽出段階では，各画像について特徴を抽出し，物体認識段階では，各画像についてその特徴をもとに物体名称の推定を行う。そして，物体認識装置は，認識統合段階において，各画像に対する認識結果（物体名称）を統合的に判断し，１つの物体名称を決定する。認識統合段階では，例えば，物体認識段階で出力された物体名称から，多数決などによって正解である可能性が高い物体名称が１つ決定される。

したがって，複数画像を用いる物体認識装置は，様々な撮影条件の画像を統合的に用いて物体認識を行うため，誤認識しやすい画像が含まれていても物体名称を正しく認識することができる。

ところで，物体認識処理において，処理量を増大させないために，特徴抽出段階で，抽出する特徴点を絞り込むことが知られている。

特開２０１０−２１８０５１号公報 米国特許第６，７１１，２９３号明細書 国際公開第２００７／１２８４５２号

チュルカ他著（Csurka, G., Bray, C., Dance, C. and Fan, L.），「Bag of Keypointsを用いた画像分類（Visual Categorization with Bags of Keypoints）」，（チェコ），コンピュータビジョンにおける統計的学習に関するＥＥＣＶワークショップ会報（In Proc. of ECCV Workshop on Statistical Learning in Computer Vision），ＥＥＣＶ，２００４年，ｐ．５９−７４， 上東太一他著（Taichi Joutou, Keiji Yanai），「マルチカーネル学習による食事画像認識システム（A Food Image Recognition System with Multiple Kernel Learning）」，（エジプト），第１６回ＩＥＥＥイメージプロセッシングに関する国際会議会報（Proceedings of the 16th IEEE International Conference on Image Processing），２００９年１１月７−１０日，ｐ．２８５−２８８ デビット・ロウ著（David G. Lowe），「ローカルなスケール不変特徴にもとづく物体認識（Object Recognition from Local Scale-Invariant Features）」，コンピュータビジョンに関する国際学会（International Conference on Computer Vision），（ギリシア），１９９９年９月，ｐ．１１５０−１１５７ ヘルベルト・ベイ他著（Herbert Bay, Andreas Ess, Tinne Tuytelaars, Luc Van Gool），「ＳＵＲＦ：高速化されたロバストな特徴（SURF: Speeded Up Robust Features）」，コンピュータビジョンとイメージ理解（Computer Vision and Image Understanding (CVIU)），（オランダ），２００８年，Ｖｏｌ．１１０，Ｎｏ．３，ｐ．３４６−３５９

前述する従来方法における複数の入力画像を用いた物体認識装置は，入力した複数画像により，物体の撮影向きなどの撮影条件に対してロバストに物体認識を行うことができる。ところが，物体認識にどのくらいの枚数の画像を使用すれば認識において必要十分であるかは明確にされていない。そのため，物体認識処理では，入力された画像をすべて使用して処理を行っている。

さらに，物体認識に用いられる入力画像がユーザによって撮影された画像である場合には，撮影を終えるタイミングの判断がユーザに任せられている。そのため，実際の利用状況においては，ユーザが対象を撮影した画像を物体認識装置に入力し，認識結果が間違っていれば，さらに撮影を行って，撮影した画像（入力画像）を追加するという作業を繰り返すことが行われている。

物体認識に使用する画像は，不足していれば誤認識を生じる可能性があるが，過剰であれば，処理における計算負担が増大し非効率となる。そのため，必要十分な画像が物体認識に使用されることが望ましい。

しかし，画像を撮影または入力操作するユーザは，どの程度の量の画像を撮影または入力すれば物体認識に十分であるかを認識することができず，どこで操作を終了すればよいかを知ることができないというストレスを感じる。さらに，ユーザは無駄な入力操作を続けることになるという問題がある。

また，物体認識装置にとっても，過剰な画像量による物体認識処理は，計算負荷が増え，無駄かつ非効率となるという問題がある。

以上のように，従来方法では，物体認識装置に対して，どのくらいの枚数の画像を取得すれば妥当であるのかが不明であるという課題があった。

本発明の目的は，前記の課題に鑑みてなされたものであり，物体認識を行うために妥当な数の画像が取得できたかどうかを自動的に判定し，画像数が充足したら取得完了を通知することにより物体認識処理を支援する装置を提供することである。

また，本発明の別の目的は，前記物体認識支援装置で実現される処理をコンピュータに実行させるためのプログラムを提供することである。さらに，本発明の別の目的は，前記物体認識支援装置で実現される処理過程をコンピュータが実行する処理方法を提供することである。

本発明の一態様として開示する物体認識支援装置は，物体認識処理を支援するために，１）画像入力手段によって取得された画像の特徴を抽出する第１特徴抽出部と，２）前記抽出された特徴を記録する第１特徴記録部と，３）前記第１特徴記録部に記録された特徴群の分散を算出する分散算出部と，４）前記算出された分散を記録する分散記録部と，５）前記分散記録部に記録された分散の推移をもとに該分散が収束されたかを判定し，該分散が収束している場合に，画像の取得完了を通知する収束判定部とを備える。

開示される物体認識支援装置によれば，物体認識に妥当な画像量を取得している場合に取得完了を通知することにより，ユーザが不必要な画像入力の操作をすることを防ぐことができ，かつ，物体認識装置が無駄な画像に対する処理を行うことを防ぐことができる。

一実施形態における健康指導サービスシステムの構成例を示す図である。 一実施形態における物体認識支援装置の構成例を示す図である。 一実施形態における画像使用判定装置の構成例を示す図である。 一実施形態における物体認識装置の構成例を示す図である。 画像使用判定装置の処理フロー例を示す図である。 画像使用判定装置によって採用された使用画像の例を示す図である。 画像の特徴ベクトル群についての分散の例を示す図である。 物体認識支援装置１の処理フロー例を示す図である。 ステップＳ２３の処理で実行される特徴ベクトル群の分散の算出例を示す図である。 一実施形態における健康指導サービスシステムの処理の流れを示す図である。 物体認識による物体名称の推定例を示す図である。 物体をある方向から撮影した画像例を示す図である。 図１２の物体を別の方向から撮影した画像例を示す図である。

以下，本発明の一態様として開示する物体認識支援装置について説明する。

開示する物体認識支援装置の一実施例として，物体認識支援装置および物体認識装置を有するサービス提供システムの１つである健康指導サービスシステムを実施する例を説明する。

図１は，一実施形態における健康指導サービスシステムの構成例を示す図である。

健康指導サービスシステムは，物体認識支援装置１，画像使用判定装置２，物体認識装置３，サービス提供装置４，および，ユーザ装置５を備える。本実施形態では，物体認識支援装置１および画像使用判定装置２は，ユーザ装置５内に設けられる。

物体認識支援装置１は，物体認識に妥当な量（数）の画像が取得できた場合に，取得完了を通知する。物体認識支援装置１は，取得した画像群の特徴を抽出し，取得した画像の特徴群の変動の推移から変動が収束しているかを判定し，変動が収束している場合に妥当な数の画像を取得できたと判断して，画像の取得完了を示す取得完了を通知する。

画像使用判定装置２は，ユーザ装置５の画像入力部５１で取得された画像を物体認識に使用するかを判定する。画像使用判定装置２は，画像を取得すると，取得した画像から特徴を抽出し，抽出した特徴が，過去に取得した画像の特徴と一定以上の程度で相違する場合に，今回取得した画像を使用画像として採用する。

物体認識装置３は，複数の画像から抽出された特徴をもとに，画像に含まれる物体を認識し，該当する物体名称を推定する。

サービス提供装置４は，推定された物体名称をもとに所定のサービス情報をユーザに提供するサーバ装置である。サービス提供装置４は，画像認識で推定された物体名称を利用した健康指導に関する情報をユーザに対して提供する。

サービス提供装置４は，カロリーデータベース４１，カロリー計算部４２を備える。

カロリーデータベース４１は，食事の名称とカロリーとを対応付けて記憶する。

カロリー計算部４２は，カロリーデータベース４１を参照して，物体名称に対応するカロリーを取得し，取得したカロリーをユーザ装置５の情報出力部５２へ送信する。

ユーザ装置５は，ユーザが使用するクライアント装置である。ユーザ装置５は，画像入力部５１および情報出力部５２を備える。

画像入力部５１は，認識させたい対象が撮影された動画像や静止画像を取得する。本実施形態において，画像入力部５１は，動画像または静止画像を撮影するカメラで実施される。以下の説明では，画像入力部５１が取得する画像データを，入力画像という。

情報出力部５２は，サービス提供装置４から送信される情報（カロリー）を取得し，ディスプレイなどに出力する。

図２は，一実施形態における物体認識支援装置１の構成例を示す図である。

物体認識支援装置１は，物体認識にとって妥当な数の画像データを収集したかどうかを判断する。かかる判断機能のため，物体認識支援装置１は，第１特徴抽出部１１，第１特徴記録部１２，分散算出部１３，分散記録部１４，および収束判定部１５を備える。

第１特徴抽出部１１は，物体認識に使用される画像として採用された画像（以下，使用画像という）から特徴として特徴ベクトルを抽出する。

第１特徴記録部１２は，第１特徴抽出部１１が抽出した特徴ベクトルを記録する。

分散算出部１３は，第１特徴抽出部１１が抽出した，取得した使用画像の特徴ベクトルと，第１特徴記録部１２に記録されている今回以前の処理で抽出された使用画像群の特徴ベクトル群との全ての特徴ベクトルから各次元についての分散を計算する。

分散記録部１４は，分散算出部１３が計算した分散を処理順に記録する。

収束判定部１５は，分散記録部１４に記録されている過去に計算した分散と，今回計算した分散をもとに分散の推移を求め，分散が収束している場合に取得完了を通知する。取得完了は，画像入力部５１，画像使用判定装置２，物体認識装置３などに対して通知される。

図３は，一実施形態における画像使用判定装置２の構成例を示す図である。

入力画像が撮影される際の撮影タイミングに間隔がある場合などは，撮影された全ての画像（入力画像）を物体認識に使用してもよい場合がある。しかし，動画像が撮影される場合には，撮影された全ての画像（フレーム）を物体認識に使用すると，画像が冗長であり，物体認識の計算負荷が大きくなる。そのため，入力画像に対して間引きを行う必要がある。一方で，入力画像の間引きは，物体認識に入力する情報を減少させてしまうために，認識率が低下してしまう可能性がある。したがって，入力画像から得られる特徴のバリエーションを維持できるようにする必要がある。

画像使用判定装置２は，入力画像から得られる特徴のバリエーションを維持しつつ，似たような特徴を持つ冗長な入力画像だけを省いて使用画像を判定する。かかる判定機能のため，画像使用判定装置２は，第２特徴抽出部２１，特徴書き込み部２２，第２特徴記録部２３，距離計算部２４，使用判定部２５を備える。

第２特徴抽出部２１は，入力画像から特徴を抽出する。

特徴書き込み部２２は，使用判定部２５によって使用画像に採用された入力画像の特徴を第２特徴記録部２３へ記録する。

第２特徴記録部２３は，使用画像から抽出された特徴を保持する。

距離計算部２４は，第２特徴抽出部２１が抽出した入力画像の特徴と，第２特徴記録部２３に記録されている使用画像の特徴との相違を計算する。

使用判定部２５は，入力画像の特徴と，第２特徴記録部２３に記録されている使用画像の特徴とが予め設定された閾値以上に相違している場合に，入力画像を使用画像として選択する。

本実施形態においては，画像使用判定装置２は，画像の特徴として特徴ベクトルを算出し，特徴の相違として，特徴ベクトルの距離を用いる。

また，画像使用判定装置２は，画像入力部５１で動画像が取得される場合には，予め設定された間隔で抽出したフレーム単位で画像使用を判定し，静止画像が取得される場合には，静止画像データ単位で画像使用を判定する。

図４は，一実施形態における物体認識装置３の構成例を示す図である。

物体認識装置３は，特徴抽出部３１，物体認識部３２，認識統合部３３を備える。

特徴抽出部３１は，複数の使用画像１，２，…，ｎの各々から特徴を抽出する。物体認識部３２は，各物体の画像の特徴と物体名称とを対応づけて記憶する物体認識記憶部（図示しない）を参照して，使用画像ごとに，抽出された特徴をもとに物体名称の候補を推定する。認識統合部３３は，物体認識部３２の推定結果を統合して，画像に含まれる物体に対する物体名称を決定する。

なお，本実施形態においては，物体認識装置３は，複数の画像を使用する既知の物体認識処理を実行するものであり，詳細な動作についての説明を省略する。

まず，画像使用判定装置２をより詳細に説明する。

図５は，画像使用判定装置２の処理フロー例を示す図である。

画像使用判定装置２の第２特徴記録部２３には，特徴書き込み部２２によって，過去の判定処理において使用画像に採用された入力画像の特徴ベクトルｖ′が記録されている。

画像入力部５１が物体認識の対象が撮影された画像を入力すると，画像使用判定装置２の第２特徴抽出部２１は，画像入力部５１から入力画像を取得する（ステップＳ１１）。

そして，第２特徴抽出部２１は，入力画像の特徴を抽出する。具体的には，第２特徴抽出部２１は，入力画像をＮ次元の特徴ベクトルｖに変換する（ステップＳ１２）。

距離計算部２４は，第２特徴記録部２３から使用画像の特徴ベクトルｖ′を取り出す。距離計算部２４は，入力画像の特徴ベクトルｖと使用画像の特徴ベクトルｖ′との距離ｄを計算する（ステップＳ１３）。

使用判定部２５は，計算された距離ｄを閾値θと比較する。距離ｄが閾値θより大きければ，すなわち「距離ｄ＞閾値θ」が成立すれば（ステップＳ１４のＹ），使用判定部２５は，その入力画像を使用画像として選択，出力する（ステップＳ１５）。さらに，特徴書き込み部２２は，使用画像に選択された入力画像の特徴ベクトルｖを特徴ベクトルｖ′として第２特徴記録部２３に格納して，終了する（ステップＳ１６）。

一方，距離ｄが閾値θより小さければ，すなわち「距離ｄ＞閾値θ」が成立しなければ（ステップＳ１４のＮ），使用判定部２５は，その入力画像を廃棄し，処理がステップＳ１１へ戻される。

前記ステップＳ１３の処理において，距離計算部２４は，特徴ベクトルｖ，ｖ′の距離ｄを，例えば，以下の式（１）のように算出する。

ただし，式（１）において，Ｎは特徴ベクトルの次元数である。ｖ_ｉは特徴ベクトルｖにおけるｉ次元目の値を表す。同様に，ｖ′_ｉは特徴ベクトルｖ′におけるｉ次元目の値を表す。

または，距離計算部２４は，以下の式（２）により，特徴ベクトルの次元毎に距離ｄｎを算出してもよい。

式（２）において，ｄｎは，特徴ベクトルのｎ次元目に関する距離を表す。

距離計算部２４が，式（２）を用いて距離ｄｎを計算する場合には，使用判定部２５は，前記ステップＳ１４の処理で，各次元ｎにおいて「距離ｄｎ＞閾値θ」の条件判定を行い，１つでも条件が成立すれば，入力画像を使用画像として選択，出力する。

第２特徴抽出部２１が抽出する画像の特徴は，物体認識支援装置１および物体認識装置３と同様のものにすることが望ましい。物体認識においては，一般的に，ＳＩＦＴ特徴量やＳＵＲＦ特徴量などの局所特徴量にもとづくｂａｇ−ｏｆ−ｗｏｒｄｓ表現がよく用いられる。本実施形態において，物体認識支援装置１，画像使用判定措置２および物体認識装置３は，ＳＩＦＴ特徴量を使用するものとする。

したがって，閾値θの適切な値は，使用する特徴量によって異なるが，例えばＳＩＦＴによる各次元の総和が１になるように正規化された１０００次元のｂａｇ−ｏｆ−ｗｏｒｄｓ表現を特徴量として用いる場合には，前記の式（１）の閾値θは，およそ１０^−４〜１０^−３程度に設定され，前記式（２）の閾値θは，およそ１０^−２〜１０^−１程度に設定される。

図６は，画像使用判定装置２によって採用された使用画像の例を示す図である。

図６は，動画像である入力画像から使用画像に採用された複数の画像フレーム（１枚目，２枚目，３枚目，…）を表している。

動画像データの先頭フレーム（１枚目）は，比較する使用画像の特徴が保持されていないため，必ず使用画像に採用される。しかし，動画像から数フレームごとに画像を撮りだしても冗長な場合がある。画像使用判定装置２によれば，動画像の１枚目のフレーム以降の画像については，取り出したフレームの画像の特徴が使用画像に採用された画像の特徴と比較され，閾値以上に相違する特徴を持つフレームのみが判定条件を満たすとして，使用画像に選択される。したがって，入力画像が冗長であっても，特徴が異なる画像が使用画像として選択され，特徴のバリエーションを維持しつつ冗長な画像を間引くことができる。

次に，物体認識支援装置１をより詳細に説明する。

物体認識支援装置１は，物体認識のために妥当な枚数の画像が取得できたかどうかを判定するため，過去に取得された入力画像の特徴ベクトル群についての分散を算出する。

なお，本実施形態においては，画像使用判定装置２によって，入力画像から物体認識に用いる使用画像が選択されるため，物体認識支援装置１は，使用画像の特徴ベクトル群について分散を算出する。画像使用判定装置２を設けない構成をとる実施形態の場合には，画像入力部５１が取得した入力画像の特徴ベクトル群について分散を算出する。

図７は，画像の特徴ベクトル群についての分散の例を示す図である。

図７に示すグラフは，使用画像の特徴ベクトル群についての分散の例であり，物体認識支援装置１が取得した使用画像の枚数ｔに対する分散Ｓの推移を表現したものである。

撮影方向などの条件を変化させながら撮影された使用画像（入力画像）を取得していくと，取得した画像の特徴から算出される分散の変動は，始めは大きいが，様々な撮影条件の画像が蓄積されていくにつれて，徐々に変動幅が小さくなる。

したがって，分散の変動が大きければ，今後さらに新しい条件で撮影された画像が取得される可能性が大きく，分散の変動が収束していれば，新しい条件で撮影された画像が入力される可能性が少ないと判断することができる。すなわち，分散の変動が収束していれば，物体認識に必要な異なる特徴を有する画像群がすでに取得されており，妥当な画像数の取得が完了したと判断することができる。

図８は，物体認識支援装置１の処理フロー例を示す図である。

物体認識支援装置１の第１特徴抽出部１１は，画像使用判定装置２から使用画像を取得する（ステップＳ２１）。

第１特徴抽出部１１は，取得した使用画像の特徴ベクトルを抽出し，第１特徴記録部１２に記録する（ステップＳ２２）。

分散算出部１３は，第１特徴記録部１２に保持されている過去に抽出された特徴ベクトルをもとに，全ての特徴ベクトルから各次元についての分散をそれぞれ算出し，算出した分散を分散記録部１４へ記録する（ステップＳ２３）。

収束判定部１５は，分散記録部１４に保持されている分散をもとに，過去に算出された分散の推移にもとづき，分散が収束したかどうかの判定を行う（ステップＳ２４）。分散の推移から，分散の変動が収束していると判定した場合に（ステップＳ２４の「収束」），収束判定部１５は，物体認識を行う上で妥当な枚数の画像が収集できたことを示す「取得完了」を通知して，終了する（ステップＳ２５）。分散が未収束していないと判定した場合に（ステップＳ２４の「未収束」），収束判定部１５は，物体認識を行う上で妥当な枚数の画像がまだ収集できていないことを示す「取得未完了」を通知して，終了する（ステップＳ２６）。なお，収束判定部１５は，ステップＳ２６の処理を行わずに終了してもよい。

図９は，前記のステップＳ２３の処理で実行される，特徴ベクトル群の分散の算出例を示す図である。

分散算出部１３は，それまでに取得され第１特徴記録部１２に保持されているｔ枚の使用画像（画像１，…，画像ｔ）から抽出された特徴ベクトル群（Ｘ_１，…，Ｘ_ｔ）から，ｎ番目の次元について要素をそれぞれ抽出し，要素ベクトルＮ_ｔｎを生成する。使用画像から抽出する際に，特徴ベクトルの各要素の取り得る範囲が０〜１に収まるように正規化しておいてもよい。

そして，分散算出部１３は，以下の式（３）でｔ枚の画像の特徴ベクトル群におけるｎ番目の次元についての分散Ｓ_ｎｔを算出する。

ただし，式（３）において，「Ｎ_ｔｎの上にバー」で表す変数は，要素ベクトルＮ_ｔｎの平均であり，以下の式（４）で算出する。

物体認識支援装置１の第１特徴抽出部１１が使用画像を取得して，その特徴ベクトルが第１特徴記録部１２に格納されるたび，分散算出部１３は，以上の処理によって，分散Ｓ_ｎｔを各次元についてそれぞれ算出する。

ステップＳ２４の処理において，収束判定部１５は，分散算出部１３によって算出された分散の推移にもとづき，以下のいずれかの条件を用いて，収束と判定する。

条件１：分散の変動が十分に小さくなったこと
条件２：分散の変動が減少し続けていること
前記の条件１による収束の検出は，例えば，以下の式（５）に示す条件がＬ回連続で成立したかを確認することにより行われる。

Ｓ_ｎｔ−Ｓ_{ｎ（ｔ−１）}≦ε 式（５）
ただし，式（５）において，εは閾値である。特徴ベクトルにおいて各要素の取り得る範囲が０〜１に正規化されているならば，閾値εは，０．００１〜０．１程度に設定することが好ましい。

前記の条件２による収束の検出は，例えば，以下の式（６）に示す条件がＬ回連続で成立したかを確認することにより行われる。

条件１および条件２のいずれの場合も，Ｌは，収束の判定を確定するまでの期間を表す。Ｌが小さいと収束判定が早く行えるが誤判定のリスクが増える。Ｌが大きいと収束判定に時間がかかるが誤判定のリスクは減る。分散推移の傾向として，分散が大きく変化しているときは，収束するまでに時間がかかる場合が多い。そのため時間をかけて判定したほうがよい。反対に，分散が小さく変化しているときは，収束が早い場合が多い。そのため時間をかけずに判定してもよい。

したがって，Ｌは，以下の式（７）に示すように，分散の変化に比例した値を設定する。これにより，収束判定部１５は，効率的な収束判定を行う。

前記の式（７）において，Ｋは判定速度調整パラメータである。Ｋは，通常，１００〜１０００程度の値を設定することが好ましい。

なお，条件成立が連続したときの初回時のみ，Ｌが算出される。

収束判定部１５は，以上の処理を要素ベクトルＮ１〜Ｎｎについて行う。そして，収束判定部１５は，各要素の分散について過半数以上が収束したと判定したときに，妥当な枚数の使用画像が収集できたものと判断する。

前記ステップＳ４５の処理において，収束判定部１５は，妥当な枚数の使用画像が収集できたとの判定をもとに，画像使用判定装置２に対し取得完了を通知すると，画像使用判定装置２は，画像使用判定処理を終了し，使用画像の記録が終了する。

また，収束判定部１５は，ユーザに取得完了を通知する。例えば，収束判定部１５は，情報出力部５２でアラームを鳴らし，ユーザに撮影フェーズが完了したことを通知する。アラームにより，ユーザは画像の撮影終了のタイミングを知ることができる。

さらに，収束判定部１５は，物体認識装置３に対し取得完了を通知してもよい。物体認識装置３は，取得完了通知を得た段階で画像使用判定装置２から取得している使用画像により推定されている物体名称をサービス提供装置４へ出力する。

次に，本実施形態における健康指導サービスシステムの処理の流れを説明する。

図１に示す健康指導サービスシステムでは，健康指導サービスとして，ユーザが携帯端末などのカメラにより撮影した食事画像から，物体認識装置および物体認識支援装置を用いて食事名称を自動認識し，認識した食事の摂取カロリーを含む健康指導情報を出力するサービスを想定する。

ユーザ装置５は，ユーザの携帯端末であり，画像入力部５１はカメラにより，情報出力部５２は，携帯端末のディスプレイに情報を表示する処理部により，それぞれ実施される。また，入力画像は，ユーザによって撮影された食事の画像であり，入力画像に含まれる物体は，ユーザによって撮影された食事を表し，その物体名称は，食事名称を表している。

図１０は，健康指導サービスシステムの処理の流れを示す図である。

ユーザ装置５の画像入力部５１は，認識対象が撮影された入力画像を取得する（ステップＳ３１）。画像使用判定装置２は，入力画像に対して使用画像として採用するかの判定（画像使用判定）を行う（ステップＳ３２）。画像使用判定装置２は，入力画像を使用画像に採用すると判定した場合には（ステップＳ３３のＹ），処理をステップＳ３４へ進ませる。入力画像を使用画像に採用しないと判定した場合には（ステップＳ３３のＮ），処理をステップＳ３１へ戻す。

物体認識支援装置１は，画像使用判定装置２から取得した使用画像について妥当な画像数を収集しているかの判定（画像数充足判定）を行う（ステップＳ３４）。物体認識支援装置１は，取得する使用画像群の特徴の変動の推移から，変動が収束していて使用画像群が既に妥当な枚数に達していると判定した場合に（ステップＳ３５のＹ），処理をステップＳ３６へ進ませる。変動が収束しておらず使用画像群が既に妥当な枚数に達していないと判定した場合に（ステップＳ３５のＮ），物体認識支援装置１は，処理をステップＳ３１へ戻す。

物体認識装置３は，物体認識支援装置１から取得完了の通知を受けるまで，画像使用判定装置２から使用画像を取得して物体認識を行い，使用画像の物体（食事）に対応する物体名称（食事名）を出力する（ステップＳ３６）。

サービス提供装置４のカロリー計算部４２は，カロリーデータベース４１と照合することにより，推定された物体名称（食事名）の「ラーメン」に対応するカロリーを取得する。そして，カロリー計算部４２は，取得した摂取カロリーを含む情報をユーザ装置５の情報出力部５２へ送信し，ユーザ装置５上に表示させる（ステップＳ３７）。

図１１は，物体認識による物体名称の推定例を示す図である。

ステップＳ３６の処理において，物体認識装置３の特徴抽出部３１は，図１１に示すように，同一の物体（食事）が異なる方向から撮影されている使用画像群（使用画像１〜４）を順次取得し，物体認識部３２は，取得した使用画像に対する物体認識により推定した物体名称候補を保持する。物体認識の終了後，認識統合部３３は，保持されている物体名称候補から多数決によって物体名称を決定する。図１１の場合には，物体名称候補「カツ丼」，「ラーメン」が保持され，多数決によって物体名称として「ラーメン」が決定される。

以上の処理により，健康指導サービスシステムは，ユーザに対する健康指導サービスを実現することができる。

次に，健康指導サービスシステムの各装置の他の構成例について説明する。

図１に示す構成例では，物体認識支援装置１および画像使用判定装置２は，ユーザ装置５内に設けられるものとして説明している。しかし，物体認識支援装置１および画像使用判定装置２は，物体認識装置３の前処理機能として実施されればよく，ユーザ装置５の画像入力部５１と，物体認識装置３との間に構成されていてもよい。例えば，物体認識支援装置１および画像使用判定装置２は，ユーザ装置５の外部の装置として構成されてもよく，または，物体認識装置３と一体の装置に構成されたりしてもよい。

また，画像使用判定装置２は，物体認識支援装置１の一処理部として構成されるようにしてもよい。

健康指導サービスシステムの各装置は，ＣＰＵおよびメモリ等を有するハードウェアとソフトウェアプログラムとを備えるコンピュータ・システム，または専用ハードウェアによって実現される。すなわち，物体認識支援装置１，画像使用判定装置２，物体認識装置３，サービス提供装置４，ユーザ装置５は，それぞれ，演算装置（ＣＰＵ），一時記憶装置（ＤＲＡＭ，フラッシュメモリ等）および永続性記憶装置（ＨＤＤ，フラッシュメモリ等）を有し，外部とデータの入出力をするコンピュータによって実施することができる。

また，物体認識支援装置１，画像使用判定装置２，それぞれ，コンピュータが実行可能なプログラムによっても実施することができる。例えば図１に示す構成の場合に，物体認識支援装置１および画像使用判定装置２それぞれが有すべき機能の処理内容を記述したプログラムが，ユーザ装置５に提供される。提供されたプログラムをコンピュータであるユーザ装置５が実行することによって，上記説明した物体認識支援装置１および画像使用判定装置２それぞれの処理機能がコンピュータ上で実現される。

さらに，物体認識支援装置１および画像使用判定装置２は，それぞれコンピュータとして実施される場合に，可搬型記録媒体から直接プログラムを読み取り，そのプログラムに従った処理を実行することもできる。また，前記プログラムは，コンピュータで読み取り可能な記録媒体に記録しておくことができる。

以上説明したように，本発明の一態様として開示する物体認識支援装置１および画像使用判定装置２によれば，次のような効果がある。

・ 物体認識支援装置１によれば，物体認識のための画像を過剰に取得（撮影または入力）するという無駄を防ぐことができる。

・ 物体認識支援装置１によれば，物体認識に使用される画像を妥当な量に抑えて，計算負担の増加を防ぐことができる。

・ 物体認識支援装置１によれば，認識対象の画像を撮影または入力するユーザに対し操作終了のタイミングを通知して，操作終了のタイミングに対するユーザの心理的ストレスを解消することができる。

・ 画像使用判定装置２によれば，物体認識に用いる画像の特徴のバリエーションを維持しつつ，冗長な画像を間引くことができる。

以上のとおり，本発明の実施形態において，発明者によってなされた発明を健康指導サービス分野に適用した場合について説明した。しかし，本発明は，かかる分野の適用に限定されるものではなく，物体認識に対する支援技術を必要とする様々な分野への適用が可能であり，また，その記述の主旨の範囲において種々の変形が可能であることは当然である。

１ 物体認識支援装置
１１ 第１特徴抽出部
１２ 第１特徴記録部
１３ 分散算出部
１４ 分散記録部
１５ 収束判定部
２ 画像使用判定装置
２１ 第２特徴抽出部
２２ 特徴書き込み部
２３ 第２特徴記録部
２４ 距離計算部
２５ 使用判定部
３ 物体認識装置
４ サービス提供装置
５ ユーザ装置

Claims (4)

1. 物体認識処理を支援する物体認識支援装置であって，
   画像入力手段によって取得された画像の特徴を抽出する第１特徴抽出部と，
   前記抽出された特徴を記録する第１特徴記録部と，
   前記第１特徴記録部に記録された特徴群の分散を算出する分散算出部と，
   前記算出された分散を記録する分散記録部と，
   前記分散記録部に記録された分散の推移をもとに該分散が収束されたかを判定し，該分散が収束している場合に，画像の取得完了を通知する収束判定部とを備える
   ことを特徴とする物体認識支援装置。
2. 物体認識に使用する使用画像の特徴を記録する第２特徴記録部と，
   画像入力手段によって取得された画像の特徴を抽出する第２特徴抽出部と，
   前記取得された画像の特徴と前記第２特徴記録部に記録されている画像の特徴との相違を算出する距離計算部と，
   前記算出された特徴の相違が一定以上である場合に，前記取得された画像を前記第１特徴抽出部が取得する使用画像として選択し，前記使用画像の特徴を前記第２特徴記録部に格納する使用判定部とを備える
   ことを特徴とする請求項１に記載の物体認識支援装置。
3. 物体認識処理を支援するために，コンピュータに，
   画像入力手段によって取得された画像の特徴を抽出する処理と，
   前記抽出された特徴を第１特徴記録部に記録する処理と，
   前記第１特徴記録部に記録された特徴群の分散を算出する処理と，
   前記算出された分散を分散記録部に記録する処理と，
   前記分散記録部に記録された分散の推移をもとに該分散が収束されたかを判定し，該分散が収束している場合に，画像の取得完了を通知する処理とを実行させるための
   物体認識支援プログラム。
4. 物体認識処理を支援するために，コンピュータが，
   画像入力手段によって取得された画像の特徴を抽出し，
   前記抽出された特徴を第１特徴記録部に記録し，
   前記第１特徴記録部に記録された特徴群の分散を算出し，
   前記算出された分散を分散記録部に記録し，
   前記分散記録部に記録された分散の推移をもとに該分散が収束されたかを判定し，
   前記分散が収束している場合に，画像の取得完了を通知する
   ことを特徴とする物体認識支援方法。
   

Images