JP6104227B2 - 画像識別方法および画像識別装置 - Google Patents

Description

本開示はインターネット分野に関し、より詳細には、画像識別方法および画像識別装置に関する。

従来技術において、画像識別および機械視覚認識のための入力は、まず写真を撮影し、ついで対象物を決定することによって行われる。具体的には、まず写真が撮影され、対象物の前景環境画像および背景環境画像が保存され、ついで画面上の対象物を指で区切ることにより対象物が選択されて分割され、画像識別が行われる。このように、撮影された写真は人間の介入を必要とし、たとえば、写真は手動で区切られる必要があるので、操作ステップは複雑であり、ユーザ体験はスムーズではない。加えて、上記の処理はタッチスクリーンを備えたスマート端末にのみ適用可能であるので、適用性に乏しい。

本開示の実施形態は、従来技術における問題の少なくとも一つを少なくともある程度解決することを目的とする。

本開示の第１の態様によると、画像識別方法が提供される。画像識別方法は、第１の視点からの視界内の手特徴領域を肌色検出により取得し、手特徴領域をリアルタイムで捕捉し追跡することと、伸ばした手の形態学的特徴に対するパターン認識を行うことにより手特徴領域から指先の特徴と位置を取得し、指先の特徴および位置をリアルタイムで捕捉し追跡することと、指先が対象物の外周を区切る際に指先の特徴点のフレーム間変位を記録してフレーム間変位から区切り軌跡を取得し、区切り軌跡を閉じて全周形状を形成することと、視線方向が対象物の位置する平面に垂直であるところの平面に全周形状を投影して投影領域を取得し、投影領域を対象物の識別領域として用いて画像識別を行うこととから構成される。

本開示の実施形態に係る画像識別方法では、第１の視点からのユーザの視界内の手特徴領域が肌色検出により取得され、伸ばした手の形態学的特徴に対するパターン認識を行うことにより手特徴領域から指先の特徴と位置が取得される。指先が対象物の外周を区切る際に指先の特徴点のフレーム間変位が記録されてフレーム間変位から区切り軌跡が取得され、区切り軌跡は閉じられて全周形状を形成する。ついで、ユーザの視線方向が対象物の位置する平面に垂直であるところの平面に全周形状が投影されて投影領域が取得され、投影領域を対象物の識別領域として用いて画像識別が行われる。したがって、ユーザが対象物の画像識別を行う際、対象物の区切りと画像分割を素早く行うために、ユーザは指を伸ばして対象物の外周を対象物の外周に向けた指先で区切るだけでよく、これは対象物の画像識別のための識別入力として用いることができるので、操作はシンプルであり、ユーザ体験はより良く、適用性は高い。

本開示の第２の態様によると、画像識別装置が提供される。画像識別装置は、第１の視点からの視界内の手特徴領域を肌色検出により取得するよう構成された第１の取得モジュールと、手特徴領域をリアルタイムで捕捉し追跡するよう構成された第１の追跡モジュールと、伸ばした手の形態学的特徴に対するパターン認識を行うことにより手特徴領域から指先の特徴と位置を取得するよう構成された第２の取得モジュールと、指先の特徴と位置をリアルタイムで捕捉し追跡するよう構成された第２の追跡モジュールと、指先が対象物の外周を区切る際に指先の特徴点のフレーム間変位を記録してフレーム間変位から区切り軌跡を取得し、区切り軌跡を閉じて全周形状を形成するよう構成された記録モジュールと、視線方向が対象物の位置する平面に垂直であるところの平面に全周形状を投影して投影領域を取得し、投影領域を対象物の識別領域として用いて画像識別を行うよう構成された投影モジュールとから構成される。

本開示の実施形態に係る画像識別装置では、第１の取得モジュールが第１の視点からのユーザの視界内の手特徴領域を肌色検出により取得し、第２の取得モジュールが、伸ばした手の形態学的特徴に対するパターン認識を行うことにより、第１の追跡モジュールにより捕捉され追跡された手特徴領域から指先の特徴と位置を取得する。記録モジュールが、指先が対象物の外周を区切る際に指先の特徴点のフレーム間変位を記録してフレーム間変位から区切り軌跡を取得し、区切り軌跡を閉じて全周形状を形成する。ついで、投影モジュールが、視線方向が対象物の位置する平面に対して垂直であるところの平面に全周形状を投影して投影領域を取得し、投影領域を対象物の識別領域として用いて画像識別を行う。したがって、ユーザが対象物の画像識別を行う際、対象物の区切りと画像分割を素早く行うために、ユーザは指を伸ばして対象物の外周を対象物の外周に向けた指先で区切るだけでよく、これは対象物の画像識別のための識別入力として用いることができるので、操作はシンプルであり、ユーザ体験はより良く、適用性は高い。

本開示の第３の態様によると、コンピュータ読み取り可能な記憶媒体が提供される。コンピュータ読み取り可能な記憶媒体は、コンピュータ上で実行された際に本開示の第１の態様に係る画像分割方法を実行するコンピュータプログラムから構成される。

本開示の実施形態のさらなる態様や利点が、以下の説明において部分的に述べられ、以下の説明から部分的に明らかとなり、あるいは本開示の実施形態の実践により理解される。

本開示の実施形態のこれらまたは他の態様および利点が、図面を参照してなされる以下の説明により明らかとなり、より容易に理解されるであろう。
本開示の実施形態に係る画像識別方法のフローチャートである。 本開示の他の実施形態に係る画像識別方法の概略図である。 本開示の実施形態に係る画像識別装置のブロック図である。 本開示の他の実施形態に係る画像識別装置のブロック図である。

本開示の実施形態について詳細に述べる。図面を参照して本明細書に記載される実施形態は、説明的かつ一例であり、本開示を一般的に理解するために用いられる。実施形態は、本開示を限定するものと解釈されてはならない。同一または同様の要素および同一または同様の機能を有する要素は、説明の全体にわたって同等の参照番号で示される。

図１は、本開示の実施形態に係る画像識別方法のフローチャートである。

図１に示されるように、画像識別方法は以下のステップから構成される。

ステップ１０１において、第１の視点からの視界内の手特徴領域が肌色検出により取得され、手特徴領域がリアルタイムで捕捉され追跡される。

さらに、第１の視点からの視界内の手特徴領域が肌色検出によって取得される前に、発話、タッチスクリーン、または動的センサを介して入力される画像識別要求が受信されて第１の視点からの視界内の手特徴領域を肌色検出により取得する操作が始動される。

ステップ１０２において、伸ばした手の形態学的特徴に対するパターン認識を行うことによって手特徴領域から指先の特徴と位置が取得され、指先の特徴と位置はリアルタイムで捕捉され追跡される。

ステップ１０３において、指先が対象物の外周を区切る際に指先の特徴点のフレーム間変位が記録されてフレーム間変位から区切り軌跡が取得され、区切り軌跡は閉じられて全周形状を形成する。

具体的には、区切り軌跡を閉じて全周形状を形成することは、区切り軌跡を閉じて閉曲線最適化アルゴリズムによって全周形状を形成することから構成される。

ステップ１０４において、視線方向が対象物の位置する面に対して垂直である面に全周形状が投影されて投影領域が取得され、投影領域を対象物の識別領域として用いて画像識別が行われる。

本開示の実施形態に係る画像識別方法では、第１の視点からのユーザの視界内の手特徴領域が肌色検出により取得され、伸ばした手の形態学的特徴に対するパターン認識を行うことにより手特徴領域から指先の特徴と位置が取得される。指先が対象物の外周を区切る際に指先の特徴点のフレーム間変位が記録されてフレーム間変位から区切り軌跡が取得され、区切り軌跡は閉じられて全周形状を形成する。ついで、ユーザの視線方向が対象物の位置する平面に垂直であるところの平面に全周形状が投影されて投影領域が取得され、投影領域を対象物の識別領域として用いて画像識別が行われる。したがって、ユーザが対象物の画像識別を行う際、対象物の区切りと画像分割を素早く行うために、ユーザは指を伸ばして対象物の外周を対象物の外周に向けた指先で区切るだけでよく、これは対象物の画像識別のための識別入力として用いることができるので、操作はシンプルであり、ユーザ体験はより良く、適用性は高い。

図２は、本開示の他の実施形態に係る画像識別方法の概略図である。

図２に示されるように、本実施形態においては、カメラ付きのスマートデバイスが、発話、タッチスクリーン、または動的センサを介してユーザにより入力される画像識別要求を受信した後、スマートデバイスのカメラが起動する。第１の視点からのユーザの視界内の手特徴領域が肌色検出により取得され、手特徴領域がリアルタイムで捕捉され追跡される。ユーザは、発話などの対話型手段により指先の特徴点を識別して捕捉するよう導かれ、ついで対象物の外周を区切るジェスチャを完了するよう導かれる。指先が対象物の外周を区切ると、指先の区切り経路が追跡され、指先の特徴点のフレーム間変位が記録されてフレーム間変位から区切り軌跡が取得され、区切り軌跡は閉じられて全周形状を形成する。ユーザの視線方向が対象物の位置する平面に対して垂直である平面に全周形状が投影されて投影領域が取得され、対象物の識別領域として投影領域を用いて画像識別が行われる。したがって、画像分割および識別が自然な区切り動作で行われ、ついで識別結果がスマートデバイスの音声出力チャネルまたはスクリーン画像出力チャネルを介してユーザに出力されて、対象物の識別が完了される。

いくつかの実施形態においては、対象物はユーザから遠い物体であり、ユーザが触ることのできない物体であり、大きな物体であり、または動かすことのできない固定の物体である。しかし、本開示はそれらに限定されず、対象物の特定の形態は本開示において限定されない。

いくつかの実施形態においては、カメラ付きのスマートデバイスは、カメラ付きのスマート携帯端末であり、カメラ付きのヘッドセットウェアラブルデバイス（たとえば、グーグル・グラスまたはバイドゥアイ）、カメラ付きのスマートウォッチ、またはカメラ視覚入力付きのロボットであってよい。しかし、本開示はそれらに限定されない。

図３は、本開示の実施形態に係る画像識別装置のブロック図である。本実施形態における画像識別装置は、図１に示される画像識別方法を実現するために用いられてよい。

図３に示されるように、画像識別装置は第１の取得モジュール３１と、第１の追跡モジュール３２と、第２の取得モジュール３３と、第２の追跡モジュール３４と、記録モジュール３５と、投影モジュール３６とから構成される。

第１の取得モジュール３１は、第１の視点からの視界内の手特徴領域を肌色検出によって取得するよう構成される。

第１の追跡モジュール３２は、第１の取得モジュール３１によって取得された手特徴領域をリアルタイムで捕捉して追跡するよう構成される。

第２の取得モジュール３３は、伸ばした手の形態学的特徴に対するパターン認識を行うことによって、第１の追跡モジュール３２によって捕捉され追跡された手特徴領域から指先の特徴と位置を取得するよう構成される。

第２の追跡モジュール３４は、指先の特徴と位置をリアルタイムで捕捉し追跡するよう構成される。

記録モジュール３５は、指先が対象物の外周を区切る際に指先の特徴点のフレーム間変位を記録してフレーム間変位から区切り軌跡を取得し、区切り軌跡を閉じて全周形状を形成するよう構成される。いくつかの実施形態においては、記録モジュール３５は区切り軌跡を閉じて、閉曲線最適化アルゴリズムによって全周形状を形成する。

投影モジュール３６は、視線方向が対象物の位置する平面に対して垂直であるところの平面に全周形状を投影して投影領域を取得し、投影領域を対象物の識別領域として用いて画像識別を行うよう構成される。

いくつかの実施形態においては、画像識別装置はカメラ付きスマートデバイス、またはカメラ付きスマートデバイスの一部であってよく、第１の取得モジュール３１、第１の追跡モジュール３２，第２の取得モジュール３３、第２の追跡モジュール３４、および／または記録モジュール３５の機能の一部または全体が、スマートデバイスのカメラによって行われてもよい。

いくつかの実施形態においては、カメラ付きのスマートデバイスは、カメラ付きのスマート携帯端末、カメラ付きのヘッドセットウェアラブルデバイス（たとえば、グーグル・グラスまたはバイドゥアイ）、カメラ付きのスマートウォッチ、またはカメラ視覚入力付きのロボットであってよい。しかし、本開示はそれらに限定されない。

本開示の実施形態に係る画像識別装置では、第１の取得モジュール３１は、第１の視点からのユーザの視界内の手特徴領域を肌色検出により取得し、第２の取得モジュール３３は、伸ばした手の形態学的特徴に対するパターン認識を行うことにより、第１の追跡モジュール３２によって捕捉され追跡された手特徴領域から指先の特徴と位置を取得する。記録モジュール３５は、指先が対象物の外周を区切る際に指先の特徴点のフレーム間変位を記録してフレーム間変位から区切り軌跡を取得し、区切り軌跡を閉じて全周形状を形成する。ついで、投影モジュール３６は、視線方向が対象物の位置する平面に対して垂直であるところの平面に全周形状を投影して投影領域を取得し、投影領域を対象物の識別領域として用いて画像識別を行う。したがって、ユーザが対象物の画像識別を行う際、対象物の区切りと画像分割を素早く行うために、ユーザは指を伸ばして対象物の外周を対象物の外周に向けた指先で区切るだけでよく、これは対象物の画像識別のための識別入力として用いることができるので、操作はシンプルであり、ユーザ体験はより良く、適用性は高い。

図４は、本開示の他の実施形態に係る画像識別装置のブロック図である。

本実施形態の画像識別装置は、図４に示す画像識別装置が受信モジュール３７からさらに構成される点で、図３に示すものと異なる。

受信モジュール３７は、発話、タッチスクリーン、または動的センサを介して入力される画像識別要求を受信して第１の視点からの視界内の手特徴領域を肌色検出によって取得する操作を始動するよう構成される。

つまり、本実施形態において、受信モジュール３７が発話、タッチスクリーン、または動的センサを介してユーザにより入力される画像識別要求を受信した後、カメラが起動する。第１の取得モジュール３１は、第１の視点からのユーザの視界内の手特徴領域を肌色検出によって取得し、第１の追跡モジュール３２は、手特徴領域をリアルタイムで捕捉し追跡する。ユーザは、発話などの対話型手段により指先の特徴点を識別して捕捉するよう導かれ、ついで対象物の外周を区切るジェスチャを完了するよう導かれる。指先が対象物の外周を区切ると、第２の追跡モジュール３４は指先の区切り経路を追跡し、記録モジュール３５は指先の特徴点のフレーム間変位を記録してフレーム間変位から区切り軌跡を取得し、区切り軌跡を閉じて全周形状を形成する。投影モジュール３６は、ユーザの視線方向が対象物の位置する平面に対して垂直方向である平面に全周形状を投影して投影領域を取得し、対象物の識別領域として投影領域を用いて画像識別を行う。したがって、画像分割および識別が自然な区切り動作で行われ、ついで識別結果がスマートデバイスの音声出力チャネルまたはスクリーン画像出力チャネルを介してユーザに出力されて対象物の識別が完了される。

本開示の実施形態に係る画像識別装置では、ユーザが対象物の画像識別を行う際、対象物の区切りと画像分割を素早く行うために、ユーザは指を伸ばして対象物の外周に向けた指先で対象物の外周を区切るだけでよく、これは対象物の画像識別のための識別入力として用いられてもよいので、操作はシンプルであり、ユーザ体験はより良く、適用性は高い。

画像識別は、人工知能における最も重要な飛躍的前進であり、役立つ利用シーンの範囲は非常に広く、今後の検索分野において再優先されるものである。本開示は新しい人間とコンピュータ間の対話および自然なユーザインターフェイスを用いており、これは、まず写真を撮影しついで対象物を区切る従来の画像識別と比較してより自然で便利である。スマートウェアラブル装置の画像識別機能において自然な対話はとりわけ重要であり、本開示において、ユーザはユーザの前の離れた物体を直接区切って検索結果を得ることができ、より自然な対話とより良いユーザ体験を実現することができる。

本開示の実施形態に係る画像識別方法は、視覚画像情報取り込みおよび第１の視点からの処理を行う多様なスマートデバイスに適用することができ、スマートウェアラブル視覚製品のジェスチャ認識についての基本的な技術支援を提供することができる。

本開示の実施形態に係るコンピュータ読み取り可能な記憶媒体もまた提供される。コンピュータ読み取り可能な記憶媒体は、コンピュータ上で実行された際に本開示の上記の実施形態に係る画像識別方法を実行するコンピュータプログラムから構成される。

「第１の」、「第２の」の用語は、本明細書では説明の目的で用いられ、相対的な重要性や意義を示したり暗示したりするものではなく、示された技術的特徴の数を暗示するものでもないことに留意するべきである。したがって、「第１」および「第２」で定義された特徴は、１または２以上の特徴から構成されてよい。本開示の説明において、「複数の」は特に断りのない限り、２または３以上を意味する。

フローチャート、またはその他の方法で本明細書に説明される任意の処理または方法が、特定の論理関数を実行する１または２以上の実行可能な命令から構成され、または進行ステップの１または２以上の実行可能な命令から構成される、モジュール、セグメント、またはコードの一部分を表すであろうことが理解されるであろう。フローチャートは具体的な実行の順番を示すが、実行の順番は描写されているものと異なってもよいことが理解される。たとえば、２または３以上のボックスの実行の順序は、示された順序に対して乱れていてもよい。

本明細書に他の方法で記載され、またはフローチャートに示される論理および／またはステップ、たとえば、論理機能を実現するための実行可能な命令の特定のシーケンステーブルは、任意のコンピュータ読み取り可能な媒体で具体的に実現され、命令実行システム、装置、または設備（コンピュータに基づくシステム、命令実行システム、装置、および設備からの命令を取得し命令を実行することができるプロセッサまたは他のシステムから構成されるシステムなど）によって用いられてもよく、命令実行システム、装置、および設備と組み合わせて用いられてもよい。明細書に関して、「コンピュータ読み取り可能な媒体」は、命令実行システム、装置、または設備によって、またはそれらと組み合わせて用いられる、プログラムを含み、記憶し、通信し、伝搬し、または転送することができる任意の装置であってよい。コンピュータ読み取り可能な媒体のより具体的な例は、１または複数のワイヤによる電子接続（電子デバイス）、携帯可能なコンピュータ筐体（磁気装置）、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラム可能読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ装置および携帯コンパクトディスク読み取り専用メモリ（ＣＤＲＯＭ）から構成されるがこれに限定されない。加えて、コンピュータ読み取り可能媒体は、プログラムを印刷することのできる紙またはその他の適切な媒体であってもよい、なぜなら、たとえば、紙またはその他の適切な媒体は、プログラムを電気的に取得する必要がある時に、その他の適切な方法によって光学的に走査されて編集され、復号され、または処理されることができ、プログラムはコンピュータメモリに格納されることができるからである。

本開示の上記に例示される方法のステップの全体または部分が、プログラムを含む関連するハードウェアに命令することで実現できることを、当業者は理解するであろう。プログラムはコンピュータ読み取り可能な記憶媒体に格納されてよく、プログラムは、コンピュータ上で実行された際の本開示の方法実施形態の１ステップまたはステップの組み合わせから構成される。

加えて、本開示の実施形態の各機能セルは、処理モジュールに組み込まれてもよく、またはこれらのセルは単独の物理的存在であってもよく、または２または３以上のセルが処理モジュールに組み込まれている。統合モジュールは、ハードウェアの形で実現されてもよく、ソフトウェア機能モジュールの形で実現されてもよい。統合モジュールがソフトウェア機能モジュールの形で実現され、スタンドアロン型の製品として販売されたり用いられたりした場合、統合モジュールはコンピュータ読み取り可能な記憶媒体に格納されてもよい。

上記の記憶媒体は、読み取り専用メモリ、磁気ディスク、ＣＤなどであってよい。

本明細書の全体にわたって、「実施形態」、「いくつかの実施形態」、「一実施形態」、「他の例」、「例」、「具体例」、「いくつかの例」への言及は、実施形態または実施例に関連して説明された特定の特徴、構造、物質、または特性が、本開示の少なくとも一実施形態または一実施例に含まれていることを意味する。したがって、明細書の全体にわたって様々な箇所に出現する「いくつかの実施形態において」、「一実施形態において」、「実施形態において」、「他の実施例において」、「実施例において」、「具体例において」、または「いくつかの実施例において」などの表現は、必ずしも本開示の同じ実施形態または実施例について言及するものではない。さらに、特定の特徴、構造、材料、特性は任意の好適な方法で１または２以上の実施形態または実施例で組み合わされてもよい。

説明的な実施形態が示され説明されたが、上記の実施形態が本開示を制限すると解釈されるものではなく、本開示の精神、原理、および範囲から逸脱することなく実施形態の変更、代替、修正が可能であることを当業者は理解するであろう。

Claims (7)

1. 第１の視点からの視界内の手特徴領域を肌色検出により取得し、前記手特徴領域をリアルタイムで捕捉し追跡することと、
   伸ばした手の形態学的特徴に対するパターン認識を行うことにより前記手特徴領域から指先の特徴と位置を取得し、前記指先の前記特徴と前記位置をリアルタイムで捕捉し追跡することと、
   前記指先が対象物の外周を区切る際に前記指先の特徴点のフレーム間変位を記録して前記フレーム間変位から区切り軌跡を取得し、前記区切り軌跡を閉じて全周形状を形成することと、
   視線方向が前記対象物の位置する平面に垂直であるところの平面に前記全周形状を投影して投影領域を取得し、前記投影領域を前記対象物の識別領域として用いて画像識別を行うこととから構成される、
   画像識別方法。
2. 前記区切り軌跡を閉じて前記全周形状を形成することは、
   前記区切り軌跡を閉じて閉曲線最適化アルゴリズムによって前記全周形状を形成することから構成される、
   請求項１に記載の画像識別方法。
3. 発話、タッチスクリーン、または動的センサを介して入力される画像識別要求を受信して、前記第１の視点からの前記視界内の前記手特徴領域を前記肌色検出により取得する操作を始動することからさらに構成される、
   請求項１または２に記載の画像識別方法。
4. 第１の視点からの視界内の手特徴領域を肌色検出により取得するよう構成される第１の取得モジュールと、
   前記手特徴領域をリアルタイムで捕捉し追跡するよう構成される第１の追跡モジュールと、
   伸ばした手の形態学的特徴に対するパターン認識を行うことにより、前記手特徴領域から指先の特徴と位置を取得するよう構成された第２の取得モジュールと、
   前記指先の前記特徴と前記位置をリアルタイムで捕捉し追跡するよう構成された第２の追跡モジュールと、
   前記指先が対象物の外周を区切る際に前記指先の特徴点のフレーム間変位を記録して前記フレーム間変位から区切り軌跡を取得し、前記区切り軌跡を閉じて全周形状を形成するよう構成された記録モジュールと、
   視線方向が前記対象物の位置する平面に垂直であるところの平面に前記全周形状を投影して投影領域を取得し、前記投影領域を前記対象物の識別領域として用いて画像識別を行うよう構成された投影モジュールとから構成される、
   画像識別装置。
5. 前記記録モジュールが、前記区切り軌跡を閉じて閉曲線最適化アルゴリズムによって前記全周形状を形成する、請求項４に記載の画像識別装置。
6. 発話、タッチスクリーン、または動的センサを介して入力された画像識別要求を受信して、前記第１の視点からの前記視界内の前記手特徴領域を前記肌色検出により取得する操作を始動するよう構成された受信モジュールからさらに構成される、
   請求項４または５に記載の画像識別装置。
7. コンピュータ上で実行された際に請求項１から３のうちのいずれか１項に記載の画像識別方法を実行するコンピュータプログラムから構成される、コンピュータ読み取り可能な記憶媒体。

Images