JP2017112504A - Imaging apparatus, visible light communication identification information registration method, and program - Google Patents
Imaging apparatus, visible light communication identification information registration method, and program Download PDFInfo
- Publication number
- JP2017112504A JP2017112504A JP2015245826A JP2015245826A JP2017112504A JP 2017112504 A JP2017112504 A JP 2017112504A JP 2015245826 A JP2015245826 A JP 2015245826A JP 2015245826 A JP2015245826 A JP 2015245826A JP 2017112504 A JP2017112504 A JP 2017112504A
- Authority
- JP
- Japan
- Prior art keywords
- identification information
- visible light
- light emitting
- information
- emitting unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像装置、可視光通信識別情報登録方法、及びプログラムに関する。 The present invention relates to an imaging apparatus, a visible light communication identification information registration method, and a program.
従来、デジタルカメラにおける可視光通信による追跡システムでは、追跡する光タグを登録する必要がある。基本的に登録した光タグを認識してそれを追尾することで被写体を追跡することになる(例えば特許文献1、2、3、4参照)。
Conventionally, in a tracking system using visible light communication in a digital camera, it is necessary to register an optical tag to be tracked. Basically, the subject is tracked by recognizing and tracking the registered optical tag (see, for example,
しかしながら、上述した従来技術による撮像装置では、光タグが隠れてしまったり、他のものを誤認識した場合、光タグを正しく追跡できなくなるという問題があった。 However, the above-described conventional imaging apparatus has a problem in that the optical tag cannot be correctly tracked when the optical tag is hidden or when another object is erroneously recognized.
そこで本発明は、光タグが認識できなくなった場合でも、高精度で被写体を追尾することを目的とする。 Accordingly, an object of the present invention is to track a subject with high accuracy even when an optical tag cannot be recognized.
この発明に係る撮像装置は、発光ユニットが発光する任意の情報を含む可視光を撮像手段で受光し、当該可視光に含まれる情報を取得する撮像装置であって、可視光通信に先立って、第1の識別情報と前記第1の識別情報に関連付いた前記第1の識別情報とは異なる第2の識別情報が記録されている記録手段を備え、前記第1の識別情報は、前記可視光に含まれている前記発光ユニット自体を示す情報であり、前記第2の識別情報は、前記可視光通信とは異なる画像認識のための情報である、ことを特徴とする。 An imaging apparatus according to the present invention is an imaging apparatus that receives visible light including arbitrary information emitted by a light emitting unit with an imaging unit, and acquires information included in the visible light, prior to visible light communication, Recording means for recording second identification information different from the first identification information associated with the first identification information and the first identification information, wherein the first identification information is the visible information It is information indicating the light emitting unit itself contained in light, and the second identification information is information for image recognition different from the visible light communication.
この発明に係る可視光通信識別情報登録方法は可視光通信に先立って、発光ユニットが発光する可視光に含まれる前記発光ユニット自体を示す第1の識別情報と、前記可視光通信とは異なる画像認識のための情報である第2の識別情報と、を関連付けて登録することを特徴とする。 In the visible light communication identification information registration method according to the present invention, prior to visible light communication, the first identification information indicating the light emitting unit itself included in the visible light emitted from the light emitting unit and an image different from the visible light communication The second identification information, which is information for recognition, is registered in association with each other.
この発明に係るプログラムは、可視光通信に先立って、第1の識別情報と前記第1の識別情報に関連付いた前記第1の識別情報とは異なる第2の識別情報が記録されている記録手段を備え、発光ユニットが発光する可視光に含まれる情報を取得する撮像装置のコンピュータを、前記第1の識別情報に関連する情報を含む可視光の位置を検出する第1の検出手段、前記第2の識別情報に基づいて、前記発光ユニットを装着した被写体の位置を検出する第2の検出手段、として機能させることを特徴とするプログラムであって、前記第1の識別情報は、前記可視光に含まれている前記発光ユニット自体を示す情報であり、前記第2の識別情報は、前記可視光通信とは異なる画像認識のための情報である。 Prior to visible light communication, the program according to the present invention records first identification information and second identification information different from the first identification information associated with the first identification information. First detection means for detecting a position of visible light including information relating to the first identification information, a computer of an imaging device that includes means for acquiring information included in visible light emitted by the light emitting unit, A program that functions as second detection means for detecting a position of a subject on which the light emitting unit is mounted based on second identification information, wherein the first identification information is the visible information It is information indicating the light emitting unit itself contained in light, and the second identification information is information for image recognition different from the visible light communication.
この発明によれば、光タグが認識できなくなった場合でも、高精度で被写体を追尾することができる。 According to the present invention, the subject can be tracked with high accuracy even when the optical tag cannot be recognized.
以下、本発明の実施の形態を、図面を参照して説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
A.実施形態の構成
図1は、本発明の実施形態による撮影システム1の構成を示すブロック図である。図1において、撮影システム1は、ユーザー(被写体)の手首などに装着する光タグ10と、被写体を撮影する撮像装置20とからなる。光タグ10は、図1に示すように、着脱可能なベルト形状の本体を有しており、例えば、図示するようにユーザー(被写体)の手首などに装着可能になっている。
A. Configuration of Embodiment FIG. 1 is a block diagram showing a configuration of an imaging system 1 according to an embodiment of the present invention. In FIG. 1, a photographing system 1 includes an
手首以外も、遊具(テニスならラケット、ゴルフならゴルフクラブなど)に装着してもよい。あるいは首から下げる、肩や胸部分に貼り付けるような構造であってもよい。光タグ10の外周面には、外部へ光を照射するように発光部14や発光窓15と、装着したユーザーが操作できるように電源スイッチ16とが設けられている。
In addition to the wrist, it may be attached to play equipment (a racket for tennis, a golf club for golf, etc.). Alternatively, it may be a structure that is attached to the shoulder or chest part that is lowered from the neck. On the outer peripheral surface of the
撮像装置20は、図1に示すように、光学レンズ部21や撮像部22が設けられている筐体20aと、表示部25が設けられている筐体20bとから構成されている。筐体20aには、金網などに引っ掛けて固定できるようにハンドル部20cが設けられている。
As illustrated in FIG. 1, the
図2(a)、(b)は、本実施形態による光タグ10、及び撮像装置20の構成を示すブロック図である。また、図3は、本実施形態による光タグ10が発光する色パターンの一例を示す概念図である。図2(a)において、光タグ10は、メモリ11、タイミングジェネレータ12、CPU13、発光部14、及び発光窓15を備えている。メモリ11は、予め設定された色パターンPに応じた第1の識別情報11aを記憶する。該色パターンPとしては、赤(R)、緑(G)、青(B)を時系列に並べたもので、本実施形態では、例えば、図3に示すように、赤(R)→緑(G)→赤(R)→青(B)→…としている。このように可視光通信として、色成分RGBからなる色パターンPを用いることで、ユーザーによる視認性に優れるとともに、撮像装置20においても、撮影画像の中から容易に検出することができる。
2A and 2B are block diagrams illustrating configurations of the
タイミングジェネレータ12は、所定周期の安定したクロック信号CKを発生する。CPU13は、タイミングジェネレータ12からのクロック信号CKに同期して、メモリ11から第1の識別情報11aを順次に取り出し、データ送出を示すヘッダ情報に続けて取り出した第1の識別情報11aを、後述の発光部14に供給する。
The
発光部14は、RGBそれぞれの発光素子(LED;Light Emitting Diode)を備えている。該発光部14は、タイミングジェネレータ12からのクロック信号CKに同期して、第1の識別情報11aに従って、時間的に色が変化する色パターンPを、発光窓18を介して出力する。なお、本実施形態では、図3に示すように、各色の発光時間は、0.1秒としている。後述の撮像装置20は、上記時間的に色が変化する色パターンPを受光することで、当該光タグ10を認識するようになっている。
The light-emitting
図2(b)において、撮像装置20は、光学レンズ部21、撮像部22、フラッシュメモリ23、メモリ24、表示部25、キー入力部26、及びCPU27を備えている。撮像部22は、例えば、CCD(Charge−Coupled Devices)やCMOS(Complementary Metal−Oxide Semiconductor)などの二次元イメージセンサで構成されている。
2B, the
撮像部22は、所定のフレームレートで光学レンズ部21を介して取り込まれた画像を電気的なフレーム画像信号に変換し、フラッシュメモリ23に順次保存する。特に、本実施形態では、撮像装置20は、光学レンズ部21を介して取り込まれた画像から、任意サイズの部分読み出し(トリミング)を行うことが可能となっている。フラッシュメモリ23は、撮像部22からのフレーム(画像)を時系列に格納したり、任意サイズの部分読み出し(トリミング)したフレーム(画像)を時系列に格納したりする。メモリ24は、プログラムなどを記憶するROM(Read Only Memory)や、後述するCPU27のワーキングメモリとして利用されるRAM(Random Access Memory)などからなる。
The
特に、本実施形態では、メモリ24は、光タグ10を装着した被写体を追尾するために、光タグ10を識別するための第1の識別情報(色パターンに応じたデータ)11aと、当該光タグ10を装着している被写体の画像情報から取得した第2の識別情報24aとを紐付けて記憶する。なお、第2の識別情報24aとしては、被写体のサイズ(身長、体格など)、被写体の顔の特徴(目鼻口の位置関係、髪の色、ヘアスタイルなど)、被写体のサイズと被写体の中での発光タグ10の位置、被写体が身に着けている代表的な色(例えば、服の色など)、被写体の顔から発光タグ10までの距離、被写体が装着している発光タグの数などがある。
In particular, in the present embodiment, the
表示部25は、液晶表示器や有機EL表示器などからなり、光学レンズ部21を介して撮像部22により取り込まれる撮影画像を表示するとともに、撮影した動画の再生時に動画を表示する。キー入力部26は、撮影ボタンや各種設定キーなどからなり、当該撮像装置20の動作を制御するためのユーザーにより指示操作を入力する。また、キー入力部26は、表示部25に重畳されたタッチパネルを供えてもよい。
The
CPU27は、所定のプログラムを実行することにより上述した各部の動作を制御する。具体的には、CPU27は、光タグ10の第1の識別情報11aと被写体の画像情報から取得した第2の識別情報24aとを関連付けて登録する登録処理と、撮影時に光タグ10の第1の識別情報11aと被写体の画像情報から取得した第2の識別情報24aとに基づいて、当該被写体を追尾しながら撮影を行う撮影処理とを実行する。
The
特に、登録処理において、CPU27は、撮像部22により取り込まれる画像の中から、光タグ10が発する上記所定の色パターンを検出すると、当該色パターンをデコードして得られる第1の識別情報11aをメモリ24に保存する。このとき、CPU27は、撮像部22により取り込まれる撮影画像を解析して被写体(例えば、人物やペットなど)の顔の輪郭や顔を形成するバーツ(目、口、鼻、額など)の形や位置関係などを総合的に判断して被写体を検出し、光タグ10を装着している被写体を特定する。
In particular, in the registration process, when the
更に、CPU27は、被写体の服の色や、被写体の顔(の重心)と光タグ10との距離などから第2の識別情報24aを取得し、上記第1の識別情報11aと対応付けてメモリ24に保存する。これにより、光タグ10と該光タグ10を装着している被写体とを対応付けることが可能となる。なお、顔検出を含む被写体認識機能は、撮像装置において一般的に用いられている技術であり、本実施形態ではその周知技術を利用するようにしているため、その具体的な説明については省略する。
Further, the
また、撮影処理において、CPU27は、撮像部22により取り込まれる画像の中から、第1の識別情報11aに一致する色パターンを探索し、探索した結果得られる光タグ10を装着する被写体(の位置)を特定し、光タグ10の動きを追尾しながら動画撮影を行う。
In the photographing process, the
また、撮影処理において、光タグ10が隠れてしまうなどして見失った場合には、撮像部22により取り込まれる画像の中から、当該光タグ10の第1の識別情報11aに対応付けて保存されている第2の識別情報24aに一致する画像情報(例えば、服の色など)を探索し、探索した結果得られる特定の画像情報(例えば、服の色など)の位置から被写体の位置を特定し、該被写体を追尾しながら動画撮影を行う。
Further, in the shooting process, when the
このように、光タグ10が隠れてしまうなどして見失った場合であっても、光タグ10の第1の識別情報11aに対応付けて保存されている第2の識別情報24aに一致する画像情報(例えば、服の色など)から被写体(の位置)を特定することで、高精度で被写体を追尾することができる。
Thus, even if the
B.実施形態の動作
次に、上述した実施形態による光タグ10、及び撮像装置20の動作を説明する。
図4は、本実施形態による光タグ10の動作を説明するためのフローチャートである。ユーザーは、まず、手首などに光タグ10を装着し、スポーツなどのプレー開始に先だって、光タグ10の電源を投入する。電源が投入されると、光タグ10のCPU13は、イニシャライズ処理を行い(ステップS10)、タイミングジェネレータ12からのクロック信号CKに同期して、メモリ11から色パターンに対応する第1の識別情報11aを順次読み出し(ステップS12)、データ送出を示すヘッダ情報に続けて、取り出した第1の識別情報11aを、発光部14に供給する。
B. Next, operations of the
FIG. 4 is a flowchart for explaining the operation of the
発光部14は、タイミングジェネレータ12からのクロック信号CKに同期して、第1の識別情報11aに基づいて、時間的に変化する色パターンPを持つ光を、発光窓18を介して発光させる(ステップS14)。次に、CPU13は、電源オフ操作があったか否かを判断し(ステップS16)、電源オフ操作がない場合には(ステップS16のNO)、ステップS14に戻り、第1の識別情報11aに応じた色パターンの発光を繰り返す。一方、電源オフ操作があった場合には(ステップS16のYES)、当該処理を終了する。
The
図5は、本実施形態による撮像装置20の動作(登録処理)を説明するためのフローチャートである。また、図6は、本実施形態による撮像装置20の動作(登録処理)を説明するための概念図である。
FIG. 5 is a flowchart for explaining the operation (registration process) of the
ユーザーは、光タグ10を準備した後、ハンドル部20cを金網などに引っ掛けて固定し、キー入力部26などから撮像装置20の電源を投入する。電源が投入されると、撮像装置20のCPU27は、イニシャライズ処理を行い(ステップS20)、撮像部22にライブビューの開始を指示する(ステップS22)。撮像部22は、該指示を受け、光学レンズ部21を介して取り込んだ画像を表示部25に表示するライブビューを開始する(該画像は保存されない)。
After preparing the
次に、CPU27は、ライブビュー画像を解析して被写体の顔の輪郭や、顔を形成するバーツ(目、口、鼻、額など)の形や位置関係などのパターン認識を行うことで総合的に判断して、図6に示すように、被写体Aを認識する被写体認識処理を実行する(ステップS24)。次に、認識した被写体A枠内における光タグ10の検出を行い(ステップS26)、光タグ10が発する色パターンを検出したか否かを判定する(ステップS28)。そして、光タグ10が発する色パターンが検出されない場合には(ステップS28のNO)、ステップS26に戻り、光タグ10の検出、すなわち色パターンの検出を繰り返す。
Next, the
一方、ライブビュー画像中における被写体A枠内に光タグ10が発する色パターンが検出された場合には(ステップS28のYES)、検出した色パターンから第1の識別情報11aを取得してメモリ24に保存する(ステップS30)。次に、CPU27は、ライブビュー画像中から第2の識別情報24aを取得し(ステップS34)、上記第1の識別情報11aと対応付けてメモリ24に保存する(ステップS36)。これにより、光タグ10を示す第1の識別情報11aと該光タグ10を装着している被写体を示す第2の識別情報24aとが対応付けられる。
On the other hand, when the color pattern emitted by the
図7は、本実施形態による撮像装置20の動作(撮影処理)を説明するためのフローチャートである。また、図8(a)、(b)は、本実施形態による撮像装置20の動作(撮影処理)を説明するための概念図である。なお、以下の説明では、動画撮影中に光タグ10が隠れてしまうなどして見失った場合の動作について説明する。したがって、この場合には、第2の識別情報24aとして、被写体のサイズ(身長、体格など)、被写体の顔の特徴点(目鼻口の位置関係、髪の色、ヘアスタイルなど)、被写体が身に着けている代表的な色(例えば、服の色など)を用いるのが好ましい。
FIG. 7 is a flowchart for explaining the operation (imaging process) of the
上述した登録処理の終了後、ユーザー(撮影者=光タグ10を装着した本人でもよい)は、キー入力部26からシャッターボタンを押下するなどして動画撮影開始を指示する(ステップS40)。CPU27は、撮像部22から所定のフレームレートで光学レンズ部21を介して画像データ(フレームデータ)を取り込み、フラッシュメモリ23に一時保存(バッファリング)する(ステップS42)。
After completion of the registration process described above, the user (the photographer = may be the person wearing the optical tag 10) instructs the start of moving image shooting by pressing the shutter button from the key input unit 26 (step S40). The
次に、CPU27は、動画撮影中において、一時保存した画像データ内に第1の識別情報11a、すなわち光タグ10が発する色パターンを検出したか否かを判断する(ステップS44)。そして、第1の識別情報11a(光タグ10が発する色パターン)を検出した場合には(ステップS44のYES)、CPU27は、動画撮影中であるか否かを判断する(ステップS50)。そして、動画撮影中である場合には(ステップS50のYES)、CPU27は、検出した第1の識別情報11aを含む可視光を発する光タグ10の位置に基づいて、図8(a)に示すように、一時保存した画像データから、光タグ10を装着している被写体Aが画角内に入るように所定の範囲Bでトリミングして動画として保存する(ステップS54)。なお、撮像部22は、該被写体Aに対してフォーカスや露出が適切になるように調整する。
Next, the
次に、CPU27は、キー入力部26などから撮影停止指示があったか否かを判断する(ステップS56)。そして、撮影停止指示がない場合には(ステップS56のNO)、CPU27は、ステップS42に戻り、上述した処理を繰り返す。
Next, the
すなわち、CPU27は、撮像部22からの画像データ内に第1の識別情報11aを含む可視光が検出されている間は、第1の識別情報11aを含む可視光を発する光タグ10の位置に基づいて、一時保存した画像データから、光タグ10を装着している被写体Aが画角内に入るように所定の範囲Bでトリミングすることによって、被写体Aを追従しながら動画を撮影する動作を継続する。
That is, while the visible light including the
一方、撮像部22からの画像データ内に光タグ10(第1の識別情報11a)が検出されない場合には(ステップS44のNO)、CPU27は、撮像部22からの画像データ内に第2の識別情報24aを検出したか否かを判断する(ステップS46)。
On the other hand, when the optical tag 10 (
そして、第2の識別情報24aを検出した場合には(ステップS46のYES)、CPU27は、動画撮影中であるか否かを判断する(ステップS50)。そして、動画撮影中である場合には(ステップS50のYES)、CPU27は、図8(b)に示すように、第2の識別情報24aが検出された位置に基づいて、一時保存した画像データから、第2の識別情報24aによって特定される被写体Aが画角内に入るように所定の範囲Bでトリミングして動画として保存する(ステップS54)。なお、撮像部22は、該被写体Aに対してフォーカスや露出が適切になるように調整する。
When the
次に、CPU27は、キー入力部26などから撮影停止指示があったか否かを判断する(ステップS56)。そして、撮影停止指示がない場合には(ステップS56のNO)、ステップS42に戻り、上述した処理を繰り返す。
Next, the
すなわち、CPU27は、撮像部22からの画像データ内に第1の識別情報11aを含む可視光を発する光タグ10が検出されない場合には、撮像部22からの画像データ内に検出される第2の識別情報24aの位置に基づいて、一時保存した画像データから、第2の識別情報24aによって特定される被写体Aが画角内に入るように所定の範囲Bでトリミングすることによって、被写体Aを追従しながら動画を撮影する動作を継続する。
That is, if the
また、動画撮影中に、第1の識別情報11aを含む可視光、及び第2の識別情報24aの双方が検出されない場合には(ステップS44のNO、S46のNO)、CPU27は、撮像部22に対して動画撮影の一時停止を指示する(ステップS48)。これにより、撮像部22は、動画撮影を一旦停止する。なお、第1の識別情報11aを含む可視光、及び第2の識別情報24aの双方が検出されなくなった場合にすぐに動画撮影を一時停止するのではなく、所定の時間(例えば、20秒とか、30秒程度)だけタイムラグを設け、該所定の時間が経過しても、第1の識別情報11aを含む可視光、又は第2の識別情報24aが再度検出されない場合に動画撮影を一時停止するようにしてもよい。
In addition, when both the visible light including the
次に、CPU27は、キー入力部26などから撮影停止指示があったか否かを判断し(ステップS56)、撮影停止指示がない場合には(ステップS56のNO)、ステップS42に戻り、第1の識別情報11aを含む可視光、又は第2の識別情報24aの検出を繰り返す。したがって、何らかの原因で、第1の識別情報11aを含む可視光、及び第2の識別情報24aの双方が検出できない場合には、動画撮影の一時停止を継続することになる。但し、動画撮影を一時停止している間も、撮像部22による画像の取り込みは継続している。
Next, the
一方、動画撮影の一時停止中に、再度、第1の識別情報11aを含む可視光、又は第2の識別情報24aのいずれかを検出した場合には(ステップS44のYES、又はステップS46のYES)、動画撮影中であるか否かを判断する(ステップS50)。この場合、動画撮影は一時停止中であるので(ステップS50のNO)、CPU27は、撮像部22に対して動画撮影の再開を指示する(ステップS52)。これにより、撮像部22は、第1の識別情報11aを含む可視光、又は第2の識別情報24aのいずれかに基づいて、一時保存した画像データから、第1の識別情報11aを含む可視光を発する光タグ10の位置、又は第2の識別情報24aの位置によって特定される被写体Aが画角内に入るように所定の範囲Bでトリミングすることによって、被写体Aを追従しながら動画を撮影する動作を再開する。
On the other hand, when either the visible light including the
次に、CPU27は、キー入力部26などから撮影停止指示があったか否かを判断し(ステップS56)、撮影停止指示がない場合には(ステップS56のNO)、ステップS42に戻り、第1の識別情報11aを含む可視光、又は第2の識別情報24aに基づいて被写体Aを追尾しながら動画撮影を継続する。
Next, the
そして、キー入力部26などから撮影停止指示があった場合には(ステップS56のYES)、CPU27は、撮像部22に対して動画撮影の停止を指示する(ステップS58)。これにより、撮像部22は、動画撮影を停止することになる。その後、CPU27は、当該処理を終了する。
If there is a shooting stop instruction from the
上述した実施形態によれば、第1の識別情報11aを含む可視光を発する光タグ10が検出される場合には、光タグ10の位置に基づいて被写体Aを追従しながら動画を撮影し、撮影中に、第1の識別情報11aを含む可視光を発する光タグ10が検出されない場合には、第1の識別情報11aに対応付けて登録した、可視光通信とは異なる画像認識のための情報である第2の識別情報の位置に基づいて、被写体Aを追従しながら動画を撮影するようにしたので、光タグ10が認識できなくなった場合でも、高精度で被写体を追尾することができる。
According to the above-described embodiment, when the
なお、上述した実施形態では、第1の識別情報11aを含む可視光を発する光タグ10が検出されない場合の動作について説明したが、第1の識別情報11aを含む可視光を発する光タグ10の位置と、第1の識別情報11aに対応付けて保存されている第2の識別情報24aに一致する画像情報の位置と、の両方に基づいて被写体の追尾するようにしてもよい。
In the above-described embodiment, the operation when the
この場合、第2の識別情報24aとしては、被写体のサイズ(身長、体格など)、被写体の顔の特徴点(目鼻口の位置関係、髪の色、ヘアスタイルなど)、被写体のサイズと被写体の中での発光タグ10の位置、被写体が身に着けている代表的な色(例えば、服の色など)、被写体の顔から発光タグ10までの距離、被写体が装着している発光タグの数などが好ましい。
In this case, the
この場合、第1の識別情報11aを含む可視光を発する光タグ10の位置に加えて、第2の識別情報24aで示される可視光通信とは異なる画像認識のための情報によって被写体の位置を特定するため、何らかの原因で誤認識してしまうことを防ぐことができ、高精度で被写体を追尾することができる。
In this case, in addition to the position of the
また、図7のフローチャートには記載されていないが、第2の識別情報24aを検出できず、第1の識別情報11aを含む可視光を発する光タグ10の位置だけに基づいて被写体の追尾を行なうことができるのはもちろんである。
Although not described in the flowchart of FIG. 7, the
なお、上述した実施形態では、撮像装置20は、特定された被写体Aを所定の範囲Bでトリミングしたが、トリミングせずに被写体Aを追従しながら動画を撮影してもよい。
また、動画の撮影ではなく、特定のタイミングで静止画を撮影してもよい。
In the above-described embodiment, the
Moreover, you may image | photograph a still image at the specific timing instead of imaging | photography of a moving image.
また、上述した実施形態では、ユーザーの操作により、光タグ10を装着した被写体を追尾するために、光タグ10を識別するための第1の識別情報11aと、当該光タグ10を装着している被写体の画像情報から取得した第2の識別情報24aとを紐付けてメモリ24に記憶したが、第2の識別情報24aによる追尾を、例えば、単なる人物追尾に限定して、第2の識別情報24aを人物を検出するという情報とし、光タグ10と撮像装置20の工場出荷時に、第1の識別情報11aと第2の識別情報24aとを前もってメモリ24に記憶しておいてもよい。
In the above-described embodiment, the
以上、この発明のいくつかの実施形態について説明したが、この発明は、これらに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下に、本願出願の特許請求の範囲に記載された発明を付記する。
As mentioned above, although several embodiment of this invention was described, this invention is not limited to these, The invention described in the claim, and its equal range are included.
Below, the invention described in the claims of the present application is appended.
(付記1)
付記1に記載の発明は、発光ユニットが発光する任意の情報を含む可視光を撮像手段で受光し、当該可視光に含まれる情報を取得する撮像装置であって、可視光通信に先立って、第1の識別情報と前記第1の識別情報に関連付いた前記第1の識別情報とは異なる第2の識別情報が記録されている記録手段を備え、前記第1の識別情報は、前記可視光に含まれている前記発光ユニット自体を示す情報であり、前記第2の識別情報は、前記可視光通信とは異なる画像認識のための情報である、ことを特徴とする撮像装置である。
(Appendix 1)
The invention according to appendix 1 is an imaging device that receives visible light including arbitrary information emitted by a light emitting unit with an imaging unit and acquires information included in the visible light, and prior to visible light communication, Recording means for recording second identification information different from the first identification information associated with the first identification information and the first identification information, wherein the first identification information is the visible information It is information indicating the light emitting unit itself contained in light, and the second identification information is information for image recognition different from the visible light communication.
(付記2)
付記2に記載の発明は、前記第1の識別情報に関連する情報を含む可視光の位置を検出する第1の検出手段と、前記第2の識別情報に基づいて、前記発光ユニットを装着した被写体の位置を検出する第2の検出手段と、を更に備えることを特徴とする付記1に記載の撮像装置である。
(Appendix 2)
According to the second aspect of the present invention, the light emitting unit is mounted on the basis of first detection means for detecting a position of visible light including information related to the first identification information, and the second identification information. The imaging apparatus according to appendix 1, further comprising: a second detection unit that detects the position of the subject.
(付記3)
付記3に記載の発明は、可視光を発光する発光ユニットが発光する可視光を撮像手段で受光し、当該可視光に含まれる前記第1の識別情報に関連する情報を取得する取得手段を更に備え、前記第1の検出手段は、前記取得手段により取得された前記第1の識別情報に関連する情報に基づいて、前記第1の識別情報に関連する情報を含む可視光の位置を検出することを特徴とする付記2に記載の撮像装置である。
(Appendix 3)
The invention according to attachment 3 further includes an acquisition unit that receives visible light emitted from the light emitting unit that emits visible light by the imaging unit, and acquires information related to the first identification information included in the visible light. The first detection means detects a position of visible light including information related to the first identification information based on information related to the first identification information acquired by the acquisition means. The imaging apparatus according to
(付記4)
付記4に記載の発明は、前記第1の検出手段の検出結果と前記第2の検出手段の検出結果とに基づいて前記発光ユニットを装着した被写体を追尾する追尾手段、を更に備えることを特徴とする付記3に記載の撮像装置である。
(Appendix 4)
The invention according to appendix 4 further includes tracking means for tracking the subject attached with the light emitting unit based on the detection result of the first detection means and the detection result of the second detection means. It is an imaging device given in appendix 3.
(付記5)
付記5に記載の発明は、前記追尾手段は、前記第1の検出手段が前記第1の識別情報と同じ情報を含む可視光の位置を検出できない場合、前記第2の検出手段の検出結果に基づいて前記発光ユニットを装着した被写体を追尾することを特徴とする付記4に記載の撮像装置である。
(Appendix 5)
The invention according to appendix 5 is directed to the detection result of the second detection means, when the tracking means cannot detect the position of visible light including the same information as the first identification information. The imaging apparatus according to appendix 4, wherein the subject on which the light emitting unit is mounted is tracked based on the tracking.
(付記6)
付記6に記載の発明は、前記第2の識別情報は、前記発光ユニットを装着している被写体のサイズと当該被写体の中での前記発光ユニットの位置であることを特徴とする付記1乃至4の何れか一つに記載の撮像装置である。
(Appendix 6)
The invention according to appendix 6, wherein the second identification information is a size of a subject wearing the light emitting unit and a position of the light emitting unit in the subject. The imaging apparatus according to any one of the above.
(付記7)
付記7に記載の発明は、前記第2の識別情報は、前記発光ユニットを装着している被写体の顔から前記発光ユニットまでの距離であることを特徴とする付記1乃至4の何れか一つに記載の撮像装置である。
(Appendix 7)
The invention according to appendix 7, in which the second identification information is a distance from the face of the subject wearing the light emitting unit to the light emitting unit. It is an imaging device as described in above.
(付記8)
付記8に記載の発明は、前記第2の識別情報は、前記発光ユニットを装着している被写体が装着している前記発光ユニットの数であることを特徴とする付記1乃至4の何れか一つに記載の撮像装置である。
(Appendix 8)
The invention according to appendix 8, wherein the second identification information is the number of the light emitting units attached to the subject wearing the light emitting unit. It is an imaging device described in one.
(付記9)
付記9に記載の発明は、前記第2の識別情報は、前記発光ユニットを装着している被写体のサイズであることを特徴とする付記1乃至5の何れか一つに記載の撮像装置である。
(Appendix 9)
The invention according to appendix 9 is the imaging apparatus according to any one of appendices 1 to 5, wherein the second identification information is a size of a subject wearing the light emitting unit. .
(付記10)
付記10に記載の発明は、前記第2の識別情報は、前記発光ユニットを装着している被写体の顔の特徴であることを特徴とする付記1乃至5の何れか一つに記載の撮像装置である。
(Appendix 10)
The imaging device according to any one of appendices 1 to 5, wherein the second identification information is a feature of a face of a subject wearing the light emitting unit. It is.
(付記11)
付記11に記載の発明は、前記第2の識別情報は、前記発光ユニットを装着している被写体が身に着けている代表的な色であることを特徴とする付記1乃至5の何れか一つに記載の撮像装置である。
(Appendix 11)
The invention according to
(付記12)
付記12に記載の発明は、前記第1の識別情報と前記第1の識別情報に関連付いた第2の識別情報を前記記録手段に登録する登録手段、を更に備えることを特徴とする付記1乃至11の何れか一つに記載の撮像装置。
(Appendix 12)
The invention according to
(付記13)
付記13に記載の発明は、可視光通信に先立って、発光ユニットが発光する可視光に含まれる前記発光ユニット自体を示す第1の識別情報と、前記可視光通信とは異なる画像認識のための情報である第2の識別情報と、を関連付けて登録することを特徴とする可視光通信識別情報登録方法である。
(Appendix 13)
The invention described in
(付記14)
付記14に記載の発明は、可視光通信に先立って、第1の識別情報と前記第1の識別情報に関連付いた前記第1の識別情報とは異なる第2の識別情報が記録されている記録手段を備え、発光ユニットが発光する可視光に含まれる情報を取得する撮像装置のコンピュータを、前記第1の識別情報に関連する情報を含む可視光の位置を検出する第1の検出手段、前記第2の識別情報に基づいて、前記発光ユニットを装着した被写体の位置を検出する第2の検出手段、として機能させることを特徴とするプログラムであって、前記第1の識別情報は、前記可視光に含まれている前記発光ユニット自体を示す情報であり、前記第2の識別情報は、前記可視光通信とは異なる画像認識のための情報である。
(Appendix 14)
In the invention according to
1 撮影システム
10 光タグ
11 メモリ
11a 第1の識別情報
12 タイミングジェネレータ
13 CPU
14 発光部
15 発光窓
20 撮像装置
21 光学レンズ部
22 撮像部
23 フラッシュメモリ
24 メモリ
24a 第2の識別情報
25 表示部
26 キー入力部
27 CPU
A 被写体
B 所定の範囲
P 色パターン
1 photographing
DESCRIPTION OF
A Subject B Predetermined range P Color pattern
Claims (14)
可視光通信に先立って、第1の識別情報と前記第1の識別情報に関連付いた前記第1の識別情報とは異なる第2の識別情報が記録されている記録手段を備え、
前記第1の識別情報は、前記可視光に含まれている前記発光ユニット自体を示す情報であり、
前記第2の識別情報は、前記可視光通信とは異なる画像認識のための情報である、
ことを特徴とする撮像装置。 An imaging device that receives visible light including arbitrary information emitted by a light emitting unit with an imaging unit, and acquires information included in the visible light,
Prior to visible light communication, comprising: a recording means in which first identification information and second identification information different from the first identification information associated with the first identification information are recorded;
The first identification information is information indicating the light emitting unit itself included in the visible light,
The second identification information is information for image recognition different from the visible light communication.
An imaging apparatus characterized by that.
前記第2の識別情報に基づいて、前記発光ユニットを装着した被写体の位置を検出する第2の検出手段と、
を更に備えることを特徴とする請求項1に記載の撮像装置。 First detection means for detecting a position of visible light including information related to the first identification information;
Based on the second identification information, second detection means for detecting the position of the subject on which the light emitting unit is mounted;
The imaging apparatus according to claim 1, further comprising:
前記第1の検出手段は、前記取得手段により取得された前記第1の識別情報に関連する情報に基づいて、前記第1の識別情報に関連する情報を含む可視光の位置を検出することを特徴とする請求項2に記載の撮像装置。 Receiving means for receiving visible light emitted by a light emitting unit that emits visible light with an imaging means, and obtaining information related to the first identification information included in the visible light;
The first detection means detects a position of visible light including information related to the first identification information based on information related to the first identification information acquired by the acquisition means. The imaging apparatus according to claim 2, characterized in that:
を更に備えることを特徴とする請求項3に記載の撮像装置。 Tracking means for tracking the subject on which the light emitting unit is mounted based on the detection result of the first detection means and the detection result of the second detection means;
The imaging apparatus according to claim 3, further comprising:
を更に備えることを特徴とする請求項1乃至11の何れか一項に記載の撮像装置。 Registration means for registering the first identification information and second identification information associated with the first identification information in the recording means;
The imaging apparatus according to claim 1, further comprising:
前記可視光通信とは異なる画像認識のための情報である第2の識別情報と、
を関連付けて登録することを特徴とする可視光通信識別情報登録方法。 Prior to visible light communication, first identification information indicating the light emitting unit itself included in visible light emitted by the light emitting unit;
Second identification information which is information for image recognition different from the visible light communication;
A method for registering visible light communication identification information, wherein the information is registered in association with each other.
前記第1の識別情報に関連する情報を含む可視光の位置を検出する第1の検出手段、
前記第2の識別情報に基づいて、前記発光ユニットを装着した被写体の位置を検出する第2の検出手段、
として機能させることを特徴とするプログラムであって、
前記第1の識別情報は、前記可視光に含まれている前記発光ユニット自体を示す情報であり、前記第2の識別情報は、前記可視光通信とは異なる画像認識のための情報である。 Prior to visible light communication, the light-emitting unit includes recording means for recording first identification information and second identification information different from the first identification information associated with the first identification information. A computer of an imaging device that acquires information contained in visible light that emits light,
First detection means for detecting a position of visible light including information related to the first identification information;
Second detection means for detecting a position of a subject on which the light emitting unit is mounted based on the second identification information;
A program characterized by functioning as:
The first identification information is information indicating the light emitting unit itself included in the visible light, and the second identification information is information for image recognition different from the visible light communication.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015245826A JP6604509B2 (en) | 2015-12-17 | 2015-12-17 | Imaging apparatus, subject tracking method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015245826A JP6604509B2 (en) | 2015-12-17 | 2015-12-17 | Imaging apparatus, subject tracking method, and program |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2017112504A true JP2017112504A (en) | 2017-06-22 |
JP2017112504A5 JP2017112504A5 (en) | 2018-11-29 |
JP6604509B2 JP6604509B2 (en) | 2019-11-13 |
Family
ID=59081370
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015245826A Active JP6604509B2 (en) | 2015-12-17 | 2015-12-17 | Imaging apparatus, subject tracking method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6604509B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020526853A (en) * | 2017-07-18 | 2020-08-31 | ハンジョウ タロ ポジショニング テクノロジー カンパニー リミテッドHangzhou Taro Positioning Technology Co.,Ltd. | Intelligent object tracking |
WO2021124524A1 (en) * | 2019-12-19 | 2021-06-24 | 三菱電機株式会社 | Target-tracking device and target-tracking method |
US11364637B2 (en) | 2017-07-18 | 2022-06-21 | Hangzhou Taro Positioning Technology Co., Ltd. | Intelligent object tracking |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006050280A (en) * | 2004-08-05 | 2006-02-16 | Sony Corp | Image pickup unit and image pickup method |
JP2006279568A (en) * | 2005-03-29 | 2006-10-12 | Fujitsu Ltd | Image-pickup device |
JP2013012941A (en) * | 2011-06-29 | 2013-01-17 | Olympus Imaging Corp | Tracking apparatus, tracking method, and tracking program |
US20140092266A1 (en) * | 2012-09-28 | 2014-04-03 | Casio Computer Co., Ltd. | Photographing system, photographing method, light emitting apparatus, photographing apparatus, and computer-readable storage medium |
JP2014075635A (en) * | 2012-10-02 | 2014-04-24 | Casio Comput Co Ltd | Imaging system, imaging method, light-emitting device, imaging apparatus, and program |
US20150262379A1 (en) * | 2014-03-13 | 2015-09-17 | Casio Computer Co., Ltd. | Imaging apparatus and a method of tracking a subject in the imaging apparatus |
-
2015
- 2015-12-17 JP JP2015245826A patent/JP6604509B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006050280A (en) * | 2004-08-05 | 2006-02-16 | Sony Corp | Image pickup unit and image pickup method |
JP2006279568A (en) * | 2005-03-29 | 2006-10-12 | Fujitsu Ltd | Image-pickup device |
JP2013012941A (en) * | 2011-06-29 | 2013-01-17 | Olympus Imaging Corp | Tracking apparatus, tracking method, and tracking program |
US20140092266A1 (en) * | 2012-09-28 | 2014-04-03 | Casio Computer Co., Ltd. | Photographing system, photographing method, light emitting apparatus, photographing apparatus, and computer-readable storage medium |
JP2014075635A (en) * | 2012-10-02 | 2014-04-24 | Casio Comput Co Ltd | Imaging system, imaging method, light-emitting device, imaging apparatus, and program |
US20150262379A1 (en) * | 2014-03-13 | 2015-09-17 | Casio Computer Co., Ltd. | Imaging apparatus and a method of tracking a subject in the imaging apparatus |
JP2015177262A (en) * | 2014-03-13 | 2015-10-05 | カシオ計算機株式会社 | Imaging apparatus, subject tracking method, and program |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020526853A (en) * | 2017-07-18 | 2020-08-31 | ハンジョウ タロ ポジショニング テクノロジー カンパニー リミテッドHangzhou Taro Positioning Technology Co.,Ltd. | Intelligent object tracking |
US11364637B2 (en) | 2017-07-18 | 2022-06-21 | Hangzhou Taro Positioning Technology Co., Ltd. | Intelligent object tracking |
WO2021124524A1 (en) * | 2019-12-19 | 2021-06-24 | 三菱電機株式会社 | Target-tracking device and target-tracking method |
JPWO2021124524A1 (en) * | 2019-12-19 | 2021-06-24 |
Also Published As
Publication number | Publication date |
---|---|
JP6604509B2 (en) | 2019-11-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6025690B2 (en) | Information processing apparatus and information processing method | |
US8284257B2 (en) | Image pick-up apparatus and tracking method therefor | |
CN104519278B (en) | Image processing apparatus, image processing method and recording medium | |
JP5648866B2 (en) | Imaging system, imaging method, imaging apparatus, and program | |
JP4877762B2 (en) | Facial expression guidance device, facial expression guidance method, and facial expression guidance system | |
JP6564271B2 (en) | Imaging apparatus, image processing method, program, and storage medium | |
JP6265640B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
JPWO2016016984A1 (en) | Imaging device and subject tracking method thereof | |
CN104615233B (en) | Message processing device and information processing method | |
US10013632B2 (en) | Object tracking apparatus, control method therefor and storage medium | |
KR20110093659A (en) | Image recognition apparatus and method | |
JP2015088096A (en) | Information processor and information processing method | |
JP2015088095A (en) | Information processor and information processing method | |
JP6604509B2 (en) | Imaging apparatus, subject tracking method, and program | |
CN103716531B (en) | Camera chain, method for imaging, light-emitting device, photographic attachment | |
JP7241309B2 (en) | PRESENTATION SYSTEM, PRESENTATION DEVICE, AND PRESENTATION METHOD | |
JP2010165012A (en) | Imaging apparatus, image retrieval method, and program | |
JP2020526735A (en) | Pupil distance measurement method, wearable eye device and storage medium | |
JP6624167B2 (en) | Imaging control device, imaging control method, and imaging control program | |
JP5920264B2 (en) | Image identification device, image identification system, image identification method, and program | |
US20130286218A1 (en) | Image recognition device that recognizes specific object area, method of controlling the device, and storage medium, as well as image pickup apparatus, and display device | |
JP2013183185A (en) | Imaging apparatus, and imaging control method and program | |
JP6508730B2 (en) | Light emission marker device, marker detection device, transmission system, marker light emission method, marker detection method, and program | |
JP2007208776A (en) | Camera | |
JP2015031902A (en) | Camera system, main camera and sub camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181016 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181016 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190725 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190807 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190910 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190919 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191002 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6604509 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |