JP5308607B1 - レリーズ制御装置、レリーズ制御方法及びレリーズ制御方法を実行するプログラム - Google Patents

Abstract

【課題】
サイン認識を適当なリソースと時間で行える、誤認識の少ない形状を選択して登録し、撮影の対象としたい動作・作業そのものにフォーカスして撮影できるレリーズ制御を実現することが課題である。
【解決手段】
形状認識においてパーがサインとして抽出されると、ステップ６００３において、撮影が開始される。続いて、ステップ６００４において、撮影中であることを示す撮影フラグがオンとなり、デジタルカメラのメモリ部の所定の場所に適宜参照可能に記憶される。
形状認識において両手パーがサインとして抽出されると、ステップ６００５において、撮影フラグの参照がなされる。フラグがオンであれば、ステップ６００６において、撮影終了となる。撮影フラグがオフの場合、終了すべき撮影自体がないので、そのままリターンとなり、新たに生成される画像データの形状認識を繰り返す。
【選択図】図６

Description

本発明は、デジタルカメラのレリーズ制御の装置及び方法、特に情報端末に内蔵されたデジタルカメラのレリーズ制御の装置及び方法に関する。また、このようなレリーズ制御方法を実行するプログラムに関するものである。

従来、デジタルカメラで画像記録（以下、画像記録の意味で「撮影」という用語を使う）する場合、ユーザが良いタイミングでいわゆるシャッター操作(シャッターは、本来、露光時間に関するものである。以下、撮影開始のトリガという意味でレリーズ操作という用語を使う)をして、そのレリーズ操作をトリガとしてデジタルカメラが撮影開始するものであった。
このような撮影を行う場合において、ユーザ自身のレリーズ操作によってデジタルカメラが動き、いわゆる手ぶれによる画像の乱れが問題となっていた。特に、スマートフォンやタブレット型コンピュータに代表されるようなタッチスクリーンディスプレーからの操作で各種機能を操作する情報端末に内蔵されたデジタルカメラの場合、ディスプレーに表示されたシンボルとしてのレリーズボタンにタッチする方式であるため画像の乱れは深刻であった。
また、ユーザ自身の姿や動作・作業を撮影する場合において、レリーズ操作をするために撮影されたい位置から離れたり、作業から手を離さなければならない煩雑さも問題となっていた。

さらには、被写体が複数のユーザの場合に、複数のユーザが全員の意思を確認して、レリーズ操作することは技術上難しく、一人のユーザが撮影者として代表してレリーズ操作をしたり、タイマーを設定し撮影のタイミングを全員に告知して撮影するといった方法が通常であった。

特許文献１においては、撮像素子により取得した画像データに対して、被写体におけるＶサインなどの形状認識、または被写体におけるＳ字カーブなどの動きの軌跡の認識、または被写体に含まれるバーコードなどのパターンまたは色の認識を通じて、該当するものが検出されたときにレリーズ制御を行うことが開示されている。
しかしながら、「Ｖサインにかかわらず、人間が手足や体を使って形成可能な形態、例えば、丸・三角・四角などの所定形状が検出されたならば、レリーズ動作をスタートさせればよい。」との記述もあり、どのような形状が画像認識の対象として好適かについての考察がなされていない。サインとして選択する形状が不適切な場合、認識のためのリソースや時間を要する問題や誤認識のため実現性に欠けると考えられる。
特許文献２においては、認識した物体が指定した動作を行ったらレリーズし静止画を自動的に撮影する手段を有し、またその静止画撮影でピントを合わせたい物体は画像認識を行った物体ではなく、別の物体とする手段を有することを特徴とする撮像装置が開示されている。
特開２００２−１２２９３４号公報 特開２０１０−０８７９９８号公報

特許文献１の場合は、サイン認識対象について考察不足である。不適切な形状をサインとすると、誤認識を誘発し、過大なリソースや認識時間が必要となる問題が発生する。撮影対象となる被写体や作業・動作の性質に着目し、誤認識の少ない形状を選択して、登録するサインとすることが実用に耐えるためには重要である。
また、選択した形状に好適な認識アルゴリズムを提供することも課題となる。
さらに、所定のサインが認識されると、レリーズ動作をスタートさせる構成となっているため、オートフォーカスの場合に撮影の対象としたい動作・作業ではなくキューサインそのものにフォーカスして撮影してしまうという問題もある。
サイン認識を適当なリソースと時間で行える、誤認識の少ない形状を選択して登録し、撮影の対象としたい動作・作業そのものにフォーカスして撮影できるレリーズ制御を実現することが課題である。
特許文献２の場合は、レリーズタイミングのきっかけとなった物体以外の物体にピントを合わせて撮影することをため、撮影の対象としたい動作・作業にフォーカスできる構成となっているが、キューサインを認識したタイミングで撮影をするためキューサインのタイミングにおける対象を撮影してしまうという問題が残る。
撮影したい動作・作業のタイミングでのレリーズ制御を実現することも課題である。

また、集合写真を撮る時のように複数の人物を撮影する場合において、所定のキューサインを検知することで、参加者の準備完了が認知でき、参加者の準備完了のタイミングでリリースすることで、インテリジェントなセルフタイマーを実現することも課題である。

本発明の課題を解決するため、請求項１に記載の発明では、
１）制御対象とするデジタルカメラの撮像素子が連続して生成する画像データを所定の周期で取得して、
予めキューサインとして手指で作る５本の指を全て開いた形状の選択をし、該形状を形成する手指のバイオメトリクスとして、伸ばした指の間に形成される４つの欠損部、凸部に当たる５つの伸ばした指先の端点、該端点の位置関係、そして５本の指を全て開いた形状における他の指先とは異なる位置関係にある伸ばした親指の端点の特徴を含むデータを用意し、
前記撮像素子が連続して生成する画像データを所定の周期で解析して手指の形状を検出し、
該形状において、伸ばした指の間に形成される欠損部、凸部に当たる伸ばした指先の端点、該端点の位置関係、そして親指の指先の端点の特徴を検出し、前記データに含まれるバイオメトリクスと比較して、前記キューサインの認識をするサイン認識手段と、
２）前記キューサインが最初に認識された後の前記解析で該キューサインが認識されなくなったタイミングで、前記画像データの記録を開始させる撮影開始手段とを、
構成要素に含むレリーズ制御装置を提供する。
ここでバイオメトリクスとは、人間の身体的特徴をいい、所定のフォーマットのデータとして、コンピュータで取り扱える形式となっているものをいう。
また、いわゆるパーやチョキを示す手の形状は、その凸凹がパターン認識に好適であり、認識に要するリソースや認識時間を少ないものとする効果がある。特に、5本の指を伸ばしたパーの形状は、人間工学的見地からも形成し易い形状でもあり、さらには認識の判断において特徴的な他の指先とは異なる位置関係にある伸ばした親指があって誤認識を大幅に減らす効果がある。キューサインとして、いわゆるパーの形状は、人間工学観点からの手指での作り易さ及び画像認識の確実性の観点から他の形状に比べ、特に効果の高い形状である。
さらには撮影者自身が被写体となる場合に手の比較的小さな動作のため、撮影の対象とする動作への復帰も容易である。
また、キューサインが認識されなくなるタイミングで撮影開始するので、被写体がキューサインをしている余分なシーンを記録から除く効果がある。

請求項２に記載の発明では、
１）制御対象とするデジタルカメラの撮像素子が連続して生成する画像データを所定の周期で取得して、
予めキューサインとして手指で作る５本の指を全て開いた形状を選択し、該形状を形成する手指のバイオメトリクスとして、伸ばした指の間に形成される４つの欠損部、凸部に当たる５つの伸ばした指先の端点、該端点の位置関係、そして５本の指を全て開いた形状における他の指先とは異なる位置関係にある伸ばした親指の端点の特徴を含むデータを用意し、
前記撮像素子が連続して生成する画像データを所定の周期で解析して手指の形状を検出し、
該形状において、伸ばした指の間に形成される欠損部、凸部に当たる伸ばした指先の端点、該端点の位置関係、そして親指の指先の端点の特徴を検出し、前記データに含まれるバイオメトリクスと比較して、前記キューサインの認識をするサイン認識手段と、
２）前記キューサインが最初に認識された後であって、所定の待機時間が経過したタイミングで、前記画像データの記録を開始させる撮影開始手段とを、
構成要素に含むレリーズ制御装置を提供する。 キューサインの認識後に待機時間を持たせることによって、被写体は撮影された動作に復帰する余裕を得ることができるので、記録が必要なシーンのみを撮影できる効果がある。

請求項３に記載の発明では、
１）制御対象とするデジタルカメラの撮像素子が連続して生成する画像データを所定の周期で取得して、
予めキューサインとして手指で作る５本の指を全て開いた形状の選択をし、該形状を形成する手指のバイオメトリクスとして、伸ばした指の間に形成される４つの欠損部、凸部に当たる５つの伸ばした指先の端点、該端点の位置関係、そして親指の指先の端点の特徴を含むデータを用意し、
前記撮像素子が連続して生成する画像データを所定の周期で解析して手指の形状を検出し、
該形状において、伸ばした指の間に形成される欠損部、凸部に当たる伸ばした指先の端点、該端点の位置関係、そして５本の指を全て開いた形状における伸ばした親指の端点の特徴を検出し、前記データに含まれるバイオメトリクスと比較して、前記キューサインの認識をするサイン認識手段と、
２）複数の人物が前記デジタルカメラの撮影エリアの存在している場合において、前記キューサインが認識された後、該キューサインのカウント数を監視して、カウント数が最大を示した後減少していることが検知され、さらにカウント数が０になったタイミングで、前記画像データの記録を開始させる撮影開始手段とを、
構成要素に含むレリーズ制御装置を提供する。

補正により削除。

請求項４の発明で提供する装置は、請求項１乃至３のいずれかに記載のレリーズ制御装置において、
前記端点の位置関係は前記選択した形状の重心から各端点までを画像上で計測した相対距離であって、前記親指の指先の端点の特徴は該重心から親指に該当する端点までの相対距離が他の相対距離に比べて最も短いことであることを特徴とする。

請求項５の発明で提供する装置は、請求項１乃至３のいずれかに記載のレリーズ制御装置において、
前記端点の位置関係は、親指の端点と人差し指の端点を結んだ線分と人差し指の端点と中指の端点を結んだ端点を結んだ線分とが作る角度、人差し指の端点と中指の端点を結んだ端点を結んだ線分と中指の端点と薬指の端点を結んだ線分とが作る角度、中指の端点と薬指の端点を結んだ線分と薬指の端点と小指の端点を結んだ線分とが作る角度であることを特徴とする。

補正により削除。

また、本発明の課題を解決するため、請求項６に記載の発明では、
１）制御対象とするデジタルカメラの撮像素子が連続して生成する画像データを受信するステップと、
２）予めキューサインとして手指で作る５本の指を全て開いた形状を選択し、該形状を形成する手指のバイオメトリクスとして、伸ばした指の間に形成される４つの欠損部、凸部に当たる５つの伸ばした指先の端点、該端点の位置関係、そして５本の指を全て開いた形状における他の指先とは異なる位置関係にある伸ばした親指の端点の特徴を含むデータを用意し、
前記撮像素子が連続して生成する画像データを所定の周期で解析して手指の形状を検出し、
該形状において、伸ばした指の間に形成される欠損部、凸部に当たる伸ばした指先の端点、該端点の位置関係、そして親指の指先の端点の特徴を検出し、前記データに含まれるバイオメトリクスと比較して、前記キューサインの認識をするステップと、
３）前記キューサインが最初に認識された後の前記解析で該キューサインが認識されなくなった場合に、前記画像データの記録を開始させるステップとを、
実行することによるレリーズ制御方法を提供する。

請求項７の発明では、
１）制御対象とするデジタルカメラの撮像素子が連続して生成する画像データを受信するステップと、
２）予めキューサインとして手指で作る５本の指を全て開いた形状を選択し、該形状を形成する手指のバイオメトリクスとして、伸ばした指の間に形成される４つの欠損部、凸部に当たる５つの伸ばした指先の端点、該端点の位置関係、そして５本の指を全て開いた形状における他の指先とは異なる位置関係にある伸ばした親指の端点の特徴を含むデータを用意し、
前記撮像素子が連続して生成する画像データを所定の周期で解析して手指の形状を検出し、
該形状において、伸ばした指の間に形成される欠損部、凸部に当たる伸ばした指先の端点、該端点の位置関係、そして親指の指先の端点の特徴を検出し、前記データに含まれるバイオメトリクスと比較して、前記キューサインの認識をするステップと、
３）前記キューサインが最初に認識された後であって、所定の待機時間が経過した場合に、前記画像データの記録を開始させるステップとを、
実行することによるレリーズ制御方法を提供する。

請求項８の発明では、
１）制御対象とするデジタルカメラの撮像素子が連続して生成する画像データを受信するステップと、
２）予めキューサインとして手指で作る５本の指を全て開いた形状を選択し、該形状を形成する手指のバイオメトリクスとして、伸ばした指の間に形成される４つの欠損部、凸部に当たる５つの伸ばした指先の端点、該端点の位置関係、そして５本の指を全て開いた形状における他の指先とは異なる位置関係にある伸ばした親指の端点の特徴を含むデータを用意し、
前記撮像素子が連続して生成する画像データを所定の周期で解析して手指の形状を検出し、
該形状において、伸ばした指の間に形成される欠損部、凸部に当たる伸ばした指先の端点、該端点の位置関係、そして親指の指先の端点の特徴を検出し、前記データに含まれるバイオメトリクスと比較して、前記キューサインの認識をするステップと、
３）複数の人物が前記デジタルカメラの撮影エリアの存在している場合において、前記キューサインが認識された後、該キューサインのカウント数を監視して、カウント数が最大を示した後減少していることが検知され、さらにカウント数が０になったタイミングで、前記画像データの記録を開始させる撮影開始ステップとを、
実行することによるレリーズ制御方法を提供する。

補正により削除。

請求項９の発明は、請求項６乃至８のいずれかに記載のレリーズ制御方法において、
前記端点の位置関係は前記選択した形状の重心から各端点までを画像上で計測した相対距離であって、前記親指の指先の端点の特徴は該重心から親指に該当する端点までの相対距離が他の相対距離に比べて最も短いことであることを特徴とする。

請求項１０の発明は、請求項６乃至８のいずれかに記載のレリーズ制御方法において、前記端点の位置関係は、親指の端点と人差し指の端点を結んだ線分と人差し指の端点と中指の端点を結んだ端点を結んだ線分とが作る角度、人差し指の端点と中指の端点を結んだ端点を結んだ線分と中指の端点と薬指の端点を結んだ線分とが作る角度、中指の端点と薬指の端点を結んだ線分と薬指の端点と小指の端点を結んだ線分とが作る角度であることを特徴とする。

補正により削除。

さらに、請求項１１の発明においては、請求項６乃至１０のいずれかに記載のレリーズ制
御方法を実行するプログラムを提供する。
最近は、スマートフォンやタッチパネルディスプレー付き情報端末のようにデジタルカ
メラを内蔵しつつ、ネットワーク機能を有し、十分な演算能力を備えるＣＰＵを持った情
報機器が増加しており、プログラムをダウンロードするだけで本発明の機能を実現できる
効果がある。

実施の状況の概念図 カメラの動作を示したタイミングチャート サイン形状参照テーブル サイン形状参照テーブル サイン形状参照テーブル サイン認識アルゴリズムのフロー 形状認識アルゴリズムのフロー メモリに格納されたバイオメトリクスのデータ構造 実施例２のレリーズ装置の動作のフロー 撮影エリアの複数人物のイメージ図 最大数のキューサインの状態のイメージ図 サイン認識されなくなった状態のイメージ図

以下、本発明の具体例につき図面を用いた実施例において説明する。

図１は、本発明のレリーズ装置が使用されている実施例１の状況の概念図である。
作業台１００１、撮影エリア１００２、情報端末固定用のアーム１００３、本発明のレリーズ装置を有するデジタルカメラ内蔵情報機器１００４、作業者１００５、サインの形状を作る右手１００６からなる態様である。
上記レリーズ装置は、予め組み込まれたファームウエア等のレリーズ制御プログラムをマイコン等のプロセッサーで実行し、デジタルカメラ内蔵情報機器を構成する各種デバイスと協働することにより実現される。また、これらのプログラムは、コンピュータで読み取り可能な記録媒体に記録され、当該プロセッサーによって記録媒体から読み出され、システムのユーザが操作すること又はデジタルカメラ内蔵情報機器を構成するデバイスからの信号を受信することによって実行される。

情報端末に内蔵されたデジタルカメラで作業の記録をするというのは、よくある使用の状況であるが、本発明で採用可能なデジタルカメラはこれに限られるものではなく、単体としてのデジタルカメラ、専用の監視カメラ等に採用可能である。
ここでは、作業台１００１の上面で作業が行われる。作業台に情報端末固定用のアーム１００３が据え付けられている。その先端には、デジタルカメラ内蔵情報機器１００４が固定される。１００２は、デジタルカメラの撮影エリアであり、撮影待機モードのデジタルカメラはこのエリアの画像データを所定の周期で連続して生成する。

作業者１００５は、自らが被写体であると同時に作業を撮影する撮影者である。ここでは、右手１００６で撮影開始のキューサインとして登録したいわゆるパーの形状を作っている。

（レリーズ装置の動作）
図２は、業務の進行に従って、デジタルカメラに関する作業者の動作、そしてカメラがどのように連動して動作するかを示したタイミングチャートである。

ステップ２００１で作業開始である。このタイミングで作業者は、ステップ２００２のカメラ起動操作を行う。ここでデジタルカメラの起動は、このカメラを内蔵する情報機器の画面に表示された起動ボタンにタップ等のアクションを加えることにより行われる。

ステップ２００３において、デジタルカメラが起動し、デジタルカメラの撮像素子は所定の周期で撮影エリアの画像データを繰り返し生成する動作を開始する。

ステップ２００４において、最初の撮影タイミングであるチェックポイント１の作業が開始される。撮影対象の作業のタイミングとして、ここでは２つ示したが、撮影対象の業務や動作の性質によって適宜設定されるべきものであり、本発明の対象とする撮影タイミングはこれに限られるものではない。

２００５において、作業者は、図１の１００６で示したパーのキューサインを撮影エリア１００２に右手で作る。ここで各種サインの形状は予め登録しておくものである。
図３は、登録したサインの形状とサインに対応するカメラの動作の参照テーブルであり、特に図示しない当該デジタルカメラのメモリ部に参照可能に格納される。
ここではサインの形状のみでキューサインを判断する方式を採用しているが、手指の形状を振る動作、所定の方向へ払う動作を判断の対象とする方式も可能である。例えば、払う動作に連続して変化させる必要のあるズームアップやズームダウンを対応させると、より複雑なカメラ操作が可能となる効果がある。また、キューサインの形状を振ることにより、連続して取得される複数画像に映る形状のアングル等が変わり、1枚の静止画では得られない形状についての情報を複数画像相互に補完させて取得し、認識を容易にする効果を得ることができる。
尚、登録するサインの形状は、本発明のテーブルはこれに限られるものではなく、例えば図４及び図５に示す様にチョキの形状、両手で同じ形状あるいは各種形状の組合せを適宜登録されるべきものである。ただし、パーに比べ、ユーザにとっての形状の作る易さ、認識の確実性において劣ると考えられる。

ここでは、パーという名称のサインには撮影開始の実行が割り当てられているので、後で説明するサイン認識アルゴリズムに従って解析されパターン認識されると、その後に生成される画像データの解析において当該パターンが認識されなくなったタイミングで撮影開始の実行命令信号がデジタルカメラのデータバスを介して撮影に係る各種デバイスに発信され、ステップ２００６において、撮影が開始される。
ここで撮影開始の実行命令信号を発するタイミングを最初の認識後、認識されなくなるタイミングとしたが、最初の認識後所定の待機時間、例えば3秒経過後に撮影開始の実行命令信号を発する発信する方式であってもよい。
そして、撮影開始後は所定の間隔で連続して画像データを記録する自動撮影モードとなる。

ステップ２００７において、両手でパーの終了サインを撮影エリアで形成する。図３に示す様に、本実施例では両手パーの形状には撮影終了の実行が割り当てられているので、後で説明するサイン認識アルゴリズムに従ってパターン認識されると、撮影終了の実行命令信号がデジタルカメラのデータバスを介して撮影に係る各種デバイスに発信され、ステップ２００８において、撮影が終了される。

ステップ２００９において、２番目の撮影タイミングであるチェックポイント２の作業が開始される。ステップ２０１０で、作業者はステップ２００５と同様にパーのキューサインを撮影エリア１００２に右手で作る。

サイン認識アルゴリズムに従ってパターン認識されると、当該パターンが認識されなくなったタイミングで撮影開始の実行命令信号がデジタルカメラのデータバスを介して撮影に係る各種デバイスに発信され、ステップ２０１１において、撮影が開始される。以後、所定の間隔で連続して画像データが記録される自動撮影モードとなる。
ここでも撮影開始の実行命令信号を発するタイミングを最初の認識後、認識されなくなるタイミングとしたが、最初の認識後所定の待機時間、例えば3秒経過後に撮影開始の実行命令信号を発する発信する方式であってもよい。

ステップ２０１２において、作業終了となる。作業が終了すれば、撮影エリア内での動きはなくなるので、後で説明するサイン認識アルゴリズムをデジタルカメラのプロセッサーが実行することにより撮影終了と判断されて、撮影終了の実行命令信号がデジタルカメラのデータバスを介して撮影に係る各種デバイスに発信され、ステップ２０１３において、撮影が終了される。
以上の流れで、本発明のレリーズ装置は作業現場で使用されるものであるが、本発明に係るレリーズ装置の動作の流れに限定されるものではなく、作業の性質に応じて適宜変更可能である。

図６は、本実施例のサイン認識アルゴリズムを示した図である。先ずステップ６００１において、デジタルカメラの撮像素子が所定の周期で画像データを生成する。ステップ６００２において、所定の周期で連続して生成される画像データに対して所定の形状認識アルゴリズムを実行する。

図７は、形状認識のアルゴリズムである。
特に図示しないメインスイッチが操作されると、当該デジタルカメラの動作を実行するプログラムがマイコン等の内蔵回路で実行され、撮像素子等の各種デバイスが起動してスタートとなる。
ステップ７００１において、撮像素子が生成する画像データの取得が、所定の周期で行われる。

次に、ステップ７００２において、取得した画像データから手指の形状の検出が行われる。手指の形状の検出は、肌色のパターンマッチング、エッジの切り出し等公知の解析方法を適宜採用して行う。尚、手指の形状の検出は、所定の時間内に生成される複数の画像を解析して、複数の解析結果を相互に補完するステップを含む。
ここで手指の形状の有無が判断され、なければリターンとなり、あると判断されるとステップ７００３へ進む。

ステップ７００３では、デジタルカメラのメモリに予め登録されたキューサインの認識が行われる。認識に成功するとステップ7004に進み、キューサインの認識成立となる。成功しない場合、キューサインがないと判断されてリターンとなる。
ここで、キューサインの認識は、以下のようなステップを実行することによる。
検出された手指の形状の特徴である欠損部、伸ばした指先の端点そして該形状の重心を抽出するステップ、この重心と各端点との画像上の距離で測定して相対的距離を抽出するステップ、メモリ内に格納されたキューサインのバイオメトリクスと比較するステップである。この比較で予め設定した一致の範囲にある場合、キューサインの認識が成立する。
尚、手指の形状の検出は、所定の時間内に生成される複数のスルー画像を解析して、複数の解析結果を相互に補完するステップを含む。

図８は、デジタルカメラのメモリに格納されたバイオメトリクスのデータ構造を示した図である。
キューサインの名称８００１、バイオメトリクス８００２という大構造である。バイオメトリクスは、手指の形状モデル８００３と形状の特徴８００４とから構成されている。
ここで、右手パーのキューサインのための比較に用いる形状の特徴は、８００５に示す4つの欠損部（k1,k2,k3,k4）があること、８００６に示す5つの指先の端点（T1,T2,T3,T4,T5）があること、８００７に示す重心Ｇから各端点までを画像上で計測した相対距離（L1，Ｌ2，Ｌ3，L４,L５）が所定の関係にあること、８００８に示す親指に該当するL1が他の相対距離に比べて最も短いことを採用する。
5つの相対距離の関係のとして、L2からL5までが略同一であることを採用する。
尚、ここで示した比較に用いる形状の特徴は、欠損部、端点そして端点の位置関係を示す特徴であれば、本実施例の特徴に限定されることなく適宜採用可能である。相対距離（Ｌｘ）の計測は重心からの距離の計測に限られるものではなく、適当に選択した形状に固有な特異点からの距離の計測であればよい。また、端点の位置関係を示す特徴として、端点を結んで得られる直線同士の角度を計測し、形状の特徴８００４に含むものとしてもよい。すなわち、形状モデル８００３において、線分T1T2と線分T2T3とが作る角度、線分T2T3と線分T3T4とが作る角度、あるいは線分T3T4と線分T4T5とが作る角度といった角度である。
ここで、サインの形状についての表現やモデルは、採用する形状認識アルゴリズムに応じて適宜決められるものであり、本発明のサイン形状の登録はこれらの図に示した輪郭図形に限られるものではない。

図６のアルゴリズムに戻る。
形状認識においてパーがサインとして抽出されると、ステップ６００３において、その後の形状認識においてパーサインが認識されなくなるタイミングで撮影が開始される。続いて、ステップ６００４において、撮影中であることを示す撮影フラグがオンとなり、デジタルカメラのメモリ部の所定の場所に適宜参照可能に記憶される。
そして、リターンとなり、新たに生成される画像データの形状認識を繰り返す。
ここでパーサインが認識されなくなるタイミングで撮影が開始される方式を採用したが、最初の認識後、所定の待機時間（例えば、3秒）経過後に撮影開始となる方式であってもよい。いずれの方式であっても、サインを出す動作そのものではなく、サイン後に行われている作業・動作にフォーカスして撮影することができる。

形状認識において両手パーがサインとして抽出されると、ステップ６００５において、撮影フラグの参照がなされる。フラグがオンであれば、ステップ６００６において、撮影終了となる。撮影フラグがオフの場合、終了すべき撮影自体がないので、そのままリターンとなり、新たに生成される画像データの形状認識を繰り返す。

形状認識においてサインが抽出されない場合、ステップ６００７において、動きの有無を検出する動作認識が行われる。
ここで動作認識は、連続的に生成される画像データの差分が一定範囲内に収まるか否かを判断することにより行われる。ただし、本発明の動作認識はこの認識アルゴリズムに限られるものではなく、公知の動き検知アルゴリズムを適宜採用可能である。

動きがある場合は、撮影中あるいは待機中のいずれかであり、そのままリターンとなって、新たに生成される画像データの形状認識を繰り返す。

動きがない場合は、ステップ６００８において撮影フラグが参照される。フラグがオフであれば、待機中であるので、リターンとなって、新たに生成される画像データの形状認識を繰り返す。
フラグがオンの場合、動きのない画像データを取り続けても記録の価値のない撮影となってしまうので、メモリ等のリソースの浪費を減らすため、ステップ６００９において、撮影終了となる。

以上が、本発明の実施例１に係るレリーズ装置である。
なお、本実施例において説明したレリーズ装置の制御方法を実行するプログラムをネットワーク上の適当な住所に設定したサーバ装置から、ネット接続したデジタルカメラ内蔵の情報端末にダウンロードして、本発明のレリーズ装置をダウンロード先の情報端末において実現させる実施方法も有効である。

実施例２は、情報機器に内蔵されたデジタルカメラの撮影エリアに複数の人物がいる場合において、画像データに複数のキューサインが認識された後の解析で該キューサインが認識されなくなったタイミングで、画像データの記録を開始させる集合撮影モードを有するレリーズ装置である。
以下、図面を参照しながら、その動作を説明する。
尚、上記レリーズ装置は、予め組み込まれたファームウエア等のレリーズ制御プログラムをマイコン等のプロセッサーで実行し、デジタルカメラ内蔵情報機器を構成する各種デバイスと協働することにより実現される。また、これらのプログラムは、コンピュータで読み取り可能な記録媒体に記録され、当該プロセッサーによって記録媒体から読み出され、システムのユーザが操作すること又はデジタルカメラ内蔵情報機器を構成するデバイスからの信号を受信することによって実行される。

図９は、本実施例のレリーズ装置の動作を示したフローチャートである。
先ずステップ９００１において、デジタルカメラの撮像素子が所定の周期で生成する画像データを取得する。ステップ９００２において、所定の周期で連続して生成される画像データに対して実施例１で示したのと同様のサイン認識を実行し、画像データ内に存在するサインの認識処理をおこなう。

ステップ９００３において、認識されたキューサインのカウントが行われる。認識したサインのカウント数は特に図示しないメモリに一時保存される。
図１０は、撮影エリアにいる複数の人物を示したイメージ図である。この状態では、２つのサインがカウントされる。

上記キューサインの認識とカウントは、所定の周期で繰り返されていく。
図１１は、最大数のパーサインを示している様子を示したイメージ図である。さらに図１２は、全員が何のサインも示していない状態で一致している様子を示したイメージ図である。
本実施例では、予めパーの形状を撮影のキューサインとしてカウントする。連続してメモリに保存されるカウント数を監視して、カウント数が最大を示した後減少していることが検知され、さらにカウント数が０になったタイミングで、ステップ９００４に進む。ステップ９００４では、撮影開始の実行命令信号がデジタルカメラのデータバスを介して撮影に係る各種デバイスに発信され、撮影が開始される。

ここでパーサインが全員の認識されなくなるタイミングで撮影が開始される方式を採用したが、最大数のキューサインを観察した後、所定の待機時間（例えば、3秒）経過後に撮影開始となる方式であってもよい。いずれの方式であっても、サインを出す動作そのものではなく、サイン後の撮影のために全員がポーズや作業・動作をしている姿にフォーカスして撮影することができる。

上記では、集合写真を撮影する場合を想定した動作で、１回もしくは所定の回数撮影で自動的に終了する方式を採用しているが、本願発明はこれに限られるものではなく、撮影開始後自動撮影を継続する方式として、所定のサインの全員一致が認識されると、終了する方式を採用することも可能である。あるいは、撮影開始後の動作を認識して、動きが止まる方式を採用することも可能である。

以上が、本発明の実施例２に係るレリーズ装置である。
なお、本実施例において説明したレリーズ装置の制御方法を実行するプログラムをネットワーク上の適当な住所に設定したサーバ装置から、ネット接続したデジタルカメラ内蔵の情報端末にダウンロードして、本発明のレリーズ装置をダウンロード先の情報端末において実現させる実施方法も有効である。

本発明の装置、方法そしてプログラムは、単体としてのデジタルカメラ及び様々な情報端末に内蔵されたデジタルカメラによる撮影記録を容易するものである。特に撮影者自身の作業を記録する場合に有効であり、無駄な撮影や手ぶれによる画像の乱れを自動的に防止することができる。
特に、今後も増え続けると予想されるスマートフォンやタブレット型情報端末に利用され、情報機器産業の発展に大いに寄与すると考えられる。

１００１ 作業台
１００２ 撮影エリア
１００４ デジタルカメラ内蔵情報端末
１００６ キューサインを示す手の形状

Claims (11)

1. １）制御対象とするデジタルカメラの撮像素子が連続して生成する画像データを所定の周期で取得して、
   予めキューサインとして手指で作る５本の指を全て開いた形状の選択をし、該形状を形成する手指のバイオメトリクスとして、伸ばした指の間に形成される４つの欠損部、凸部に当たる５つの伸ばした指先の端点、該端点の位置関係、そして５本の指を全て開いた形状における伸ばした親指の端点の特徴を含むデータを用意し、
   前記撮像素子が連続して生成する画像データを所定の周期で解析して手指の形状を検出し、
   該形状において、伸ばした指の間に形成される欠損部、凸部に当たる伸ばした指先の端点、該端点の位置関係、そして親指の指先の端点の特徴を検出し、前記データに含まれるバイオメトリクスと比較して、前記キューサインの認識をするサイン認識手段と、
   ２）前記キューサインが最初に認識された後の前記解析で該キューサインが認識されなくなったタイミングで、前記画像データの記録を開始させる撮影開始手段とを、
   構成要素に含むレリーズ制御装置。
2. １）制御対象とするデジタルカメラの撮像素子が連続して生成する画像データを所定の周期で取得して、
   予めキューサインとして手指で作る５本の指を全て開いた形状を選択し、該形状を形成する手指のバイオメトリクスとして、伸ばした指の間に形成される４つの欠損部、凸部に当たる５つの伸ばした指先の端点、該端点の位置関係、そして５本の指を全て開いた形状における伸ばした親指の端点の特徴を含むデータを用意し、
   前記撮像素子が連続して生成する画像データを所定の周期で解析して手指の形状を検出し、
   該形状において、伸ばした指の間に形成される欠損部、凸部に当たる伸ばした指先の端点、該端点の位置関係、そして親指の指先の端点の特徴を検出し、前記データに含まれるバイオメトリクスと比較して、前記キューサインの認識をするサイン認識手段と、
   ２）前記キューサインが最初に認識された後であって、所定の待機時間が経過したタイミングで、前記画像データの記録を開始させる撮影開始手段とを、
   構成要素に含むレリーズ制御装置。
3. １）制御対象とするデジタルカメラの撮像素子が連続して生成する画像データを所定の周期で取得して、
   予めキューサインとして手指で作る５本の指を全て開いた形状の選択をし、該形状を形成する手指のバイオメトリクスとして、伸ばした指の間に形成される４つの欠損部、凸部に当たる５つの伸ばした指先の端点、該端点の位置関係、そして親指の指先の端点の特徴を含むデータを用意し、
   前記撮像素子が連続して生成する画像データを所定の周期で解析して手指の形状を検出し、
   該形状において、伸ばした指の間に形成される欠損部、凸部に当たる伸ばした指先の端点、該端点の位置関係、そして５本の指を全て開いた形状における伸ばした親指の端点の特徴を検出し、前記データに含まれるバイオメトリクスと比較して、前記キューサインの認識をするサイン認識手段と、
   ２）複数の人物が前記デジタルカメラの撮影エリアの存在している場合において、前記キューサインが認識された後、該キューサインのカウント数を監視して、カウント数が最大を示した後減少していることが検知され、さらにカウント数が０になったタイミングで、前記画像データの記録を開始させる撮影開始手段とを、
   構成要素に含むレリーズ制御装置。
4. 前記端点の位置関係は前記選択した形状の重心から各端点までを画像上で計測した相対距離であって、前記親指の指先の端点の特徴は該重心から親指に該当する端点までの相対距離が他の相対距離に比べて最も短いことであることを特徴とする請求項１乃至３のいずれかに記載の装置。
5. 前記端点の位置関係は、親指の端点と人差し指の端点を結んだ線分と人差し指の端点と中指の端点を結んだ端点を結んだ線分とが作る角度、人差し指の端点と中指の端点を結んだ端点を結んだ線分と中指の端点と薬指の端点を結んだ線分とが作る角度、中指の端点と薬指の端点を結んだ線分と薬指の端点と小指の端点を結んだ線分とが作る角度であることを特徴とする請求項１乃至３のいずれかに記載の装置。
6. １）制御対象とするデジタルカメラの撮像素子が連続して生成する画像データを受信するステップと、
   ２）予めキューサインとして手指で作る５本の指を全て開いた形状を選択し、該形状を形成する手指のバイオメトリクスとして、伸ばした指の間に形成される４つの欠損部、凸部に当たる５つの伸ばした指先の端点、該端点の位置関係、そして５本の指を全て開いた形状における伸ばした親指の端点の特徴を含むデータを用意し、
   前記撮像素子が連続して生成する画像データを所定の周期で解析して手指の形状を検出し、
   該形状において、伸ばした指の間に形成される欠損部、凸部に当たる伸ばした指先の端点、該端点の位置関係、そして親指の指先の端点の特徴を検出し、前記データに含まれるバイオメトリクスと比較して、前記キューサインの認識をするステップと、
   ３）前記キューサインが最初に認識された後の前記解析で該キューサインが認識されなくなった場合に、前記画像データの記録を開始させるステップとを、
   実行することによるレリーズ制御方法。
7. １）制御対象とするデジタルカメラの撮像素子が連続して生成する画像データを受信するステップと、
   ２）予めキューサインとして手指で作る５本の指を全て開いた形状を選択し、該形状を形成する手指のバイオメトリクスとして、伸ばした指の間に形成される４つの欠損部、凸部に当たる５つの伸ばした指先の端点、該端点の位置関係、そして５本の指を全て開いた形状における伸ばした親指の端点の特徴を含むデータを用意し、
   前記撮像素子が連続して生成する画像データを所定の周期で解析して手指の形状を検出し、
   該形状において、伸ばした指の間に形成される欠損部、凸部に当たる伸ばした指先の端点、該端点の位置関係、そして親指の指先の端点の特徴を検出し、前記データに含まれるバイオメトリクスと比較して、前記キューサインの認識をするステップと、
   ３）前記キューサインが最初に認識された後であって、所定の待機時間が経過した場合に、前記画像データの記録を開始させるステップとを、
   実行することによるレリーズ制御方法。
8. １）制御対象とするデジタルカメラの撮像素子が連続して生成する画像データを受信するステップと、
   ２）予めキューサインとして手指で作る５本の指を全て開いた形状を選択し、該形状を形成する手指のバイオメトリクスとして、伸ばした指の間に形成される４つの欠損部、凸部に当たる５つの伸ばした指先の端点、該端点の位置関係、そして親指の端点の特徴を含むデータを用意し、
   前記撮像素子が連続して生成する画像データを所定の周期で解析して手指の形状を検出し、
   該形状において、伸ばした指の間に形成される欠損部、凸部に当たる伸ばした指先の端点、該端点の位置関係、そして５本の指を全て開いた形状における伸ばした親指の端点の特徴を検出し、前記データに含まれるバイオメトリクスと比較して、前記キューサインの認識をするステップと、
   ３）複数の人物が前記デジタルカメラの撮影エリアの存在している場合において、前記キューサインが認識された後、該キューサインのカウント数を監視して、カウント数が最大を示した後減少していることが検知され、さらにカウント数が０になったタイミングで、前記画像データの記録を開始させる撮影開始ステップとを、
   実行することによるレリーズ制御方法。
9. 前記端点の位置関係は前記選択した形状の重心から各端点までを画像上で計測した相対距離であって、前記親指の指先の端点の特徴は該重心から親指に該当する端点までの相対距離が他の相対距離に比べて最も短いことであることを特徴とする請求項６乃至８のいずれかに記載のレリーズ制御方法。
10. 前記端点の位置関係は、親指の端点と人差し指の端点を結んだ線分と人差し指の端点と中指の端点を結んだ端点を結んだ線分とが作る角度、人差し指の端点と中指の端点を結んだ端点を結んだ線分と中指の端点と薬指の端点を結んだ線分とが作る角度、中指の端点と薬指の端点を結んだ線分と薬指の端点と小指の端点を結んだ線分とが作る角度であることを特徴とする請求項６乃至８のいずれかに記載のレリーズ制御方法。
11. 請求項６乃至１０のいずれかに記載のレリーズ制御方法を実行するプログラム。