JP2015082823A - 撮影制御装置、撮影制御方法およびプログラム - Google Patents

Abstract

【課題】ユーザの周囲環境をユーザにとって有意な画像の検出により効率良く自動撮影する。ログとしてユーザの周囲を一定間隔毎に撮影する方法は、バッテリーの消費量が大きい。
【解決手段】ユーザの向いている方向と、撮影対象が位置する方向とに基づいてユーザの向いている方向を撮影して撮影画像を取得する。また撮影画像を解析して得られた結果に基づいて撮影対象が位置する方向を設定する。
【選択図】図３

Description

本発明はユーザの周囲環境を効率良く自動撮影するのに適した撮影制御装置、撮影制御方法およびプログラムに関する。

近年、ライフログ・カメラとしてＳｅｎｓｅＣａｍ技術（非特許文献１）をベースにしたカメラが開発されている。ＳｅｎｓｅＣａｍ技術をベースにしたカメラとして、ユーザの前方を所定時間間隔毎に継続して撮影することで、ユーザの視界を長時間に渡って記録するものがある。また、各種センサ（温度センサ、照度センサ、加速度センサ、地磁気センサ、色センサなど）によって、外界の変化が検出されたときにのみ自動撮影するものや、外界の明暗に応じて自動撮影を抑制するものがある。

また、デジタルカメラやカメラ付き携帯端末に地磁気センサ、ジャイロセンサ及び加速度センサなどの各種センサを備えることで、ユーザが意図的にシャッターボタンを押下しなくても撮影が可能になる撮影方法が知られている。例えば、特許文献１では、ユーザが予め撮影する方向を携帯端末に記憶させておくことで、携帯端末は記憶された方向と同一方向になったときに撮影する技術が開示されている。また、特許文献２では、ユーザが撮影する場所・方向・順番をカメラに予め設定しておくことで、カメラが設定された場所、方向及び順番に従って撮影する技術が開示されている。

特開２０１３−８５０４８号公報 特開２０１３−５５５０８号公報

Microsoft Research/SenseCam, [online]、[平成２５年１０月２日検索]、インターネット＜ＵＲＬ：http://research.microsoft.com/en-us/um/cambridge/projects/sensecam/ ＞

しかしながら、ユーザの周囲環境を効率良く自動撮影するのに適した技術が存在しない。例えば、非特許文献１の技術によれば、ユーザの前方を継続して自動撮影することができる。しかし、この技術は所定の時間間隔で継続して自動撮影を行うので、撮影間隔が短くなるほどバッテリーの消費量が大きくなってしまう。また、外界の変化が検出されたときに自動撮影することで撮影の量を減らすものがあるが、撮影画像に撮影すべき対象が含まれているかまでは分からず、意味の無いものを撮影してしまうことがある。逆に、ホワイトボードの書き込み内容が更新された場合などのように外界の変化の少ないものでは、変化が検出されずに撮り逃しが発生する可能性がある。

また、例えば特許文献１及び特許文献２に開示されている技術によれば、予めユーザが設定した撮影方向にカメラが向いた場合に自動的に撮影することができる。しかし、これらの技術はユーザが明示的に撮影したい方向を設定する必要があり、撮影する方向を自動で設定することができない。

本発明にかかる撮影制御装置は、ユーザの向いている方向と、撮影対象が位置する方向とに基づいてユーザの向いている方向を撮影して撮影画像を取得する撮影手段と、前記撮影画像を解析して得られた結果に基づいて撮影対象が位置する方向を設定する設定手段とを有することを特徴とする。

本発明によれば、ユーザの周囲環境を効率良く自動撮影することができる。

撮影制御装置をユーザが装着して利用するイメージ図である。 撮影制御装置のハードブロック図である。 撮影制御装置のソフトウェアブロック図である。 撮影対象を撮影条件に基づいて撮影する処理のフローチャートである。 第１の実施例で説明する撮影条件の例である。 第１の実施例で説明する撮影処理のフローチャートである。 第１の実施例で説明する矩形領域を撮影条件に設定する例である。 第２の実施例で説明する撮影処理のフローチャートである。 第２の実施例で説明する撮影条件の例である。 第３の実施例で説明する撮影処理のフローチャートである。 第４の実施例で説明する撮影処理のフローチャートである。 第４の実施例で説明するマーカー検出時の撮影条件の例である。 第５の実施例で説明する相対位置算出時の撮影する処理のフローチャートである。 第６の実施例で説明する撮影処理のフローチャートである。 第６の実施例で説明する撮影条件の例である。 第６の実施例で説明する撮影対象を撮影条件に基づいて撮影する処理のフローチャートである。 第７の実施例で説明する撮影処理のフローチャートである。

以下、本発明を実施するための形態について図面を用いて説明する。ただし、この実施の形態に記載されている構成要素はあくまで例示であり、この発明の範囲をそれらのみに限定する趣旨のものではない。

＜第１の実施例＞
以下、本発明の第１の実施例について図面を用いて説明する。図１〜図３で示される撮影制御装置１００は、オフィスにいるユーザが装着しており、ユーザが電源をオフにしない限り、常時電源がオンされている状態とする。

図１は、本実施例に係る撮影制御装置１００をユーザが頭部に装着して利用するイメージ図である。撮影制御装置１００の一例としては、ユーザの頭部に装着するメガネ型の装置が挙げられる。ユーザは図１のようなメガネ型の撮影制御装置１００を実際のメガネのように頭に装着することが可能である。また、撮影制御装置１００に備えられたカメラモジュール１０２により、ユーザの向いている方向を撮影することができる。なお、本実施例ではメガネ型の撮影制御装置１００としているが、ユーザの向いている方向を撮影できるカメラモジュールの撮影を制御する装置であればいずれの形態でもよい。例えば、メガネ型に限らずユーザの首にかける、あるいは、胸元に装着して前方を撮影するような形態でもよい。また、カメラモジュールと無線通信を行うような撮影制御装置であれば、撮影制御装置自体は上述したような装着型の装置でなくてもよい。

本実施例ではユーザがオフィスにいることを想定し、追跡して撮影する対象物としてホワイトボードのような平面的な矩形の物体を想定する。また、以降の説明において、ユーザの向いている方向（すなわちユーザが見ている方向）と撮影制御装置１００の向いている方向（すなわちカメラモジュール１０２のレンズの向いている方向）は同じであるとする。

図２は、図１における撮影制御装置１００のハードウェアの構成例を示すブロック図である。撮影制御装置１００は、ＣＰＵ１０１、カメラモジュール１０２、ネットワークモジュール１０３、ＲＯＭ１０４、入力モジュール１０５、ＲＡＭ１０６、表示モジュール１０７、記憶装置１０８を有する。また撮影制御装置１００は、ジャイロセンサ１０９、加速度センサ１１０、方位センサ１１１、タイマー１１２を有する。各要素はシステムバス１１３で接続される。また、バッテリー１１４によって各部へ電力が供給される。

ＣＰＵ１０１は撮影制御装置全般を制御し、後述するプログラムを実行するためのユニットである。ＲＯＭ１０４は起動時の制御に用いられるブートローダプログラム及び撮影制御プログラムを格納する。ＲＡＭ１０６は揮発性メモリであり、高速アクセスが可能なため、ＲＯＭ１０４に記憶されている情報や一時的に使用する情報はここに格納される。撮影制御装置１００の電源投入時には、ＣＰＵ１０１がＲＯＭ１０４に格納されているブートローダプログラムを読み出して実行し、ＲＯＭ１０４に格納されている撮影制御プログラムを取り出し、ＲＡＭ１０６に格納する。そして、ＣＰＵ１０１がＲＡＭ１０６に格納されている撮影制御プログラムを実行し、撮影制御装置１００の備える各機能を実行する。

カメラモジュール１０２は、レンズやＣＣＤ、ＣＭＯＳと呼ばれる撮像素子などの周知の部品から成り、撮像画像をデジタル画像に変換する。本実施例ではカメラモジュール１０２の画角を水平方向６０度、垂直方向３０度とする。ただし、本発明では、これに限らずどんな画角のものでも実施できる。

ネットワークモジュール１０３は、ネットワーク９０００を介して接続している各種サーバーやパーソナルコンピュータなどの機器とデータの送受信を行う。ネットワークモジュール１０３により、カメラモジュール１０２で撮影した画像データをパーソナルコンピュータ・サーバー等に送信して、これらの装置に保存することができる。なお、カメラモジュール１０２が撮影制御装置から分離されるような構成を採用した場合、ネットワークモジュール１０３はカメラモジュール１０２とデータの送受信を行う構成としてもよい。

入力モジュール１０５は、撮影制御装置１００を装着するユーザが該装置を操作するために使われる。入力モジュール１０５は、ボタンやタッチパネルなどの周知のＵＩ部品から成り、ユーザは入力モジュール１０５を使って撮影制御装置１００の電源オン・オフを含む各種操作を行うことができる。

表示モジュール１０７は、ＬＥＤや液晶パネルなどの周知の表示部品から成り、ＬＥＤの発光や文字の表示によってユーザが撮影制御装置１００の状態を確認することができる。

記憶装置１０８は、カメラモジュール１０２で撮影した画像や各種設定データの保存場所として使用される。また、プログラムが実行処理した結果データの保存場所としても使用することができる。

ジャイロセンサ１０９は、撮影制御装置１００の角速度を出力することが可能である。ジャイロセンサ１０９は、出力された角速度を積算することで、基準方向からの相対的な角度を算出することができる。角度は、一般的にピッチ（Ｐｉｔｃｈ）、ヨー（Ｙａｗ）、ロール（Ｒｏｌｌ）として表され、ピッチ、ヨー、ロール表現によって撮影制御装置１００の傾きを回転角度として表すことができる。尚、ジャイロセンサ１０９はコリオリの力を利用した方式の半導体素子等が公知であるが、本発明はこれに限らず任意の方式を用いて実施できる。

加速度センサ１１０は、撮影制御装置１００の加速度を出力することが可能である。出力される加速度の値により、撮影制御装置１００の鉛直方向が分かる。尚、加速度センサ１１０には半導体のチップ内に可動部分があり、外から加わる加速度によって、可動部分のフィンが移動し、非可動部分のフィンとの間隔が変化して、静電容量が変化する。また、加速度センサ１１０はピエゾ抵抗型や熱検知型等が公知であるが、本発明はこれら公知の任意の方式を用いて実施できる。

方位センサ１１１は、地磁気によって東西南北の方角を計測することが可能であり、計測した情報をデジタル情報に変換する。方位センサ１１１によって、物理空間上で東西南北のどの方向に撮影制御装置１００が向いているかを把握できる。

上記のジャイロセンサ１０９及び加速度センサ１１０の出力値を信号処理することによって、ユーザの歩行動作を検出することが可能である。具体的には、ユーザの歩行時のジャイロセンサ１０９及び加速度センサ１１０の出力値の周期性と振幅とを利用して歩行動作を検出する。また、ジャイロセンサ１０９、加速度センサ１１０及び方位センサ１１１を組み合わせることで、撮影制御装置１００のある位置からの相対位置を算出することができる。ユーザの歩行動作及び相対位置の検出処理については、公知の技術（例えば特開２０１２−１４５４５７号公報参照）であるため、ここでの説明は割愛する。

タイマー１１２は、クロックジェネレータによって出力されるデータを信号処理することにより現在時刻を計測する。

図３は、撮影制御装置１００のソフトウェアモジュールのブロック図である。プログラム３００はＲＯＭ１０４ないしＲＡＭ１０６に格納され、本実施例で説明する処理を実現する為にＣＰＵ１０１で実行されるプログラムである。

撮影制御部３０１は、カメラモジュール１０２を制御して、撮影指示及び撮影画像データの受信処理を行う。具体的には、後述の撮影判定部３０７の判定に従ってカメラモジュール１０２に撮影指示を行い、そのとき撮影された画像データを受信する。本実施例では、撮影制御部３０１は、受信した画像データの幾何補正や色調整などの前処理も行うものとする。

撮影対象判定部３０２は、撮影画像データの中に追跡して撮影する対象があるか否かを画像処理によって判定する。本実施例では、撮影対象判定部３０２は、撮影画像データからホワイトボードなどの矩形領域（すなわち矩形の面）を検出し、矩形領域が検出された場合に、その矩形領域を撮影対象と判定する。矩形領域は、例えばオフィスなどでユーザが画像として記録したいものの代表であるからである。例えば、ホワイトボードでの作業記録、プレゼン資料を表示しているプロジェクタの投影、資料を表示しているモニタ画面、ノートの手記、配布資料など、記録しておきたいものは矩形領域として特定できる。そこで、本実施例では、矩形領域を撮影対象と判定する。ただし、矩形領域を全て対象とすると、ユーザにとって有意とは言えない壁の模様や扉などの周囲の矩形領域全てが追跡して撮影する対象となってしまう。そのため、撮影対象と判定される矩形領域は、例えば４：３、１６：９などの所定の縦横比に近似のもの（例えば、算出された縦横比がそれぞれ所定の縦横比の１０%以内に収まる程度のもの）、かつ、所定の大きさ以上のものとする。ここでいう所定の大きさは、撮影画像のピクセル数で計測できる。矩形領域の検出は、撮影画像中のエッジ線分をハフ変換によって抽出し、抽出されたエッジ線分の集合から縦線２本と横線２本を組み合わせて四角枠（すなわち矩形領域の枠）を生成することによって行われる。矩形領域の縦横比は、生成された四角枠から既知の数式によって数値的に求めることができる。尚、矩形領域の検出及び縦横比の算出は公知の技術（例えば特開２０１２−２３８０９８号公報を参照）であるため、より詳細な説明は割愛する。

画像記録部３０３は、撮影対象判定部３０２で撮影する対象となった矩形領域を抜き出し、ユーザが後で見やすいように台形補正した上で記録する。台形補正については公知の技術であるため、ここでの詳細な説明は割愛する。尚、ここでは矩形領域を抜き出すこととするが、撮影対象を含む撮影画像そのものを記録するようにしてもよい。

画像保持部３０４は、画像記録部３０３で記録された撮影画像を記憶装置１０８に保持する。

撮影条件設定部３０５は、ある方向を次に撮影するか否かを判定するための撮影条件を設定する。具体的には、撮影対象判定部３０２により撮影対象と判定された矩形領域がある場合には、撮影制御装置１００の方向にもとづいて矩形領域の左右上下の端の方向を角度で算出し、矩形領域の中心方向を設定する。撮影対象判定部３０２により撮影対象が無いと判定された場合には、撮影制御装置１００の方向とカメラの画角とにもとづいて、矩形領域の無い範囲を左右上下の端の角度として設定する。また、設定した時刻も同時に設定する。撮影条件設定の例については図６、図７を用いて後述するので、ここでのより詳細な説明は割愛する。

撮影条件保持部３０６は、撮影条件設定部３０５で設定された撮影条件の設定データを記憶装置１０８に保持する。

撮影判定部３０７は、撮影条件保持部３０６で保持されている撮影条件と方向検出部３０８で検出した現在の方向とタイマー１１２の出力する現在時刻とにもとづいて、撮影するか否かを判定する。具体的には、撮影判定部３０７は、撮影条件から現在の方向が矩形領域の中心の方向であるかを判定する。現在の方向が矩形領域の中心の方向であり、かつ、所定時間が経過している場合には、撮影判定部３０７は撮影すると判定し、そうでなければ撮影しないと判定する。撮影判定については図４を用いて後述するため、ここでのより詳細な説明は割愛する。

方向検出部３０８は、方位センサ１１１、ジャイロセンサ１０９及び加速度センサ１１０の出力にもとづいて、撮影制御装置１００が現在向いている方向を検出する。具体的には方位センサ１１１を用いてコンパスと同じ原理で地球の地磁気から東西南北の方向を計測する。ただし、屋内では建物の鉄筋等によって地磁気の信頼性が低くなることがある。そのため、方位センサ１１１の信頼性が低いと判断された場合は、加速度センサ１１０及びジャイロセンサ１０９の出力値から鉛直成分と水平成分を抽出し、基準とする方向に対する相対的な水平角を算出する。ジャイロセンサ１０９及び加速度センサ１１０による水平角、仰俯角の算出方法は公知の技術（例えば特開２０１２−１４５４５７号公報参照）であるため、これ以上のより詳細な説明は割愛する。尚、以降の説明では簡単のため、ヨー軸を天頂方向（鉛直の反対方向）の軸、ロール軸をユーザが直立して見ている水平方向の軸、ピッチ軸をロール軸から時計方向に９０度回転した水平方向の軸とする。また、ヨー軸周りの角度は北を０度、東を９０度、南を１８０度、西を２７０度とする０度〜３５９度で表し、軸の時計周りを正とする。ピッチ軸周りの角度は真上を９０度（すなわち仰角９０度）、水平を０度、真下を−９０度（すなわち俯角９０度）とする９０度〜−９０度で表し、軸の時計周りを正とする。ロール軸周りの角度はユーザが頭を傾けていない状態を０度、右に直角に傾けたときを９０度、左に直角に傾けたときを−９０度とする９０度〜−９０度で表し、軸の時計周りを正の回転方向とする。

歩行検出部３０９は、ジャイロセンサ１０９及び加速度センサ１１０によってユーザの歩行動作を検出する。ユーザが歩行しているか否かは、前述の方向検出部３０８の鉛直成分の振幅の大きさから求めることができる。また、人の歩行動作には各センサの鉛直成分及び水平成分に周期的な特徴が現れることが分かっており、この特徴と各センサ出力値とのパターンマッチングにより歩数を計測することができる。歩行動作の検出処理については公知の技術（例えば特開２０１２−１４５４５７号公報参照）であるため、より詳細な説明は割愛する。

画像比較部３１０は、画像保持部３０４に保持される複数画像の特徴点・特徴量を算出し、各画像の類似度を比較する。特徴点検出にはＤｏＧ（Difference Of Gaussian）と呼ばれる技術が一般的に用いられる。各特徴点の特徴量抽出はＳＩＦＴ（Scale-Invariant Feature Transform）やＳＵＲＦ（Speeded Up Robust Features）と呼ばれる画像処理技術が一般的に用いられる。特徴点・特徴量による画像比較については公知の技術であるため、ここでのより詳細な説明は割愛する。画像比較部３１０を用いた例に関しては、実施例２で述べる。

表示出力部３１１は、画像比較部３１０の比較結果に応じて、表示モジュール１０７への表示出力を行う。表示出力部３１１を用いた例に関しては、実施例２で述べる。

入力判定部３１２は、入力モジュール１０５からのユーザの入力操作を判定する。例えば、入力モジュール１０５のボタンの１回押し（シングルプッシュ）、２回連続押し（ダブルプッシュ）、長押しなどを判定することができる。

位置算出部３１３は、ユーザのある地点に対する相対位置を算出する。ユーザのある地点に対する相対位置は、歩数とユーザの重力方向の加速度の大きさとから推測される歩幅から推測される移動速度と、ユーザの向いている方向と、にもとづいて算出する。ジャイロセンサ１０９、加速度センサ１１０及び方位センサ１１１からユーザの相対位置を算出する技術は公知の技術（例えば特開２０１２−１４５４５７号公報参照）であるため、より詳細な説明は割愛する。

次に、図４及び図５を用いて、撮影対象を撮影条件にもとづいて撮影する処理について説明する。図４は撮影条件にもとづいて撮影する処理のフローチャートである。図５は、撮影条件保持部３０６に保持される撮影条件の例である。

図４のフローチャートは、撮影制御装置１００のＲＯＭ１０４に格納されたプログラムをＣＰＵ１０１が実行することによって実現される。

ステップＳ４０１において方向検出部３０８は、ユーザの向いている方向を検出する。方向検出の詳細については、前述したためここでの説明は割愛する。

ステップＳ４０２において歩行検出部３０９は、ユーザの歩行を検出する。歩行検出の詳細については、前述したためここでの説明は割愛する。

ステップＳ４０３において歩行検出部３０９は、ステップＳ４０２の検出結果にもとづきユーザが歩行しているか否かを判定する。ここでは、２歩以上歩行していると判定されればステップＳ４０５へ進み、そうでなければステップＳ４０４へ進む。ここでは歩数を２歩以上としたが、本発明はこれに限らず任意の歩数に設定できる。

ステップＳ４０４において撮影条件設定部３０５は、撮影条件保持部３０６に保持されている撮影条件をクリアする。すなわち、ステップＳ４０３でユーザが歩行していると判定された場合に、撮影条件設定部３０５は撮影条件を消去する。本実施例では、撮影対象となる矩形領域の方向をユーザが向いているか否かで撮影条件を設定している。ユーザが歩行している場合には、撮影対象となる矩形領域の方向が変化してしまうので、ここではユーザが歩行していると判定された場合に、撮影条件設定部３０５は撮影条件保持部３０６に保持されている撮影条件を消去する。ステップＳ４０４で撮影条件をクリアした後、後述するステップＳ４１２に進む。

ステップＳ４０５において方向検出部３０８は、撮影制御装置１００のロール軸周りの角度が−１０度〜１０度以内か否かを判定する。角度が１０度〜１０度以内であればステップＳ４０６へ進み、そうでなければステップＳ４１２へ進む。ここで、−１０度〜１０度は任意に設定できる値であり、これに限らない。ロール軸周りの角度が−１０度〜１０度以内と判定するのは、ユーザの頭の傾きが小さい状態か否か判定して撮影を行うためである。本実施例では、頭の傾きをなるべく考慮しないで済むよう、例えばオフィスで頭を大きく傾けた状態では撮影しないように本ステップＳ４０５を用いて制御する。なお、後述する撮影条件においてロール軸を含めた設定を行い、ロール軸を用いた制御を行うようにしてもよい。その場合、本ステップＳ４０５は省略してもよい。

ステップＳ４０６において撮影判定部３０７は、撮影条件保持部３０６に保持されている撮影条件を読み込む。具体的には、撮影条件は図５に示すようなデータとして保持される。

ここで、図５のデータの見方を説明する。図５の撮影条件は、ユーザの周囲のどの方向に矩形領域（すなわち矩形の面）が存在するか、もしくは存在しないかを示している。すなわち、図５の撮影条件は、既に撮影済みの領域において矩形領域（すなわち矩形の面）が存在するか、もしくは存在しないかを示している。ＩＤ列は、各行を一意に特定するための番号である。矩形有無列は、矩形領域の存在があるか否かを示している。矩形中心方向は、ユーザから見た矩形領域の中心方向の角度を示している。矩形領域（左右上下端）列は、矩形領域の四角枠（すなわち矩形領域の枠）の左右上下の線分がどの方向にあるかを、ユーザから見た角度で示している。非矩形領域（左右上下端）列は、矩形が無いと判明している領域を、ユーザから見た領域の左右上下の端の角度で示している。更新時刻列は、各行を最後に更新した時刻を示している。

具体的には、ＩＤ０１の行は矩形領域が存在する方向を示しており、矩形領域の中心はヨー軸周りの１１５度方向、ピッチ軸周りの３．５度方向にあることが分かる。ＩＤ０１の矩形領域（左右上下端）列は、矩形の四角枠の左端の線分の中心点がヨー軸周りの１００度、右端の線分の中心点がヨー軸周りの１３０度であることを示している。また、上端の線分の四角枠中心から最も離れた点がピッチ軸周りの１０度、下端の線分の四角枠中心から最も離れた点がピッチ軸周りの−３度であることを示している。ここで、以降簡単のため矩形領域の範囲を矩形領域（１００度、１３０度、１０度、−３度）と表すこととする。ＩＤ０１を最後に更新した時刻は2013/8/1 9:30:00である。ＩＤ０２行は、ヨー軸周りの０度〜１００度、ピッチ軸周りの３０度〜−４０度の範囲に矩形領域が存在しないことを示している。ここで、以降簡単のため矩形領域の存在しない範囲を非矩形領域（０度、１００度、３０度、−４０度）と表すこととする。角度の具体的な算出方法については図６、図７で後述する。

ステップＳ４０７において撮影判定部３０７は、現在向いている方向の撮影領域（すなわちカメラモジュール１０２が撮影する範囲）に未撮影領域が含まれるか否かを判定する。未撮影領域は、例えば図５にある各撮影条件の矩形領域又は非矩形領域の各領域（すなわち撮影済の領域）を除く領域である。ステップＳ４０７で撮影判定部３０７は、未撮影領域が現在向いている方向の撮影領域に所定角度以上含まれるか否かを判定する。例えば、現在撮影制御装置１００が向いている方向がヨー軸周りの２５０度、ピッチ軸周りの０度とする。そのとき、カメラの画角から撮影領域はヨー軸周りの２２０度〜２８０度、ピッチ軸周りの１５度〜−１５度の範囲となる。以降簡単のためこの撮影領域を撮影領域（２２０度、２８０度、１５度、−１５度）と表す。現在向いている方向が撮影領域（２２０度、２８０度、１５度、−１５度）である場合、撮影領域は図５の撮影条件として設定されている領域に含まれない。すなわち、撮影済みの領域である矩形領域（１００度、１３０度、１０度、−３度）、非矩形領域（０度、１００度、３０度、−４０度）及び非矩形領域（１３０度、２００度、２０度、−３０度）のいずれにも含まれない。従って、撮影判定部３０７は、撮影領域に未撮影領域が含まれると判定し、ステップＳ４１０に処理を進める。

なお、撮影領域（１０度、７０度、１５度、−１５度）の場合には、撮影領域が非矩形領域（０度、１００度、３０度、−４０度）に含まれるので、撮影判定部３０７は撮影領域に未撮影領域が含まれないと判定し、ステップＳ４０８へ処理を進める。なお、撮影領域と撮影済みの領域とが重なっている場合には、未撮影領域がヨー軸周り又はピッチ軸周りで２０度以上含まれていれば、撮影判定部３０７は、未撮影領域が撮影領域に含まれると判定し、そうでなければ含まれないと判定する。ただし、ここでは２０度以上としたが、２０度に限らず任意の角度に設定することができる。

ステップＳ４０８において撮影判定部３０７は、最後に撮影した時刻から所定時間以上経過しているか否かを判定する。例えば該所定時間が１０秒の場合、最後に撮影した時刻から１０秒以上経過していればステップＳ４０９へ進み、そうでなければステップＳ４１２へ進む。所定時間は任意に設定できるものであり、１０秒に限るものではない。

ステップＳ４０９において撮影判定部３０７は、現在の向いている方向が撮影する方向であるか否かを判定する。すなわち、撮影判定部３０７は、現在向いている方向の撮影領域が矩形領域のある方向か又は非矩形領域のある方向かを判定する。例えば、図５の撮影条件のとき、現在の方向がヨー軸周り１１５度、ピッチ軸周り３．５度（以降簡単のため現在方向（１１５度、３．５度）と表す）である場合、現在の方向が矩形中心方向である。従って、撮影判定部３０７は、現在向いている方向は撮影する方向と判定してステップＳ４１１に進む。そうでなければステップＳ４１０に進む。ここで、各センサ値や手ブレなどの誤差を許容するため、現在の方向が矩形中心方向に対してヨー軸又はピッチ軸の各軸周りで±１０度以内であれば、撮影判定部３０７は撮影する方向として判定する。ここで、±１０度という数値はマージンとして任意に設定できる値であり、これに限るものではない。

ステップＳ４１０において撮影判定部３０７は、現在の時刻が、現在向いている撮影しない方向（すなわち非矩形領域と設定されている方向）に関連付けられている更新時刻から所定時間以上経過しているか否かを判定する。すなわち、その撮影しない方向を最後に撮影した時刻から所定時間以上経過しているか否かを判定する。つまり、撮影しない方向と認識している現在の方向に新たな矩形領域が現れていないかを確認するため、所定時間以上経過したときには、非矩形領域を向いていても撮影を行う。ここで、所定時間は３分であるとする。例えば、図５のＩＤ０３の非矩形領域の方向を向いているとき、現在時刻が2013/8/1 9:36:00とすると、ＩＤ０３の更新時刻から３分５０秒経過しているため、撮影判定部３０７は所定時間以上経過していると判定しステップＳ４１１へ進む。そうでなければステップＳ４１２へ進む。この場合、ＩＤ０３の更新時刻は現在の時刻2013/8/1 9:36:00で更新されることになる。なお、ここでは所定時間を３分であるとして説明したが、任意の値に設定することができ、３分に限られるものではない。

ステップＳ４１１において撮影制御部３０１は、撮影処理を行う。撮影処理の詳細は図６のフローチャートで説明するため、ここでの説明は割愛する。

ステップＳ４１２において入力判定部３１２は、撮影制御装置１００の終了が行われたか否かを判定する。具体的には、撮影制御装置の電源ボタンの長押しなどにより、電源がオフされたときには撮影制御処理を終了し、そうでなければステップＳ４０１へ戻る。

次に。図６、図７を用いて、撮影時に撮影条件を設定する処理について説明する。図６は、図４のステップＳ４１１における撮影処理のフローチャートの一例を示す図である。図７は、矩形領域を撮影条件に設定するイメージ図と撮影条件の例である。

図６のフローチャートは、撮影制御装置１００のＲＯＭ１０４に格納されたプログラムをＣＰＵ１０１が実行することによって実現される。

ステップＳ６０１において撮影制御部３０１は、現在向いている方向をカメラモジュール１０２を制御することで撮影する。例えば、ステップＳ６０１によって図７(a)の７０１もしくは図７(d)の７０２のような撮影画像を示すデータが取得できる。

ステップＳ６０２において撮影対象判定部３０２は、ステップＳ６０１で撮影された画像中の矩形を検出する。例えば、図７(b)の破線７０２で囲まれた枠が検出された矩形の枠である。矩形の検出方法については、図３の撮影対象判定部３０２の項で述べたため、ここでの説明は割愛する。

ステップＳ６０３において撮影対象判定部３０２は、ステップＳ６０２の矩形検出によって矩形が検出されたか否かを判定する。矩形が検出されたならばステップＳ６０４に進み、そうでなければステップＳ６０７へ進む。例えば、図７(b)のように破線７０２で囲まれた矩形が検出されたならばステップＳ６０４に進む。

ステップＳ６０４において撮影対象判定部３０２は、検出した矩形が所定の条件に合致するか否かを判定する。具体的には、矩形が所定の縦横比に収まっているか、所定の大きさ以上であるかを判定する。例えば、図７(b)の矩形を表す破線７０２が所定の条件に合致するか否かを判定する。詳細については図３の撮影対象判定部３０２の項で述べたため、ここでの説明は割愛する。所定の条件に合致していればステップＳ６０５へ進み、そうでなければステップＳ６０７へ進む。ここで、図７(b)の矩形は所定の条件に合致しているとする。

ステップＳ６０５において撮影条件設定部３０５は、ステップＳ６０２で検出した矩形領域を、追跡して撮影する矩形領域として撮影条件に設定する。例えば、図７(a)の矩形を撮影した画像から、撮影条件を図７(e)のＩＤ０１〜ＩＤ０５のように設定する。ＩＤ０２は、破線７０２で表される矩形の撮影条件である。ＩＤ０２の矩形領域（左右上下端）列は、図７(b)の破線７０２の左右上下の線分のユーザから見た方向を表わしている。具体的には、図７(b)の破線７０２の左右の線分の中心点がそれぞれ５２．５度（７０４）、７５度（７０５）と表され、上下の線分の矩形中心から最も遠い点がそれぞれ１３．１度（７０６）、−３．８度（７０７）と表される。また、図７(c)の網掛け領域（７０８〜７１１）はそれぞれＩＤ０１，ＩＤ０３〜ＩＤ０５に対応している。具体的には、網掛け領域７０８はＩＤ０１に対応する。網掛け領域７０９はＩＤ０３に対応する。網掛け領域７１０はＩＤ０４に対応する。網掛け領域７１１はＩＤ０５に対応する。網掛け領域７０８はヨー軸周りの３０度〜５２．５度、ピッチ軸周りの１５度〜−１５度に矩形が存在しないため、ＩＤ０１のように矩形無しとして非矩形領域（左右上下端）が前記の角度として設定される。ＩＤ０３〜ＩＤ０５もＩＤ０１と同様に設定される。

ステップＳ６０６で画像記録部３０３は、ステップＳ６０２で検出した矩形領域を台形補正した上で画像保持部３０４に記録・保持する。図３の画像記録部３０３の項で説明したように、台形補正については公知の技術であるため、ここでの詳細な説明は割愛する。また、ここでは矩形領域を抜き出して記録する例を説明しているが、撮影対象を含む撮影画像データそのものを記録するようにしてもよい。

ステップＳ６０７において撮影条件設定部３０５は、撮影した領域を、追跡して撮影しない領域として撮影条件に設定する。例えば、図７(d)は矩形が写っていないときの撮影画像の例である。このとき、前記撮影画像の方向を追跡して撮影しない領域として図７(e)のＩＤ０６のように撮影条件を設定する。具体的には、非矩形領域（左右上下端）をカメラの撮影範囲である１００度〜１６０度、１０度〜−２０度として設定する。

このように、第１の実施例では、例えば矩形を含む第１の領域が撮影領域となる第１の方向を自動で撮影し、さらに、第１の領域と重複しない領域であって矩形を含まない第２の領域が撮影領域となる第２の方向を自動で撮影する。その後に、カメラモジュール１０２を第１の方向に向けた場合にその第１の方向を自動で撮影する一方で、カメラモジュール１０２を第２の方向に向けた場合に第２の方向を撮影しないように制御する。また、カメラモジュール１０２を第１の方向及び第２の方向と重複しない第３の方向に向けた場合に第３の方向を自動で撮影するように制御する。

第1の実施例では、撮影条件から矩形領域や未知領域を撮影する処理、及び、撮影した画像と現在向いている方向から撮影条件を設定する例を示した。これにより、撮影条件に基づいて撮影対象が存在する方向を、消費電力が少ない各センサを活用して追跡して撮影することができるので、撮影回数を減らし、バッテリーの消耗を防ぐことができる。

＜第２の実施例＞
以下、本発明を実施するための第２の実施例について説明する。第１の実施例では、撮影した画像から矩形領域を検出し、検出した矩形領域を撮影対象として撮影条件を設定する例を示した。第２の実施例では、過去の矩形領域と現在の矩形領域との画像パターンマッチングを行い、変化が無い画像は追跡して撮影する対象の矩形領域から除外する例を示す。

以降、第１の実施例との差分を中心に説明する。図８、図９を用いて実施例２の撮影条件の設定方法について説明する。図８は、実施例２における撮影処理のフローチャートの一例を示す図である。図９は、実施例２における撮影条件の例である。図８のフローチャートは、撮影制御装置１００のＲＯＭ１０４に格納されたプログラムをＣＰＵ１０１が実行することによって実現される。

ステップＳ８０１〜Ｓ８０５、ステップＳ８１３及びステップＳ８１４は第１の実施例で説明した図６のステップＳ６０１〜Ｓ６０７と同様であるため、ここでは第１の実施例との差分を中心に説明する。

第１の実施例との差分は、ステップＳ８０６〜Ｓ８１２によって、現在の矩形領域と過去の矩形領域とのパターンマッチングにより変化の少ない矩形領域を検出し、検出した変化の少ない矩形領域を追跡して撮影するか否かをユーザに選択させるところである。これによって、変化の無い矩形領域をユーザに通知し、ユーザがボタン入力することで以降の撮影を除外することができる。また、図９は撮影禁止フラグ列以外は第１の実施例の図５と同様である。第１の実施例との差分は、ユーザのボタン入力により、撮影条件に撮影禁止フラグを設定できるところである。

ステップＳ８０６において撮影条件設定部３０５は、検出した矩形領域と同じ領域（すなわち図９の矩形領域（左右上下端）の角度で囲まれる範囲）に、過去に検出した矩形領域があるか否かを判定する。具体的には、新たに検出した矩形と、撮影条件に保持される過去の矩形領域の左右上下端の各角度の比較を行い、各値が±５度以内であれば、同じ矩形領域と判定する。±５度の値は任意に設定できるものであり、これに限るものではない。

ステップＳ８０７において撮影条件設定部３０５は、ステップＳ８０６で判定された過去に検出された矩形領域の撮影条件に関連付けられて画像保持部３０４に保持される矩形領域画像のうち、最も古い画像が６０秒以上前に保存されたものか否かを判定する。６０秒以上前に保存されたものであればステップＳ８０８へ進み、そうでなければステップＳ８１３へ進む。一定時間以上経過している場合、矩形領域に何かしらの変化がある場合、あるいは変化がない場合がはっきりしている可能性が高まる。また、常に後述のパターンマッチングを行うと効率が悪い。従って、本実施例では保存されている矩形領域画像が保存された時刻から所定の時間が経過している場合に後述するパターンマッチングを行う。なお、ここでは６０秒として説明したが、任意の値を用いてよい。また、ここでは比較対象を最も古い画像として説明するが、最も新しい画像と比較してもよい。

ステップＳ８０８において画像比較部３１０は、検出した矩形領域画像と過去に撮影した最も古い矩形領域画像のパターンマッチングを行い、一致率を算出する。画像のパターンマッチングについては、図３の画像比較部３１０の項で述べたため、ここでの説明は割愛する。

ステップＳ８０９において画像比較部３１０は、画像のパターンマッチングの一致率が所定の閾値以下であれば、変化があるとみなしてステップＳ８１３へ進み、そうでなければステップＳ８１０へ進む。例えば、一致率が９５％以上のときには変化が無いとみなし、ステップＳ８１０へ進む。一致率は、算出された特徴点数と各画像の一致した特徴点の割合から求めることができる。変化がある場合、その変化があった矩形を撮影するため、ステップＳ８１３に進み、矩形領域を撮影する領域として撮影条件に設定することになる。一方、変化がない場合、その矩形領域を引き続き撮影するのかをユーザに確認するため、ステップＳ８１０に進む。

ステップＳ８１０において表示出力部は、表示モジュール１０７（例えばＬＥＤ）を所定時間点滅させることで、矩形領域画像に変化が無いことをユーザに通知する。例えば、３秒間点滅させることでユーザに矩形領域画像に変化が無いことを通知する。

ステップＳ８１１において入力判定部３１２は、撮影制御装置１００へのユーザによる入力が、ＬＥＤ点滅開始から所定時間以内にあったか否かを判定する。例えば、ＬＥＤが点滅してから５秒以内にユーザによるダブルプッシュを検出した場合に所定の入力があったと判定し、ステップＳ８１３へ進む。そうでなければステップＳ８１２へ進む。

ステップＳ８１２において撮影条件設定部３０５は、ステップＳ８０２で検出した矩形領域の撮影条件に撮影禁止のフラグを設定する。具体的には、図９のＩＤ０１のように撮影禁止フラグがＯＮに設定される。これにより、ＩＤ０１は矩形領域であっても追跡して撮影する対象から外れる。撮影判定部３０７は、撮影禁止フラグがＯＮに設定されている場合、その矩形領域を撮影しないと判定する。

第２の実施例では、追跡して撮影している矩形領域の変化を画像のパターンマッチングにより検出し、変化の無い矩形領域がある場合にその領域を以後撮影しないようにユーザに選ばせる。これによって、変化の無い画像を継続して撮影することを停止するので、撮影の回数を減らすことができる。

＜第３の実施例＞
以下、本発明を実施するための第３の実施例について説明する。第１、第２の実施例では、条件に合う検出した矩形を全て追跡撮影するよう撮影条件に設定する例を示した。第３の実施例では、複数の矩形を検出した場合には、一番大きな矩形を選択して撮影条件に設定する例を示す。

以降、第１の実施例との差分を中心に説明する。図１０は、実施例３における撮影処理のフローチャートの一例である。図１０のフローチャートは、撮影制御装置１００のＲＯＭ１０４に格納されたプログラムをＣＰＵ１０１が実行することによって実現される。なお、ステップＳ１００１〜Ｓ１００４、ステップＳ１００７〜Ｓ１００８は第１の実施例で説明した図６のステップＳ６０１〜Ｓ６０７と同様であるのでここでの説明は省略する。

第１の実施例との差分は、ステップＳ１００５〜Ｓ１００６において撮影対象判定部３０２が、矩形が複数あった場合に、一番大きな矩形領域を抽出するところである。これによって、複数の矩形があった場合に一番大きな矩形領域を抽出するので、代表的な矩形領域のみを撮影・保存することができる。例えば、ホワイトボードを見ていたユーザが手元のＰＣの画面を見る場合、ＰＣの画面の背面でホワイトボードの矩形領域が抽出される場合が想定される。この場合、ユーザとしては、自身が着目している、より近い距離にありより大きな矩形領域として抽出されるＰＣの画面を撮影して保存すれば自動撮影の目的を達することができる。よって、本実施例では、矩形が複数あった場合に、一番大きな矩形領域を抽出する。

ステップＳ１００５において撮影対象判定部３０２は、ステップＳ１００４で判定された矩形領域が複数あるか否かを判定する。複数ある場合はステップＳ１００６へ進み、そうでなければステップＳ１００７へ進む。

ステップＳ１００６において撮影対象判定部３０２は、複数ある矩形の四角枠の長さを算出し、最も枠の長い矩形を一番大きな矩形領域として抽出する。

第３の実施例では、一番大きな代表的な矩形のみを撮影するよう設定する。これによって、付加的に検出される小さな矩形を除外するので、余分な撮影を減らすことができる。

＜第４の実施例＞
以下、本発明を実施するための第４の実施例について説明する。第１、第２、第３の実施例では、検出した矩形を撮影条件に設定する例を示した。第４の実施例では、撮影画像から予め用意したマーカーを検出したときの撮影条件設定方法について示す。

以降、第１の実施例との差分を中心に説明する。図１１、図１２を用いて実施例４の撮影条件の設定方法について説明する。図１１は、実施例４における撮影処理のフローチャートの一例である。図１２は、実施例４における撮影画像のイメージ図と撮影条件の例である。 図１１のフローチャートは、撮影制御装置１００のＲＯＭ１０４に格納されたプログラムをＣＰＵ１０１が実行することによって実現される。なお、ステップＳ１１０１、Ｓ１１１０〜Ｓ１１１５は第１の実施例の図６で説明したステップＳ６０１〜Ｓ６０７と同様であるのでここでの説明は省略する。

第１の実施例との差分は、ステップＳ１１０２〜Ｓ１１０９によって、撮影禁止のマーカーまたは撮影要求のマーカーを検出した場合には、撮影している領域をそれぞれ撮影しない領域または撮影する領域に設定するところである。これによって、撮影禁止のマーカーによって撮影画像を残したくない領域の撮影画像を記録せず、以降の撮影を禁止することができる。また撮影要求のマーカーによって、矩形が検出されない領域であっても、撮影を促すことができる。

ステップＳ１１０２において撮影対象判定部３０２は、撮影画像からマーカーを検出する。例えば、マーカーは図１２(a)の１２０２、または図１２(b)の１２０４のようなものである。一般的に、マーカーの検出は、予め定められた枠を撮影画像から画像処理によって検出することで行われる。また、マーカーの枠内の図柄によって、異なる種類のマーカーを識別することができる。マーカーの検出技術は、公知の技術であるため、これ以上の詳細な説明は割愛する。

ステップＳ１１０３において撮影対象判定部３０２は、ステップＳ１１０２でマーカーを検出したか否かを判定する。マーカーを検出した場合は、ステップＳ１１０４へ進み、そうでなければステップＳ１１１０へ進む。

ステップＳ１１０４において撮影対象判定部３０２は、検出したマーカーが図１２(a)に示すような撮影禁止マーカー１２０２であるか否かを判定する。撮影禁止マーカーであった場合はステップＳ１１０５へ進み、そうでなければステップＳ１１０６へ進む。

ステップＳ１１０５において撮影条件設定部３０５は、撮影条件に撮影禁止の条件を設定する。具体的には、図１２(c)のＩＤ０１のように、マーカー列を撮影禁止とする。また、図１２(a)で示されるように、撮影禁止マーカー１２０２の中心の方向を現在の方向と画像処理によって算出し、マーカーの中心方向をヨー軸、ピッチ軸周りの角度として図１２(c)のマーカー方向に設定する。これにより、撮影判定部３０７は、撮影制御装置１００の撮影画像にマーカー１２０２が含まれると判定される方向を向いている場合には撮影を行わないように制御する。

ステップＳ１１０６において撮影対象判定部３０２は、検出したマーカーが図１２(b)で示すような撮影要求マーカー１２０４であるか否かを判定する。撮影要求マーカーであった場合はステップＳ１１０７へ進み、そうでなければステップＳ１１０８へ進む。

ステップＳ１１０７において撮影条件設定部３０５は、撮影条件に撮影要求の条件を設定する。具体的には、図１２(c)のＩＤ０２のように、マーカー列を撮影要求とする。また、ステップＳ１１０５と同様にして、図１２(b)の撮影要求マーカー１２０４の中心方向を算出し、ヨー軸、ピッチ軸周りの角度として図１２(c)のマーカー方向に設定する。これにより、矩形領域撮影と同様に、撮影制御装置１００の現在方向とマーカー方向が一致すると判定される場合には、撮影を行うように制御する。

ステップＳ１１０８において画像記録部３０３は、ステップＳ１１０１で撮影した撮影画像を画像保持部３０４に記録する。

ステップＳ１１０９において撮影制御装置１００は、本実施例で述べるマーカー以外の別のマーカーを検出した場合に、その他の処理を行う。その他の処理は、処理を規定するものでなく、何も処理を行わなくてもよい。

第４の実施例では、撮影禁止マーカーまたは撮影要求マーカーを撮影した場合の撮影条件の設定方法について述べた。これによって、オフィス内に貼ってあるマーカーに応じて撮影条件を設定するので、より柔軟に撮影を制御することができる。

＜第５の実施例＞
以下、本発明を実施するための第５の実施例について説明する。第１、第２、第３、第４の実施例では、撮影した画像の解析と現在の方向にもとづいて撮影条件を設定する例を示した。第５の実施例では、ユーザがある場所から移動して撮影条件がクリアされた後、ユーザが再び元の場所に戻った場合について述べる。

以降、第１の実施例との差分を中心に説明する。図１３は、実施例５における撮影条件にもとづいて撮影する処理のフローチャートである。図１３のフローチャートは、撮影制御装置１００のＲＯＭ１０４に格納されたプログラムをＣＰＵ１０１が実行することによって実現される。ステップＳ１３０１〜Ｓ１３０３、Ｓ１３０８〜Ｓ１３１６は第１の実施例の図４のステップＳ４０１〜Ｓ４１２と同様であるのでここでの説明は省略する。

第１の実施例との差分は、ステップＳ１３０３のＹＥＳの場合、ステップＳ１３０４〜Ｓ１３０７によって、ユーザの相対位置を算出することで、ユーザが元の位置に戻った場合はクリアしてしまった撮影条件をリストアするところである。これによって、ユーザが移動した場合でも、元の位置に戻ればそれまでに保持した撮影条件で再び撮影を制御することができる。

ステップＳ１３０４で位置算出部３１３は、撮影制御装置１００の向いている方向と移動速度とから、ある地点に対するユーザの相対位置を算出する。ユーザの相対位置の算出は、図３の位置算出部３１３の項で述べたため、ここでの説明は割愛する。

ステップＳ１３０５で撮影条件設定部３０５は、ステップＳ１３０４で算出される現在の相対位置が歩行開始時の位置であるか否かを判定する。相対位置が歩行開始時の位置であればステップＳ１３０７へ進み、そうでなければステップＳ１３０６へ進む。

ステップＳ１３０６で撮影条件設定部３０５は、撮影条件保持部３０６に保持される撮影条件の一時的なバックアップをとる。バックアップは、所定時間（例えば５分）経過した場合には、ユーザが元の位置に戻ってこないと見なされクリアされる。

ステップＳ１３０７において撮影条件設定部３０５は、ステップＳ１３０４でユーザが移動前の位置に戻ったと判定されるので、ステップＳ１３０８でクリアした撮影条件をバックアップからリストアする。ただし、ステップＳ１３０６で行われた撮影条件のバックアップは所定時間（例えば５分）経過後にクリアされる。そのため、リストアはステップＳ１３０６で行われたバックアップが残っている時間以内に限り有効とする。

第５の実施例では、ユーザの歩行を検出して撮影条件がクリアされた後、元の位置に戻った場合は撮影条件を復元する例を示した。これにより、ユーザが一時的に移動しても、元の位置に戻れば同じ条件で撮影を開始できるので、再び撮影条件を設定する必要がなくなる。従って、既に設定している撮影しない方向をそのまま利用できるので、余分な撮影を減らすことができる。

＜第６の実施例＞
以下、本発明を実施するための第６の実施例について説明する。第１、第２、第３、第４、第５の実施例では、矩形全体が撮影されたときの撮影条件を設定する例を示した。第６の実施例では、矩形領域が部分的に写った場合の撮影条件設定の例と、撮影判定の仕方について述べる。

以降、第１の実施例との差分を中心に説明する。図１４、図１５、図１６を用いて実施例６の撮影条件設定と撮影する処理について説明する。図１４は、実施例６における撮影処理のフローチャートである。図１５は、実施例６における撮影画像のイメージ図と撮影条件の例である。図１４のフローチャートは、撮影制御装置１００のＲＯＭ１０４に格納されたプログラムをＣＰＵ１０１が実行することによって実現される。

ステップＳ１４０１〜Ｓ１４０３、Ｓ１４０６〜Ｓ１４０９は第１の実施例の図６のステップＳ６０１〜Ｓ６０７と同様であるでの説明を省略する。

第１の実施例との差分は、ステップＳ１４０３でＮＯの場合、ステップＳ１４０４〜Ｓ１４０５によって、撮影画像の両端に掛かる形で矩形らしい対象が含まれるかを判定し、該対象を含む領域を撮影対象として撮影条件に設定するところである。矩形らしい対象とは、例えば図１５（ａ）に示すように、コの字型の枠線が挙げられる。コの字型の枠線は、撮影画像の端部を１辺とする矩形ともいえる。矩形らしい対象のことを準矩形と称する。該対象がある場合は、コの字型の枠線が撮影画像から切れずになるべく大きく入る（例えば図１５(b)）タイミングで、直ちに撮影するようにする。これにより、矩形らしい領域を素早く、かつ正確に撮影するので、矩形らしい対象が矩形か否かすぐに判定することができる。また、これまでの実施例においては、矩形らしい領域は矩形ではないので撮影しない領域として撮影条件に設定していたため撮り逃しが発生する可能性があったが、本実施例によって撮り逃しの可能性が減る。

ステップＳ１４０４において撮影対象判定部３０２は、撮影画像両端のいずれかに掛かるコの字型の枠線があるか否かを判定する。例えば、図１５(a)の破線１５０２が撮影画像１５０１の左端に掛かるコの字型の枠線のイメージである。枠線の検出は、矩形の検出と同様に行うことができるため、詳細な説明は割愛する。コの字型の枠線があると判定された場合はステップＳ１４０５へ進み、そうでなければステップＳ１４０９へ進む。

ステップＳ１４０５において撮影条件設定部３０５は、コの字型の枠線を含む矩形領域を次に撮影するよう撮影条件を設定する。具体的には、図１５(a)に示すような破線１５０２を検出したときに、図１５(c)のＩＤ０２の矩形有無列を未確定として撮影条件を設定する。また、矩形の右上下の枠線が検出されているため、矩形領域（左右上下端）列の左線分の方向を―（不明）として値を設定する。

次に図１６を用いて実施例６における撮影条件にもとづいて撮影する処理を説明する。図１６のフローチャートは、撮影制御装置１００のＲＯＭ１０４に格納されたプログラムをＣＰＵ１０１が実行することによって実現される。ステップＳ１６０１〜Ｓ１６０６、Ｓ１６０８〜Ｓ１６１３は第１の実施例の図４のステップＳ４０１〜Ｓ４１２と同様であるのでここでの説明は省略する。

第１の実施例との差分は、Ｓ１６０７によって現在の方向がコの字型の領域が大きく写る方向か否かを判定するところである。ステップＳ１６０７で撮影判定部３０７は、現在方向が、撮影条件のコの字型の領域を大きく写す方向か否かを判定する。例えば、撮影方向が図１５(b)のように写る方向か否かを判定する。すなわち、準矩形のうちの確定している３辺を含み、かつ、未確定の１辺を形成していた撮影画像の端部と逆方向の位置に３辺が位置する方法か否かを判定する。具体的には、図１４のステップＳ１４０５で設定された撮影条件である図１５(c)により、コの字型の領域の右上下が７５度、１３．１度、−３．８度の方向にあり、左端が未確定の枠線であることが分かっている。そこで、撮影判定部３０７は、矩形の左端が写るようにコの字型領域の右端がなるべく撮影方向の右端に寄っているか否かを判定する。ここでは、コの字型領域の右端が７５度であるので、ヨー軸周りの撮影方向が８０度〜８５度の範囲にあるときに撮影すると判定する。７５度のすれすれではなく８０度〜８５度としたのは、センサの誤差やブレなどを考慮しているためであり、数値はこれに限らない。

ステップＳ１６０７でＹＥＳの場合、その後のステップＳ１６１２の撮影処理により、ユーザが矩形１５０３の右端が写る方向を向いたタイミングで所定時間（例えば１０秒）を待つこと無く図１５(d)で示すような撮影条件を設定することができる。

第６の実施例では、矩形領域が中途半端に写った場合に、該領域が矩形であるか判定するための撮影を早く正確に行う例を示した。これにより、矩形が中途半端に写ってしまった場合であっても、所定時間を待つこと無く、直ちに撮影する条件を設定できる。

＜第７の実施例＞
以下、本発明を実施するための第７の実施例について説明する。第１、第２、第３、第４、第５、第６の実施例では、矩形及び撮影用マーカーの方向を撮影する方向として撮影条件に設定する例を示した。第７の実施例では、所謂特定物体認識によりホワイトボード、あるいはディスプレイなどの特定物体を画像中で認識した場合の撮影条件設定の例について述べる。

以降、第１の実施例との差分を中心に説明する。図１７を用いて実施例７の撮影処理について説明する。図１７は、実施例７における撮影処理のフローチャートである。

図１７のフローチャートのは、撮影制御装置１００のＲＯＭ１０４に格納されたプログラムをＣＰＵ１０１が実行することによって実現される。

ステップＳ１７０１及びＳ１７０６は第１の実施例の図６のステップＳ６０１及びＳ６０７と同様であるのでここでの説明は省略する。

第１の実施例との差分は、ステップＳ１７０２〜Ｓ１７０５によって、検出した矩形を撮影する対象として設定するのではなく、特定物体認識によって認識された特定の対象を撮影する対象として設定するところである。特定物体認識により、予め特定した物体を撮影する対象として設定できるので、矩形以外の任意の物体を撮影する対象として設定できる。

ステップＳ１７０２において撮影対象判定部３０２は、撮影画像から特定物体を認識する。特定物体認識では、物体としてホワイトボードやディスプレイなどのユーザに有意な物体を予め特定しておくことで、撮影画像から特定物体を認識することができる。特定物体認識では、認識する物体の特徴量(例えば、ＨＯＧ、ｈａａｒ−ｌｉｋｅなど)を予め多数の正解画像と非正解画像により学習しておき、識別器を生成する。前記識別器と所与の画像から、画像中に特定物体が存在するか否かを判定することができる。尚、特定物体認識は公知の技術であるため、これ以上の詳細な説明は割愛する。

ステップＳ１７０３において撮影対象判定部３０２は、ホワイトボードやディスプレイなどの特定物体が認識されたか否かを判定する。特定物体が認識された場合はステップＳ１７０４へ進み、そうでなければステップＳ１７０６へ進む。

ステップＳ１７０４において撮影条件設定部３０５は、ステップＳ１７０２で認識された特定物体を、撮影する領域として撮影条件に設定する。一般的に、特定物体認識では撮影画像中のどこに特定物体があるかを矩形の枠で示す。本実施例では、実施例１の図７(b)と同様の方法で、矩形枠として抜き出された特定物体の矩形中心方向を、撮影する方向として撮影条件に設定する。

ステップＳ１７０５で撮影条件設定部３０５は、ステップＳ１７０２で認識された特定物体の画像を画像保持部３０４に記録する。ここでは、記録する画像として矩形枠で特定物体を抜き出した領域とするが、ステップＳ１７０１で撮影された特定物体を含む全体画像でもよい。

第７の実施例では、ホワイトボードやディスプレイなどの特定物体を認識した場合に、該特定物体の方向を撮影する方向として撮影条件に設定する例を示した。これにより、予め特定した任意の物体を認識できるので、矩形以外の物体も撮影する対象として設定できる。

＜その他の実施例＞
第１〜第７の実施例では、撮影制御装置１００によって矩形領域、所定のマーカー及び特定物体をユーザに有意の撮影する方向として撮影条件に設定する場合について述べた。しかし、前記以外にも、ユーザが明示的に撮影した方向、文字が書かれている領域、変化の多い領域などを追跡して撮影する方向として撮影条件に設定してもよい。また、実施例では、撮影条件として撮影する方向を予め設定しているが、撮影対象とユーザの位置が測位できるならば、お互いの位置関係から撮影する方向を算出するようにしてもよい。

また、実施例１などでは、ユーザの向いている角度と撮影対象の位置する領域を示す角度とが一致している場合、その撮影対象の位置する領域を示す角度を撮影条件に設定し、撮影を行う例を説明した。ここで、ユーザの向いている角度と撮影対象の位置する領域を示す角度とは完全に一致していなくてもよく、所定の誤差を許容できる旨を説明した。すなわち、ユーザの向いている角度と、撮影対象の位置する領域を示す角度とが対応している場合、その撮影対象の位置する領域を示す角度を撮影条件に設定し、撮影を行うことができる。なお、同様に、ある角度（領域、方向）が所定の誤差を許容する他の角度（領域、方向）に一致していることを、ある角度（領域、方向）が所定の誤差を許容する他の角度（領域、方向）に対応する、と表現する。

また、第２〜第７の実施例は、それぞれ第１の実施例との差異を中心に説明したが、第１〜第７の実施例を適宜組み合わせた形の実施例においても本発明は適用可能である。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (30)

1. ユーザの向いている方向と、撮影対象が位置する方向とに基づいてユーザの向いている方向を撮影して撮影画像を取得する撮影手段と、
   前記撮影画像を解析して得られた結果に基づいて撮影対象が位置する方向を設定する設定手段と
   を有する撮影制御装置。
2. 前記設定手段は、前記撮影画像が矩形を含む場合、前記矩形が位置する方向を前記撮影対象が位置する方向として設定することを特徴とする請求項１に記載の撮影制御装置。
3. 前記設定手段は、前記撮影画像が所定の縦横比を有する矩形を含む場合、前記矩形が位置する方向を前記撮影対象が位置する方向として設定することを特徴とする請求項１または２に記載の撮影制御装置。
4. 前記設定手段は、前記撮影画像が所定の縦横比を有する矩形を含む場合、前記矩形が位置する方向を前記撮影対象が位置する方向として設定することを特徴とする請求項１から３のいずれか一項に撮影制御装置。
5. 前記設定手段は、前記撮影画像が複数の矩形を含む場合、複数のうち中で大きい矩形が位置する方向を前記撮影対象が位置する方向として設定することを特徴とする請求項１から４のいずれか一項に記載の撮影制御装置。
6. 前記設定手段は、前記撮影画像が矩形を含まない場合、前記撮影画像を撮影した方向を、撮影対象が位置しない方向として設定することを特徴とする請求項１から５のいずれか一項に記載の撮影制御装置。
7. 前記設定手段は、撮影した時刻を前記方向に関連付けて設定することを特徴とする請求項１から６のいずれか一項に記載の撮影制御装置。
8. 前記撮影手段は、ユーザの向いている方向が、前記設定手段によって撮影対象が位置しない方向として設定された方向に対応する場合、前記ユーザの向いている方向を撮影しないことを特徴とする請求項１から７のいずれか一項に記載の撮影制御装置。
9. 前記撮影手段は、ユーザの向いている方向が、前記設定手段によって撮影対象が位置する方向として設定された方向に対応する場合、及び、前記設定手段による設定がされていない方向に対応する場合、前記ユーザの向いている方向を撮影することを特徴とする請求項１から８のいずれか一項に記載の撮影制御装置。
10. 前記撮影手段は、最後の撮影から所定時間が経過していない場合、前記ユーザの向いている方向を撮影しないことを特徴とする請求項１から９のいずれか一項に記載の撮影制御装置。
11. 前記撮影手段は、ユーザの向いている方向が、前記設定手段によって撮影対象が位置しない方向として設定された方向に対応する場合であり、かつ、前記ユーザの向いている方向を撮影してから所定時間が経過している場合、前記ユーザの向いている方向を撮影することを特徴とする請求項１から１０のいずれか一項に記載の撮影制御装置。。
12. 前記設定手段は、ユーザの歩行が検出された場合、これまでの設定を消去することを特徴とする請求項１から１１のいずれか一項に記載の撮影制御装置。
13. 前記設定手段は、ユーザが元の位置に戻ったことが検出された場合、消去した設定を復元することを特徴とする請求項１２に記載の撮影制御装置。
14. 前記設定手段によって前記撮影対象が位置する方向として設定される場合、前記撮影対象を含む画像を記憶手段に記憶する手段をさらに有することを特徴とする請求項１から１３のいずれか一項に記載の撮影制御装置。
15. ユーザの向いている方向が前記設定手段によって撮影対象が位置する方向として設定された方向に対応する場合に撮影手段によって撮影された撮影画像と、該方向を過去に撮影して前記記憶手段に記憶されている画像とを比較する比較手段と、
    前記比較手段で比較した結果、変化がないことをユーザに通知する通知手段と
    をさらに有することを特徴とする請求項１４に記載の撮影制御装置。
16. 前記設定手段は、前記通知手段の通知の結果に応じたユーザからの指示に応じて、前記撮影対象が位置する方向の撮影を禁止する設定をする請求項１５に記載の撮影制御装置。
17. 前記比較手段は、画像の特徴量のパターンマッチングを用いて比較を行うことを特徴とする請求項１５または１６に記載の撮影制御装置。
18. 前記設定手段は、前記撮影画像が撮影禁止マーカーを含む場合、前記撮影禁止マーカーが位置する方向を撮影しない方向として設定することを特徴とする請求項１から１７のいずれか一項に記載の撮影制御装置。
19. 前記設定手段は、前記撮影画像が撮影要求マーカーを含む場合、前記撮影要求マーカーが位置する方向を撮影する方向として設定することを特徴とする請求項１から１８のいずれか一項に記載の撮影制御装置。
20. 前記設定手段は、撮影画像の端部を１辺とする矩形である準矩形を含む場合、準矩形のうち前記１辺を未確定とした前記準矩形の位置を、前記撮影対象が位置する方向として設定することを特徴とする請求項１から１９のいずれか一項に記載の撮影制御装置。
21. 前記撮影手段は、前記ユーザの向いている方向が、前記準矩形のうちの確定している３辺を含みかつ３辺が前記端部の位置から離れた位置の方向に対応する場合、前記ユーザの向いている方向を撮影することを特徴とする請求項２０に記載の撮影制御装置。
22. 前記設定手段は、前記撮影画像を解析して得られた結果が特定物体である場合、前記撮影画像を撮影した方向を、撮影対象が位置する方向として設定することを特徴とする請求項１から２１のいずれか一項に記載の撮影制御装置。
23. ユーザの向いている方向と、撮影対象が位置する方向とに基づいてユーザの向いている方向を撮影して撮影画像を取得する撮影手段と、
    前記撮影画像を解析して得られた結果に基づいて撮影対象が位置する方向を設定する設定手段と
    を有する撮影装置。
24. 撮影手段と、
    矩形を含む第１の領域が撮影領域となる第１の方向を前記撮影手段で撮影し、第１の領域と重複しない領域であって矩形を含まない第２の領域が撮影領域となる第２の方向を前記撮影手段で撮影した後に、
    前記撮影手段を前記第１の方向に向けた場合に前記第１の方向を前記撮影手段で撮影し、
    前記撮影手段を前記第２の方向に向けた場合に前記第２の方向を前記撮影手段で撮影しない
    ように制御する制御手段と
    を有することを特徴とする撮影制御装置。
25. 前記制御手段は、
    前記第１の方向を前記撮影手段で撮影し、前記第２の方向を前記撮影手段で撮影した後に、
    前記撮影手段を前記第１の方向及び前記第２の方向と重複しない第３の方向に向けた場合に前記第３の方向を前記撮影手段で撮影するように制御することを特徴とする請求項２４に記載の撮影制御装置。
26. 前記第３の方向は、矩形を含む領域及び矩形を含まない領域のいずれにも対応することを特徴とする請求項２５に記載の撮影制御装置。
27. 前記撮影手段は、ユーザからの指示なしで前記撮影を行うことを特徴とする請求項２４から２６のいずれか一項に記載の撮影制御装置。
28. 撮影手段を用いてユーザの向いている方向と、撮影対象が位置する方向とに基づいてユーザの向いている方向を撮影して撮影画像を取得する撮影工程と、
    前記撮影画像を解析して得られた結果に基づいて撮影対象が位置する方向を設定する設定工程と
    を有する撮影制御方法。
29. 矩形を含む第１の領域が撮影領域となる第１の方向を撮影手段で撮影し、第１の領域と重複しない領域であって矩形を含まない第２の領域が撮影領域となる第２の方向を前記撮影手段で撮影した後に、
    前記撮影手段を前記第１の方向に向けた場合に前記第１の方向を前記撮影手段で撮影し、
    前記撮影手段を前記第２の方向に向けた場合に前記第２の方向を前記撮影手段で撮影しない
    ように制御する制御工程を有することを特徴とする撮影制御方法。
30. コンピュータを請求項１から２２のいずれか一項に記載の撮影制御装置として機能させるためのプログラム。

Images