JP4983784B2 - 撮像システム、画像提示方法、制御装置、プログラム - Google Patents

撮像システム、画像提示方法、制御装置、プログラム Download PDF

Info

Publication number
JP4983784B2
JP4983784B2 JP2008322306A JP2008322306A JP4983784B2 JP 4983784 B2 JP4983784 B2 JP 4983784B2 JP 2008322306 A JP2008322306 A JP 2008322306A JP 2008322306 A JP2008322306 A JP 2008322306A JP 4983784 B2 JP4983784 B2 JP 4983784B2
Authority
JP
Japan
Prior art keywords
unit
subject
imaging
captured image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008322306A
Other languages
English (en)
Other versions
JP2010147769A (ja
Inventor
真吾 善積
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008322306A priority Critical patent/JP4983784B2/ja
Priority to US12/653,170 priority patent/US8638372B2/en
Priority to CN2009102624297A priority patent/CN101834992B/zh
Publication of JP2010147769A publication Critical patent/JP2010147769A/ja
Application granted granted Critical
Publication of JP4983784B2 publication Critical patent/JP4983784B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Accessories Of Cameras (AREA)

Description

本発明は、撮像部と、雲台などの可動部とから成る撮像システムと、この撮像システムにおいて行われる画像提示のための方法、制御装置、に関する。また、この撮像システムを成す装置が実行するプログラムに関する。
特許文献1には、自動追尾装置として、テレビカメラを収容したリモコン雲台システムの構成が記載されている。即ち、撮像装置と雲台とを組み合わせた構成である。
特開2001−268425号公報
本願発明としても、撮像部の撮像方向を変更可能なようにして構成された撮像システムに関するものであるが、このような撮像システムとして、特に民生として普及させることを想定した場合において、これまでよりも、ユーザにとっての利用性が高いものを提供することを目的とする。
そこで本発明は上記した課題を考慮して、撮像システムとして次のように構成する。
つまり、予め定められたトリガに応じて自動撮像動作を実行することで、撮像部により撮像して得られる画像から撮像画像データを取得する自動撮像制御部と、上記撮像部の撮像方向とは異なる方向にその表示方向が向くようにして表示画面部が設けられて、上記表示画面部にて画像が表示される表示部と、上記撮像部と上記表示画面部とを有する被移動体部について、上記撮像方向とともに上記表示方向を変化させるようにして移動するための機構を有する移動機構部と、自動撮像制御部により取得された上記撮像画像データの画像が上記表示画面部にて表示されるように上記表示部に対する表示制御を実行する撮像画像表示制御部と、上記撮像画像データの画像が上記表示画面部にて表示されるときに対応しては、上記撮像画像データから検出される被写体の位置に基づき上記移動機構部を上記表示画面部が上記被写体の方向に向くように制御する移動制御部、とを備えることとした。
上記構成では、自動撮影動作によって得られた撮影画像データの画像が表示画面部にて表示されるのであるが、この際において、撮影画像データの画像に被写体として収められた人物(被写体人物)側に、表示画面部の表示方向が向くという動作が得られる。
これにより本願発明によっては、自動撮影により撮影された画像を、被写体としてユーザがいた場所から移動しなくとも、ほぼその場に居ながらにして見て確認することができる。これにより、例えばユーザに対して、これまでよりも高い利便性を提供することができる。
以下、本願発明を実施するための最良の形態(以下、実施形態という)について、下記の順により説明する。

<1.撮像システムの構成>
[1−1.全体構成]
[1−2.デジタルスチルカメラ]
[1−3.雲台]
<2.ショット画像提示動作(第1例)>
<3.ショット画像提示動作(第2例)>
<4.ショット画像提示動作(第3例)>
<5.ショット画像提示動作(第4例)>
<6.ショット画像提示動作(第5例)>
<7.ショット画像提示動作(第6例)>
<8.ショット画像提示動作(第7例)>
<9.パン・チルト駆動速度制御>
<1.撮像システムの構成>
[1−1.全体構成]

本実施形態の撮像システムは、デジタルスチルカメラ1と、このデジタルスチルカメラ1が載置される雲台10から成る。
先ず、図1にデジタルスチルカメラ1の外観例を示す。図1(a)、(b)は、それぞれデジタルスチルカメラ1の正面図、背面図となる。
この図に示されるデジタルスチルカメラ1は、先ず、図1(a)に示すように、本体部2の前面側においてレンズ部21aを備える。このレンズ部21aは、撮像のための光学系として本体部2の外側に表出している部位である。
また、本体部2の上面部には、レリーズボタン31aが設けられている。撮像モードにおいてはレンズ部21aにより撮像された画像(撮像画像)が画像信号として生成される。そして、この撮像モードにおいてレリーズボタン31aに対する操作が行われると、この操作タイミングのときに得られていたとする撮像画像が、静止画の画像データとして記憶媒体に記録される。つまり、写真撮影が行われる。
また、デジタルスチルカメラ1は、図1(b)に示すようにして、その背面側に表示画面部33aを有する。
この表示画面部33aには、撮像モード時においては、スルー画などといわれ、そのときにレンズ部21aにより撮像している画像が表示される。また、再生モード時においては、記憶媒体に記録されている画像データが再生表示される。さらに、ユーザがデジタルスチルカメラ1に対して行った操作に応じて、GUI(Graphical User Interface)としての操作画像が表示される。
なお、本実施形態のデジタルスチルカメラ1は、表示画面部33aに対してタッチパネルが組み合わされているものとする。これにより、ユーザは、表示画面部33aに対して指を当ててしかるべき操作を行うことができる。
また、本実施形態の撮像システムは、このデジタルスチルカメラ1と、次に説明する雲台10から成るものとしているが、ユーザは、デジタルスチルカメラ1単体のみを使用しても、通常のデジタルスチルカメラと同じように、写真撮影を行うことができる。
図2は、雲台10の外観を示す斜視図である。また、図3〜図6は、本実施形態の撮像システムの外観として、雲台10に対してデジタルスチルカメラ1が適切な状態で載置された状態を示している。図3は正面図、図4は平面図、図5は側面図であり、図6は側面図によりチルト機構の可動範囲を示したものである。
図2、及び図3,図4,図5に示すように、雲台10は、大きくは接地台部15の上に本体部11が組み合わされたうえで、さらに本体部11に対してカメラ台座部12が取り付けられた構造を有する。
雲台10にデジタルスチルカメラ1を載置しようとするときには、デジタルスチルカメラ1の底面側を、カメラ台座部12の上面側に対して置くようにようにする。
この場合のカメラ台座部12の上面部には、図2に示すようにして、突起部13とコネクタ14が設けられている。
その図示は省略するが、デジタルスチルカメラ1の本体部2の下面部には、突起部13と係合する孔部が形成されている。デジタルスチルカメラ1がカメラ台座部12に対して適正に置かれた状態では、この孔部と突起部13とが係合した状態となる。この状態であれば、通常の雲台10のパンニング・チルティングの動作であれば、デジタルスチルカメラ1が雲台10からずれたり、外れてしまったりすることがないようにされている。
また、デジタルスチルカメラ1においては、その下面部の所定位置にもコネクタが設けられている。上記のようにして、カメラ台座部12にデジタルスチルカメラ1が適正に載置される状態では、デジタルスチルカメラ1のコネクタと雲台10のコネクタとが接続され、少なくとも、相互間の通信が可能な状態となる。
なお、デジタルスチルカメラ1とカメラ台座部12との通信は無線により行われるようにしてもよい。
また、例えば雲台10に対してデジタルスチルカメラ1が載置された状態では、雲台10からデジタルスチルカメラ1に対して充電が行えるように構成しても良い。さらには、デジタルスチルカメラ1にて再生している画像などの映像信号を雲台10側にも伝送し、雲台10からさらにケーブルや無線通信などを介して、外部モニタ装置に出力させるような構成とすることも考えられる。つまり、雲台10について、単に、デジタルスチルカメラ1の撮像視野を変更させるためだけに用いるのではなく、いわゆるクレードルとしての機能を与えることが可能である。
なお、ここでの「撮像視野」とは、定位置に置かれた撮像装置により撮像して得られる画像の画枠に収まる範囲について、上記の画角に加え、パン(水平)方向における振り角度と、チルト(垂直)方向における角度(仰角、俯角)の要素により決まるものをいう。
次に、雲台10によるデジタルスチルカメラ1のパン・チルト方向の動きについて説明する。
まず、パン方向の動きは次のようになる。
この雲台10を床面などに置いた状態では、接地台部15の底面が接地する。この状態において、図4に示すように、回転軸11aを回転中心として、本体部11は時計回り方向、及び反時計回り方向に回転できるようになっている。これにより、雲台10に載置されているデジタルスチルカメラ1の撮像視野は、左右方向(水平方向)に沿って変化することになる。つまり、パンニングの動きが与えられる。
そのうえで、この場合の雲台10のパン機構は、360°の回転可動角度が確保される構造を有しているものとする。
また、この雲台のパン機構においては、パン方向における基準位置が決められている。
ここでは、図4に示すようにして、パン基準位置を0°(360°)としたうえで、パン方向に沿った本体部11の回転位置、即ちパン位置を0°〜360°により表すものとする。
また、雲台10のチルト方向の動きについては次のようになる。
チルト方向の動きは、図5及び図6に示すようにして、カメラ台座部12が回転軸12aを回転中心として、仰角、俯角の両方向に可動することにより得られる。
ここで、図5は、カメラ台座部12がチルト基準位置Y0にある状態が示されている。この状態では、レンズ部21a(光学系部)の撮像光軸と一致する撮像方向F1と、接地台部15が接地する接地面部GRとが平行となる。
そのうえで、図6に示すように、先ず、仰角方向においては、カメラ台座部12は、回転軸12aを回転中心として、所定の最大回転角度+f°の範囲で動くことができる。また、俯角方向においても、回転軸12aを回転中心として、所定の最大回転角度−g°の範囲で動くことができるようになっている。このようにして、カメラ台座部12がチルト基準位置Y0を基点として、最大回転角度+f°〜最大回転角度−g°の範囲で動くことで、雲台10(カメラ台座部12)に載置されたデジタルスチルカメラ1の撮像視野は、上下方向(垂直方向)沿って変化することになる。つまりチルティングの動作が得られる。
なお、図2〜図6に示した雲台10の外観構成はあくまでも一例であり、載置されたデジタルスチルカメラ1をパン方向及チルト方向に動かすことができるようにされていれば、他の物理的構成、構造が採られてもかまわない。
[1−2.デジタルスチルカメラ]

先ず、図7のブロック図は、デジタルスチルカメラ1の実際的な内部構成例を示している。
この図において、先ず、光学系部21は、例えばズームレンズ、フォーカスレンズなども含む所定枚数の撮像用のレンズ群、絞りなどを備えて成り、入射された光を撮像光としてイメージセンサ22の受光面に結像させる。
また、光学系部21においては、上記のズームレンズ、フォーカスレンズ、絞りなどを駆動させるための駆動機構部も備えられているものとされる。これらの駆動機構部は、例えば制御部27が実行するとされるズーム(画角)制御、自動焦点調整制御、自動露出制御などのいわゆるカメラ制御によりその動作が制御される。
イメージセンサ22は、上記光学系部21にて得られる撮像光を電気信号に変換する、いわゆる光電変換を行う。このために、イメージセンサ22は、光学系部21からの撮像光を光電変換素子の受光面にて受光し、受光された光の強さに応じて蓄積される信号電荷を、所定タイミングにより順次出力する。これにより、撮像光に対応した電気信号(撮像信号)が出力される。なお、イメージセンサ22として採用される光電変換素子(撮像素子)としては、特に限定されるものではないが、現状であれば、例えばCMOSセンサやCCD(Charge Coupled Device)などを挙げることができる。また、CMOSセンサを採用する場合には、イメージセンサ22に相当するデバイス(部品)として、次に述べるA/Dコンバータ23に相当するアナログ−デジタル変換器も含めた構造とすることができる。
上記イメージセンサ22から出力される撮像信号は、A/Dコンバータ23に入力されることで、デジタル信号に変換され、信号処理部24に入力される。
信号処理部24では、A/Dコンバータ23から出力されるデジタルの撮像信号について、例えば1つの静止画 (フレーム画像)に相当する単位で取り込みを行い、このようにして取り込んだ静止画単位の撮像信号について所要の信号処理を施すことで、1枚の静止画に相当する画像信号データである撮像画像データ(撮像静止画像データ)を生成することができる。
上記のようにして信号処理部24にて生成した撮像画像データを画像情報として記憶媒体(記憶媒体装置)であるメモリカード40に記録させる場合には、例えば1つの静止画に対応する撮像画像データを信号処理部24からエンコード/デコード部25に対して出力する。
エンコード/デコード部25は、信号処理部24から出力されてくる静止画単位の撮像画像データについて、所定の静止画像圧縮符号化方式により圧縮符号化を実行したうえで、例えば制御部27の制御に応じてヘッダなどを付加して、所定形式に圧縮された画像データの形式に変換する。そして、このようにして生成した画像データをメディアコントローラ26に転送する。メディアコントローラ26は、制御部27の制御に従って、メモリカード40に対して、転送されてくる画像データを書き込んで記録させる。この場合のメモリカード40は、例えば所定規格に従ったカード形式の外形形状を有し、内部には、フラッシュメモリなどの不揮発性の半導体記憶素子を備えた構成を採る記憶媒体である。なお、画像データを記憶させる記憶媒体については、上記メモリカード以外の種別、形式などとされてもよい。
また、本実施の形態としての信号処理部24は、先の説明のようにして取得される撮像画像データを利用して、後述するように、被写体検出としての画像処理を実行させるように構成される。
また、デジタルスチルカメラ1は信号処理部24にて得られる撮像画像データを利用して表示部33により画像表示を実行させることで、現在撮像中の画像であるいわゆるスルー画を表示させることが可能とされる。例えば信号処理部24においては、先の説明のようにしてA/Dコンバータ23から出力される撮像信号を取り込んで1枚の静止画相当の撮像画像データを生成するのであるが、この動作を継続することで、動画におけるフレーム画像に相当する撮像画像データを順次生成していく。そして、このようにして順次生成される撮像画像データを、制御部27の制御に従って表示ドライバ32に対して転送する。これにより、スルー画の表示が行われる。
表示ドライバ32では、上記のようにして信号処理部24から入力されてくる撮像画像データに基づいて表示部33を駆動するための駆動信号を生成し、表示部33に対して出力していくようにされる。これにより、表示部33においては、静止画単位の撮像画像データに基づく画像が順次的に表示されていくことになる。これをユーザが見れば、そのときに撮像しているとされる画像が表示部33において動画的に表示されることになる。つまり、スルー画が表示される。
また、デジタルスチルカメラ1は、メモリカード40に記録されている画像データを再生して、その画像を表示部33に対して表示させることも可能とされる。
このためには、制御部27が画像データを指定して、メディアコントローラ26に対してメモリカード40からのデータ読み出しを命令する。この命令に応答して、メディアコントローラ26は、指定された画像データが記録されているメモリカード40上のアドレスにアクセスしてデータ読み出しを実行し、読み出したデータを、エンコード/デコード部25に対して転送する。
エンコード/デコード部25は、例えば制御部27の制御に従って、メディアコントローラ26から転送されてきた撮像画像データから圧縮静止画データとしての実体データを取り出し、この圧縮静止画データについて、圧縮符号化に対する復号処理を実行して、1つの静止画に対応する撮像画像データを得る。そして、この撮像画像データを表示ドライバ32に対して転送する。これにより、表示部33においては、メモリカード40に記録されている撮像画像データの画像が再生表示されることになる。
また表示部33に対しては、上記のスルー画や画像データの再生画像などとともに、ユーザインターフェース画像(操作画像)も表示させることができる。この場合には、例えばそのときの動作状態などに応じて制御部27が必要なユーザインターフェース画像としての表示用画像データを生成し、これを表示ドライバ32に対して出力するようにされる。これにより、表示部33においてユーザインターフェース画像が表示されることになる。なお、このユーザインターフェース画像は、例えば特定のメニュー画面などのようにモニタ画像や撮像画像データの再生画像とは個別に表示部33の表示画面に表示させることも可能であるし、モニタ画像や撮像画像データの再生画像上の一部において重畳・合成されるようにして表示させることも可能である。
制御部27は、例えば実際においてはCPU(Central Processing Unit)を備えて成るもので、ROM28、RAM29などとともにマイクロコンピュータを構成する。ROM28には、例えば制御部27としてのCPUが実行すべきプログラムの他、デジタルスチルカメラ1の動作に関連した各種の設定情報などが記憶される。RAM29は、CPUのための主記憶装置とされる。
また、この場合のフラッシュメモリ30は、例えばユーザ操作や動作履歴などに応じて変更(書き換え)の必要性のある各種の設定情報などを記憶させておくために使用する不揮発性の記憶領域として設けられるものである。なおROM28について、例えばフラッシュメモリなどをはじめとする不揮発性メモリを採用することとした場合には、フラッシュメモリ30に代えて、このROM28における一部記憶領域を使用することとしてもよい。
操作部31は、デジタルスチルカメラ1に備えられる各種操作子と、これらの操作子に対して行われた操作に応じた操作情報信号を生成してCPUに出力する操作情報信号出力部位とを一括して示している。制御部27は、操作部31から入力される操作情報信号に応じて所定の処理を実行する。これによりユーザ操作に応じたデジタルスチルカメラ1の動作が実行されることになる。
雲台対応通信部34は、雲台10側とデジタルスチルカメラ1側との間での所定の通信方式に従った通信を実行する部位であり、例えばデジタルスチルカメラ1が雲台10に対して取り付けられた状態において、雲台10側の通信部との間での有線若しくは無線による通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。上記物理層構成として、図2との対応では、コネクタ14と接続されるコネクタの部位が含まれる。
[1−3.雲台]

図8のブロック図は、雲台10の内部構成例を示している。
先に述べたように、雲台10は、パン・チルト機構を備えるものであり、これに対応する部位として、パン機構部53、パン用モータ54、チルト機構部56、チルト用モータ57を備える。
パン機構部53は、雲台10に取り付けられたデジタルスチルカメラ1について、図4に示したパン(横・左右)方向の動きを与えるための機構を有して構成され、この機構の動きは、パン用モータ54が正逆方向に回転することによって得られる。同様にして、チルト機構部56は、雲台10に取り付けられたデジタルスチルカメラ1について、図6に示したチルト(縦・上下)方向の動きを与えるための機構を有して構成され、この機構の動きは、チルト用モータ57が正逆方向に回転することによって得られる。
制御部51は、例えばCPU、ROM、RAMなどが組み合わされて形成されるマイクロコンピュータを有して成り、上記パン機構部53、チルト機構部56の動きをコントロールする。例えば制御部51がパン機構部53の動きを制御するときには、移動させるべき方向と移動速度を指示する信号をパン用駆動部55に対して出力する。パン用駆動部55は、入力される信号に対応したモータ駆動信号を生成してパン用モータ54に出力する。このモータ駆動信号は、例えばモータがステッピングモータであれば、PWM制御に対応したパルス信号となる。
このモータ駆動信号によりパン用モータ54が、例えば所要の回転方向、回転速度により回転し、この結果、パン機構部53も、これに対応した移動方向と移動速度により動くようにして駆動される。
同様にして、チルト機構部56の動きを制御するときには、制御部51は、チルト機構部56に必要な移動方向、移動速度を指示する信号をチルト用駆動部58に対して出力する。チルト用駆動部58は、入力される信号に対応したモータ駆動信号を生成してチルト用モータ57に出力する。このモータ駆動信号によりチルト用モータ57が、例えば所要の回転方向及び回転速度で回転し、この結果、チルト機構部56も、これに対応した移動方向,速度により動くようにして駆動される。
また、パン機構部53は、ロータリーエンコーダ(回転検出器)53aを備えている。ロータリーエンコーダ53aは、パン機構部53の回転の動きに応じて、その回転角度量を示す検出信号を制御部51に出力する。同様に、チルト機構部56はロータリーエンコーダ56aを備える。このロータリーエンコーダ56aも、チルト機構部56の回転の動きに応じて、その回転角度量を示す信号を制御部51に出力する。
通信部52は、雲台10に取り付けられたデジタルスチルカメラ1内の雲台対応通信部34との間で所定の通信方式に従った通信を実行する部位であり、雲台対応通信部34と同様にして、相手側通信部と有線若しくは無線による通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。上記物理層構成として、図2との対応では、カメラ台座部12のコネクタ14が含まれる。
<2.ショット画像提示動作(第1例)>

本実施形態のデジタルスチルカメラ1は、例えばセルフタイマー撮影に代表される、撮影者の直接のレリーズ操作に依らないで撮影を実行する、自動撮影が可能とされている。なお、ここでの「撮影」とは、光学系部21、イメージセンサ22により撮像して信号処理部24にて得られる撮像画像データから、例えば写真に相当する画像データを取得することをいう。また、このようにして撮影により取得したとする画像、画像データ(撮影画像、撮影画像データ)については、「ショット画像」ということにする。
そのうえで、上記構成による本実施形態の撮像システム(デジタルスチルカメラ1、雲台10)は、自動撮影が実行された後のタイミングで、この自動撮影により得られたとする撮像画像を、被写体人物側に向けて見せて表示する、ショット画像提示動作を実行する。
そこで、先ず、図9〜図11により、本実施形態のショット画像提示動作の第1例について説明する。この第1例は、本実施形態のショット画像提示動作として最も基本的なものとなる。
ここで、図9(a)は、一人の被写体人物Mを被写体として、本実施形態の撮像システムにより自動撮影が実行されたときの様子を側面方向から模式的に見た図である。また、図10(a)は、図9(a)と同じ自動撮影が実行されたときの様子を平面方向から模式的に見たもので、図11(a)は、図9(a)と同じ自動撮影が実行されたときの撮像システムの状態を、被写体人物Mの視点から見たとする図である。
自動撮影の態様としては、先ず、いわゆるセルフタイマー撮影を挙げることができる。つまり、ユーザがセルフタイマーを起動する操作行うと、その時点から予め設定したタイマー時間分を待機したことをトリガとして、自動的に撮影動作が実行されるものである。
また、より詳しくは後述するが、本実施形態の撮像システムは、これも自動撮影の一態様として、自動的に、被写体を捕捉しながら構図を判定し、判定した構図が得られたとする判定が行われたことトリガとして撮影を実行する構成を取り得る。このような自動構図
制御撮影も自動撮影の一態様である。
なお、第1例においては、説明を簡単なものとすることの便宜上、自動撮影としてはセルフタイマー撮影であることとする。
被写体人物Mは、自身を被写体として本実施形態の撮像システムにより自動撮影を実行させるときには、上記図9(a)、図10(a)に示されるように、自身がデジタルスチルカメラ1の撮像視野に収まるように、デジタルスチルカメラ1との位置関係を保つことになる。この状態では、被写体人物Mと、デジタルスチルカメラ1においてレンズ部21aが配されている本体部2の正面部とは、ほぼ向かい合った状態にある。
図10(a)においては、レンズ部21a(光学系部)の光軸と一致し、デジタルスチルカメラ1に対して前方に向かう直線方向(一点鎖線により示す)を、撮像方向F1として示している。このとき、被写体人物Mは撮像方向F1とちょうど向かい合うような状態となる。
同じく図10(a)においては、表示画面部33aとしての面方向に対して垂直であり、かつデジタルスチルカメラ1の後ろ側に向く方向(破線により示す)を表示方向F2として示している。
次に、上記図9(a)、図10(a)、図11(a)の状態の下でデジタルスチルカメラ1によるセルフタイマー撮影の動作が完了すると、この第1例では、例えば図10(b)に示すようにして、雲台10のパン機構が180°回転移動する。なお、ここではパン機構が時計回り方向に180°回転移動した状態を示しているが、反時計回り方向に回転移動しても良い。
このようにして雲台10が動作することで、上記図10(b)、及び図9(b)、図11(b)にも示されるように、被写体人物Mの見ている方向に対してデジタルスチルカメラ1の表示画面部33aが向くことになる。これを被写体人物Mと、撮像方向F1、表示方向F2との関係としてみると、図10(b)から分かるように、表示方向F2が被写体人物Mに対して向かい、撮像方向F1が被写体人物Mに対して反対側を向いた状態となっている。
そして、このときの表示画面部33aには、図11(b)のようにして、上記図9(a)、図10(a)に対応したセルフタイマー撮影により得られたショット画像が再生表示される。
これにより、被写体人物Mは、セルフタイマー撮影により得られたショット画像を見て確認することができる。
通常、デジタルスチルカメラを使用しての自動撮影では、デジタルスチルカメラを直接持って操作する人はいない。このために、セルフタイマー撮影が終わってすぐに、ショット画像の写り具合を確認したいときには、そのときに被写体として撮影された者(被写体人物)がデジタルスチルカメラのところまで行き、そのデジタルスチルカメラの表示部にて表示させたショット画像を見る必要がある。
これに対して、上記した本実施形態のショット画像提示動作であれば、被写体人物は、セルフタイマー撮影が行われたときのままのところに居ながらにして、ショット画像を確認でき、ユーザにとっては面倒がなくなる。
また、このような雲台10の動きは、現実に見てみると、非常におもしろみのあるものとなっている。つまり、撮像システムとしてのエンタテイメント性も大きく向上する。
図12のフローチャートは、上記第1例としてのショット画像提示動作のために撮像システムにおいて実行される処理手順例を示している。より具体的には、図12の処理は、デジタルスチルカメラ1の制御部27(CPU)がプログラムに従って実行する、ショット画像提示動作のための制御・処理としてみることができる。
先ず、図12のステップS101において制御部27は、セルフタイマー撮影を実行する。つまり、制御部27は、例えば予め設定されたセルフタイマー時間分のタイマーを起動して計時を開始させ、セルフタイマー時間が経過したタイミングで、そのときに得られている撮像画像を静止画像データとして生成する。この生成された静止画像データがショット画像としての画像データ(ショット画像データ)となる。第1例では、ステップS101において、このようにして生成して得たショット画像データをメモリカード40に対して書き込んで記憶させるものとする。
また、ステップS101の処理とともに、制御部27は、次のステップS102として示すようにして、雲台10に対するパンニング制御として、現在のパン位置から180°となるパン位置にまでパン機構部53を動かすための駆動制御を実行する。
このためには、制御部27は、雲台対応通信部34を介した雲台10との通信として、雲台10側に対して、時計回り方向(もしくは反時計回り方向)にパン機構部53を回転移動させるための命令を出力する。
雲台10の制御部51は、上記の命令に応答して、パンモータ54について、上記時計回り方向(もしくは反時計回り方向)のパン機構部53の動きに対応する回転方向で駆動されるように、パン用駆動部55を制御する。これにより、雲台10におけるパンニングの動きが開始される。
上記パン機構部53が動くことに応じては、制御部51には、ロータリーエンコーダ53aからの回転角度量を示す信号が入力される。制御部51は、このロータリーエンコーダ53aからの検出信号を、通信部52経由での通信により、デジタルスチルカメラ1に対して送信する。
ここで、デジタルスチルカメラ1の制御部27は、ロータリーエンコーダ53aからの検出信号に基づき、パン機構部53の動きに応じて変化するパン機構部53のパン位置を定常的に認識することができる。
先ず、制御部27は、パン機構部53がパン基準位置にあるときについては、例えば、このことが雲台10との通信により認識できるようになっている。このとき、制御部27は、現在のパン位置については0°であるとの情報を持つことになる。
そして、この後において、雲台10においてパン機構部53が駆動されて回転するのに応じては、制御部27には、ロータリーエンコーダ53aからの検出信号が入力されてくる。制御部27は、この検出信号に基づいて、パン機構部53の回転角度量を求め、これに基づいて、新たな現在のパン位置の情報を求める。このようにして、デジタルスチルカメラ1の制御部27は、常に、雲台10側のパン位置が認識できる。
そこで、ステップS102においては、先の説明のようにしてパン機構部53の駆動を開始させた後、セルフタイマー撮影時において認識していたパン位置(x°)から180°回転した目標のパン位置(x°+180°)となるのを待機する。そして、この目標パン位置にまでパン機構部53のパン位置が移動したことを認識すると、このタイミングでこれまでのパン機構部53の駆動を停止させるための命令を雲台10に出力する。
雲台10の制御部51は、上記駆動停止の命令を入力したことに応じて、これまでのパン用モータ54の回転が停止されるようにパン用駆動部55を制御する。これにより、雲台10のパンニングの動作が停止する。このようなステップS102に対応した処理、動作の結果、図9〜図11にて説明したように、雲台10は、セルフタイマー撮影の実行後において180°回転するようにしてパンニングした状態が得られる。
また、ステップS103において制御部27は、ステップS101により実行したセルフタイマー撮影により得たショット画像データを利用して、表示部33によりショット画像が再生表示されるようにするための表示制御を実行する。これにより、図11(b)に示したように、デジタルスチルカメラ1の表示画面部33aにおいてショット画像が表示される。
なお、上記説明では、パン方向における移動により被写体人物Mに対して表示方向F2を向けるようにしている。これは、本実施形態の雲台10として、表示方向F2をほぼ反転させることのできる可動範囲が与えられているのが、パン機構部53であることによる。従って、例えば雲台10の構成として、チルト機構部について充分な可動範囲が与えられているのであれば、チルト方向での移動により被写体人物Mに対して表示方向F2を向けるように構成してもよい。但し、この場合には、そのままでは、被写体人物Mからは、表示画面部33aに表示される画像が逆さまになって見えてしまうので、撮影画像を180°回転させて表示させることになる。
また、上記説明においてパン方向において180°回転させることとしているのは、撮像方向F1と表示方向F2とが互いに180°となる関係であることによる。
従って、例えばデジタルスチルカメラ1におけるレンズ部21aと表示画面部33aの取り付け位置により、撮像方向F1と表示方向F2とが180°以外の角度(Δx°)となる場合には、自動撮影時のパン位置をx°とすれば、目標パン位置としてはx°+Δx°となるようにしてパン駆動制御を行うようにすればよい。
<3.ショット画像提示動作(第2例)>

次に、図13を参照して、本実施形態の撮像システムによる、ショット画像提示動作の第2例としての動作について説明する。
図13(a)は、被写体人物Mを被写体として、本実施形態の撮像システムにより自動撮影が実行されたときの様子を側面方向から模式的に見た図である。なお、第2例についても、自動撮影については、セルフタイマー撮影であるとする。
先ず、パン方向に関しては、図13(a)の場合にも第1例における図9(a)と同様に、被写体人物Mは、デジタルスチルカメラ1の撮像視野に収まるような位置関係にあるとする。
そのうえで、図13(a)の場合には、被写体人物Mのほうが、撮像システムに対してより上側に位置しているとされる。このことに応じて、チルト方向については、上記の撮像視野に被写体人物Mが入るようにするための調整が行われている。
ここで、本実施形態の撮像システムは雲台10を備えているが、これは、ユーザ操作(例えばリモートコントロール操作)などに応じて、パン駆動、チルト駆動を実行させて、撮像方向を変更することが可能であることを意味する。上記のチルト方向の調整は、例えばこのようなユーザ操作によって行うことができる。
そして、上記したようにチルト方向における調整が行われた結果、チルト機構部56は、チルト基準位置Y0から+v°の回転角度にまで移動したチルト位置Y1に在る状態となっている。これに応じて、デジタルスチルカメラ1は、チルト位置Y1に対応した仰角が与えられ、図のようにして本体部2の前面部が上向きとなっている。そして、この状態において、撮像方向F1が、ほぼちょうど、被写体人物Mのほうに向くようになっている。
そして、この第2例において、セルフタイマー撮影が実行されたとする。
すると。図13(b)に示すように、先ず、パン機構部53は、パン方向については、これまでのパン位置に対して180°となる位置にまで移動する。
そのうえでさらに、第2例では、上記のパンニング動作とともに、次のチルティング動作も行われる。
つまり、図13(b)にも示すようにして、チルト機構部56について、チルト基準位置Y0から-v°の回転角度となるチルト位置Y2にまで移動させる。つまり、セルフタイマー撮影時と同じ角度量による反対方向への傾きをデジタルスチルカメラ1に与えるようにする。
このために、図13(a)に示すセルフタイマー撮影時においては、チルト基準位置Y0に対して角度量v(絶対値)だけ、デジタルスチルカメラ1の前面部側は上向きになっている。しかし、図13(b)に示す撮影画像提示時においては、チルト基準位置Y0に対して角度量v(絶対値)だけデジタルスチルカメラ1の前面部側を下向きにさせている。これにより、被写体人物Mが撮像システムに対して上側に位置しているとしても、これに応じて、表示方向F2を被写体人物Mに適正に向けることができる。
仮に、図13(a)に示した状態から、ショット画像表示のためのパン・チルト駆動として、180°のパンニングのみを実行させたとすると、被写体人物Mからみたときには、デジタルスチルカメラ1の背面部側がv°分下向きの状態になってしまう。これは、表示画面部33aが相当に下向きとなるので、被写体人物Mからすればかなり見づらい。
この見づらさを解消するには、例えば、チルト基準位置に戻して表示方向F2を水平にすることが考えられる。しかし、このケースでは、被写体人物Mからすれば、下側の目線のほうに撮像システムが位置しているので、表示方向F2が水平な状態であっても、診にくい場合がある。
そこで、第2例としては、チルト位置として、セルフタイマー撮影時とは反転した角度値を与えることとして、より、被写体人物Mにとって、表示画面部33aに表示される画像が見やすい状態となるように配慮しているものである。
なお、図13(a)の場合には、セルフタイマー撮影時において、チルト位置について仰角方向に対応した回転角度によるチルト位置が与えられている例が示されている。ここで、仮に、図13(a)とは逆に、セルフタイマー撮影時において俯角方向に対応した回転角度によるチルト位置が与えられていれば、ショット画像の表示時においては、仰角方向に同じ角度量だけ回転させたチルト位置となるようにしてチルティングが行われる。
図14のフローチャートは、第2例のショット画像提示動作のために撮像システムにおいて実行される制御・処理を示すもので、より具体的には、デジタルスチルカメラ1の制御部27(CPU)がプログラムに従って実行する、ショット画像提示動作のための制御・処理となる。
この図において制御部27は、先ずステップS201により、図12のステップS101と同様にして、セルフタイマー撮影を実行する。
次に、制御部27は、ステップS202、S203により、現在のパン位置x°、チルト位置y°をそれぞれ取得する。この段階においては、セルフタイマー撮影後において未だパンニング、チルティングが行われていない。従って、ステップS202,S203により取得される現在のパン位置、チルト位置は、それぞれ、セルフタイマー撮影時におけるパン位置、チルト位置となる。
また、パン位置x°は、図4に示したパン基準位置を0°(360°)としたうえで、0°〜360°の範囲を取る。
また、チルト位置y°は、図5,図6に示したチルト基準位置Y0を0°として、仰角方向については0°〜+f°の範囲を取り、俯角方向については0°〜−g°の範囲を取るものとなる。
ステップS202のパン位置x°については、先に図12のステップS102に対応して説明したようにして、パン機構部53のロータリーエンコーダ53aからの検出信号に基づいて制御部27が常時、その情報を保持しているので、この情報を取得すればよい。
また、制御部27は、パン位置と同様にして、チルト機構部56のロータリーエンコーダ56aからの検出信号に基づいて、チルト位置についても定常的に認識して、その情報を保持している。
そこで、ステップS203においても、上記のようにして保持しているチルト位置の情報を読み出してチルト位置y°を取得すればよい。
ステップS204において制御部27は、x°+180°(x°−180°でもよい)で表されるパン位置にまで移動されるようにしてパン機構部53の駆動制御を実行する。この制御は、図12のステップS102と同様でよい。
また、ステップS204とともに、制御部27は、ステップS205により、これまでのチルト位置y°の状態から、チルト位置−y°となるようにしてチルト駆動制御を実行する。
また、ステップS206により、ステップS201に対応して得られているとされるショット画像を表示部33にて表示させるための制御を実行する。
このような制御・処理によって、図13にて説明したように、ショット画像提示動作において、自動撮影時のパン位置に対して180°回転したパンニングが行われるとともに、自動撮影時のチルト位置に対して、反転したチルト角度値によるチルト位置となるようにしてチルティングが行われる。
<4.ショット画像提示動作(第3例)>

本実施形態のショット画像提示動作の第3例としての動作概要について説明する。第3例にあっては、撮像視野に収まって撮像される被写体数が1つの場合と複数の場合とで、その動作の態様を分けることができる。
先ず、被写体が1つの場合について説明する。
ここで、図15(a)は、本実施形態の撮像システム(デジタルスチルカメラ1、雲台10)と、これに取り付けられているデジタルスチルカメラ1とを平面から見ている。
この図15(a)において、デジタルスチルカメラ1は、雲台10のパン機構部53によるパン方向(横方向)における可動範囲内において、パン基準位置に在るものとする、基準線Lは、デジタルスチルカメラ1がこのパン基準位置に在るとした場合において、そのレンズ部21a(光学系部21)の光軸(撮像光軸)、即ち、撮像方向F1に対応の直線に対して一致、平行となる線である。
また、ここでは、設定している水平画角(水平ズーム角)を、画角中央angC、画角左端angL、画角右端angRにより表現している。なお、画角中央angCは、デジタルスチルカメラ1の撮像光軸、即ち撮像方向F1にも相当する。画角中央angCから画角左端angLまでの角度の大きさと、画角中央angCから画角右端angRまでの角度の大きさは同じになる。
そのうえで、ここでは、実施形態の撮像システムが設置されている周囲において、図示するように、デジタルスチルカメラ1に対して紙面上で右手前となる方向の位置において、1つの人物としての被写体SBJが存在しているものとする。
例えば、上記図15(a)に示す撮像システムと被写体との位置関係の状態から、図15(b)への遷移として示すようにして、デジタルスチルカメラ1をパン基準位置からαx°分により回転させた位置(パン方向対応撮像位置αx°として表す)にまで動かして、被写体SBJを水平画角の範囲内に収めたとする。なお、図示は省略するが、垂直画角の範囲内においても被写体SBJは収まっているものとする。つまり、図15(b)の状態では、被写体SBJは、デジタルスチルカメラ1の撮像視野内に収まっている。
そして、この状態において、デジタルスチルカメラ1による自動撮影を実行させたものとする。
第3例において、この自動撮影実行後におけるショット画像提示のためのパンニングは、次のようにして行われる。なお、ここでも自動撮影動作は、セルフタイマー撮影であるとする。
図15(b)に示すセルフタイマー撮影時においては、被写体SBJは、基準線Lに対して時計回り方向に角度γx°だけ回転した角度に対応する線上に、その水平方向における中心位置(重心G)が対応するようにして位置している。
なお、上記角度γx°については、「パン方向対応被写***置γx°」ともいうことにする。パン方向対応被写***置γx°は、パン方向におけるパン基準位置を起点としたうえでの絶対的な被写体の位置を示すものとなる。また、被写体SBJの重心Gは、被写体SBJの位置を示すのにあたって基準となる点である。
そして、第3例のパンニングとしては、図15(b)から図15(c)への遷移として示すように、パン方向対応被写***置γx°に対応する直線の延長上にデジタルスチルカメラ1の画角中央angC(撮像光軸:撮影方向F1が重なる状態となるようにしてパンニングが行われる。つまり、パン方向対応被写***置γx°に対して180°回転したパン位置(γx°+180°)(γx°-180°でもよい)となるようにしてパン機構部53の駆動が行われる。比較として、第1例、第2例では、セルフタイマー撮影時のパン位置に対して、単純に180°となるパン位置となるようにパンニングを行っていたものである。
上記図15(c)に示すようにしてパンニングが行われることで、セルフタイマー撮影時において被写体が撮像視野に対応する画枠の水平方向において中央にいなかったとしても、ショット画像提示時においては、パン方向について、人物である被写体SBJの顔の向きに対して、表示画面部33aがほぼ正面となるようにして向かい合わせることができる。
上記した第3例としてのパンニングを行うには、パン方向対応被写***置γx°を求める必要がある。そこで、このパン方向対応被写***置γx°の求め方について説明する。
先ず、図17は、デジタルスチルカメラ1による撮像画像の画内容として、人物としての被写体SBJが1つ存在しているものを示している。この図においては、1画面をマトリクス状に区切った状態を示しているが、これは、撮像画像データとしての画面が、所定数による水平・垂直画素の集合から成るものであることを模式的に示している。
先ず、デジタルスチルカメラ1では、信号処理部24における顔検出処理機能により、この図に示す画内容の撮像画像データを対象に被写体検出(顔検出)を行う。これにより、図において示される1つの被写体SBJの顔が検出されることになる。なお、このように被写体を検出した結果としては、その被写体の数、被写体ごとの位置及びサイズなどの情報を得る。図17の場合には、被写体数は1であるとして検出されることになる。そして、被写体の位置として、重心Gを求める。
撮像画像データとしての画面には、例えば水平・垂直画素数に対応させるなどした所定の分解能によってX座標とY座標のそれぞれが設定されている。重心G、このX座標とY座標により表現することができる。
なお、この重心Gについての被写体の画像内における位置の定義であるとか、重心Gをどのようにして設定するのかについては、例えばこれまでに知られている被写体重心検出方式を採用することができる。
また、被写体ごとのサイズについては、例えば顔検出処理により顔部分であるとして特定、検出される領域の画素数を求めるようにすればよい。
上記のようにして本実施形態においては、被写体検出処理の結果として被写体SBJの重心を求めることができる。
そのうえで、パン方向対応被写***置γx°については、次のようにして求めることができる。
ここで、再度、セルフタイマー撮影時に対応する図15(b)を参照する。
この図に示されるパン基準位置(基準線L)と中心画角angCとが成す角度をαx°とする。角度αx°は、セルフタイマー撮影時におけるパン位置となる。
また、画角左端angLから画角右端angRまでの角度に対応する水平画角をθx°とする。
また、この場合の被写体SBJの重心Gは、中心画角angC(撮像方向F1)に対して反時計回りの方向に角度βx°だけ回転した角度に対応する線上に位置しているとみることができる。この角度βx°については、中心画角angC(撮像方向F1)を基にして決まる被写体SBJの位置を示すものであるから、相対位置対応角度という。
ここで、図19は、上記図15(b)に示した位置状態のデジタルスチルカメラ1により撮像して得られる撮像画像を示しているものとする。
ここで、撮像画像の画枠300における水平画枠サイズ(例えば画素数により表現できる)をCxとし、この水平画枠サイズにおける中点を通過する垂直線をMとして、この垂直線Mを撮像画像の画枠における水平方向の基準(X軸座標の基準:X=0)とする。水平方向に沿ったX軸座標としては、垂直線Mより右の領域が正となり、左の領域が負となる。そして、撮像画像の画枠300内において存在する被写体SBJについての、水平方向における座標値はX=dとして表している。なお、図19の場合のX座標値dは、負の数となる。
ここで、図19における被写体SBJの重心までのX座標の座標値dと水平画枠サイズCxとの関係(比)は、図15(a)における相対位置対応角度βx°と水平画角θx°との関係(比)に相当する。
よって、相対位置対応角度βx°は、
βx°=(d/Cx)*θx°・・・(式1)
により表される。
また、図19によれば、パン方向対応撮像位置αx°、相対位置対応角度βx°、及びパン方向対応被写***置γx°の関係は、
αx°=γx°−βx°・・・(式2)
で表される。
よって、パン方向対応被写***置γx°としては、下記のようにして求めることができる。
γx°=(d/Cx)*θx°+αx°・・・(式3)
つまり、パン方向対応被写***置γx°は、水平画枠サイズCx、撮像画像の画枠内における被写体SBJのX座標値d、水平画角θx°、及びパン方向対応撮像位置αx°のパラメータにより求められることになる。
ここで、上記パラメータのうち、水平画枠サイズCxは既知であり、撮像画像の画枠内における被写体SBJのX座標値は、撮像画像内にて検出される被写体についての水平方向における位置情報に他ならないから、本実施の形態の被写体検出処理により得ることできる。また、水平画角θx°の情報は、画角(ズーム)制御の情報に基づいて得ることができる。より具体的には、例えば光学系部21が備えるズームレンズのズーム倍率1倍を設定しているときの標準画角の情報を保持しておいたうえで、ズーム制御に応じて得られるズーム位置と、上記標準画角とを利用して求めることができる。また、パン方向対応撮像位置αx°についてもパン制御の情報として得ることができる。
このようにして、本実施の形態の撮像システムでは、パン方向対応被写***置γx°を求めることができる。
また、第3例としては、チルト方向についても、これまでに説明したパンニングに準じた制御を行うように構成することができる。
図20には、雲台10に取り付けられているデジタルスチルカメラ1を抜き出して側面方向より示している。デジタルスチルカメラ1は、この図に示される回転軸12aを中心に回転するようにしてチルト方向に沿って駆動される。なお、図5、図6に示している回転軸12aは、デジタルスチルカメラ1の下側となっているが、図20では、説明を簡単で分かりやすくするために、回転軸12aについて、デジタルスチルカメラ1の撮像光軸(中心画角angC)の線上に位置させている。
ここで、例えばこの図に示すようにして、デジタルスチルカメラ1について仰角方向に対してαy°の仰角を与えた状態で、デジタルスチルカメラ1に対して図示する位置関係にある被写体SBJを撮像してショット画像を得たとする。
チルト方向については、上記の仰角αy°がチルト方向対応撮像位置となる。なお、このチルト方向対応撮像位置αy°は、チルト基準位置Y0と直交することで水平となる水平基準線Y01から中心画角angC(撮像方向F1)までの角度と同じになる。水平基準線Y01は、デジタルスチルカメラ1のチルト方向対応撮像位置αy°=0のときに撮像光軸と一致する線となる。
また、チルト方向に対応する相対位置対応角度βy°については、パン方向の場合と同様に、中央画角angCから被写体SBJの重心Gに対応するチルト位置までの角度となる。
なお、チルト方向に対応する相対位置対応角度βy°については、図19に準じて、垂直画枠サイズCy、撮像画像の画枠内における被写体SBJの重心GのY座標値e(垂直画枠サイズCyの中点をY=0とした場合)、垂直画角θy°のパラメータにより、
βy°=(e/Cx)*θy°・・・(式4)
のようにして求めることができる。
なお、被写体が複数の場合には、被写体個別の重心Gに代えて、総合被写体重心Gtを利用して相対位置対応角度βy°、Y座標値eなどを求めたうえで、上記(式4)により相対位置対応角度βy°を求めることになる。
ここで、図20からも理解されるように、この図における被写体SBJの重心に向けて撮像光軸が通過するようにするためには、デジタルスチルカメラ1についてαy°+βy°による仰角のチルト位置とすればよい。すると、ショット画像提示に際して、被写体SBJに対してデジタルスチルカメラ1の表示画面部33aが正面を向くようにするためには、デジタルスチルカメラ1についてαy°+βy°分の俯角を与えればよい。つまり、−(αy°+βy°)で表されるチルト位置とすればよい。
このようにして、ショット画像提示時において、チルト方向についても、被写体SBJに対して表示画面部33aが正面を向くように駆動するためには、ショット画像撮影時のチルト方向対応撮像位置αy°、及び(チルト方向対応)相対位置対応角度βy°とを取得する。そしてチルト位置−(αy°+βy°)となるようにしてチルト駆動制御を行えばよい。
なお、上記のようにしてチルト位置−(αy°+βy°)を求めることは、チルト方向に対応する被写***置γy°を求めることと同義であると捉えられる。図20から理解されるように、チルト方向対応被写***置γy°は、αy°,βy°,及び定数の90°を利用して、
γy°=(αy°+βy°)−90°・・・(デジタルスチルカメラ1の仰角方向の角度値を正、俯角方向の角度値を負とした場合)
で表される。つまり、αy°,βy°を求めることで、チルト方向対応被写***置γy°は一義的に求められる。
第3例のショット画像提示動作として、上記のようにしてパンニング方向の駆動とともにチルト方向の駆動も行うようにすれば、表示方向F2は、左右方向、上下方向の何れについても被写体人物のほぼ正面に向けることができる。つまり、撮影されたショット画像の画枠内における被写体SBJの位置がどこにあっても、ショット画像提示時には、常に被写体人物にとって見やすい方向に表示画面部33aに向けられる。
次に、第3例として、セルフタイマー撮影時においてショット画像の画枠内に収まった被写体が複数の場合について説明する。
先ず、被写体が複数の場合には、複数の被写体をひとまとまりの被写体(総合被写体)としてみた場合の重心である、総合被写体重心を求めるようにする。
例として、図18には、ショット画像としての画枠内において、2つの被写体SBJ0、SBJ1が存在している場合を示している。
総合被写体重心の設定にあたっては、先ず、各被写体の個別の重心を求める。図では、被写体SBJ0、SBJ1ごとの重心については、G0(X0,Y0)、G1(X1,Y1)として示している。
そして、これら被写体ごとの重心G0(X0,Y0)、G1(X1,Y1)に基づいて、総合被写体重心Gt(Xg,Yg)を求めるようにする。
この総合被写体重心Gtをどのようにして設定するのかについては、いくつか考えることができるが、ここでは、最も簡易な例として、検出された複数の被写体のうちで、画面の左端と右端の両端に位置する被写体の重心を結ぶ線分上の中間点を総合被写体重心Gtとして設定した場合を示している。
なお、ほかには例えば、複数の被写体ごとに認識、検出したサイズ、性別、年代(年齢区分)などの属性に応じて重み付け係数を与え、この重み付け係数を利用して、例えばサイズの大きな被写体に総合被写体重心Gtの位置が近くなるように配慮した設定手法も考えることができる。
そして、ショット画像提示に際しては、図16に示すようにしてパンニングを行う。図16(a)は、セルフタイマー撮影時における被写体SBJ0,SBJ1とデジタルスチルカメラ1との位置関係を示し、図16(b)は、ショット画像提示に対応して、セルフタイマー撮影実行後においてパンニングが完了したときの状態を示す。
これらの図から理解されるように、複数の被写体を撮影した場合においては、総合被写体重心Gtに基づいて、パン方向対応被写***置γx°、相対位置対応角度βx°を求めるようにする。そのうえで、図15(b)から図15(c)への遷移として説明したのと同様に、パン位置(γx°+180°)(γx°-180°でもよい)となるようにしてパンニング制御を行う。
また、チルト方向に関しても、総合被写体重心Gtに基づいて相対位置対応角度βy°を求めた上で、−(αy°+βy°)で表される目標のチルト位置となるようにして、チルティング制御を行うようにする。
図21は、第3例に対応したショット画像提示動作のために撮像システムにおいて実行される制御・処理を示す。この処理も、デジタルスチルカメラ1の制御部27(CPU)がプログラムに従って実行するものとしてみることができる。
ステップS301において制御部27は、自動撮影としてセルフタイマー撮影を実行して、ショット画像データを得る。
次のステップS302において制御部27は、パン方向対応被写***置γx°を取得する。このステップS302としての手順は、図22のフローチャートに示される。
図22において、先ず制御部27は、今回のステップS301により撮影を実行したときの撮像画像において検出された被写体の数について、1であるのか、若しくは2以上であるのかについて判別する。この判別は、先に述べたように、信号処理部24が実行するとされる被写体検出の結果として得られた被写体数の情報を利用すればよい。
ステップS401において被写体数が1であると判別された場合には、ステップS402に進み、検出された1つの被写体についての重心(単一被写体重心G)のX座標値dを取得する。これに対して、ステップS401において被写体数が2以上であると判別された場合には,ステップS403により、総合被写体重心GtのX座標値dを取得する。ここでは、被写体検出処理の段階で、単一被写体重心G、及び総合被写体重心Gtの座標が求められているものとする。従って,ステップS402、S403の処理としては、被写体検出により求められている単一被写体重心G若しくは総合被写体重心GtのX座標を読み込むようにすればよい。
ステップS402又はステップS403において重心のX座標が求められた後は、ステップS404,S405の手順を実行する。
ステップS404においては、例えばズーム位置に基づいて水平画角θx°を取得するとともに、パン方向対応撮像位置αx°を取得する。そのうえで、ステップS405においては、先の(式3)として表される演算を行って、パン方向対応被写***置γx°を算出する。このようにして、パン方向対応被写***置γx°が取得される。
図21においてステップS302に続くステップS303では、現在のチルト位置(撮像チルト位置)αy°と、チルト方向における相対位置対応角度βy°を取得する。この場合において、相対位置対応角度βy°を求めるのにあたっては、先ず、図22のステップS401〜S403に準じて、被写体数が1であれば、その被写体の単一被写体重心GのY座標値eを取得し、被写体数が2以上であれば、総合被写体重心GtのY座標値eを取得する。そのうえで、取得したY座標値eを利用して、先に説明した(式4)による演算を行うようにすればよい。
次のステップS304において制御部27は、パン位置(γx°+180°)となるようにしてパン駆動制御を実行する。
また、これとともに、ステップS305により、チルト位置−(αy°+βy°)となるようにしてチルト駆動制御を実行する。
さらに、ステップS306により表示部33によりショット画像が再生表示されるようにして制御を実行する。
<5.ショット画像提示動作(第4例)>

第4例としてのショット画像提示動作では、自動撮影として、自動的に最適構図により被写体を撮像していくことができるように構成されていることを前提にする。
つまり、自動でパンニング・チルティングを行いながら、例えば人物としての被写体を探索する。次に被写体が探索されて撮像画像の画枠内に在る状態になると、この被写体を撮影するのに適当とされる構図を判定する。そして、構図合わせのための調整としてのズーム、パン、チルトの制御を行って、撮像画像として判定された構図の画内容が得られたタイミングをトリガとしてで自動的に撮像を実行してショット画像を記録していく。これにより、デジタルスチルカメラ1には、自動的に撮像されたショット画像が蓄積されていく。
なお、以降においては、上記のようにして自動的に被写体を探索して構図合わせを行ったうえで撮影していくことを、「自動構図制御撮影」ともいう。
ここで、例として、図23に示すようにして、撮像システム(デジタルスチルカメラ1、雲台10)の周囲において、被写体人物A,B,C,Dの4人が、図示する位置関係により存在しているとする。
ここでは、撮像システムのパン基準位置(0°,360°)を基準にして、被写体人物Aはその重心G1が330°の位置に在り、被写体人物Bはその重心G2が20°の位置に在り、被写体人物Cはその重心G3が150°の位置に在り、被写体人物Dはその重心が200°の位置にあるものとしている。
この環境の下、撮像システムが上記のようにして自動構図制御撮影により被写体探索・構図合わせを行いながら撮影を行っていった結果、或る段階で、図24(a)(b)(c)に示した3つのショット画像1〜3が記録されたとする。
図24(a)のショット画像1は、画枠300内において被写体人物A,Bに対応する被写体A,Bが収まっている画内容を有している。
図24(b)のショット画像2は、被写体人物Cに対応する被写体Cのみが収まっている画内容を示している。
図24(c)のショット画像3は、被写体人物Dに対応する被写体Dのみが収まっている画内容を示している。
図24(d)のショット画像4は、被写体人物Aに対応する被写体Aのみが収まっている画内容を示している。
そして、上記図24(a)(b)(c)(d)に示す4つのショット画像までが記録されたところで、自動構図制御撮影により撮像されたショット画像を対象とするショット画像提示としての動作を実行すべきことになったとする。なお、このショット画像提示実行のトリガとしては、適当なものをいくつか考えることができる。例えば1つには、ユーザによるショット画像提示実行のための操作をトリガとすることが考えられる。また、他には、規定数分のショット画像が撮像されたことに応じて、自動的にショット画像提示動作を実行させるようにすることが考えられる。また、規定の時間を経過したことに応じて、自動的にショット画像提示動作を実行させるようにすることが考えられる。
そして、この第4例においては、上記の図24に示した自動構図制御撮影の例に応じたショット画像提示として、次のように動作する。
この場合のショット画像提示の動作としては、撮像システムの周囲に居る被写体人物A,B,C,Dのそれぞれに対して、順次、その被写体人物が居るとする方向に対して表示方向F2が正面を向くパン位置となるようにしてパン移動を行っていくようにする。ここでは、被写体人物A,B,C,Dの順で、上記のパン移動が行われていくものとする。
そして、上記のパン移動が行われる都度、そのときに表示画面部33aが正面を向いているとする被写体人物に関連するショット画像として、ここでは、その被写体人物が写っているとするショット画像が表示画面部33aにて表示されるようにする。
すると、最初は、被写体人物Aに対して表示方向F2が正面を向くパン位置となるようにパン移動が行われる。つまり、この状態で、図24(a)(b)(c)(d)に示すショット画像1,2,3,4のうち、被写体人物A(被写体A)が写っているとされるショット画像1,4を、表示画面部33aに表示させる。なお、このようにして表示すべきショット画像が複数ある場合には、撮影された時刻に応じた表示順により、一定時間間隔で順次表示させていくようにすればよい。あるいは、表示画面部33aを分割して同時に表示させることも考えられる。ただし、画像を大きなサイズでみせることができるという点では、前者のように、1枚ずつ順次表示させていくほうが有利である。
そして、上記のようにして被写体人物Aに関連するショット画像を表示させた後は、雲台10は、被写体人物Bに対して表示方向F2が向けられるようにしてパンニングを行う。図24において被写体人物Bが写っているのは、図24(a)のショット画像1のみであるので、ここでは、このショット画像1のみを再生表示する。
上記ショット画像1の再生表示が完了すると、次に雲台10は、被写体人物Cに対して表示方向F2が向けられるようにしてパンニングを行い、被写体人物Cが写っているショット画像2を再生表示する。
そして最後は、雲台10により被写体人物Dに対して表示方向F2が向けられるようにしてパンニングを行い、被写体人物Dが写っている図24(c)のショット画像を再生表示する。
このようにして第4例では、自動構図制御撮影により蓄積されたショット画像を対象とするショット画像提示として、撮像システムの周囲に居るとする被写体人物ごとに、デジタルスチルカメラ1の表示画面部33aを正面に向けさせた状態で、その被写体人物に関連した画像を選択して表示して見せる、という動作が得られる。
次に、上記第4例としての自動構図制御撮影、及びショット画像提示のための技術構成例について説明していくこととして、先ず、自動構図制御撮影のための構成について説明する。
図25は、第4例の自動構図制御撮影に対応する撮像システム(デジタルスチルカメラ1、雲台10)の内部を、機能動作ごとに対応したブロック構成により示している。
この図において、デジタルスチルカメラ1は、撮像記録ブロック61、構図判定ブロック62、パン・チルト・ズーム制御ブロック63、及び通信制御処理ブロック64を備えて成るものとされている。
撮像記録ブロック61は、撮像により得られた画像を画像信号のデータ(撮像画像データ)として得て、この撮像画像データを記憶媒体に記憶するための制御処理を実行する部位である。なお、ここでいう撮像画像データは、これまでの説明におけるショット画像データ(撮影動作に応じて得られる静止画像データ)だけではなく、例えば撮像により得られる動画としての画像データも含む。
この撮像記録ブロック61としての部位は、例えば撮像のための光学系、撮像素子(イメージセンサ)、及び撮像素子から出力される信号から撮像画像データを生成する信号処理回路、また、撮像画像データを記憶媒体に書き込んで記録(記憶)させるための記録制御・処理系などを有して成る部位である。
構図判定ブロック62は、撮像記録ブロック61から出力される撮像画像データを取り込んで入力し、この撮像画像データを基にして構図判定のための処理を実行する。さらに、この判定した構図による画内容の撮像画像データが得られるようにするための、構図獲得制御も実行する。
パン・チルト・ズーム制御ブロック63は、構図判定ブロック62の指示に応じて、判定された適切構図に応じた構図、撮像視野角が得られるように、パン・チルト・ズーム制御を実行する。つまり、構図獲得制御として、構図判定ブロック62は、例えば判定された適切構図に応じて得るべき上記構図、撮像視野角をパン・チルト・ズーム制御ブロック63に指示する。パン・チルト・ズーム制御ブロック63は、指示された構図、撮像視野角が得られる撮像方向にデジタルスチルカメラ1が向くための、雲台10のパン・チルト機構についての移動量を求め、この求めた移動量に応じた移動を指示するパン・チルト制御信号を生成する。
また、例えば判定された適切画角を得るためのズーム位置を求め、このズーム位置となるようにして、撮像記録ブロック61が備えるとされるズーム機構を制御する。
通信制御ブロック64は、雲台10側に備えられる通信制御ブロック71との間で所定の通信プロトコルに従って通信を実行するための部位となる。上記パン・チルト・ズーム制御ブロック63が生成したパン・チルト制御信号は、通信制御ブロック64の通信により、雲台10の通信制御ブロック71に対して送信される。
雲台10は、例えば図示するようにして、通信制御ブロック71、及びパン・チルト制御処理ブロック72を有している。
通信制御ブロック71は、デジタルスチルカメラ1側の通信制御ブロック64との間での通信を実行するための部位であり、上記のパン・チルト制御信号を受信した場合には、このパン・チルト制御信号をパン・チルト制御処理ブロック72に対して出力する。
パン・チルト制御処理ブロック72は、制御部51が実行する制御処理のうちで、パン・チルト制御に関する処理の実行機能に対応するものとなる。
このパン・チルト制御処理ブロック72は、入力したパン・チルト制御信号に応じて、ここでは図示していないパン駆動機構部、チルト駆動機構部を制御する。これにより、適切構図に応じて必要な水平撮像視野と垂直撮像視野を得るためのパンニング、チルティングが行われる。
また、この場合の構図判定ブロック62は被写体検出処理を実行するが、この被写体検出処理の結果として被写体が検出されないときには、パン・チルト・ズーム制御ブロック63は、例えば指令に応じて被写体探索のためのパン・チルト・ズーム制御を行うことができるようになっている。
ここで、上記図25に示した撮像システムの構成と、図7、図8に示したデジタルスチルカメラ1、雲台10の構成との対応は、例えば次のようになる。なお、ここで述べる対応は、あくまでも順当に考えられるものの1つとして捉えられるべきものであり、ここで述べる以外の対応の態様も採り得るものである。
図25のデジタルスチルカメラ1における撮像記録ブロック61は、例えば図7における光学系部21、イメージセンサ22、A/Dコンバータ23、信号処理部24、エンコード/デコード部25、メディアコントローラ26から成る部位が対応する。構図判定ブロックが構図判定処理に利用する撮像画像データは、例えば信号処理部24における所定の信号処理段階にて得ることができる。
図25のデジタルスチルカメラ1における構図判定ブロック62は、例えば図7の信号処理部24における被写体検出のための画像処理機能と、被写体検出処理、構図判定処理に関連したプログラムを実行する制御部(CPU)27とが対応する。
図25のパン・チルト・ズーム制御処理ブロック63は、例えば図7における制御部27がパン・チルト・ズーム制御のために実行する処理機能が対応する。
図25のデジタルスチルカメラ1における通信制御処理ブロック64は、例えば図7における雲台対応通信部34と、この雲台対応通信部34を利用する通信のために制御部27が実行する処理機能が対応する。
図25の雲台10における通信制御ブロック71は、例えば図8における通信部52と、この通信部を利用した通信のために制御部51が実行する処理が対応する。
図25のパン・チルト制御処理ブロック72は、例えば図8における制御部51が実行する制御処理のうちで、パン・チルト制御に関する処理の実行機能に対応するもので、入力される制御信号に応じてパン機構部53、チルト機構部56の動きをコントロールするための信号をパン用駆動部55、チルト用駆動部58に対して出力する。
このようにして、上記図25に示す構成を採る撮像システムでは、デジタルスチルカメラによる写真撮影(撮像画像データの撮像記録)を行うのにあたり、先ず、適切構図を決定(判定)し、この適切構図が得られている画内容の撮像画像データについての記録を行うという動作が自動的に実行される。これにより、ユーザ自身が、構図を始めとする構図としての各形成要素の状態を判断して撮影を行わなくとも、相応に良質な写真の画像を得ることが可能になる。
また、このようなシステムでは、誰かがカメラを持って撮影する必要が無くなるので、その撮影が行われる場所に居る全員が被写体となることができる。また、被写体となるユーザが、カメラの撮像視野範囲に入ろうと特に意識しなくとも、被写体が収まった写真が得られることになる。つまり、その撮影場所に居る人の自然な様子を撮影する機会が増えるものであり、これまでにはあまりなかった雰囲気の写真を多く得ることができる。
図26のフローチャートは、構図判定処理ブロック62(及びパン・チルト・ズーム制御ブロック63)によって実行される処理の手順例を示している。
先ず、ステップS501において構図判定処理ブロック62は、撮像記録ブロック61により撮像して得られる撮像画像データ(例えばフレーム画像)の取り込み(入力)を実行し、この取り込んだ撮像画像データを利用して、被写体検出処理を実行する。
ここでの被写体検出処理は、先ず取り込んだ撮像画像データの画内容から、人としての被写体を弁別して検出する処理をいう。ここでの検出結果として得られる情報は、人としての被写体の数と、個々の被写体ごとについての画枠内での位置情報(重心)、及び個々の被写体ごとについての画像内におけるサイズ(占有面積)などとなる。
上記被写体検出処理の具体的手法としては、顔検出の技術を用いることができる。この顔検出の方式、手法はいくつか知られているが、本実施の形態においてはどの方式を採用するのかについては特に限定されるべきものではなく、検出精度や設計難易度、また、後述する静止検出に採用する手法との兼ね合いなどを考慮して適当とされる方式が採用されればよい。
また、この段階での被写体検出処理の手法、アルゴリズムは、現実の人として存在しているものが写った現実被写体と、非現実被写体とを区別することなく被写体として検出するものであってよい。
なお、ステップS502に対応する被写体検出処理は、画像信号処理として実現することができる。例えば画像信号処理をDSP(Digital Signal Processor)により実行するように構成する場合、この被写体検出処理は、DSPに与えるプログラム、インストラクションにより実現できる。
次のステップS503において、構図判定ブロック62は、上記ステップS502の被写体検出処理の結果に基づき、1以上の有効な被写体が検出されたか否かについて判別する。
ここで否定の判別結果が得られたのであれば、ステップS511により被写体探索を指示したうえでステップS501に戻る。このようにして、ステップS511からステップS501に戻る場合、ステップS501〜S503の手順は、被写体探索のためのパン・チルト・ズーム制御を実行させながら撮像画像データを取り込んだうえで、被写体探索としての被写体検出を実行するものとなる。
ステップS504においては、ステップS502に対応して検出された被写体の数、被写体ごとの位置やサイズなどの情報に基づいて、検出された被写体が写った写真画像として最適とされる構図を判定するための構図判定処理を実行する。そして、その判定結果の情報をパン・チルト・ズーム制御ブロック63に送信する。
この構図判定処理としての具体的なアルゴリズムは、多様に考えられる。例えば最も簡単な例では、3分割法などに従って、画枠内において被写体の重心(若しくは総合被写体重心Gt)が、画枠の水平若しくは垂直方向にて三分割した仮想線上に位置した構図を最適構図であるとして判定するようなアルゴリズムを考えることができる。
次のステップS505は、パン・チルト・ズーム制御ブロック63における処理となる。つまり、パン・チルト・ズーム制御ブロック63は、構図判定結果に応じた撮像視野が得られるように、即ち構図合わせのためのパン・チルト・ズーム制御を実行する。
上記ステップS505による構図合わせの処理が開始されて以降においては、ステップS506により、実際にそのときの撮像画像データの画像として得られている構図が、ステップS505により判定した構図と同じであるみなされる状態(例えば一定以上の近似度となる状態)となったか否か(構図がOKであるか否か)を判別することとしている。なお、この判別は、例えば構図判定ブロック62において、構図判定結果を出力した後に得られる被写体情報が示す被写体の位置やサイズなどの変化を認識することで実現できる。
ここで、例えば何らかの原因で、必要なだけのパン・チルト・ズームの移動、駆動を行わせたとしても構図がOKにはならなかった場合には、ステップS506にて否定の判別結果が出力される。この場合には、ステップS511を経たうえでステップS501に戻ることで、被写体探索を再開させることとしている。
これに対して、ステップS506において構図がOKになったとの判別結果が得られた場合には、ステップS507により、レリーズ動作、つまり、そのときに得られている撮像画像データを静止画(ショット画像となる)として記録する動作が実行されるように指示する。このレリーズ指示の処理も、例えばここでは、構図判定ブロック62が実行するものとして捉えればよい。
このレリーズ指示に応じて、先ず、パン・チルト・ズーム制御ブロック63は、これまでの構図合わせのためのパン・チルト・ズームの移動、駆動を停止させる。これにより、パン・チルト・ズームの各動きが停止した状態となる。撮像記録ブロック61は、この状態の下、このときに得られている撮像画像データから1つのショット画像としての画像データを生成し、これを記録させる。
上記ステップS507によるレリーズ指示の後は、ステップS508,S509,S510の各処理を実行してから、ステップS511を経て、ステップS501に戻る。ステップS508,S509,S510の各処理は、図23、図24により説明した、第4例としての自動構図制御撮影に応じたショット画像提示に必要な情報を管理するための処理となる。
ステップS508においては、今回のステップS507のレリーズ指示に応じて撮影(記録)されたとするショット画像に対応するものとして、このショット画像に写ったとされる被写体ごとについてのパン方向対応被写***置(γx°)の情報を取得する。また、このショット画像を撮影したときのパンの角度位置であるパン方向対応撮像位置の情報を取得する。なお、パン方向対応被写***置(γx°)は、先に図23により説明したようにして求めて取得できる。また、パン方向対応撮像位置(αx°)については、ステップS507のレリーズ指示に応じて停止されたときのパン位置の情報を取得すればよい。
次に、制御部27は、ステップS509においては、上記ステップS508により取得した被写体ごとのパン方向対応位置が新規に得られたものである場合には、被写***置情報に新規登録する。つまり、被写***置情報についての生成、更新を行う。
このようにして作成される被写***置情報として、図23,図24に示したようにして被写体A,B,C,Dを撮像したとする場合に対応する内容例を図27(a)に示す。
この図27(a)に示すように、被写***置情報(撮影画像対応被写***置情報)は、例えば被写***置情報において便宜上付した番号に対して、被写体A,B,C,Dごとに求められたパン方向対応被写***置γx°の値を対応付けられたものとなる。
この図27(a)に示す内容の被写***置情報は、模式的には図27(b)に示すように、0°〜360°のパン位置の範囲において、番号1〜4にそれぞれ対応する被写***置1〜4ごとのパン方向対応被写***置γx°の値を示すものとなる。
なお、図27(a)の被写***置情報は、番号1〜4に対して、被写体A,B,C,Dの順番でパン方向対応被写***置γx°が対応付けられた結果となっているが、これはあくまでも一例である。実際においては、番号に対応付けられるパン方向対応被写***置γx°は、例えば、実際に図26に示す処理を繰り返し実行してショット画像の撮影を繰り返していく過程において、順次追加登録されていくものとなる。
また、図26に示す処理を繰り返し実行している過程においては、同じ被写体が複数回にわたってショット画像に写ることになる可能性が当然のこととして生じる。ステップS508において取得したパン方向対応被写***置γx°と同じ値、若しくは同じであるとみなされる近似値が既に登録されている場合には、ステップS509においては、被写***置情報を更新する処理は実行しない。
また、図27(a)に例示した被写***置情報は、制御部27により、ROM28に保持させるようにして管理すればよい。
また、ステップS510においては、ステップS508において取得したパン方向対応撮像位置により、撮像位置履歴情報を更新する。
図27(c)には、図24(a)(b)(c)に示すショット画像1,2,3までが撮影された段階に対応した撮像位置履歴情報の内容例を示している。この図に示すようして、撮像位置履歴情報は、ショット画像ごとに固有となるようにして割り当てられた画像IDと、画像IDごとに対応するショット画像を撮影記録したときに応じてステップS508にて取得したとされるパン方向対応撮像位置とを対応付けた内容を有している。ここでは、画像ID:0001,0002,0003,0004が、それぞれ、ショット画像1,2,3,4を特定するものとなる。
例えば、これまでに述べた図26の処理を繰り返し実行している過程において、ショット画像1,2,3は既に撮影記録されたが、ショット画像については未だ撮影記録されていない状況段階にあるとする。このとき、パン方向対応撮像位置情報は、図27(c)に示す内容から、画像ID:0004に対応する行の内容が省かれ、画像ID:0001に対応するパン方向対応撮像位置αx°=355°、画像ID:0002に対応するパン方向対応撮像位置αx°=200°、及び画像ID:0003に対応するパン方向対応撮像位置αx°=150°を示す内容から成る。
そして、この後の段階で実行したステップS507によりショット画像4が新たに撮影記録されたとする。これに応じて、今回のステップS508においては、ショット画像4に対応するパン方向対応撮像位置αx°=330°が取得される。また、ステップS510においては、ショット画像4に対応するものとして画像ID:0004を生成し、この画像ID:0004にパン方向対応撮像位置αx°=330°を対応付けた内容を、撮像位置履歴情報に追加するようにして更新する。
ステップS510の処理の後は、ステップS511を経たうえで、ステップS501に戻る。
そして、図示は省略するが、例えば図26の処理を実行している途中において、ショット画像提示に対応した画像再生指示が得られたとすると、図26に示す処理から、図28のフローチャートに示す処理に移行する。つまり、図28は、第4例に対応するショット画像提示のための処理手順例を示すもので、これもデジタルスチルカメラ1の制御部27が実行するものとしてみることができる。
先ず、図28のステップS601においては、上記のショット画像提示に対応する画像再生指示が得られるのを待機している。ここで否定の判別結果が得られている間は図26の処理を繰り返し実行することになる。そして、ステップS601においてショット画像提示の指示が得られたとして肯定の判別結果が得られたのであれば、ステップS602において、被写***置情報における番号に対応する変数nについて初期値として1を代入したうえで、ステップS603以降の処理を実行する。
ステップS603においては、被写***置情報から、番号nに対応付けられている、パン方向対応写***置γx°(n)を取得する。つまり、図27(b)の場合であれば、被写***置1〜4のうち、被写***置nとして指定されるものについての角度値を取得する。
例として、図27の被写***置情報の内容のもとで、変数n==1のときにステップS603の手順を実行したとすると、被写***置1の角度値として、γx°(1)==330°が取得されることになる。
ステップS604においては、被写***置γx°(n)に対応した(パン方向対応)有効範囲Jx°(n)を求める。
この有効範囲Jx°(n)は、自動構図制御撮影の動作により被写***置nに在るとする人物が、実際に被写体としてショット画像に撮影されている可能性があるとするパン位置の範囲を示す。
あくまでも一例であるが、ここでは、有効範囲Jx°(n)は、γx°(n)としての値を基準として+40°〜-40°の範囲として求めるものとする。被写***置1の場合には、γx°(1)==330°であるから、これに対応する有効範囲Jx°(1)としては、Jx°(1)==290°〜(330°)〜10°として求められる。
ステップS605においては、撮像位置履歴情報に登録されている画像IDのうちで、対応のパン方向対応撮像位置αx°が上記ステップS604にて求めた有効範囲Jx°(n)のなかに含まれているものを抽出する。
図27との対応では、変数n==1の場合には、有効範囲Jx°(1)は290°〜(330°)〜10°の範囲である。図27(c)の撮像位置履歴情報において、この有効範囲Jx°(1)に含まれるパン方向対応撮像位置αx°は、画像ID:0001の355°、及び画像ID:0004の330°となる。従って,この場合には、抽出結果として、画像ID:0001,画像ID:0004が得られることになる。
次のステップS606においては、上記ステップS605により画像IDが抽出されたか否かについて判別する。ここで否定の判別結果が得られた場合には、被写***置1に在るとされる人物が撮像されているショット画像は無いものと推定できる。そこで、この場合には、ステップS610において変数nを1だけインクリメントしてステップS603に戻る。つまり、次の被写***置を対象としてショット画像提示動作を実行するための処理に移る。
これに対してステップS606において肯定の判別結果が得られた場合には、ステップS607に進む。
ステップS607においては、γx°(n)+180°で現されるパン位置となるようにしてパン駆動制御を実行する。次に、ステップS608により、最後のステップS605により抽出した画像IDにより特定されるショット画像データを、表示部33にて、順次、一定時間ずつ表示するための制御を実行する。
そして、ステップS608としての表示が完了したとされると、ステップS609において変数nが最大値であるか否かについて判別する。ここで否定の判別結果が得られた場合には、未だショット画像提示の対象となる被写***置が残っていることになる。そこでこの場合には、ステップS610にて変数nを1だけインクリメントしてステップS603に戻る。これに対して、肯定の判別結果が得られたのであれば、これまでの一連のショット画像提示のための処理を終了して他の処理に移行する。例えば、自動構図制御撮影のための処理に移行する。
ここで、上記ステップS607、S608の処理についての図23、図24、図27に示した例との対応として、変数n==1の場合には、パン位置γx°(1)+180°=150°となるようにしてパン駆動制御が行われる。これにより、デジタルスチルカメラ1の表示方向F2は、被写***置1に対応した被写体人物Aに対して向けられることになる。そのうえで、今回のステップS605により抽出した、画像ID:0001,画像ID:0004のショット画像を順次再生表示することになる。
つまり、先の図24の説明のようにして、被写体人物Aに対して表示画面部33aを正面に向けた状態で、被写体人物Aに関連するショット画像として、被写体人物Aが写っているショット画像1,4が表示画面部33aにて表示されることになる。
なお、これまでの第4例の説明においては、パン方向においてのみ、被写体人物に対して正面となる方向に表示画面部33aが向くようにしている。しかし、第3例などに準じて、チルト方向についても表示画面部33aが正面を向くように制御する構成してよい。
この場合には、図26のステップS507が実行された後において、ステップS508〜S510に加えて、図21のステップS303に準じて、チルト方向対応撮像位置αy°と、被写体ごとのチルト方向における相対位置対応角度βy°を取得する。そして、被写体ごとに、ショット画像提示時に設定すべきチルト位置−(αy°+βy°)を求めておき、このチルト位置の値を、チルト位置設定情報に登録して保持しておくようにする。そして、ステップS607においては、先に述べたパン駆動制御とともに、チルト位置設定情報から、その被写体に対応して登録されているチルト位置−(αy°+βy°)の値を読み出し、このチルト位置となるようにして駆動制御を行う。
なお、上記第4例に準じた変形例として、次のようなショット画像提示の構成を考えることができる。
例えば、自動構図制御撮影によりショット画像を撮影していくのに応じては、撮像位置情報を更新することとして、被写***置情報については、特に作成することはしないでおく。次に、ショット画像を提示するときには、再度、周囲360°の環境を対象にして被写体探索を行って、撮像システムの周囲に存在する被写体人物の位置情報(水平方向では、パン方向対応被写***置(γx°)が対応する)を取得し、これらの位置情報を利用して被写***置情報を作成するようにする。そして、提示すべきショット画像の選択については、被写***置情報と撮像位置情報とを利用して、図28のステップS603〜S605に準じた処理により選択する。そして、ステップS607のパン駆動制御としては、上記の被写体探索により得られた被写***置情報を利用して、γx°(n)+180°で現されるパン位置となるようにしてパン駆動制御を実行する。このような処理であれば、例えば、自動構図制御撮影を動作させていたときとショット画像提示時とで、被写体人物の位置が或る程度変わったとしても、これに追随して、適切に被写体人物に対して表示方向が向くようにしてショット画像を表示することが可能になる。
また、第4例における自動撮影については、これまでの説明のようにして、自動構図制御撮影を採用した場合において、有効なものにはなる。しかし、例えばセルフタイマー撮影など自動構図制御撮影以外の自動撮影動作と組み合わせることについては何ら妨げられるものではない。
<6.ショット画像提示動作(第5例)>

続いて、本実施形態のショット画像提示動作の第5例について説明する。
先ず、ユーザから見た第5例としての撮像システムの動作は第4例と同様である。つまり、第5例の撮像システムは、自動構図制御撮影を行っていくことで、自動的に探索した被写体を撮像したショット画像を蓄積(記録)していく。そして、自動構図制御撮影により蓄積されたこれらのショット画像を対象として、ショット画像提示動作を実行させるときには、撮像システムの周囲にいる被写体人物ごとに対して、順次、デジタルスチルカメラ1の表示画面部33aを正面に向けるようにしながら、その被写体人物に関連した画内容を有している(その被写体人物が写っている)ショット画像を表示させていくようにするものである。
そのうえで、第5例では、自動構図制御撮影及びショット画像提示としての動作を実現するための処理、アルゴリズムについて、第4例と異なる構成を採るものとなる。
先ず、第5例においては、被写体検出処理として、例えば顔検出処理などにより検出された被写体ごとについて、個人を弁別する個人認識処理も実行するものとする。なお、個人認識処理のアルゴリズムについても、顔検出の方式、手法と同様にして、本実施形態の下では特に限定されるべきものではない。
上記のことに対応して第5例においては、自動構図制御撮影の実行時において、図26のステップS507によるレリーズ指示を実行した後の処理として、ステップS508〜S510の処理に代えて、被写体別個人認識情報と画像内被写体情報との2つの情報を更新するアルゴリズムとすることになる。
図29(a)には、図23に示した撮像システムの周囲環境の下で、図24に示した4枚のショット画像1〜4までが撮像記録された段階に対応して得られている被写体別個人認識情報の内容例を示している。
この図に示すように、被写体別個人認識情報は、被写体番号ごとに、個人認識処理(被写体検出処理)により認識された1つの被写体人物の個人認識データを対応させた構造を有する。個人認識処理によっては、個人の特徴量を表し得る所定のパラメータについての値が求められる。ここでの被写体別個人認識情報は、このようにして求められたパラメータ値から成る。
図29(a)の例では、被写体番号1に被写体人物Aの個人認識データが対応付けられ、被写体番号2に被写体人物Bの個人認識データが対応付けられ、被写体番号3に被写体人物Cの個人認識データが対応付けられ、被写体番号4に被写体人物Dの個人認識データが対応付けられた内容となっている。
また、図29(b)には、同じく図23に示した撮像システムの周囲環境の下で、図24に示した4枚のショット画像1〜4までが撮像記録された段階に対応して得られている画像内被写体情報の内容例を示している。
この画像内被写体情報は、ショット画像IDと、このショット画像IDが示すショット画像に写っているとする被写体の被写体番号(画像内被写体番号)とを対応付けた内容を有する。
図29(b)の例では、図24(a)〜(d)の各ショット画像の内容に対応するものとして、先ず、ショット画像1に割り当てた画像ID:0001には、被写体A,Bの個人認識データに対応した被写体番号1,2が対応付けられることになる。また、ショット画像2に割り当てた画像ID:0002には、被写体Cの個人認識データに対応した被写体番号3が対応付けられる。ショット画像3に割り当てた画像ID:0003には、被写体Dの個人認識データに対応した被写体番号4が対応付けられ、ショット画像4に割り当てた画像ID:0004には、被写体Aの個人認識データに対応した被写体番号1が対応付けられる。
なお、図29(a)(b)の各情報は統合して、1つの単位情報(撮影画像対応被写体個別認識情報)として形成することができるのであるが、本実施形態では、説明の便宜、実際の処理などを考慮して、図29(a)(b)のようにして個別の情報ごとに分けている。
先ず、図26のステップS507により、先ず、図24(a)のショット画像1を撮像記録したときには、被写体検出処理(個人認識処理)によって、ショット画像1に写っている被写体A,Bのそれぞれについての個人認識データを得る。そこで、制御部27は、被写体番号1,2に対して、それぞれ被写体Aの個人認識データ、被写体Bの個人認識データを対応付けるようにして被写体別個人認識情報を生成し、保持する。
また、上記のようにして被写体別個人認識情報を生成したことで、ショット画像1に写っている被写体A,Bが対応する被写体番号がそれぞれ1,2であることが特定される。そこで、制御部27は、ショット画像1に割り当てられた画像ID:0001に対して被写体番号1,2の2つを対応付けるようにして、画像内被写体情報を生成して保持する。この後、ステップS511を経た後、ステップS501に戻る。
上記ショット画像1の次に、ショット画像2を撮像記録したときには、被写体検出処理(個人認識処理)によって、ショット画像2に写っている被写体Cについての個人認識データが新たに得られることになる。
そこで、制御部27は、ステップS507の後の処理として、被写体番号3に被写体Cの個人認識データを追加登録するようにして、被写体別個人認識情報の更新を行う。また、画像内被写体情報についても、ショット画像2の画像ID:0002に被写体番号3を対応付けた情報を追加登録するようにして更新する。
以降、同様の手順により、ショット画像3,4が撮像記録されるごとに必要に応じて被写体別個人認識情報と画像内被写体情報の更新を行っていく。
ただし、被写体別個人認識情報については、今回の被写体に対応する個人認識データが、既に登録されている個人認識データと同じ(若しくは同じとみなされる程度に近似する)となる場合がある。図24の場合であれば、図24(d)のショット画像4において写っている被写体Aは、ショット画像1が撮像記録された段階で、既に被写体番号1に対応付けて登録されている。このような場合には、被写体別個人認識情報に対する個人認識データの追加登録は行わない、若しくは、今回のショット画像に応じて得られた個人認識データにより、既に登録済みとされている同じ個人認識データを上書きすることとすればよい。
なお、被写体別個人認識情報の作成のアルゴリズムとしては、次のようなものも考えられる。つまり、ショット画像として撮像する、しないかに関わらず、被写体探索によりパンニング・チルティングを実行している過程で検出された被写体を対象にして個人認識処理を実行していって得られる個人認識データを、順次登録していく。
図30のフローチャートは、第5例に対応するショット画像提示のために制御部27が実行する処理手順例を示している。
この図においては、先ずステップS701,S702により、図28のステップS601,S602と同様に、ショット画像提示に応じた画像の再生指示が得られるのを待機しており、再生指示が得られたのであれば、初期設定として変数nに1を代入してステップS703以降の手順に進む。
ステップS703においては、被写体別個人認識情報から、被写体番号nに対応付けられている個人認識データを読み出す。次に、ステップS704において、上記ステップS703により読み出した被写体番号nの個人認識データと一致する被写体を探索する処理を実行させる。この際には、被写体探索のためのパン・チルト・ズーム制御を行いながら撮像視野を変更して撮像しているときに撮像視野内にて検出された被写体について個人認識処理を行って個人認識データを得る。そして、この個人認識データと、ステップS703により読み出した個人認識データとを照合して、一致しているとの結果が得られたのであれば、対象とする被写体が探索されたことになる。
そして、ステップS705によっては、上記のようにして実行する被写体探索処理の結果、探索対象の被写体が検出されたか否かについて判別する。
ここで、例えばステップS704としての被写体探索処理として一通りの探索パターンにより探索しても、探索対象の被写体が検出されなかった場合には、ステップS705にて否定の判別結果が得られる。このように否定の判別結果が得られる場合としては、例えば、このときに探索対象の被写体に対応する人物が、撮像システムの周囲から移動していなくなったケースなどを考えることができる。この場合には、ステップS712において変数nを1だけインクリメントしてからステップS703の手順に戻ることで、次の被写体としての人物を対象とする被写体探索処理が開始される。
これに対して、探索対象の被写体が検出されたとしてステップS705にて肯定の判別結果が得られたのであれば、ステップS706に進む。
ステップS706においては、検出された被写体の重心Gを、撮像画像の画枠内にて、水平・垂直方向における中心に位置させるようにパン・チルト制御を実行する。この制御により得られたパン・チルト位置の状態では、デジタルスチルカメラ1の撮像方向F1が、被写体に対して向けられる状態になる。
なお、このステップS706は、次のステップS707,S708の処理から理解されるように、ショット画像提示におけるパン・チルト駆動について、第2例に準じた処理を実行するための準備的な処理となる。
次にステップS707においては、ショット画像提示に対応したパン制御を実行する。つまり、ステップS706のパン制御により得られたパン位置をx°とすると、x°+180°で表されるパン位置となるようにしてパン駆動制御を実行する。
また、これとともに、ステップS708により、ショット画像提示に対応したチルト制御を実行する。つまり、ステップS706でのチルト制御によって得られたチルト位置をy°とすると、−y°で表されるチルト位置となるようにしてチルト駆動制御を実行する。
上記ステップS707,S708の処理が実行された結果、デジタルスチルカメラ1の表示方向F2が、水平・垂直方向の何れについても、被写体に対して向けられている状態が得られる。
次に、ステップS709においては、画像内被写体情報を参照して、被写体番号nが対応付けられている画像IDを検索する。つまり、被写体番号nに対応する個人認識データにより特定される被写体人物が被写体として写っているショット画像を検索する。
そして、次のステップS710により、上記ステップS709により検索した画像IDのショット画像データを、予め定めた再生順(例えば撮影時間順)に従って、一定時間ごとに、表示部33に対して表示させる。
これにより、被写体番号nに対応の被写体人物に対して、表示画面部33aがほぼ正面に向いた状態で、この被写体人物が写っているとされるショット画像を表示する動作が得られることになる。
ステップS711においては、図28のステップS609と同様に、変数nについて最大値であるか否かについて判別し、否定の判別結果が得られたのであれば、ステップS712により変数nを1だけインクリメントしてからステップS703に戻る。これにより、被写体別個人認識情報に個人認識データが登録されている被写体の人物ごとに、表示画面部33aを正面に向けて、その被写体人物が写っているとするショット画像を表示させる、という動作が順次実行されていく。
このようなアルゴリズムによると、例えば自動構図制御撮影を動作させているときと、ショット画像を提示するときとで、被写体人物が移動してしまって、その位置が大きく変化してしまっても、これに対応して、被写体人物に対して適切に表示方向を向けながら、顔認識結果に基づいて選別された適切な内容のショット画像を提示できる。また、その場から移動していなくなった被写体人物がいることも把握できるので、この被写体人物にショット画像を提示しようとして無駄な探索を行うようなこともない。
また、図30においては、ステップS706〜S708により説明したようにして、被写体人物に対して表示画面部33aが正面を向くようにして制御を行っているが、例えば、第4例を応用して、ステップS704により探索した被写体のパン方向対応被写***置γx°、チルト方向対応撮像位置αy°を求めることとして、これらに基づいて、パン・チルト制御を行うようにしてもよい。
なお、第4例、第5例については、ショット画像提示時において、表示方向が向けられた被写体人物に対しては、この被写体人物に関連した画内容として、その被写体人物が写っているショット画像を選んで表示するようにしている。しかし、これは1つの例であって、例えば逆に、被写体人物に関連するとされる画内容として、その被写体人物は写っていないショット画像を選ぶようにすることも考えられる。状況によっては、自分が写っているものより、自分以外が写っているショット画像を確認したいこともしばしばあると考えられるからである。
<7.ショット画像提示動作(第6例)>

次に、本実施形態のショット画像提示動作の第6例について説明する。
第6例は、ショット画像提示時におけるユーザインターフェースに関するものとなる。自動撮影としての態様、及びショット画像提示のためのパン・チルト制御の態様などについては、これまでに説明した第1例〜第5例の構成に対応するものの何れが採られてもよい。
図31は、例えば1つのショット画像が撮影されたことに応じて、ショット画像提示動作として、そのショット画像を再生表示させているときの表示画面部33aを示している。
前述したように、本実施形態のデジタルスチルカメラ1は、表示画面部33aにおいてタッチパネルを備える。これにより、表示画面部33aにおいて表示させた操作画像に対してユーザが指を押し当てたりすることにより、操作を行うことが可能とされている。
そこで、第6例としては、ショット画像提示動作として表示画面部33aにショット画像を表示させるのにあたり、図示するようにして、例えば、操作用画像として、「保存する」ボタンBt1と「削除する」ボタンBt2を同時に表示させることとしている。
この「保存する」ボタンBt1、「削除する」ボタンBt2の表示は、ショット画像が提示されている被写体人物としてのユーザに対して、この表示されているショット画像を保存するのか、あるいは、削除する(保存しない)のかを選んで指示してもらうためのGUI(Graphical Use Interface)として機能する。
ユーザは、表示されたショット画像を見て、これを保存したいと思ったのであれば、「保存する」ボタンBt1を押す操作を行う。この操作に応じては、例えば制御部27は、そのときに表示されているショット画像のデータがメモリカード40にて記憶管理されるようにする。
これに対して、ユーザが表示されたショット画像を保存する必要がないと判断したときには、「削除する」ボタンBt2に対する操作を行う。この操作に応じて制御部27は、そのときまで表示されていたショット画像は、メモリカード40には記憶されないようにする。
<8.ショット画像提示動作(第7例)>

続いては、本実施形態のショット画像提示動作の第7例について説明する。
この第7例も、第6例と同様に、ショット画像提示時におけるユーザインターフェースに関するものとなる。そのうえで、第7例は、例えば自動撮影として自動構図制御撮影が実行される場合を前提にして、第6例を発展させたものとなっている。
図32により、第7例としてのショット画像提示時におけるユーザインターフェース例について説明する。
例えばここで、自動構図制御撮影により、1つのショット画像が撮影記録されたとする。図32(a)は、これに応じたショット画像提示動作として、表示画面部33aにおいて、そのショット画像が再生表示された様子を示している。
第7例としては、操作画像として、「保存する」ボタンBt1と、「撮り直す」ボタンBt3とが表示される。「保存する」ボタンBt1は、図31の場合と同様にして、同時に表示されているショット画像の保存を指示する操作のためのボタンである。一方、「撮り直す」ボタンBt3は、撮像システムに対して、もう一度、自動構図制御撮影によるショット画像の撮影を指示するための操作に用いられるものである。つまり、第7例としては、表示されたショット画像が気に入らなかった場合に、ユーザの操作に応じて自動構図制御撮影を再度実行させることができる。
なお、第7例においても、第6例のようにして、上記「保存する」ボタンBt1、「撮り直す」ボタンBt3とともに、「削除する」ボタンBt2を配置させて、ショット画像を単に削除する操作が可能なようにしてもよい。しかし、ここでは、説明を簡単なものとすることの便宜上、「削除する」ボタンBt2は省略した場合を示している。
この図32(a)の表示状態の下で、「保存する」ボタンBt1が操作されたのであれば、制御部27は、図32(a)から図32(b)への遷移として示すように、第6例の場合と同様、このときに表示させているショット画像のデータがメモリカード40にて保存されるようにするための制御・処理を実行する。
これに対して、「撮り直す」ボタンBt3が操作された場合には、図32(a)から図32(c)への遷移として示すようにして、ショット画像についてはこれまでと同じように表示させたうえで、操作画像については、「修正する」ボタンBt4、「修正しない」ボタンBt5の表示に切り換える。
図32(c)の表示の下で、先ず、「修正しない」ボタンBt5に対する操作が行われた場合には、例えばこれまでのショット画像提示に対応した画像の再生表示は停止され、図32(e)への遷移として示すように、そのまま構図制御撮影に動作モードが切り換わる。そして、被写体を捕捉して構図制御を行ったうえでのショット画像撮影の動作が実行された、つまり、撮り直しが行われたとする。すると、ショット画像提示のモードに切り換わり、図32(a)に示すように、ショット画像とともに「保存する」ボタンBt1、「撮り直す」ボタンBt3の操作画像を表示する状態に移行する。
これに対して、「修正する」ボタンBt4に対する操作が行われた場合には、図32(d)への遷移として示すようにして、表示画面部33aにおいては、これまでのショット画像の表示とともに、修正用操作画像を表示する状態に切り換わる。
ここでの修正用操作画像としては、ショット画像(被写体)を上下左右の各方向に移動させるための、上方向ボタンBt7a、下方向ボタンBt7b、左方向ボタンBt7c、右方向ボタンBt7d、及びズーム倍率を拡大/縮小するための「+」[−]が表記されたズーム拡大ボタンBt6a、ズーム縮小ボタンBt6bの2つのボタンから成る。また、さらにOKボタンBt8が設けられる。
上方向ボタンBt7a、下方向ボタンBt7b、左方向ボタンBt7c、右方向ボタンBt7dは画枠内における被写体の位置を修正するためのボタンである。
つまり、上方向ボタンBt7a、下方向ボタンBt7b、左方向ボタンBt7c、右方向ボタンBt7dを操作することによっては、表示されているショット画像全体が、操作されたボタンに対応する方向に対して移動する。これに応じては、ショット画像内の被写体が、表示画面部33aの表示領域内にて上下左右に移動することになる。この操作のとき、表示画面部33aの表示領域枠は撮像画像の画枠として扱われる。そして、ユーザは、この画枠としての表示画面部33aの表示領域枠の中で、被写体の位置が好ましい位置となるようにして、上方向ボタンBt7a、下方向ボタンBt7b、左方向ボタンBt7c、右方向ボタンBt7dを操作して、被写体の位置を上下左右方向に移動させて調整する。
また、ズーム拡大ボタンBt6a、ズーム縮小ボタンBt6bは、ショット画像内における被写体のサイズを修正するためのボタンである。ズームボタンBt6aを操作することに応じては、表示中のショット画像が画像処理によって拡大されていき、ズームボタンBt6bを操作することに応じては、表示中のショット画像が画像処理によって縮小されていく。ショット画像が拡大・縮小されるということは、その中の被写体のサイズも変化するということになる。
そのうえで、この操作時においても、表示画面部33aの表示領域枠は撮像画像の画枠に相当するものとなる。ユーザは、ズーム拡大ボタンBt6a、ズーム縮小ボタンBt6bを操作して、画枠として見立てた表示画面部33aの表示領域枠に対して、自分が好ましいと思う被写体のサイズに調整する。
上記のようにして、画枠内における被写体の位置、サイズについて調整を行った後、ユーザは、OKボタンに対する操作を行う。これにより、撮像システムは、図32(e)への遷移として示すように、自動構図制御撮影の動作モードに移行するのであるが、このときには、図32(d)に対応して設定された被写体の位置、サイズが反映されるようにして構図制御が行われたうえで、自動構図制御撮影が実行され、ショット画像が撮影される。例えば、図32(d)において被写***置を右側に修正し、被写体サイズをより大きめに修正したうえでOKボタンBt8を操作したとすると、前回のショット画像よりも、被写体がより右側に位置し、さらにサイズも大きく写った状態のショット画像が得られることになる。
なお、補足として、図32(c)の表示の下で、「修正しない」ボタンBt5を操作する場合としては、例えば構図については特に不満はないが、写っているときの表情であるとか仕草に不満があるような場合となる。これに対して、「修正する」ボタンBt4を操作する場合とは、上記の説明からも理解されるように、撮影された構図に不満がある場合となる。自動構図制御撮影に関しては、例えばできるだけ多くのユーザが良い印象を持つことができる構図となるような制御のアルゴリズムとすることが一般的であると考えられる。しかし、例えばユーザの感性であるとか、撮像の状況によっては、このようなフィックスされた構図では、満足できない場合もあると考えられる。第7例による構図の修正内容を指示したうえで自動構図制御撮影を再度実行させる、という構成は、上記したような不満を有効に解消できる。
また、図32(d)によると、構図の修正としては、画枠内における被写体の位置、サイズとしているが、これはあくまでも一例である。例えば、ほかには、露出、ホワイトバランスなども修正できるようにしてよい。
図33のフローチャートは、第7例としてのショット画像提示のためにデジタルスチルカメラ1の制御部27が実行するとされる処理手順例を示している。
なお、この図に示す処理は、自動構図制御撮影により1つのショット画像を撮影するごとに、図32により説明したショット画像提示動作における画像表示が行われるように構成された場合に対応させたものとしている。
この図においては、先ず、制御部27は、ステップS801により、自動構図制御撮影としての動作が実行されるための制御を実行する。そして、この自動構図制御撮影により1つのショット画像データを取得したとすると、ステップS802により、このショット画像データを保持する。なお、ここでは、ショット画像データは、RAM29に保持させることとしており、未だ、メモリカード40に対して記録することはしない。
ステップS803においては、撮像方向F2を被写体人物側に向けるためのパン・チルト制御を実行する。
また、これとともに、ステップS804により、ステップS802により保持したショット画像データを、表示部33にて表示させるための制御を実行し、さらに、ステップS805において、保存指示関連操作画像として、例えば図32(a)に示した「保存する」ボタンBt1と、「撮り直す」ボタンBt3とを、ショット画像に対して重畳表示するための制御を実行する。
次に、制御部27は、ステップS806,S807により、「保存する」ボタンBt1若しくは「撮り直す」ボタンBt3のいずれかが操作されるのを待機する。
「保存する」ボタンBt1が操作されたことを判別した場合には、ステップS806からステップS814に進み、ステップS802にて保持しているショット画像データを、メモリカード40に記録するための制御を実行する。
これに対して、「撮り直す」ボタンBt3に対する操作が行われたことを判別した場合には、ステップS808以降の手順に進む。
ステップS808においては、これまでの保存指示関連操作画像の表示を停止させたうえで、修正指示関連操作画像として、例えば図32(c)に示した、「修正する」ボタンBt4及び「修正しない」ボタンBt5を、ショット画像に重畳表示させるための制御を実行する。
次のステップS809,S810により、制御部27は、「修正しない」ボタンBt5、若しくは「修正する」ボタンBt4のいずれかが操作されるのを待機する。
ここで、「修正しない」ボタンBt5が操作されたのであれば、ステップS809からステップS801に戻り、自動構図制御撮影を再実行する。
これに対して、「修正する」ボタンBt4が操作されたのであれば、ステップS811以降の処理を実行する。
ステップS811においては、これまでの修正指示関連操作画像の表示を停止させたうえで、修正用操作画像として、例えば図32(d)に示した各ボタンをショット画像に重畳表示させるための制御を実行する。
そして、次のステップS812により、修正用操作画像としてのボタンに対して行われた操作に応じて、表示画面部33aの表示領域にてショット画像を上下左右に移動させたり、拡大・縮小するなどの表示変化を与えるための画像処理制御を実行する。また、構図制御のためのパラメータ値について、デフォルト値から、修正用操作画像のボタンに対する操作に応じた修正用の値に変更する。
そして、ステップS813においてOKボタンBt8に対する操作が行われると、テップS801に戻ることになるが、このステップS801による自動構図制御撮影は、ステップS811にて修正用に変更された構図制御パラメータに基づいて実行する。これにより、今回においては、ユーザが修正した構図が反映されたショット画像が撮影される。
なお、先に説明した第6例のユーザインターフェースに対応して制御部27が実行するとされる処理は、上記図33に基づいたより簡単な処理として構成できる。
<9.パン・チルト駆動速度制御>

また、本実施形態の変形例として、これまでに説明したショット画像提示動作の第1例〜第6例に共通に適用できるパン・チルト駆動速度制御について、図34のフローチャートを参照して説明する。なお、この図に示す手順も、デジタルスチルカメラ1の制御部27が実行するものとしてみることができる。
図34において制御部27は、先ず、ステップS901によりパン駆動とチルト駆動の少なくともいずれかを開始するタイミングとなるのを待機している。
そして、例えばパン駆動とチルト駆動の少なくともいずれか一方の開始指示イベントが発生したとされると、ステップS902に進む。
ステップS902においては、今回のパン・チルト駆動の開始は、本実施形態のショット画像提示としての動作モードに対応するパン制御、若しくはチルト制御としてのものと、ショット画像提示以外の動作モードにおけるものとの何れであるのかについて判別する。
なお、ショット画像提示以外の動作モードにおけるパン・チルト駆動としては、例えば1つには、ユーザのパンニング・チルティングの操作に応じたパン・チルト駆動を挙げることができる。また、自動構図制御撮影などにおいて、被写体探索であるとか構図合わせのために実行させるパン・チルト駆動も挙げることができる。
ステップS902において、ショット画像提示以外の動作モードであるとの判別結果が得られた場合には、ステップS903により、ショット画像提示以外の動作モードに対応して予め設定されているパン・チルト駆動速度sp1を設定する。この設定処理により、パン・チルト機構は、パン・チルト駆動速度sp1に応じた速度で動くことになる。
これに対して、ステップS902によりショット画像提示に対応する動作モードであるとの判別結果が得られた場合には、ステップS904により、ショット画像提示に対応して予め設定されているパン・チルト駆動速度sp2を設定する。
ここで、パン・チルト駆動速度sp2は、パン・チルト駆動速度sp1よりも高い速度が設定されている。ステップS904により、パン・チルト機構は、パン・チルト駆動速度sp2に応じた実速度で動くことになるが、これによっては、ショット画像提示の動作モード時には、これ以外の動作モードのときよりも速いパンニング・チルティングの動きが与えられることになる。
先にも述べたように、ショット画像提示以外の動作モードでのパン・チルト駆動は、被写体探索であるとかユーザ操作によるものとなる。このような場合においては、パンニング・チルティングの移動速度が高いと、被写体探索時における被写体検出が難しくなったり、ユーザ操作に応じたパンニング・チルティングの動きが敏感すぎてしまって操作しづらくなったりする。従って、ショット画像提示以外の動作モードでのパンニング・チルティングの移動速度は、相応に低速であることのほうが好ましい。
これに対して、ショット画像提示の場合には、上記のようなことを考慮する必要はなく、また、低速だと、目標のパン・チルト位置に到達するまでの時間がかかってしまうことになり、ユーザにストレスを与える場合も出て来ると考えられる。この点からすれば、ショット画像提示の場合には、それ以外の動作モード時よりも高いパンニング・チルティングの移動速度とすることが好ましいことになる。
そこで、本実施形態の撮像システムについて、図34に示したアルゴリズムを適用すれば、パンニング・チルティングの移動速度について、ショット画像提示の動作モード時には高速を設定し、ショット画像提示以外の動作モード時には低速を設定するという適切な速度切り換えが行われることになる。
なお、パン・チルト駆動速度sp2として設定されるパン方向の駆動速度と、チルト方向の駆動速度は、必ずしも同じであるべき必要はなく、それぞれに適した駆動速度が設定されてよい。この点については、パン・チルト駆動速度sp1も同様である。
また、デジタルスチルカメラとしては、レンズ部自体が180°回転するようにして反転可能な構造を与えられたものが知られている。このデジタルスチルカメラの場合には、レンズ部の回転位置が表示画面部側にある状態では、撮像方向1と表示方向F2とが同じ向きであることになる。この
本実施形態の撮像装置として、例えば上記のデジタルスチルカメラを使用した場合には、上記のようにして撮像方向1と表示方向F2とが同じ向きの状態においては、これまでに述べたショット画像提示に対応したパン・チルト駆動をする必要性はない。
そこでこの場合には、ショット画像提示動作を実行するのにあたり、先ず、現在のレンズ部の回転位置が表示画面部側に在るか否かについて判別する。そして、表示画面部側に在るとの判別結果が得られたのであれば、ショット画像提示対応のパン・チルト駆動制御は実行せずに、例えばそのままのパン・チルト位置によりショット画像を表示させるようにする。これに対して、表示画面部側にはないとの判別結果が得られたのであれば、ショット画像提示対応のパン・チルト駆動制御を実行したうえで、ショット画像を表示させるように構成する。
また、これまでの実施形態の説明として、フローチャートとして各図に示した処理手順は、デジタルスチルカメラ1の制御部27がプログラムに従って実行するものであるとしている。
しかし、例えばフローチャートとして各図に示した処理手順の少なくとも1つが雲台10側において実行されるようにして構成してもよい。
一例として、本実施形態のショット画像提示動作の第1例、第2例の場合であれば、パン・チルト反転駆動を雲台10側の制御により実行する構成を考えることができる。つまり、デジタルスチルカメラ1からは、自動撮影を実行したことを雲台10に通知する。雲台10の制御部51は、通知を受けたときの自動撮影時のパン位置、チルト位置を取得し、これに基づいて、自身で、ショット画像提示における反転駆動のための目標となるパン位置、チルト位置を求める。さらに、制御部51により、この目標のパン位置、チルト位置となるようにしてパン機構部、チルト機構部を駆動制御する。
また、第3例についても、例えば、撮像画像データをデジタルスチルカメラ1から雲台10に伝送するように構成すれば、雲台10側にて被写体の重心を求めるとともに、パン・チルト方向対応の被写***置γx°,γy°を求めて反転駆動させることが可能になる。第4例、第5例についても、撮像画像データ、ショット画像データを、デジタルスチルカメラ1から雲台10に伝送することで、雲台10側にて図27,図29に示した情報を生成、保持して、反転駆動を実行することができる。さらには、デジタルスチルカメラ1側から伝送される撮像画像データを利用して、雲台10側にて、自動構図制御撮影のための構図判定処理、構図合わせ制御なども実行させるように構成できる。
さらには、図34に示した駆動速度切り換えについても雲台10側で制御するように構成することは容易に可能である。
また、このことからすると、本実施形態の撮像システムとしては、必ずしも、デジタルスチルカメラ1と雲台10とが独立した装置である必要はなく、撮像装置と雲台とが一体化された構成でもよい。但し、実施の形態のようにしてデジタルスチルカメラ1と雲台10とをそれぞれ独立した装置として構成すれば、デジタルスチルカメラ1を通常にカメラとして使用できる。
また、実際においては、これまでに説明した第1例〜第5例としてのショット画像提示動作としての機能のうちから選んだ複数の機能を、1つの撮像システムに実装するようにしてよい。例えば、自動構図制御撮影モードではない、通常のセルフタイマー撮影を行った場合には、第1例〜第3例のうちの少なくともいずれか1つの機能によりショット画像提示が行われるようにする。その一方で、自動構図制御撮影モードの時には、第4例又は第5例によるショット画像提示が行われるようにする。
また、これまでの説明では、撮影画像、即ちショット画像については静止画像であることとして説明したが、撮像により得られた画像から生成した動画とされてもよいものである。
また、これまでにも述べてきたように、本願に基づく構成における少なくとも一部は、CPUやDSPにプログラムを実行させることで実現できる。
このようなプログラムは、例えばROMなどに対して製造時などに書き込んで記憶させるほか、リムーバブルの記憶媒体に記憶させておいたうえで、この記憶媒体からインストール(アップデートも含む)させるようにしてDSP対応の不揮発性の記憶領域やフラッシュメモリ30などに記憶させることが考えられる。また、USBやIEEE1394などのデータインターフェース経由により、他のホストとなる機器からの制御によってプログラムのインストールを行えるようにすることも考えられる。さらに、ネットワーク上のサーバなどにおける記憶装置に記憶させておいたうえで、デジタルスチルカメラ1にネットワーク機能を持たせることとし、サーバからダウンロードして取得できるように構成することも考えられる。
実施形態の撮像システムを成す撮像装置であるデジタルスチルカメラの外観を簡単に示す正面図及び背面図である。 実施形態の撮像システムを成す雲台の外観例を示す斜視図である。 実施形態の撮像システムとして、雲台にデジタルスチルカメラが取り付けられた形態例を示す正面図である。 実施形態の撮像システムとして、雲台にデジタルスチルカメラが取り付けられた形態例を、パン方向における動きの態様例とともに示す平面図である。 実施形態の撮像システムとして、雲台にデジタルスチルカメラが取り付けられた形態例を示す側面図である。 雲台にデジタルスチルカメラが取り付けられた形態例を、チルト方向における動きの態様例とともに示す側面図である。 デジタルスチルカメラの構成例を示すブロック図である。 雲台の構成例を示すブロック図である。 ショット画像提示動作の第1例としての撮像システムの動作例を説明するための図である。 ショット画像提示動作の第1例としての撮像システムの動作例を説明するための図である。 ショット画像提示動作の第1例としての撮像システムの動作例を説明するための図である。 ショット画像提示動作の第1例に対応する反転駆動制御のための処理手順例を示すフローチャートである。 ショット画像提示動作の第2例としての撮像システムの動作例を説明するための図である。 ショット画像提示動作の第2例に対応する反転駆動制御のための処理手順例を示すフローチャートである。 ショット画像提示動作の第3例として、被写体が1つの場合の撮像システムの動作例を説明するための図である。 ショット画像提示動作の第3例として、被写体が複数の場合の撮像システムの動作例を説明するための図である。 単一の被写体の重心を説明するための図である。 複数の被写体に対応する総合被写体重心を説明するための図である。 図19に示される相対位置対応角度βx°と撮像画像における被写***置との関係例を示す図である。 ショット画像提示動作の第3例として、チルト方向に対応した反転駆動制御を説明するための図である。 ショット画像提示動作の第3例に対応する反転駆動制御のための処理手順例を示すフローチャートである。 パン方向対応被写***置γx°を算出するための処理手順例を示すフローチャートである。 ショット画像提示動作の第4例に対応するもので、撮像システムとその周囲の被写体人物との具体的位置関係例を示す図である。 ショット画像提示動作の第4例に対応するもので、図23に示した環境において撮像システムにより撮像されたとするショット画像の内容を示す図である。 自動構図制御撮影に関連するデジタルスチルカメラと雲台のシステム構成例を示す図である。 ショット画像提示動作の第4例における自動構図制御撮影のための処理手順例を示す図である。 ショット画像提示動作の第4例に対応するもので、被写***置情報と撮像位置履歴情報の構造例及び内容例を示す図である。 ショット画像提示動作の第4例としてのショット画像提示時に実行される処理手順例を示す図である。 ショット画像提示動作の第5例に対応するもので、被写体別個人認識情報と画像内被写体情報の構造例及び内容例を示す図である。 ショット画像提示動作の第5例に対応してショット画像提示時において実行される処理手順例を示すフローチャートである。 ショット画像提示動作の第6例に対応して、ショット画像提示時に表示画面部にて表示される画像の態様例を示す図である。 ショット画像提示動作の第7例に対応して、ショット画像提示時に表示画面部にて表示されるユーザインターフェース画像の態様例を示す図である。 ショット画像提示動作の第7例のショット画像提示時に実行される処理手順例を示すフローチャートである。 反転駆動時と、反転駆動時以外とでパン・チルト駆動速度を切り換えるための処理手順例を示すフローチャートである。
符号の説明
1 デジタルスチルカメラ、2 本体部、21a レンズ部、31a レリーズボタン、10 雲台、11 本体部、12 カメラ台座部、13 突起部、14 コネクタ、21 光学系、22 イメージセンサ、23 A/Dコンバータ、24 信号処理部、25 エンコード/デコード部、26 メディアコントローラ、27 制御部、28 ROM、29 RAM、30 フラッシュメモリ、31 操作部、32 表示ドライバ、33 表示部、34 雲台対応通信部、40 メモリカード、51 制御部、52 通信部、53 パン機構部、54 パン用モータ、55 パン用駆動部、56 チルト機構部、57 チルト用モータ、58 チルト用駆動部、61・75 撮像記録ブロック、62・73 画構造判定ブロック、63 パン・チルト・ズーム制御ブロック、64・71 通信制御処理ブロック、72 パン・チルト制御処理ブロック

Claims (20)

  1. 予め定められたトリガに応じて自動撮像動作を実行することで、撮像部により撮像して得られる画像から撮像画像データを取得する自動撮像制御部と、
    上記撮像部の撮像方向とは異なる方向にその表示方向が向くようにして表示画面部が設けられて、上記表示画面部にて画像が表示される表示部と、
    上記撮像部と上記表示画面部とを有する被移動体部について、上記撮像方向とともに上記表示方向を変化させるようにして移動するための機構を有する移動機構部と、
    自動撮像制御部により取得された上記撮像画像データの画像が上記表示画面部にて表示されるように上記表示部に対する表示制御を実行する撮像画像表示制御部と、
    上記撮像画像データの画像が上記表示画面部にて表示されるときに対応しては、上記撮像画像データから検出される被写体の位置に基づき上記移動機構部を上記表示画面部が上記被写体の方向に向くように制御する、移動制御部と、
    を備える撮像システム。
  2. 上記移動機構部の基準位置に対する被写体の位置である絶対的被写***置を取得する被写***置取得部をさらに備え、
    上記移動制御部は、上記絶対的被写***置に対して上記表示方向が向くようにして上記移動機構部を制御する、
    請求項1に記載の撮像システム。
  3. 上記撮像画像データの画像において、被写体が1つのみの場合には、この被写体についての単一重心を求め、被写体が複数の場合には、この被写体についての総合的な重心を求める重心取得部をさらに備え、
    上記被写***置取得部は、上記撮像画像データを取得したときの上記移動機構部の位置と、上記撮像画像データの画像における上記重心の位置とに基づいて、上記絶対的被写***置を取得する、
    請求項2に記載の撮像システム。
  4. 上記被写***置取得部は、自動撮像により撮像画像データが取得されていくのに応じて、新規に撮像された被写体についての絶対的被写***置を取得していくようにされ、
    上記移動制御部は、取得された上記絶対的被写***置ごとに、順次、上記表示方向が向くようにして上記移動機構部を制御し、
    上記撮像画像表示制御部は、上記絶対的被写***置に上記表示方向が向けられた状態ごとに、これまでの上記自動撮像により取得された撮像画像データの全て、若しくは一部を表示させる、
    請求項2又は請求項3に記載の撮像システム。
  5. 上記撮像画像データごとに、その画像内に存在する被写体について取得した絶対的被写***置を示す撮像画像対応被写***置情報を生成して保持する撮像画像対応被写***置情報生成部をさらに備え、
    上記撮像画像表示制御部は、上記表示方向が向けられている絶対的被写***置と、撮像画像対応被写***置情報とに基づいて、これまでの上記自動撮像により取得された撮像画像データのうちから選択した撮像画像データの画像を表示させる、
    請求項4に記載の撮像システム。
  6. 上記撮像画像表示制御部により上記表示画面部にて撮像画像データの画像が表示されているときに、この撮像画像データを記録媒体に記録して保存させるか否かを指示するための操作が行えるようにされた保存指示操作部を更に備える、
    請求項1乃至請求項5のいずれかに記載の撮像システム。
  7. 上記撮像画像表示制御部により上記表示画面部にて撮像画像データの画像が表示されているときに、この撮像画像データを記録媒体に記録して保存させずに、自動撮像動作の再実行を指示するための操作が行えるようにされた再撮像指示操作部をさらに備える、
    請求項6に記載の撮像システム。
  8. 上記再撮像指示操作部に対応して行われた操作により自動撮像動作の再実行が指示された場合に、自動撮像動作を再実行する際に撮像画像データの画像として得られるべき構図について修正指示を行うための修正指示操作部をさらに備える、
    請求項7に記載の撮像システム。
  9. 撮像部により撮像して得られる画像において被写体を検出した場合において、構図を判定する構図判定部と、
    判定された構図が得られるようにして少なくとも上記移動機構部を制御する構図制御部とをさらに備え、
    上記自動撮像制御部は、上記構図制御部の制御によって判定された構図が得られたことをトリガとして自動撮像動作を実行する、
    請求項1乃至請求項8のいずれかに記載の撮像システム。
  10. 上記移動制御部は、上記撮像画像データの画像が上記表示画面部にて表示されるに対応する上記被移動体部の移動速度のほうが、これ以外のときの上記被移動体部の移動速度よりも高くなるようにして上記移動機構部を制御する、
    請求項1乃至請求項8のいずれかに記載の撮像システム。
  11. 画像における被写体を対象にして個別認識処理を実行する個別認識処理部と、
    上記撮像画像データごとに対応させて、その画像内に存在する被写体について個別認識処理を実行して得られた個別認識データを保持する撮像画像対応被写体個別認識情報を生成して保持する撮像画像対応被写体個別認識情報生成部と、
    上記移動機構部を少なくとも制御して、撮像部により撮像して得られる画像から、上記撮像画像対応被写体個別認識情報において登録されている個別認識データのそれぞれに一致するとされる被写体を探索する探索制御を実行する探索制御部とをさらに備え、
    上記移動制御部は、上記探索制御部により探索された被写体ごとに、順次、上記表示方向が向けられていくようにして、上記移動機構部を制御し、
    上記撮像画像表示制御部は、被写体に上記表示方向が向けられた状態ごとに、これまでの上記自動撮像動作により取得された撮像画像データの全て、若しくは一部を表示させる、
    請求項1、請求項2、請求項6乃至請求項10のいずれかに記載の撮像システム。
  12. 上記被移動体部を有して成る撮像装置と、この撮像装置とは物理的に独立した装置である、上記移動機構部を有して成る雲台装置とを備えて成る、
    請求項1乃至請求項11のいずれかに記載の撮像システム。
  13. 予め定められたトリガに応じて自動撮像動作を実行することで、撮像部により撮像して得られる画像から撮像画像データを取得する自動撮像制御手順と、
    自動撮像制御部により取得された上記撮像画像データの画像が、上記撮像部の撮像方向とは異なる方向に表示方向が向くようにして設けられた表示画面部にて表示されるように表示制御を実行する撮像画像表示制御手順と、
    上記撮像部と上記表示画面部とを有する被移動体部について、上記撮像方向とともに上記表示方向を変化させるようにして移動するための機構を有する移動機構部を制御するもので、上記撮像画像データの画像が上記表示画面部にて表示されるときに対応しては、上記撮像画像データから検出される被写体の位置に基づき上記移動機構部を上記表示画面部が上記被写体の方向に向くように制御する移動制御手順と、
    を実行する画像提示方法。
  14. 予め定められたトリガに応じて自動撮像動作を実行することで、撮像部により撮像して得られる画像から撮像画像データを取得する自動撮像制御手順と、
    自動撮像制御部により取得された上記撮像画像データの画像が、上記撮像部の撮像向とは異なる方向に表示方向が向くようにして設けられた表示画面部にて表示されるように表示制御を実行する撮像画像表示制御手順と、
    上記撮像部と上記表示画面部とを有する被移動体部について、上記撮像方向とともに上記表示方向を変化させるようにして移動するための機構を有する移動機構部を制御するもので、上記撮像画像データの画像が上記表示画面部にて表示されるときに対応しては、上記撮像画像データから検出される被写体の位置に基づき上記移動機構部を上記表示画面部が上記被写体の方向に向くように制御する移動制御手順と、
    を撮像システムに実行させるプログラム。
  15. 被写体を撮像する撮像部と上記撮像部の撮像方向とは異なる方向にその表示方向が向くように設けられた表示部とを有する被移動体部を、上記表示方向を変化させるように移動させる移動機構部を、制御する制御部を備える制御装置において、
    上記制御部は、上記撮像部の撮像によって得られるとともに上記被写体を収めた画像データの画像が上記表示部に表示されるときに対応して、上記画像データから検出される被写体の位置に基づき上記移動機構部を上記表示画面部が上記被写体の方向に向くように制御する
    制御装置。
  16. 上記移動機構部の基準位置に対する被写***置を取得する被写***置取得部をさらに備え、
    上記制御部は、上記表示方向が上記被写体の位置に向くように上記移動機構部を制御する、
    請求項15記載の制御装置。
  17. 上記画像データの画像において、被写体が1つのみの場合には、この被写体についての単一重心を取得し、被写体が複数の場合には、この被写体についての総合的な重心を取得する重心取得部をさらに備え、
    上記重心取得部は、上記画像データを取得したときの上記移動機構部の位置と、上記画像データの画像における上記重心の位置とに基づいて、上記被写***置を取得する、
    請求項16に記載の制御装置。
  18. 所定のトリガに応じて自動撮像動作を実行することで、上記撮像部の撮像に基づく画像データを画像取得部に取得させる自動撮像制御部を備える
    請求項15乃至請求項17のいずれかに記載の制御装置。
  19. 被写体を撮像する撮像部と上記撮像部の撮像方向とは異なる方向にその表示方向が向くように設けられた表示部とを有する被移動体部を、上記表示方向を変化させるように移動させる移動機構部を、制御する制御部を備える制御装置における制御方法であって、
    上記撮像部の撮像によって得られるとともに上記被写体を収めた画像データの画像が上記表示部に表示されるときに対応して、上記撮像画像データから検出される被写体の位置に基づき上記移動機構部を上記表示画面部が上記被写体の方向に向くように制御する
    制御方法。
  20. 被写体を撮像する撮像部と上記撮像部の撮像方向とは異なる方向にその表示方向が向くように設けられた表示部とを有する被移動体部を、上記表示方向を変化させるように移動させる移動機構部を、制御する制御部を備える制御装置に制御動作を実行させるプログラムであって、
    上記撮像部の撮像によって得られるとともに上記被写体を収めた画像データの画像が上記表示部に表示されるときに対応して、上記撮像画像データから検出される被写体の位置に基づき上記移動機構部を上記表示画面部が上記被写体の方向に向くように制御するように制御装置を制御する
    プログラム。
JP2008322306A 2008-12-18 2008-12-18 撮像システム、画像提示方法、制御装置、プログラム Expired - Fee Related JP4983784B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008322306A JP4983784B2 (ja) 2008-12-18 2008-12-18 撮像システム、画像提示方法、制御装置、プログラム
US12/653,170 US8638372B2 (en) 2008-12-18 2009-12-09 Image capture unit with changeable image capture direction
CN2009102624297A CN101834992B (zh) 2008-12-18 2009-12-18 图像捕捉***、图像呈现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008322306A JP4983784B2 (ja) 2008-12-18 2008-12-18 撮像システム、画像提示方法、制御装置、プログラム

Publications (2)

Publication Number Publication Date
JP2010147769A JP2010147769A (ja) 2010-07-01
JP4983784B2 true JP4983784B2 (ja) 2012-07-25

Family

ID=42265464

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008322306A Expired - Fee Related JP4983784B2 (ja) 2008-12-18 2008-12-18 撮像システム、画像提示方法、制御装置、プログラム

Country Status (3)

Country Link
US (1) US8638372B2 (ja)
JP (1) JP4983784B2 (ja)
CN (1) CN101834992B (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5206095B2 (ja) 2008-04-25 2013-06-12 ソニー株式会社 構図判定装置、構図判定方法、プログラム
JP5453953B2 (ja) * 2009-06-24 2014-03-26 ソニー株式会社 可動機構部制御装置、可動機構部制御方法、プログラム
JP5347802B2 (ja) * 2009-07-27 2013-11-20 ソニー株式会社 構図制御装置、撮像システム、構図制御方法、プログラム
JP5126176B2 (ja) * 2009-07-28 2013-01-23 ソニー株式会社 撮像部駆動装置、回転角度制御方法、撮像装置、プログラム、撮像システム
JP5434338B2 (ja) 2009-07-29 2014-03-05 ソニー株式会社 撮像制御装置、撮像方法、プログラム
JP5434339B2 (ja) 2009-07-29 2014-03-05 ソニー株式会社 撮像制御装置、撮像システム、撮像方法、プログラム
US9110365B2 (en) * 2009-11-19 2015-08-18 Olympus Corporation Imaging apparatus
US8605158B2 (en) 2009-12-28 2013-12-10 Sony Corporation Image pickup control apparatus, image pickup control method and computer readable medium for changing an image pickup mode
JP2011199750A (ja) * 2010-03-23 2011-10-06 Olympus Corp 撮像端末、外部端末、撮像システム、及び撮像方法
JP4966421B1 (ja) * 2011-03-31 2012-07-04 株式会社東芝 情報処理装置及び情報処理方法
KR101811717B1 (ko) * 2011-11-14 2018-01-25 삼성전자주식회사 줌 제어 방법 및 장치와, 디지털 촬영 장치
CN107147868B (zh) * 2011-12-15 2021-06-15 联想(北京)有限公司 处理采集图像的方法及电子设备
US9019568B2 (en) * 2012-03-22 2015-04-28 Intuit Inc. Accurately extracting information based on orthogonal images
US9936114B2 (en) * 2013-10-25 2018-04-03 Elwha Llc Mobile device for requesting the capture of an image
US10694097B1 (en) * 2016-11-28 2020-06-23 Emergent Machines, Inc. Method, apparatus and system for an autonomous robotic photo booth
TWI628954B (zh) * 2017-02-16 2018-07-01 小綠草股份有限公司 自拍系統及方法
CN106982323B (zh) * 2017-02-16 2019-12-27 小绿草股份有限公司 自拍***及方法
CN108932142B (zh) 2018-04-28 2020-04-03 广州市百果园网络科技有限公司 一种画面捕捉方法及终端
US10887525B2 (en) 2019-03-05 2021-01-05 Sony Corporation Delivery of notifications for feedback over visual quality of images
US11095825B1 (en) * 2020-06-02 2021-08-17 Vitalchat, Inc. Camera pan, tilt, and zoom history
US20220217265A1 (en) * 2020-06-24 2022-07-07 Gopro, Inc. Automatic control of image capture device display operation

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08135889A (ja) * 1994-11-10 1996-05-31 Canon Inc 電動雲台、撮像装置および画像入力装置
US6203216B1 (en) * 1996-11-29 2001-03-20 Canon Kabushiki Kaisha Compact low-profile camera device
US6661450B2 (en) 1999-12-03 2003-12-09 Fuji Photo Optical Co., Ltd. Automatic following device
JP2001268425A (ja) 2000-03-16 2001-09-28 Fuji Photo Optical Co Ltd 自動追尾装置
US6930703B1 (en) * 2000-04-29 2005-08-16 Hewlett-Packard Development Company, L.P. Method and apparatus for automatically capturing a plurality of images during a pan
JP2001346090A (ja) * 2000-06-01 2001-12-14 Olympus Optical Co Ltd 電子カメラシステム及び電子カメラ
US6812971B2 (en) * 2001-09-11 2004-11-02 Olympus Optical Co., Ltd. Electronic apparatus, stand and electronic apparatus stand system
JP3878035B2 (ja) * 2002-03-04 2007-02-07 ニスカ株式会社 画像配信方法
JP2004088729A (ja) * 2002-06-25 2004-03-18 Fuji Photo Film Co Ltd デジタルカメラシステム
US20040223062A1 (en) * 2003-05-05 2004-11-11 Richard Pettegrew Pan and tilt camera system
JP4333223B2 (ja) * 2003-06-11 2009-09-16 株式会社ニコン 自動撮影装置
JP2005010512A (ja) * 2003-06-19 2005-01-13 Nikon Corp 自律的撮影装置
US7551225B2 (en) * 2003-12-09 2009-06-23 Sony Ericsson Mobile Communications Ab Positioning accessory for camera-equipped wireless terminals
JP2006191524A (ja) * 2004-12-09 2006-07-20 Nikon Corp 自動フレーミング装置および撮影装置
JP4534816B2 (ja) * 2005-03-16 2010-09-01 カシオ計算機株式会社 撮影装置及びプログラム
JP2007043490A (ja) * 2005-08-03 2007-02-15 Canon Inc カメラクレードル装置及びそのシステム
JP2007215136A (ja) * 2006-02-13 2007-08-23 Canon Inc カメラシステム及びカメラ制御方法
JP2008118475A (ja) * 2006-11-06 2008-05-22 Canon Inc クレードル装置及びその制御方法、並びにプログラム及び記憶媒体

Also Published As

Publication number Publication date
CN101834992A (zh) 2010-09-15
CN101834992B (zh) 2013-04-24
JP2010147769A (ja) 2010-07-01
US20100157075A1 (en) 2010-06-24
US8638372B2 (en) 2014-01-28

Similar Documents

Publication Publication Date Title
JP4983784B2 (ja) 撮像システム、画像提示方法、制御装置、プログラム
JP4640456B2 (ja) 画像記録装置、画像記録方法、画像処理装置、画像処理方法、プログラム
JP5434339B2 (ja) 撮像制御装置、撮像システム、撮像方法、プログラム
JP5967473B2 (ja) 撮像装置及び撮像システム
TWI386056B (zh) A composition determination means, a composition determination method, and a composition determination program
JP5434338B2 (ja) 撮像制御装置、撮像方法、プログラム
JP5453953B2 (ja) 可動機構部制御装置、可動機構部制御方法、プログラム
JP5347802B2 (ja) 構図制御装置、撮像システム、構図制御方法、プログラム
JP5991514B2 (ja) 撮像装置及び撮像システム
JP2013013063A (ja) 撮像装置及び撮像システム
JP5251779B2 (ja) 携帯型電子機器、制御方法、プログラム、撮像システム
JP2011188065A (ja) 撮像制御装置、被写体検出方法、プログラム
JP2011009929A (ja) 可動機構部制御装置、可動機構部制御方法、プログラム
JP2011030040A (ja) 撮像制御装置、撮像制御方法、プログラム、撮像システム
JP2011139231A (ja) 画像処理装置、画像処理方法、プログラム
JP2011030160A (ja) 画像対応装置、動作設定方法、プログラム
US8194147B2 (en) Image presentation angle adjustment method and camera device using the same
JP6704301B2 (ja) 撮像装置、及び撮像表示システム
JP6322964B2 (ja) 撮像装置、撮像制御方法及びプログラム
JP2010268127A (ja) 制御装置、撮像装置、撮像システム、画像取得方法、及びプログラム
KR20230135513A (ko) 촬상장치, 그 제어방법 및 컴퓨터 판독가능한 매체
JP2013229696A (ja) 撮像装置
JP2020088559A (ja) 電子機器およびプログラム
JP2011061857A (ja) 画像処理装置、画像処理方法、プログラム、撮像装置
JP2017011710A (ja) 撮像装置及び撮像システム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101019

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120308

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120327

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120409

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150511

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees