JP6310339B2 - 撮像システム及び撮像方法 - Google Patents

Description

本発明は、分離された撮像部からの画像を表示可能な確認部を有する撮像システム及び撮像方法に関する。

近年、デジタルカメラなどの撮影機能付き携帯機器（撮影機器）が普及している。この種の撮影機器においては表示部を有して、撮影画像を表示する機能を有するものもある。また、表示部にメニュー画面を表示して、撮影機器の操作を容易にしたものもある。このような表示部は、携帯機器本体の背面に設けられることが多く、ユーザは撮影時に、背面の表示部に表示されたスルー画を確認しながら撮影操作をすることも可能である。

また、近年、撮像画像の表示部を有しておらず、撮影と記録機能のみを備えたレンズ型カメラが採用されることがある。この種のレンズ型カメラは、一般的に、スマートフォンやタブレットＰＣ等に取り付けられ、取り付けられたスマートフォンやタブレットＰＣ等を操作機器（制御機器）として撮影が制御される。また、このようなスマートフォンやタブレットＰＣ等の制御機器は、レンズ型カメラからの撮像画像を表示する撮像表示装置としても機能する。

レンズ型カメラはスマートフォンやタブレットＰＣ等への着脱が自在であり、スマートフォンやタブレットＰＣ等から取り外した状態での撮影も可能となっている。この場合には、スマートフォンやタブレットＰＣ等の制御機器は、レンズ型カメラとの間で無線又は有線通信によって接続され、表示部に設けられたタッチパネル等を利用して、レンズ型カメラの撮影操作が可能である。

特開２０１０−１４８０５２号公報

レンズ型カメラは、レンズ型カメラからの撮像画像を表示する撮像表示装置に装着した状態（連結状態）で使用される場合と、撮像表示装置から取り外された状態（分離状態）で使用される場合が考えられる。分離状態では、連結状態に比べて構図の自由度が増加するという利点がある反面、仮にレンズ型カメラを一方の手で把持し、撮像表示装置を他方の手で把持して撮影を行おうとすると、両手がふさがっていて、スイッチ操作、タッチパネル操作、ダイヤル操作等の比較的細かい撮影操作が困難となる。

特許文献１においては、インカメラによる撮像画像に含まれる顔画像の表情を判別する表情判別エンジンと、表情判別エンジンからの判別情報に基づいてアウトカメラからの画像情報をメモリに記憶させるＣＰＵとを備えて、顔の表情によって撮影を制御する技術が開示されている。

しかしながら、特許文献１の発明では操作の種類が制限されてしまい、実用的ではないという問題があった。

本発明は、撮像部及び確認部の動きに応じて撮影操作を行うユーザインタフェースを提供することができる撮像システム及び撮像方法を提供することを目的とする。

本発明に係る一態様の撮像システムは、撮像部と上記撮像部からの撮像画像を表示する確認部とが分離可能な撮像システムにおいて、上記撮像部の動きを判定する第１の動き判定部と、上記確認部の動きを判定する第２の動き判定部と、上記第１及び第２の動き判定部の判定結果に基づいて上記撮像部の動きと上記確認部の動きとの関係を求めて上記撮像部及び上記確認部の少なくとも一方を制御する制御部と、を具備し、上記制御部は、上記確認部が停止中に上記撮像部に動きがある場合には上記撮像部による撮像の構図の決定動作であると判定する。
本発明に係る他の態様の撮像システムは、対象物を撮像する撮像部と、上記撮像部と別体となった、上記撮像結果を確認する確認部と、上記撮像部と上記確認部のそれぞれの動き情報によって構図決定操作を判定する構図決定操作判定部と、上記構図決定操作判定後に上記撮像部が略固定され、上記確認部の特定の動きを撮像パラメータ変更操作として判定する操作判定部と、を具備する。

本発明に係る一態様の撮像方法は、撮像部と上記撮像部からの撮像画像を表示する確認部とが分離可能な撮像システムの撮像方法において、上記撮像部の動きを判定する第１の動き判定ステップと、上記確認部の動きを判定する第２の動き判定ステップと、上記第１及び第２の動き判定ステップの判定結果に基づいて上記撮像部の動きと上記確認部の動きとの関係を求めて上記撮像部及び上記確認部の少なくとも一方を制御する制御ステップと、を具備し、上記制御ステップは、上記確認部が停止中に上記撮像部に動きがある場合には上記撮像部による撮像の構図の決定動作であると判定する。
本発明に係る他の態様の撮像方法は、撮像部が、対象物を撮像する撮像ステップと、上記撮像部と別体となった確認部が、上記撮像結果を確認する確認ステップと、上記撮像部と上記確認部のそれぞれの動き情報によって構図決定操作を判定する構図決定操作判定ステップと、上記構図決定操作判定後に上記撮像部が略固定され、上記確認部の特定の動きを撮像パラメータ変更操作として判定する操作判定ステップと、を具備する。

本発明によれば、撮像部及び確認部の動きに応じて撮影操作を行うユーザインタフェースを提供することができるという効果を有する。

本発明の第１の実施の形態に係る撮影システムを示すブロック図。 撮影制御を説明するためのフローチャート。 第１の実施の形態の動作を説明するための説明図。 撮像部と確認部との各状態の関係又はその変化に対応する操作態様の一例を示す図表。 本発明の第２の実施の形態を示すブロック図。 図５の外観を示す説明図。 レンズ型カメラ５１におけるカメラ制御とスマートフォン６１の制御とを説明するためのフローチャート。 内蔵カメラ部６３からの撮像画像の一例を示す説明図。 図７中のステップＳ３７におけるレンズ型カメラ５１の連結判定通信の具体的な動作フローの一例を示すフローチャート。 連結判定の通信によって得られた情報を用いた制御部６５の連結判定フローを示すフローチャート。 ブレパターンの類似判定を説明するための説明図。 図７中のステップＳ２０における動き反映撮影制御の動作を示すフローチャート。 図７中のステップＳ４０における動き反映撮影制御の動作を示すフローチャート。 図１２及び図１３に対応した撮影制御を説明するための説明図。 図１２及び図１３に対応した撮影制御を説明するための説明図。 スマートフォン６１の制御部６５における動作フローを示すフローチャート。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

（第１の実施の形態）
図１は本発明の第１の実施の形態に係る撮影システムを示すブロック図である。

図１において、撮像部１０は通信部１１を有しており、確認部２０は通信部２１を有している。例えば、撮像部１０をレンズ型カメラによって構成し、確認部２０をスマートフォンやタブレットＰＣによって構成することができる。通信部１１と通信部２１とは相互間で通信を行うことができる。撮像部１０と確認部２０とは通信部１１，２１によって相互に通信を行って、各種情報の送受を行うことができる。なお、スマートフォンやタブレットＰＣ等によって構成される確認部２０は、撮像部１０からの画像を確認するために表示を行うだけでなく、撮像部１０を操作及び制御するものであるので、「情報端末」、「撮像表示装置」、「操作装置」、「制御装置」等と表現しても良い。

撮像部１０は図示しない撮像素子を有している。撮像制御部１２は、通信部１１を介して確認部２０からの制御信号が与えられて、撮像素子による撮像を制御することができるようになっている。通信部１１は撮像素子によって取得された撮像画像を通信部２１に送信することができるようになっている。

本実施の形態においては、撮像部１０には動き判定部１３が設けられている。動き判定部１３は、撮像部１０の動きを判定して判定結果を通信部１１を介して確認部２０の制御部２５に出力することができるようになっている。なお、動き判定部１３は、加速度センサやジャイロセンサ等によって構成されており、これらのセンサの検出結果に基づいて撮像部１０の動きを判定することができる。また、動き判定部１３は、撮像部１０の撮像素子によって得た撮像画像の動きを検出して、撮像部１０の動きを判定するものであってもよい。

確認部２０は、図示しない撮像素子を有している。撮像制御部２２は確認部２０の撮像素子の撮像を制御することができるようになっている。確認部２０は表示部２３を有している。表示部２３は制御部２５に制御されて、撮像画像やメニュー等の表示を行う。

制御部２５は通信部２１，１１を介して撮像部１０の撮像を制御することができる。また、制御部２５は撮像部１０から通信部１１，２１を介して転送された撮像画像に対して所定の画像処理を施した後、撮像画像を表示部２３に与えて表示させることができる。

確認部２０には操作部２４が設けられている。操作部２４は、例えば、図示しないスイッチやボタン等によって構成することができ、これらの操作部２４に対するユーザ操作に基づく操作信号を制御部２５に出力する。また、操作部２４としては、表示部２３の表示画面に配設される図示しないタッチパネルを採用してもよい。

このタッチパネルは、ユーザが指で指し示した表示部２３の表示画面上の位置に応じた操作信号を発生することができる。この操作信号は、制御部２５に供給される。これにより、制御部２５は、ユーザが表示画面上をタッチしたりスライドさせたりした場合には、ユーザのタッチ位置、指を閉じ離間させる操作（ピンチ操作）、スライド操作やスライド操作によって到達した位置、スライド方向、タッチしている期間等の各種操作を検出することができ、ユーザ操作に対応した処理を実行することができるようになっている。例えば、タッチ操作で撮像部１０における各種撮影操作を行うことが可能である。

本実施の形態においては、確認部２０には動き判定部２６が設けられている。動き判定部２６は、確認部２０自体の動きを判定することができる。動き判定部２６は動きの判定結果を制御部２５に出力する。なお、動き判定部２６は、加速度センサやジャイロセンサ等によって構成されており、これらのセンサの検出結果に基づいて確認部２０の動きを判定することができる。また、動き判定部２６は、確認部２０の撮像素子によって得た撮像画像の動きを検出して、確認部２０の動きを判定するものであってもよい。

なお、動き判定部１３，２４は、撮像部１０及び確認部２０が動いているか停止しているか、動きの種類、例えば、円弧状であるか、四角状であるか、領域を囲む動きであるか直線状であるか、回転角度、動き量、動き速度等の種々の動き判定が可能である。

制御部２５は操作部２４の操作に基づいて確認部２０及び撮像部１０を制御するだけでなく、動き判定部１３，２６の判定結果に従って、確認部２０及び撮像部１０を制御することができるようになっている。なお、制御部２５は、動き判定部１３，２４の動き判定結果を図示しないメモリに記憶させるようになっている。これにより、制御部２５は、動きの判定の履歴に応じて、撮像部１０及び確認部２０を制御することが可能である。

次にこのように構成された実施の形態の動作について図２及び図３を参照して説明する。図２は撮影制御を説明するためのフローチャートであり、図３は第１の実施の形態の動作を説明するための説明図である。

確認部２０の制御部２５は、通信部２１，１１を介して撮像部１０の撮像制御部１２を制御する。撮像制御部１２は、制御部２５に制御されて、撮像部１０の撮像素子を駆動する。この撮像素子によって撮像されて得られた撮像画像は、通信部１１，２１を介して確認部２０に取り込まれる。確認部２０の制御部２５は、取り込んだ撮像画像に対して所定の信号処理を施した後表示部２３に与えてスルー画表示させる。ユーザは、表示部２３に表示されているスルー画を参照しながら、撮影操作を行うことができる。

本実施の形態においては、撮影操作は、操作部２４に対する操作だけでなく、撮像部１０及び確認部２０を関連付けて動かすことでも行われる。図２のステップＳ１では、撮像部１０と確認部２０とが分離しているか否かが判定される。例えば、制御部２５は、動き判定部１３，２４の動き判定結果に基づいて、確認部２０と撮像部１０とが分離しているか否かを判定することができる。撮像部１０が確認部２０に取り付けられている場合、即ち、連結状態である場合には、制御部２５は、操作態様１の表示形態及び操作制御を行う（ステップＳ４）。

図３（ａ）は操作態様１における表示を示している。図３（ａ）は確認部２０の筐体２０ａの操作面の略全域に表示部２３が設けられている様子を示している。表示部２３の表示画面２３ａ上には、撮像画像３２を表示する画像表示領域３１が設けられている。また、表示画面２３ａ上には、操作部２４を構成する操作アイコンである再生ボタン３５ａ、モードボタン３５ｂ及び撮影ボタン３５ｃが表示されている。

ユーザが再生ボタン３５ａ、モードボタン３５ｂ又は撮影ボタン３５ｃ上をタッチすることで、制御部２５は確認部２０を再生モード、モード設定モード又は撮影モードに移行させる。

撮像部１０が確認部２０に取り付けられている場合には、ユーザは筐体２０ａを両手で把持することが多いと考えられ、図３（ａ）の例のように、ユーザは左手の指４１Ｌ及び右手の指４１Ｒの両方の指（例えば親指）を用いて、タッチ操作を行う。両手の指を使った操作が可能であるので、図３（ａ）に示すように、操作アイコンは表示画面２３ａ上の上下左右の各部の配置領域に配置される。

制御部２５は、撮像部１０と確認部２０とが分離状態であると判定した場合には、次のステップＳ２において構図決定操作を行っているか否かを判定する。例えば、制御部２５は、撮影者が確認部２０を見ている状態で、撮像部１０が特定の移動をしているか否かを判定する。例えば、撮影者が一方の手で撮像部１０を把持して構え、他方の手で確認部２０を把持して表示部２３を確認しているものとする。この場合には、撮影者は、構図を決定するために撮像部１０を動かす。例えば、制御部２５は、動き判定部１３，２４の判定結果によって、確認部２０が停止状態で且つ、撮像部１０が構図決定のために移動しこの移動の後所定期間停止したことを検出すると、構図の決定操作が終了し、構図確定状態であるものと判定する。なお、撮影者が確認部２０を見ているか否かについては、確認部２０がインカメラを有していれば簡単に確認可能である。確認部２０がインカメラを有していない場合等においては、撮影者が確認部２０を見ているか否かについての判定を省略して、撮像部１０及び確認部２０の動きの関係のみによって、構図決定操作及び構図確定状態を判定してもよい。構図決定操作は、確認部（表示部）の動きや、撮像部の動きで判定する。
確認部（表示部）の動きの条件としては、この確認部とユーザの関係が略決まっていることを、例えば確認部または表示部がユーザの目から明視距離にあって上下左右がユーザの目に対して一定に保たれていることを画像で直接的に判定して条件とする。または、確認部または表示部が、手振れの範囲内で固定された状態を条件（ただし、机の上で伏せられているような状態は条件に入れなくても良い）として、これらを表示部側の条件としても良い。
また、撮像部の動きの条件を考慮してもよく、その場合は、後述する迷っている操作や、確認の操作が行われていることを判定すれば良い。構図決定操作は、表示部がそれをユーザがよく見るために、ほぼ固定されていて、撮像部は、確認と迷い（構図修正）が行われている。
また、構図決定操作時には、まず、被写体像をキャプチャするための動きがあり、まずは画面中央部に納められる被写体が定まらない状態がある。まず、画面内で継続して検出される対象物がなく、その後、特定の対象物が撮像された後は、それを捉え続けようとする。つまり、特定被写体が画面内に入ってくるまでもその一環として考えてもよい。
次に、画面の例えば中央部分に入った被写体像が、ユーザが構図や撮影の効果を確認するために確認とフィードバック動作を繰り返すような動きが考えられ、まず、同じ特徴の像が捉えられており、それ確認するために０．５秒程度（野球の投手がボールを投げてホームベースに届くまでが０.４秒と言われ、専門家では、この間に球種などが判定できるので、仮にこの数値としたが、もちろん個人差がある）の確認期間があるような場合、「迷う動き」と考える。この確認期間は、表示部も撮像部も動かさないとすると、微動、固定が０．５〜２秒程度で繰り返されるような動きパターンを、撮像結果の変化や姿勢判定や振動判定などを判定し、これを「動き判定」とすれば良い。この「動き判定」の方法については、さらに後述する。画面の中央でなく、特定の領域を判定しても良い。このとき、撮影者が表示部はしっかり見ているかを判定したり、揺らさないようにしているかを、同時に判定条件にしてもよい。
まず、この発明は、撮像部と確認部のそれぞれの動き情報によって「構図決定操作」を判定し、このような「構図決定操作」が判定された後で、撮像部が固定された後は、ユーザが次の操作がしたくなるであろうことを想定し、動きデータの解析から、ユーザの意図をくみ取る点に特徴がある。

制御部２５は、構図確定状態になったものと判定すると、次のステップＳ３において確認部２０の動きを判定する。本実施の形態においては、構図確定状態において撮像部１０が停止した状態で確認部２０が動くと、確認部２０の動きに応じた操作態様２の操作制御が行われる（ステップＳ５）。例えば、制御部２５は、構図確定状態においてユーザが確認部２０を回転させる操作をすると、この操作がズーム操作であるものと判定して、通信部２１，１１を介して撮像部１０に対してズーム制御を行う。

図３（ｂ）は操作態様２の状態を示している。図３（ｂ）は確認部２０の筐体２０ａ及びユーザの手４２を２重に記載して、筐体２０ａが動いている様子を示している。表示画面２３ａ上には、画像表示領域３１以外の領域に操作アイコンである撮影ボタン３７が表示されている。撮影者が図３（ｂ）の矢印に示すように、確認部２０を回転させると、制御部２５はこの動きがズーム操作であるものと判定する。この場合には、制御部２５は、回転方向によってズーム方向、回転角度によってズーム量を決定してもよい。また、ズームを示す操作として、正逆回転方向を切り換えながら筐体２０ａを回転移動させる操作を行ってもよい。この場合には、制御部２５は、最初に所定量以上回転させた方向によってズーム方向を決定し、正逆回転の回数によってズーム量を決定してもよい。

なお、ユーザが撮影ボタン３７上をタッチすることで、制御部２５は取り込んだ撮像画像を記録する。

この表示形態の場合には、ユーザは片手で筐体２０ａを把持し片手で撮像部１０を把持していることが多いと考えられ、ユーザにとってボタンやスイッチ等を利用した撮影操作は比較的困難である。この場合でも、確認部２０を動かす操作は比較的簡単であり、図３（ｂ）の例のように、ユーザは簡単にズーム操作を行うことができる。

また、本実施の形態においては、構図確定状態においては、撮像部１０を移動させることで、撮像部１０及び確認部２０を制御可能に構成することもできる。制御部２５は、ステップＳ５において確認部２０において操作制御に対応する動きが生じない場合には、ステップＳ６に移行して撮像部１０の動きに応じた操作態様３の操作制御を行う。

図３（ｃ）は操作態様３の状態を示している。図３（ｃ）は確認部２０の動きを停止させた状態で、ユーザが撮像部１０の筐体１０ａを回転させている様子を示している。撮影者が図３（ｃ）の矢印に示すように、撮像部１０を回転させると、制御部２５はこの動きがズーム操作であるものと判定する。この場合には、制御部２５は、回転方向によってズーム方向、回転角度によってズーム量を決定してもよい。また、ズームを示す操作として、正逆回転方向を切り換えながら筐体１０ａを回転移動させる操作を行ってもよい。この場合には、制御部２５は、最初に所定量以上回転させた方向によってズーム方向を決定し、正逆回転の回数によってズーム量を決定してもよい。

撮像部１０と確認部２０とが分離可能であることから、構図決定の自由度の高さから両者を分離して使用されることが考えられる。しかし、この場合には撮像部１０と確認部２０とを左右の手で把持すると、スイッチ操作等の比較的細かい操作は困難である。この場合でも、把持した手で簡単且つ直感的に操作する方法として、動き判定部１３，２６を設けて、機器の動きそのものを操作に利用している。これにより、操作性が損なわれることなく、撮像部１０と確認部２０とを分離して構図決定の自由度を向上させた撮影が可能となる。

制御部２５は、ステップＳ７において、これらの操作態様１〜３に応じた表示に対する操作を検出すると、操作に応じた撮影制御や画像処理等を行う（ステップＳ８）。

なお、図３に示す操作態様は例示であり、確認部２０と撮像部１０の状態に応じた種々の操作態様を設定するように構成することが可能である。

また、制御部２５は、構図確定時に、撮像部１０の撮像画像を静止画として取り込んでメモリに記憶させた後、操作に基づく撮影処理や画像処理等を行ってもよく、これらの処理をスルー画の状態で行ってもよい。この場合には、図３（ｂ），（ｃ）に示す撮影ボタン３７のタッチ操作によって撮像部１０の撮像画像を静止画記録してもよく、また、例えば撮像部１０及び確認部２０の両方が所定期間以上停止することを検出して、静止画記録を行ってもよい。

また、上述した図２のフローチャートでは、撮像部１０と確認部２０との動きの履歴を利用する点については明確には示されていないが、撮像部１０と確認部２０との現在の動きの状態の関係だけでなく、撮像部１０と確認部２０との動きの履歴に応じて、操作態様を決定してもよい。

例えば、図４は撮像部と確認部との各状態の関係又はその変化に対応する操作態様の一例を示す図表である。図４（ａ）は現在の動きの状態の関係のみによって操作態様を決定する例を示し、図４（ｂ）は動きの履歴に基づいて操作態様を決定する例を示してる。

図４（ａ）では確認部２０が停止した状態で撮像部１０が動いている場合には、制御部２５は構図決定処理のための操作であると判定することを示している。また、図４（ａ）では確認部２０が停止した状態で撮像部１０が動いている場合には、制御部２５は動きの種類に応じて画像取込処理、ズーム処理又は露出制御処理のための操作であると判定することを示している。

また、図４（ｂ）では、制御部２５は、確認部２０が停止した状態で撮像部１０が動くことにより構図決定処理のための操作が行われていると判定すると共に、撮像部１０が停止して確認部１０に何らかの動きが生じ、撮像部１０の停止から１秒後に再び撮像部１０が動いた場合には、撮像部１０の動きの種類に応じて例えば露出制御処理のための操作であると判定することを示している。

なお、制御部２５は、動きの種類としては、撮像部１０と確認部２０とを前後に傾ける動き、左右に回転させる動き、全体を回転させる動き等の種々の動きの判定結果を利用した制御が可能である。また、制御部２５は、動かす方向、動き量及び動き回数等によって、制御の方向及び制御量を判定することも可能である。

また、図４では、撮影者による操作が比較的容易であるという点を考慮して、撮像部１０と確認部２０のいずれか一方が停止していて他方が動いている場合に、その動きの種類に応じた操作を判定する例を示しているが、撮像部１０と確認部２０の一方の動きの種類と他方の動きの種類とを組み合わせて、操作を判定するようにしてもよい。

このように本実施の形態においては、撮像部及び確認部の動きの関係又はその履歴に基づいて、撮影操作を判定するようになっており、両手で撮像部と確認部とを把持した状態であっても、ユーザは容易に撮影操作を行うことができる。これにより、撮像部と確認部とを分離して使用した場合でも、良好な操作性を維持しながら、構図決定の自由度を向上させることができる。

（第２の実施の形態）
図５は本発明の第２の実施の形態を示すブロック図であり、撮像部としてレンズ型カメラを採用し、確認部としてスマートフォンを採用した例を示している。図６は図５の外観を示す説明図である。なお、撮像部及び確認部は、それぞれ撮像機能と表示機能とを有していればよく、撮像部及び確認部の両方をスマートフォン、或いはタブレットＰＣや携帯電話等によって構成してもよい。

図５において、図１の確認部２０に相当するスマートフォン６１にはカメラ用通信部６２が設けられ、図１の撮像部１０に相当するレンズ型カメラ５１には通信部５５が設けられており、スマートフォン６１とレンズ型カメラ５１とは、これらの通信部６２，５５を介して相互に通信可能に構成されている。

図６に示すように、スマートフォン６１の筐体６１ａには取り付け器具７１が着脱自在に取り付けられるようになっており、取り付け器具７１にはレンズ型カメラ５１を取り付けるための取付部７２が設けられている。レンズ型カメラ５１は基端側に取付部５１ｂが設けられており、この取付部５１ｂを取り付け器具７１の取付部７２に、嵌込み又はねじ込み等によって取り付け可能に構成されている。

レンズ型カメラ５１には、光学系５２ａを有する撮像部５２が設けられている。撮像部５２にはＣＣＤやＣＭＯＳセンサ等によって構成された図示しない撮像素子が設けられており、光学系５２ａによって被写体像が撮像素子の撮像面に導かれるようになっている。光学系５２ａは、鏡筒５１ａ内に収納されており、鏡筒５１ａ内にはピント合わせによりフォーカス（合焦）状態に設定するために可動されるフォーカスレンズやフォーカス状態で変倍するズームレンズ等が設けられている。また、光学系５２ａは、これらのレンズ及び絞りを駆動する図示しない機構部を有する。制御部５３は光学系５２ａの機構部を制御して、これらのフォーカスレンズ、ズームレンズ及び絞りを駆動制御するようになっている。

レンズ型カメラ５１には、ユーザによる撮影に関するパラメータ、例えば、ピント、ズームや絞りに関するパラメータの設定操作のために、操作リング５４ａ等の操作部５４が設けられている。制御部５３は、操作部５４に対するユーザ操作を検出して検出結果に基づく制御を行う。制御部５３は、ＣＰＵ等によって構成されており、操作部５４に対するユーザ操作と後述するスマートフォン６１からの信号とに基づいて、レンズ型カメラ５１の各部を制御する。

撮影制御部５３ａは、フォーカス信号、ズーム信号及び絞り制御信号を発生して、光学系５２ａのフォーカス、ズーム及び絞りを駆動制御する。また、撮影制御部５３ａは、撮像素子に駆動信号を供給して、被写体の撮像を制御する。

画像処理部５３ｂは、撮像素子からの撮像画像が与えられ、所定の画像信号処理、例えば、色調整処理、マトリックス変換処理、ノイズ除去処理、その他各種の信号処理を施した後、記録部５６に与えて記録させることができる。記録部５６としては例えばＩＣメモリを採用することができる。また、画像処理部５３ｂは、撮像画像を通信部５５を介してスマートフォン６１に転送することができるようになっている。

通信部５５は、スマートフォン６１に設けられたカメラ用通信部６２との間で所定の伝送路を介して通信が可能である。伝送路としては、有線及び無線による各種伝送路、例えば、ＵＳＢ（Universal Serial Bus）ケーブルやＷｉｆｉ（Wireless Fidelity）等の無線ＬＡＮの伝送路等を採用することができるようになっている。制御部５３は、スマートフォン６１との間で通信が確立すると、スマートフォン６１の制御部６５に従って撮影が制御されると共に、撮像画像及びレンズに関する情報をスマートフォン６１に転送することができるようになっている。

本実施の形態においては、レンズ型カメラ５１には動き判定部５７が設けられている。動き判定部５７は、３軸加速度センサやジャイロセンサ等によって構成されており、レンズ型カメラ５１の動きを判定して判定結果を制御部５３に与える。なお、動き判定部５７は、地磁気センサを併用してもよい。なお、動き判定部５７は、撮像部５２によって得た撮像画像の動きを検出して、レンズ型カメラ５１の動きを判定するものであってもよい。

スマートフォン６１は、内蔵カメラ部６３を有している。内蔵カメラ部６３は、ＣＣＤやＣＭＯＳセンサ等によって構成された図示しない２つの撮像素子を有しており、これらの２つの撮像素子によって外側撮像部及び内側撮像部が構成される。外側撮像部はスマートフォン６１の筐体６１ａの前面に設けられたレンズ６３ａ（図６参照）を介して入射した被写体の光学像が一方の撮像素子の撮像面に導かれて、被写体を撮像する。内側撮像部は、スマートフォン６１の筐体６１ａの操作面に設けられた図示しないレンズを介して入射した撮影者自身の光学像が他方の撮像素子の撮像面に導かれて、撮影者自身を撮像する。

スマートフォン６１の制御部６５は、例えばＣＰＵ等のプロセッサによって構成されてスマートフォン６１の各部を制御する。制御部６５は、内蔵カメラ部６３を制御すると共に、レンズ型カメラ５１の撮像部５２を駆動するための信号を出力する。制御部６５は内蔵カメラ部６３からの撮像画像が与えられると共に、レンズ型カメラ５１からの撮像画像を受信する。制御部６５は、内蔵カメラ部６３からの撮像画像及び受信した撮像画像に対して、所定の信号処理、例えば、色調整処理、マトリックス変換処理、ノイズ除去処理、その他各種の信号処理を行う。

スマートフォン６１には、操作部６６も配設されている。操作部６６は、スマートフォン６１に設けられた図示しないスイッチ、キー、ソフトウェアキーボード等の各種の操作部によって構成され、ユーザ操作に基づく操作信号を発生して、制御部６５に出力するようになっている。制御部６５は、操作信号に基づいて、各部を制御する。

制御部６５は、撮像画像の記録及び再生に関する処理を行うことができる。例えば、制御部６５は、信号処理後の撮影画像を圧縮処理し、圧縮後の画像を記録部６４に与えて記録させることができる。記録部６４としては、例えばＩＣメモリ等の各種記録媒体を採用することができ、記録部６４は記録媒体に画像情報及び音声情報等を記録可能である。

表示制御部６７は表示に関する各種処理を実行する。表示制御部６７は、制御部６５から信号処理後の撮影画像が与えられて、表示部６８に与えることができる。表示部６８は、ＬＣＤ等の表示画面を有しており、表示制御部６７から与えられた画像を表示する。また、表示制御部６７は、各種メニュー表示等を表示部６８の表示画面に表示させることもできるようになっている。制御部６５は、記録部６４に記録されている撮像画像を読み出して伸張処理することができる。表示制御部６７は伸張処理された撮像画像を表示部６８に与えることで、記録画像の再生が可能である。

表示部６８の表示画面上には、操作部６６として図示しないタッチパネルも設けられている。タッチパネルは、ユーザが指で指し示した表示画面上の位置に応じた操作信号を発生することができる。この操作信号は、制御部６５に供給される。これにより、制御部６５は、ユーザが表示画面上をタッチしたりスライドさせたりした場合には、ユーザのタッチ位置、指を閉じ離間させる操作（ピンチ操作）、スライド操作やスライド操作によって到達した位置、スライド方向、タッチしている期間等の各種操作を検出することができ、ユーザ操作に対応した処理を実行することができるようになっている。

なお、表示部６８は、スマートフォン６１の例えば操作面の略全域を占めるように配設されており、ユーザは、レンズ型カメラ５１による撮影時に表示部６８の表示画面上に表示された撮像画像を確認することができ、撮像画像を確認しながら撮影操作を行うことができる。

また、本実施の形態においては、スマートフォン６１は、動き判定部６９を備えている。動き判定部６９は、３軸加速度センサやジャイロセンサ等によって構成されており、スマートフォン６１の動きを判定して判定結果を制御部６５に与える。なお、動き判定部６９は、地磁気センサを併用してもよい。なお、動き判定部６９は、内蔵カメラ部６３によって得た撮像画像の動きを検出して、スマートフォン６１の動きを判定するものであってもよい。

制御部６５は、動き判定部６９からの動き判定結果及びカメラ用通信部６２を介してレンズ型カメラ５１から受信したレンズ型カメラ５１の動き判定結果の情報に基づいて、撮影操作を判定することができるようになっている。即ち、本実施の形態は、スマートフォン６１の操作部６６の操作だけでなく、レンズ型カメラ５１及びスマートフォン６１を動かすことで、両者の動きの関係又はその履歴に基づいて、制御部６５がユーザによる撮影操作を判定するようになっている。

次に、このように構成された実施の形態の動作について図７乃至図１６を参照して説明する。図７はレンズ型カメラ５１におけるカメラ制御とスマートフォン６１の制御とを説明するためのフローチャートである。なお、図７において、レンズ型カメラ５１のカメラ制御フローとスマートフォン６１の制御フローとの間を結ぶ矢印は、処理によって通信が行われることを示している。

レンズ型カメラ５１の制御部５３は、ステップＳ３１において、電源が投入されたか否かを判定する。制御部５３は、電源が投入されると、撮影モードが指定されたか否かを判定する（ステップＳ３２）。撮影モードが指定されている場合には、制御部５３は撮像部５２を制御して被写体を撮像させる。撮像部５２によって得られた撮像画像は制御部５３によって取り込まれてスルー画が得られる（ステップＳ３３）。また、制御部５３は、ステップＳ３４において、動き判定部５７からの動き判定結果を取得する。なお、ステップＳ３４においては、後述する連結判定のためにレンズ型カメラ５１の振動の判定結果も得られる。

一方、スマートフォン６１の制御部６５は、ステップＳ１１において、カメラ連携モードが指定されたか否かを判定する。カメラ連携モードが指定されると、制御部６５はステップＳ１２においてレンズ型カメラ５１と間でカメラ通信を行って、レンズ型カメラ５１からのスルー画の受信要求を発生する。

レンズ型カメラ５１の制御部５３は、スマートフォン６１からのスルー画の要求を受信すると、ステップＳ３５における通信確立の後、スルー画を通信部１５を介してスマートフォン６１に送信する（ステップＳ３６）。なお、このステップＳ３６では、ステップＳ３４において取得した動き判定結果もスマートフォン６１に送信される。スマートフォン６１の制御部６５は、レンズ型カメラ５１からのスルー画を受信し、ステップＳ１４において受信したスルー画を表示制御部６７に与えて表示させる。

次に、制御部６５は、撮影操作の判定のために、スマートフォン６１及びレンズ型カメラ５１が連結されているか否かの判定を行う。例えば、制御部６５は、ステップＳ１５において内蔵カメラ部６３を起動させると共に、動き判定部６９の出力を用いた振動判定を行う。次にステップＳ１６において、制御部６５は内蔵カメラ部６３からの撮像画像中にレンズ型カメラ５１を構成する鏡枠画像が含まれているか否かを検出する。鏡枠画像が含まれている場合には、レンズ型カメラ５１が連結状態であるものと判定して、制御部６５は、操作態様１を設定する（ステップＳ１７）。

図８は内蔵カメラ部６３からの撮像画像の一例を示す説明図である。図８は表示部６８の表示画面６８ａ上に内蔵カメラ部６３によって取得した撮像画像８１が表示されている様子を示している。撮像画像８１の端部には、鏡枠画像８２が含まれる。レンズ型カメラ５１の取付位置及びレンズ６３ａの位置等によっては、内蔵カメラ部６３によってレンズ型カメラ５１の鏡筒５１ａが撮像されることがあり、制御部６５は、撮像画像中に鏡枠画像８２が含まれるか否かを画像処理によって検出し、含まれる場合には、レンズ型カメラ５１がスマートフォン６１に装着（連結）されているものと判定することができる。なお、この判定処理においては、図８の表示を行う必要は無い。

また、制御部６５は、撮像画像に鏡枠画像が含まれていない場合には、内蔵カメラ部６３からの撮像画像だけではレンズ型カメラ５１が連結状態であるか否かを判定できないので、ステップＳ１８において、レンズ型カメラ５１に対して連結判定のための通信を行う。レンズ型カメラ５１も、ステップＳ３７において連結判定のための通信を行う。

図９は図７中のステップＳ３７におけるレンズ型カメラ５１の連結判定通信の具体的な動作フローの一例を示すフローチャートである。また、図１０は連結判定の通信によって得られた情報を用いた制御部６５の連結判定フローを示すフローチャートである。

レンズ型カメラ５１の制御部５３は、図９のステップＳ５１において連結判定通信の要求が生じたか否かを判定し、ステップＳ５２においてブレパターンの要求であるか否かを判定する。制御部５３は、ブレパターンの要求が生じているものと判定した場合には、動き判定部５７の出力に基づいて、レンズ型カメラ５１の振動の情報であるブレパターンの情報を送信する（ステップＳ５３）。

一方、スマートフォン６１の制御部６５は、図１０のステップＳ６１において、レンズ型カメラ５１とのカメラ通信の有無を判定し、レンズ型カメラ５１からのブレパターンの情報を受信する。制御部６５は、ステップＳ１５において求めたスマートフォン６１の振動判定結果（ブレパターン）と受信したブレパターンとの類似判定を行い、類似していると判定した場合は処理をステップＳ６４に移行し、類似していないと判定した場合には処理をステップＳ６３に移行する。

図１１はブレパターンの類似判定を説明するための説明図である。図１１（ａ）はレンズ型カメラ５１のブレパターンを示し、図１１（ｂ）はスマートフォン６１のブレパターンを示している。制御部６５は、例えば、図１１のタイミングＴ１，Ｔ２，…毎に各ブレパターンの値の変化を求める。制御部６５は、変化が類似しているか否かを判定する。制御部６５は、両方のブレパターンの変化が類似している場合には、レンズ型カメラ５１がスマートフォン６１の筐体６１ａに連結しているものと判定する（ステップＳ６４）。また、制御部６５は、両方のブレパターンの変化が類似していない場合には、処理をステップＳ６３に移行する。制御部６５は、ステップＳ６３において、レンズ型カメラ５１における撮像画像の画像特徴の送信を要求する。

レンズ型カメラ５１の制御部５３は、図９のステップＳ５４において画像特徴の要求が発生したか否かを判定する。制御部５３は、画像特徴の要求が発生すると、ステップＳ５５において画像特徴の情報をスマートフォン６１に送信する。

制御部６５は、レンズ型カメラ５１からの画像特徴の情報を受信すると、当該画像特徴の情報と、内蔵カメラ部６３によって取得した撮像画像から得た画像特徴の情報との類似を判定する。制御部６５は、これらの画像特徴の情報が類似している場合には、レンズ型カメラ５１と内蔵カメラ部６３による視野が類似しており、レンズ型カメラ５１がスマートフォン６１の筐体６１ａに連結しているものと判定する（ステップＳ６４）。なお、制御部６５は、ブレパターンに類似がなく、画像特徴にも類似がないと判定した場合には、レンズ型カメラ５１がスマートフォン６１の筐体６１ａに連結していないものと判定する。

制御部６５は、図７のステップＳ１９において連結判定した場合には、処理をステップＳ１７に移行して操作態様１を設定し、連結判定しなかった場合には、処理をステップＳ２０に移行する。図７のステップＳ１７における操作態様１においては、例えば、図３（ａ）に示す表示及び操作制御が行われる。一方、ステップＳ２０においては、レンズ型カメラ５１及びスマートフォン６１の動きを反映させた撮影制御が行われる。

図１２は図７中のステップＳ２０における動き反映撮影制御の動作を示すフローチャートである。また、図１３は図７中のステップＳ４０における動き反映撮影制御の動作を示すフローチャートである。また、図１４及び図１５は図１２及び図１３に対応した撮影制御を説明するための説明図である。

近年、カメラの自動制御化が進み、構図以外の露出やピントはカメラまかせでよい。従って、ある程度、構図などが決まった後であれば、レンズ型カメラ５１及びスマートフォン６１の動きによって、各種画像効果についての制御を行うように設定してもよい。図１２はこのように動きによる制御を画処理に用いる場合の動作フローの一例を示している。

レンズ型カメラ５１は、スマートフォン６１から分離しての利用が可能であるので、構図決定のためにレンズ型カメラ５１に合わせて撮影者が動かなくても良いというメリットがある。写真撮影では、撮影範囲内において、どの被写体をどの大きさにどの位置に配置するかは重要である。レンズ型カメラ５１で様々な角度から被写体を狙っても、スマートフォン６１を目の前の保持していれば効果確認が可能である。このため、撮影シーンによっては、撮像部とその撮像画像を観察する観察部を分離して利用する利点が極めて大きいことがある。例えば、料理を撮影する場合等には、撮影者の位置が限定されることがあり、分離状態での利用は極めて有効である。図１４はこのような料理の撮影の例を示すものである。なお、図１４では手やレンズ型カメラ５１、スマートフォン６１等を２重に記載して、これらが動いている様子を示している。

制御部６５は、図１２のステップＳ７１において構図が確定したか否かを判定する。例えば、制御部６５は、レンズ型カメラ５１によるスルー画が安定していて、且つスマートフォン６１の表示画面６８ａの向きが一定である場合等には、既に構図が確定しているものと判定する。また例えば、制御部６５は、レンズ型カメラ５１の動き判定部５７の動き判定結果に基づいてレンズ型カメラ５１の動きが停止して所定の時間経過したことによって構図が確定したものと判定してもよい。

図１４（ａ）は構図を決定する様子を示している。図１４の例では、テーブル９１上に器９２が置かれ、器９２上には魚の料理９３が載置されている。ユーザ９４は右手９５Ｒでレンズ型カメラ５１を把持し、左手９５Ｌでスマートフォン６１を把持している。ユーザ９４は、レンズ型カメラ５１を構えた右手９５Ｒを例えば矢印に示すように移動させながら、構図を決定する。ユーザ９４は、スマートフォン６１の表示画面６８ａに表示されたスルー画を確認することができる。ユーザ９４は、スルー画を確認しながら右手９５Ｒを適宜移動させて構図を決める。

図１５（ａ）は構図確定時においてスマートフォン６１の表示部６８の表示画面６８ａ上に表示されるスルー画を示している。図１５（ａ）に示すように、表示画面６８ａ上にはスルー画の表示領域１０１が設けられており、器９２に対応する画像９２ａ及び魚の料理９３に対応する画像９３ａが表示されている。

図１２乃至図１５の例は、図１５（ａ）に示す撮像画像について、レンズ型カメラ５１を停止させた状態でスマートフォン６１を移動させる操作によって、図１５（ｅ）に示すように、料理の画像９３ａの周囲をぼかす画像加工を行うものである。
つまり、この発明は、撮像部と確認部のそれぞれの動き情報によって「構図決定操作」（迷い動作をここに含めても良い）を判定し、このような「構図決定操作」が判定された後で、撮像部が固定された後は、ユーザが次の操作がしたくなるであろうことを想定し、動きデータの解析から、ユーザの意図をくみ取って、表示側の動きをユーザの意図の入力情報として利用した点に特徴がある。

制御部６５は、画処理の範囲、例えばぼかし加工の範囲を決定するために、ステップＳ７２において軌跡判定用位置を図示しないメモリに記憶する。図１５（ｂ）は構図確定後に、ユーザ９４が左手９５Ｌを回転させることでスマートフォン６１の筐体６１ａを回転させる操作を行っていることを示している。制御部６５は、スマートフォン６１の移動の軌跡を求めて、ユーザ９４の回転操作が元の位置に戻ったか否か、軌跡が閉じたか否かを判定する。制御部６５は、ユーザ９４の回転操作が元の位置に戻ったものと判定すると、次のステップＳ７４において、判定した軌跡が円形、楕円形、多角形等の領域を示すものであるか、直線的な移動を示すものであるかを判定する。

制御部６５は、ユーザによるスマートフォン６１の移動操作が直線的の動きであった場合には、処理をステップＳ７５に移行して、移動方向に対応して予め設定されている処理をレンズ型カメラ５１に要求する。この要求は、通信部６２，６５を介してレンズ型カメラ５１の制御部５３に伝送される。レンズ型カメラ５１の制御部５３は、図７のステップＳ３８において画処理要求が発生したことを検出すると、当該要求に応じた画処理を行う（ステップＳ３９）。

なお、図１２及び図１３は、レンズ型カメラ５１において各種画処理を実行する例について示しているが、各画処理の全て又は一部をスマートフォン６１において実行するようにしてもよいことは明らかである。

制御部６５は、ユーザによるスマートフォン６１の移動操作が領域を指定するものであった場合には、処理をステップＳ７６に移行して、領域の指定が１回目であるか否かを判定する。制御部６５は、１回目の領域指定時には、ステップＳ７７において、軌跡の形状に対応した画処理をレンズ型カメラ５１に要求する。レンズ型カメラ５１は要求された画処理を実行し、実行結果の画像をスマートフォン６１に転送する。こうして、スマートフォン６１の表示画面６８ａ上において、図１５（ｃ）に示す画処理後の画像１０３が表示される。

例えば、制御部６５は、軌跡の形状を反映して、その外側や内側を画処理の対象とする。なお、制御部６５は、軌跡の法線方向に対して画処理に変化を付けてもよい。図１５（ｃ）の例では、ユーザがスマートフォン６１を楕円状に回転操作することによって器の画像９２ａの周囲が、塗り潰しによって示すぼかし加工が施されていることを示している。

制御部６５は、ユーザがスマートフォン６１を移動させて形成する実際の軌跡に相似する形状で画処理を行う。実際には、ユーザは自分がどのくらいのサイズの軌跡を形成すれば、希望するサイズの画処理が行われるかを予め知ることはできないので、ユーザは表示画面６８ａ上の画像を見ながら回転移動を繰り返して希望する画処理の領域を決定することが考えられる。図１５（ｄ）はこのようなユーザの回転操作を説明するものであり、矢印１０２で示す回転操作を行うことで、軌跡１０５が形成される。

制御部６５は、ステップＳ７６において２回目以上の領域指定であると判定した場合には、ステップＳ７８において領域が変化したか否かを判定する。領域が変化した場合には、制御部６５は、ステップＳ７９において、新たな軌跡の形状、サイズに対応した領域での画処理をレンズ型カメラ５１に要求する。例えば、画処理の境界の位置、サイズ、形状等を変化させた要求を発生する。レンズ型カメラ５１は要求された画処理を実行し、実行結果の画像をスマートフォン６１に転送する。こうして、スマートフォン６１の表示画面６８ａ上において、新たな領域に基づく修正された画処理後の画像１０３が表示される。

なお、制御部６５は、ステップＳ７８において、ユーザの移動操作による領域に変化がない場合には、ステップＳ８０においてユーザの移動操作が画処理の程度の変更要求であるものと判定して、領域を指定した回数に応じた画処理の要求をレンズ型カメラ５１に送信する。例えば、ユーザが領域を指定する操作を行った回数に応じて、ぼかし加工の濃度を濃くする等の制御が考えられる。レンズ型カメラ５１は要求された画処理を実行し、実行結果の画像をスマートフォン６１に転送する。こうして、スマートフォン６１の表示画面６８ａ上において、画処理の程度が変更された画処理後の画像１０３が表示される。

なお、図１２では、ユーザの回転操作による軌跡に基づいて画処理の領域を決定する例を示したが、ユーザの手の震え等によってユーザが希望する画処理の領域を設定することができない場合等を考慮して、ユーザの特定の動きに応じて特定の画処理の領域が決定されるようにしてもよい。

図７のステップＳ２１において、制御部６５は、ユーザによって撮影の指示が行われたか否かを判定する。制御部６５は、撮影操作が行われた場合には、表示部６８において表示している画像の撮影をレンズ型カメラ５１に要求する（ステップＳ２２）。レンズ型カメラ５１の制御部５３は、ステップＳ４１において撮影を指示する通信が行われたか否かを判定しており、スマートフォン６１の制御部６５からの指示に応じて、撮像画像又は画処理後の画像をスマートフォン６１に転送する（ステップＳ４２）。制御部６５は、レンズ型カメラ５１からの撮像画像を信号処理した後、記録部６４に与えて記録する（ステップＳ２３）。

制御部６５は、ステップＳ８１においてリセットＳＷを表示する。図１５（ｃ）にはリセットＳＷ１０４が表示されている様子を示している。制御部６５は、図７のステップＳ２４においてリセットＳＷの操作の有無を判定しており、ユーザがリセットＳＷ１０４の位置をタッチした場合には、検出した軌跡をリセットすると共に、画処理をリセットする要求をレンズ型カメラ５１に送信する（ステップＳ２５）。レンズ型カメラ５１はステップＳ３８においてリセット処理の要求を受信すると、リセットを実行し画処理前の元の画像をスマートフォン６１に転送する。こうして、スマートフォン６１の表示画面６８ａ上には、画処理前の画像が表示される。制御部６５は、スマートフォン６１の動きが停止すると、ステップＳ８２において移動が停止したことを示す通知をスマートフォン６１に送信する。

なお、制御部６５は、ステップＳ７１において構図が確定していないと判定した場合及びステップＳ７３において軌跡が閉じていないと判定した場合には、ステップＳ８３において、レンズ型カメラ５１からのリセット表示要求を受け付ける。後述するように、スマートフォン６１に制御されることなく、レンズ型カメラ５１の制御部５３においても、ユーザの動きに応じた画処理を独自に実行することが可能である。この場合には、スマートフォン６１側においてリセット要求が受け付けなければ画処理のリセットができなくなる。そこで、ステップＳ８３において、リセット表示要求を受け付けるようになっている。リセット表示要求が発生すると、制御部６５は、ステップＳ８１においてリセットＳＷ１０４を表示する。

なお、動き判定部６９は、３軸加速度センサやジャイロセンサ等だけでなく、内蔵カメラ部６３からの撮像画像の動き判定結果を利用した方が高精度に動きを判定することができる。図１５（ｅ）はこの動きの判定方法の一例を説明するための説明図である。例えば、スマートフォン６１の内蔵カメラ部６３は、その視野範囲内の被写体を撮像する。図１５（ｅ）は、説明を簡略化するために、被写体として文字例１０６を撮像する例を示している。図１５（ｅ）の左側は矢印で示すようにスマートフォン６１で文字列の左端を含む視野範囲を撮像していることを示している。この場合には、文字列１０７（「ＡＢＣＤ」）が撮像されている。これに対し、図１５（ｅ）の右側は矢印で示すようにスマートフォン６１で文字列の中央を含む視野範囲を撮像していることを示している。この場合には、文字列１０８（「ＤＥＦＧＨＩ」）が撮像されている。制御部６５は、撮像画像の変化によってスマートフォン６１の移動方向を認識することが可能である。なお、この動き判定のための画像は、実際には表示画面６８ａ上に表示させる必要はない。

レンズ型カメラ５１の制御部５３は、レンズ型カメラ５１の操作部５４による操作によって、撮影が指示されたか否かについても判定する（ステップＳ４３）。操作部５４によって撮影が指示されると、ステップＳ４４において撮影を行い、撮像画像を例えば記録部５６に記録させる（ステップＳ４５）。

また、レンズ型カメラ５１の制御部５３は、スマートフォン６１に制御されることなく独自に画処理が可能である。制御部５３は、ステップＳ３８において画処理要求を受信していない場合には、ステップＳ４０において動き反映撮影制御を行う。

図１３はこのステップＳ４０の処理を示しており、制御部５３は、まず、図１３のステップＳ９１において構図が確定したか否かを判定する。例えば、制御部５３は、スマートフォン６１から構図決定処理が終了したことを示す制御信号が与えられて、構図決定処理の終了を判定してもよい。なお、スマートフォン６１の制御部６５は、レンズ型カメラ５１の動き判定部５７の動き判定結果に基づいて、レンズ型カメラ５１の動きが構図決定のための動きであるか、構図確定後の操作であるかを判定することができる。例えば、構図決定時の動きは比較的低速であり、構図確定後の撮影操作のための動きは比較的高速であることによって、構図決定時の動きと構図確定後の動きとの判定が可能である。

レンズ型カメラ５１の制御部５３は、ステップＳ９２において、画処理の範囲を決定するために、軌跡判定用位置を図示しないメモリに記憶する。制御部５３は、レンズ型カメラ５１の移動の軌跡を求めて、ユーザ９４の回転操作が元の位置に戻ったか否か、軌跡が閉じたか否かを判定する（ステップＳ９３）。制御部５３は、ユーザ９４の回転操作が元の位置に戻ったものと判定すると、次のステップＳ９４において、判定した軌跡が円形、楕円形、多角形等の領域を示すものであるか、直線的な移動を示すものであるかを判定する。

制御部５３は、ユーザによるレンズ型カメラ５１の移動操作が直線的の動きであった場合には、処理をステップＳ９５に移行して、移動方向に対応して予め設定されている処理、例えば移動方向に応じた露出補正を行う。

制御部５３は、ユーザによるレンズ型カメラ５１の移動操作が領域を指定するものであった場合には、処理をステップＳ９６に移行して、領域を形成する軌跡の方向、例えば回転方向に応じてズームアップ／ダウンの制御を行う。

また、制御部５３は、ユーザによるレンズ型カメラ５１の移動操作が前後方向への繰り返し移動であると判定した場合には、処理をステップＳ９７に移行して、ユーザが速く動かした方向に応じてピント位置を変更する制御を行う。制御部５３は、ステップＳ９５〜Ｓ９７による画処理後の画像をスマートフォン６１に転送する。

また、制御部５３は、ステップＳ９８において、リセットＳＷの表示要求をスマートフォン６１に送信する。スマートフォン６１はこのリセットＳＷの表示要求を受信すると、表示画面６８ａ上にリセットＳＷを表示し、ユーザのリセット操作を受け付ける。これにより、レンズ型カメラ５１において独自に実施した画処理を、スマートフォン６１においてリセットすることが可能である。

ところで、図７の説明では、連結判定を動きによる筐体のぶれ、画像特徴の一致、鏡筒の画像の検出等によって行う例を示した。画像特徴の判定にはスマートフォン６１の内蔵カメラ部６３の外側撮像部による撮像画像を用いる例を説明したが、内蔵カメラ部６３の内側撮像部による撮像画像を用いることも可能である。

図１６はこの場合のスマートフォン６１の制御部６５における動作フローを示すフローチャートである。図１６において図７と同一の手順には同一符号を付して説明を省略する。

図１６のステップＳ１０１においては、制御部６５は、図７のステップＳ１５と同様に、内蔵カメラ部６３の起動及び振動判定を行う。この場合には、図１６の例では、制御部６５は内側撮像部も起動する。ステップＳ１０２では、図７のステップＳ１６，Ｓ１８，Ｓ１９と同様の連結判定処理が行われる。制御部６５は、この判定によって連結状態であると判定した場合には処理をステップＳ１７に移行し、連結状態であると判定できなかった場合には処理をステップＳ１０３に移行する。

制御部６５は、ステップＳ１０３において、内側撮像部による撮像画像中に人物の顔が写っているか否かを判定すると共に、人物の顔が写っている場合にはその表情や仕草等を判定する。制御部６５は、次のステップＳ１０４において内側撮像部によって撮像した顔画像の変化とレンズ型カメラ５１の撮像画像との比較によって連結状態であるか否かを判定する。例えば、制御部６５は、内側撮像部によって撮像した画像中の顔に動きがなく、レンズ型カメラ５１の撮像画像に動きがある場合等においては、分離状態であるものと判定する。図１４（ａ）の例のように、構図決定操作中においてユーザ９４がスマートフォン６１の表示画面６８ａを見ながら構図を決定しようとしている場合等においては、ステップＳ１０４において分離状態であると判定することができる。制御部６５は、連結状態であると判定した場合には処理をステップＳ１７に移行し、分離状態であると判定した場合には処理をステップＳ１０５に移行する。

次に、制御部６５は、ステップＳ１０５において、判定結果の表情仕草に応じた操作制御を行う。例えば、ユーザが片目を閉じる等の仕草をしたことを検出すると、この仕草に対応した処理、例えば構図確定の判定処理を行ったり、また、ユーザの笑った表情を検出した場合にはこの表情に応じて、露出制御等の処理を行ってもよい。制御部６５は、ステップＳ１０５の処理が終了すると、次のステップＳ２０の処理を実行する。

なお、図１６の例では人物の顔の表情や仕草等によって連結／分離の判定及び操作制御を行う例を示したが、音声によってこれらの制御を行ってもよいことは明らかである。また、レンズ型カメラ５１の動きが停止している場合にのみ、声や顔の表情等の判定を行なうようにしてもよい。

このように本実施の形態においては、レンズ型カメラとスマートフォンの動きを判定し、両者の動きの関係又はその履歴に基づいて撮影制御、操作制御を行うようになっている。これにより、レンズ型カメラとスマートフォンとが分離して、ユーザが両手でそれぞれこれらの筐体を把持している場合でも、確実な操作が可能であり、ユーザは構図を自由に決定することができると共に簡単な操作で撮影することができる。
つまり、本発明では対象物を撮像する撮像部と上記撮像部と別体となった、上記撮像結果を確認する確認部と、上記撮像部と上記確認部のそれぞれの動き情報によって構図決定操作を判定する構図決定操作判定部（これらは動き判定のプログラムで構成される）と、上記構図決定操作判定後に上記撮像部が略固定され、上記確認部の特定の動きを撮像パラメータ変更操作として判定する（これらも動き判定のプログラムで構成される）操作判定部と、からなることを特徴とする撮像装置が提供されるが、構図決定や撮像パラメータ制御（連写や画像処理を含む）がシームレスにでき、ユーザの思い通りの観察や撮影が簡単にできる。

さらに、本発明の各実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、レンズ型カメラでも、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話やスマートフォンなど携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。また、内視鏡、顕微鏡のような産業用、医療用の光学機器でもよく、監視カメラや車載用カメラ、据え置き型のカメラ、例えば、テレビジョン受信機やパーソナルコンピュータ等に取り付けられているカメラであってもよい。もちろん、色々なものを様々な角度から観察する観察装置や検査装置に使える。検査、観察時には、対象物によっては複数の機器を機械的に接続したり、分離したり、把持の方法を変えたり出来る方が便利であり、本発明は広い分野で活用が可能である。

本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

なお、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。

また、ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがプログラムにより設定可能であり、そのプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。そのプログラムは、コンピュータプログラム製品として、フレキシブルディスク、ＣＤ−ＲＯＭ等、不揮発性メモリ等の可搬媒体や、ハードディスク、揮発性メモリ等の記憶媒体に、その全体あるいは一部を記録又は記憶することができ、製品出荷時又は可搬媒体或いは通信回線を介して流通又は提供可能である。利用者は、通信ネットワークを介してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記録媒体からコンピュータにインストールすることで、容易に本実施の形態の撮像システム及び撮像方法を実現することができる。

１０…撮像部、１１，２１…通信部、１２，２２…撮像制御部、１３，２６…動き判定部、２０…撮像表示装置、２３…表示部、２４…操作部、２５…制御部、２６…動き判定部。

Claims (8)

1. 撮像部と上記撮像部からの撮像画像を表示する確認部とが分離可能な撮像システムにおいて、
   上記撮像部の動きを判定する第１の動き判定部と、
   上記確認部の動きを判定する第２の動き判定部と、
   上記第１及び第２の動き判定部の判定結果に基づいて上記撮像部の動きと上記確認部の動きとの関係を求めて上記撮像部及び上記確認部の少なくとも一方を制御する制御部と、
   を具備し、
   上記制御部は、上記確認部が停止中に上記撮像部に動きがある場合には上記撮像部による撮像の構図の決定動作であると判定する
   ことを特徴とする撮像システム。
2. 上記制御部は、上記撮像部の動きと上記確認部の動きとの関係の履歴に基づいて上記撮像部及び上記確認部の少なくとも一方を制御する
   ことを特徴とする請求項１に記載の撮像システム。
3. 上記制御部は、上記撮像部の動きが所定期間停止することによって撮像の構図決定動作が終了したものと判定する
   ことを特徴とする請求項１に記載の撮像システム。
4. 上記制御部は、上記構図決定動作の終了後の上記確認部の動きに基づいて上記撮像部及び上記確認部の少なくとも一方を制御する
   ことを特徴とする請求項３に記載の撮像システム。
5. 上記制御部は、上記構図決定動作の終了後に上記確認部に所定の領域を形成するための動きが生じたものと判定した場合には、上記確認部の動きに基づく領域を上記撮像画像中に設定して、画処理を制御する
   ことを特徴とする請求項３又は４に記載の撮像システム。
6. 撮像部と上記撮像部からの撮像画像を表示する確認部とが分離可能な撮像システムの撮像方法において、
   上記撮像部の動きを判定する第１の動き判定ステップと、
   上記確認部の動きを判定する第２の動き判定ステップと、
   上記第１及び第２の動き判定ステップの判定結果に基づいて上記撮像部の動きと上記確認部の動きとの関係を求めて上記撮像部及び上記確認部の少なくとも一方を制御する制御ステップと、
   を具備し、
   上記制御ステップは、上記確認部が停止中に上記撮像部に動きがある場合には上記撮像部による撮像の構図の決定動作であると判定する
   ことを特徴とする撮像方法。
7. 対象物を撮像する撮像部と、
   上記撮像部と別体となった、上記撮像結果を確認する確認部と、
   上記撮像部と上記確認部のそれぞれの動き情報によって構図決定操作を判定する構図決定操作判定部と、
   上記構図決定操作判定後に上記撮像部が略固定され、上記確認部の特定の動きを撮像パラメータ変更操作として判定する操作判定部と、
   を具備することを特徴とする撮像システム。
8. 撮像部が、対象物を撮像する撮像ステップと、
   上記撮像部と別体となった確認部が、上記撮像結果を確認する確認ステップと、
   上記撮像部と上記確認部のそれぞれの動き情報によって構図決定操作を判定する構図決定操作判定ステップと、
   上記構図決定操作判定後に上記撮像部が略固定され、上記確認部の特定の動きを撮像パラメータ変更操作として判定する操作判定ステップと、
   を具備することを特徴とする撮像方法。