JP7064373B2 - 通信装置およびその制御方法、並びにプログラム - Google Patents

Description

本発明は、外部装置から取得した画像を合成する技術に関する。

無線通信装置を搭載したデジタルカメラ等の撮像装置では、無線通信により他の機器から画像データを受信し、撮像装置で撮影した画像と、他の機器から取得した画像を合成する機能を有するものがある。特許文献１には、撮像装置がメインシーンを表すメイン画像とサブシーンを表すサブ画像を取得し、サブ画像をメイン画像を下回るサイズに調整して合成する技術が開示されている。

特開２０１４－１０７７７５号公報

特許文献１では、サブ画像を受信した後にサイズ調整を行うため、通信にかかるサブ画像のデータサイズについては言及されていない。しかしながら、受信するサブ画像のデータサイズが大きい場合、通信にかかるデータ量が多くなってしまい、画像を受信する際の遅延や未受信などが発生し、合成画像の画質に影響する可能性ある。また、受信するサブ画像のデータサイズが小さい場合、画像を合成する際にサブ画像を引き延ばす必要があると、サブ画像の画質が低下し、合成画像の画質に影響する可能性ある。

本発明は、上記課題に鑑みてなされ、その目的は、外部装置から合成に適切な画像を取得することが可能な技術を実現することである。

上記課題を解決し、目的を達成するために、本発明の通信装置は、無線通信手段と、撮像手段と、制御手段とを有する通信装置であって、前記制御手段は、被写体を撮像して順次画像を生成するように前記撮像手段を制御し、前記撮像手段により生成される画像の解像度が、所定の解像度以上か否かを判定し、前記撮像手段により生成される画像の解像度が前記所定の解像度以上であると判定した場合、前記所定の解像度以上の解像度に対応する解像度の画像を外部装置に要求する第一の要求を前記無線通信手段を介して前記外部装置に送信し、前記撮像手段により生成される画像の解像度が前記所定の解像度以上でないと判定した場合、前記所定の解像度未満の解像度に対応する解像度の画像を前記外部装置に要求する第二の要求を前記無線通信手段を介して前記外部装置に送信し、前記第一の要求または前記第二の要求を受信した前記外部装置によって順次撮像される画像を、前記外部装置から前記無線通信手段を介して順次受信するように制御し、前記外部装置から順次受信される前記外部装置によって撮像される画像を、前記撮像手段によって順次生成される画像に合成して順次表示するように制御する。

本発明によれば、外部装置から合成に適切な画像を取得することが可能となる。

本実施形態のデジタルカメラの構成を示すブロック図（ａ）、正面図（ｂ）および背面図（ｃ）。 本実施形態のスマートデバイスの構成を示すブロック図。 実施形態１のデジタルカメラとスマートデバイスによるワイプ撮影処理を示すシーケンス図。 実施形態１のワイプ撮影時におけるデジタルカメラに表示される画面を例示する図。 実施形態１のワイプ撮影時におけるデジタルカメラの処理を示すフローチャート。 実施形態２のデジタルカメラとスマートデバイスによるワイプ撮影処理を示すシーケンス図。 実施形態２のワイプ撮影時においてデジタルカメラに表示される画面を例示する図。 実施形態２のワイプ撮影時におけるデジタルカメラの処理を示すフローチャート。 実施形態２のワイプ撮影時におけるスマートデバイスの処理を示すフローチャート。

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。

［実施形態１］
以下では、デジタルビデオカメラ（以下、デジタルカメラ）１００とスマートデバイス２００が無線通信を行い、デジタルカメラ１００で撮像された画像データに、スマートデバイス２００から受信した画像データを合成して表示、記録するワイプ撮影処理を行うシステムを説明する。

＜デジタルカメラ１００の構成＞
まず、図１を参照して、本実施形態のデジタルカメラ１００の構成および機能について説明する。

なお、本実施形態では、通信装置の一例として静止画や動画などの映像（以下、画像）を撮影可能なデジタルカメラについて述べるが、これに限られず、カメラ機能付きのタブレットデバイスやパーソナルコンピュータなどの情報処理装置、監視カメラ、医療用カメラなどであってもよい。

制御部１０１は、デジタルカメラ１００の全体を統括して制御する演算処理装置（ＣＰＵ）であって、後述する不揮発性メモリ１０３に格納されたプログラムを実行することで、後述する通信処理および制御処理を実現する。なお、制御部１０１が装置全体を制御する代わりに、複数のハードウェアが処理を分担することで、装置全体を制御してもよい。

撮像部１０２は、ズームレンズやフォーカスレンズを含むレンズ群、絞り機能を備えるシャッターを含む。また、撮像部１０２は、被写体像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子、撮像素子から出力されるアナログ画像信号をデジタル信号に変換するＡ／Ｄ変換器を有する。撮像部１０２は、制御部１０１の制御により、撮像部１０２に含まれるレンズにより結像された被写体像光を、撮像素子により電気信号に変換し、ノイズ低減処理などを行って、デジタル信号からなる画像データを出力する。撮像部１０２から出力される画像データは、ＤＣＦ（Ｄｅｓｉｇｎ Ｒｕｌｅ ｆｏｒ Ｃａｍｅｒａ Ｆｉｌｅ ｓｙｓｔｅｍ）規格に従って記録媒体１１０に記録される。また、本実施形態のワイプ撮影処理では、撮像部１０２から出力される画像データは、後述する画像合成部１１２によってスマートデバイス２００から受信した画像データと合成されて表示、記録される。

不揮発性メモリ１０３は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ１０３には、制御部１０１の動作用の定数、プログラム等が記録される。ここでいう、プログラムとは、本実施形態にて後述する通信処理および制御処理を実行するためのプログラムのことである。

作業用メモリ１０４は、制御部１０１の動作用の定数、変数、不揮発性メモリ１０３から読み出したプログラム等を展開する作業領域として使用される。また、作業用メモリ１０４は、撮像部１０２で撮像された画像データを一時的に保持するバッファメモリや、表示部１０６の画像表示用メモリとして使用される。

操作部１０５は、ユーザからの各種操作を受け付ける各種スイッチ、ボタン、タッチパネル等の操作部材からなる。操作部１０５は、例えば、図１（ｂ）および（ｃ）に示すように、画像の撮影を行うシャッターボタン１０５ａや撮影画像の再生を行う再生ボタン１０５ｂ、カメラの各種設定を行うための上下左右のボタンからなる４方向キー１０５ｃなどを含む。また、後述する表示部１０６に一体的に形成されるタッチパネル１０５ｄも操作部１０５に含まれる。また、操作部１０５は、後述する外部装置としてのスマートデバイス２００との通信を開始するための専用の接続ボタンなどを含む。

シャッターボタン１０５ａは操作途中、いわゆる半押し（撮影準備指示）でオンとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１を受けて、制御部１０１は撮像部１０２を制御することによりＡＦ（オートフォーカス）処理やＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作を開始する。また、シャッターボタン１０５ａの操作完了、いわゆる全押し（撮影指示）でオンとなり、第２シャッタースイッチ信号ＳＷ２を発生する。制御部１０１は、第２シャッタースイッチ信号ＳＷ２を受けて、撮像部１０２からの信号読み出しから記録媒体１１０に画像データを書き込むまでの一連の撮影処理の動作を開始する。

表示部１０６は、撮影時のビューファインダー画像の表示、撮影した画像の表示、対話的な操作のための文字表示等を行う。表示部１０６は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ等の表示デバイスである。表示部１０６は、デジタルカメラ１００と一体化された構成であっても、デジタルカメラ１００に接続された外部装置であってもよい。デジタルカメラ１００は、表示部１０６と接続することができ、表示部１０６の表示を制御する機能を有していればよい。

記録媒体１１０には、撮像部１０２から出力された画像データや画像合成部１１２により生成された合成画像データが記録される、あるいは、制御部１０１により既に記録されている画像ファイルが読み出される。記録媒体１１０は、デジタルカメラ１００に装着されるメモリカードやハードディスクドライブなどであってもよいし、デジタルカメラ１００に内蔵されたフラッシュメモリやハードディスクドライブであってもよい。デジタルカメラ１００は少なくとも記録媒体１１０にアクセスする手段を有していればよい。

接続部１１１は、後述するスマートデバイス２００などの外部装置と通信可能に接続するためのインターフェースである。本実施形態のデジタルカメラ１００は、接続部１１１を介して、外部装置とデータの授受を行うことができる。例えば、デジタルカメラ１００は、撮像部１０２から出力された画像データを接続部１１１を介して外部装置に送信する、あるいは、接続部１１１を介して外部装置から画像データを受信することができる。なお、本実施形態では、接続部１１１は外部装置とＩＥＥＥ８０２．１１の規格に従い、無線ＬＡＮで通信するためのインターフェースを含む。制御部１０１は、接続部１１１を制御することで外部装置との無線通信を実現する。なお、通信方式は無線ＬＡＮに限定されるものではなく、例えば、赤外線通信インターフェース、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉｒｅｌｅｓｓＵＳＢなどの無線通信インターフェースを含むことができる。さらには、ＵＳＢケーブルやＨＤＭＩ（登録商標）、ＩＥＥＥ１３９４などの有線接続手段を用いてもよい。

画像合成部１１２は、２つ以上の画像データを合成する処理を行うＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのハードウェアプロセッサである。画像合成部１１２は、ワイプ撮影時に、例えば、撮像部１０２から出力された画像データと接続部１１１を介して外部装置から受信した１つ以上の画像データを合成して、１つの合成画像データとして出力する。合成画像データは、表示部１０６に出力される、あるいはＤＣＦの規格に従って記録媒体１１０に記録される。

なお、本実施形態におけるデジタルカメラ１００の接続部１１１は、インフラストラクチャモードにおけるアクセスポイントとして動作するＡＰモードと、インフラストラクチャモードにおけるクライアントとして動作するＣＬモードとを有している。そして、接続部１１１をＣＬモードで動作させることにより、本実施形態におけるデジタルカメラ１００は、インフラストラクチャモードにおけるＣＬ機器として動作することが可能である。デジタルカメラ１００がＣＬ機器として動作する場合、周辺のＡＰ機器に接続することで、ＡＰ機器が形成するネットワークに参加することが可能である。また、接続部１１１をＡＰモードで動作させることにより、本実施形態におけるデジタルカメラ１００は、ＡＰの一種ではあるが、より機能が限定された簡易的なＡＰ（以下、簡易ＡＰ）として動作することも可能である。デジタルカメラ１００が簡易ＡＰとして動作すると、デジタルカメラ１００は自身でネットワークを形成する。デジタルカメラ１００の周辺の装置は、デジタルカメラ１００をＡＰ機器と認識し、デジタルカメラ１００が形成したネットワークに参加することが可能となる。上記のようにデジタルカメラ１００を動作させるためのプログラムは不揮発性メモリ１０３に保持されているものとする。

なお、本実施形態におけるデジタルカメラ１００はＡＰの一種であるものの、ＣＬ機器から受信したデータをインターネットプロバイダなどに転送するゲートウェイ機能は有していない簡易ＡＰ（第１の通信方式）である。したがって、自機が形成したネットワークに参加している他の装置からデータを受信しても、それをインターネットなどのネットワークに転送することはできない。

＜スマートデバイス２００の構成＞
図２を参照して、本実施形態のスマートデバイス２００の構成および機能について説明する。

なお、本実施形態では、通信装置の一例としてスマートデバイスについて述べるが、これに限られず、無線機能付きのデジタルカメラ、携帯電話の一種であるスマートフォン、タブレットデバイス、プリンタ、テレビ、パーソナルコンピュータ、腕時計型のスマートウォッチ、メガネ型のスマートグラス等のウェアラブルコンピュータなどであってもよい。

本実施形態のスマートデバイス２００は、制御部２０１、撮像部２０２、不揮発性メモリ２０３、作業用メモリ２０４、操作部２０５、表示部２０６、記録媒体２１０、接続部２１１を備える。これらの要素の基本的な機能はデジタルカメラ１００と同様であり、詳細な説明は省略する。

また、不揮発性メモリ２０３には、制御部２０１が実行する基本的なソフトウェアであるＯＳ（オペレーティングシステム）や、このＯＳと協働して応用的な機能を実現するアプリケーションが記録されている。また、本実施形態では、不揮発性メモリ２０３には、デジタルカメラ１００と間で通信処理や制御処理を実現するためのカメラアプリケーションが格納されている。

本実施形態のデジタルカメラ１００との通信時や制御時におけるスマートデバイス２００の処理は、アプリケーションにより提供されるソフトウェアを読み込むことにより実現される。なお、アプリケーションはスマートデバイス２００にインストールされたＯＳの基本的な機能を利用するためのソフトウェアを有しているものとする。なお、スマートデバイス２００のＯＳが本実施形態における処理を実現するためのソフトウェアを有していてもよい。

接続部２１１は、デジタルカメラ１００などの外部装置と無線通信を行うための無線ＬＡＮ通信インターフェースを含む。制御部２０１は、接続部２１１を制御することで外部装置との無線通信を実現する。なお、接続部２１１は、デジタルカメラ１００と直接接続されてもよいし、アクセスポイントを介して接続される構成でもよい。データを通信するためのプロトコルとしては、例えば無線ＬＡＮを通じたＰＴＰ／ＩＰ（Ｐｉｃｔｕｒｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ ｏｖｅｒ Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）を用いることができる。なお、デジタルカメラ１００との通信はこれに限られるものではなく、例えば、赤外線通信インターフェース、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉｒｅｌｅｓｓＵＳＢなどの無線通信インターフェースを含むことができる。さらには、ＵＳＢケーブルやＨＤＭＩ（登録商標）、ＩＥＥＥ１３９４などの有線接続手段を用いてもよい。

近距離無線通信部２１２は、例えば無線通信のためのアンテナと無線信号を処理するため変復調回路や通信コントローラから構成される。近距離無線通信部２１２は、変調した無線信号をアンテナから出力し、またアンテナで受信した無線信号を復調することによりＩＥＥＥ８０２．１５の規格（Ｂｌｕｅｔｏｏｔｈ（登録商標））に従った近距離無線通信を実現する。なお、デジタルカメラ１００との近距離無線通信はこれに限られるものではない。

公衆網接続部２１３は、３Ｇ／ＬＴＥ等の広域ネットワーク（ＷＡＮ）を介して無線通信を行う際に用いられるインターフェースである。スマートデバイス２００は、公衆網接続部２１３を介して、他の機器と通話をしたり、データ通信をすることができる。通話の際には、制御部２０１はマイク２１４およびスピーカ２１５を介して音声信号の入力と出力を行う。本実施形態では、公衆網接続部２１３は３ＧやＬＴＥに限らず、ＷｉＭＡＸ、ＡＤＳＬ、ＦＴＴＨといった他の通信方式を用いてもよい。本実施形態では、公衆網接続部２１３はアンテナであり、制御部２０１は、アンテナを介して、公衆網に接続することができる。なお、接続部２１１および公衆網接続部２１３は、１つのアンテナで兼用することも可能である。なお、接続部２１１および公衆網接続部２１３は必ずしも独立したハードウェアで構成する必要はなく、例えば１つのアンテナで兼用することも可能である。

＜ワイプ撮影処理＞次に、図３および図４を参照して、本実施形態のデジタルカメラ１００とスマートデバイス２００によるワイプ撮影処理について説明する。

図３は、本実施形態のデジタルカメラ１００がスマートデバイス２００と無線通信を行い、撮像部１０２から出力される画像データに、スマートデバイス２００から受信した画像データを合成するワイプ撮影処理のシーケンスを示している。図４は、本実施形態のワイプ撮影時におけるデジタルカメラ１００に表示されるＵＩ画面を例示している。

Ｓ３０１では、デジタルカメラ１００の制御部１０１が図４（ａ）のメニュー一覧画面４０１を表示部１０６に表示し、ユーザは操作部１０５を介して図４（ａ）のメニュー項目から本実施形態のワイプ撮影処理を含む任意の項目を選択可能である。ユーザがメニュー項目からワイプ撮影ボタン４５０を選択すると、デジタルカメラ１００の制御部１０１はワイプ撮影処理を実行する指示を受け付ける。
なお、図４（ａ）のメニュー一覧画面４０１において選択可能な他のメニュー項目としては、画像転送、リモート操作、ライブ配信がある。画像転送は、画像転送ボタンを選択することで画像を外部装置に転送する機能を実行することができる。リモート操作は、リモート操作ボタンを選択することで外部装置からデジタルカメラ１００を遠隔操作する機能を実行することができる。ライブ配信は、ライブ配信ボタンを選択することでデジタルカメラ１００で撮像された画像を逐次外部装置に転送する機能を実行することができる。

デジタルカメラ１００の制御部１０１が、図４（ａ）のメニュー一覧画面４０１からワイプ撮影ボタン４５０が選択されたと判定すると、無線ＬＡＮ接続のためのＳ３０２からの処理を開始する。なお、無線ＬＡＮの規格としては、例えばＷｉ－Ｆｉ（登録商標）を採用することができる。

Ｓ３０２では、デジタルカメラ１００の制御部１０１は、簡易ＡＰを起動して無線ＬＡＮネットワークを生成し、図４（ｂ）の接続画面４０２を表示部１０６に表示する。ここで、制御部１０１は、接続するスマートデバイス２００が、Ｓ３０２で生成した無線ＬＡＮネットワークに参加できるように、少なくともネットワーク識別子であるＳＳＩＤ（Ｓｅｒｖｉｃｅ Ｓｅｔ Ｉｄｅｎｔｉｆｉｅｒ）を表示部１０６に表示する。また、Ｓ３０２で生成した無線ＬＡＮネットワークに、暗号化キーを用いたセキュリティを施している場合は、暗号化キーも併せて表示部１０６に表示してもよい。

Ｓ３０３では、デジタルカメラ１００の制御部１０１は、機器の検索を開始する。なお、機器検索で用いられるのはディスカバリプロトコルであり、例えば、ＳＳＤＰ（Ｓｉｎｇｌｅ Ｓｅｒｖｉｃｅ Ｄｉｓｃｏｖｅｒｙ Ｐｒｏｔｏｃｏｌ）やＭａｌｔｉｃａｓｔ ＤＮＳなどを用いることができる。

Ｓ３０４では、スマートデバイス２００の制御部２０１は、表示部２０６に表示された不図示のアプリケーション画面にＳＳＩＤを一覧表示し、デジタルカメラ１００が生成した簡易ＡＰネットワークへ参加するためのユーザの選択操作を受け付ける。なお、ＳＳＩＤ一覧画面は、スマートデバイス２００のＯＳのメニューから、ユーザが無線ＬＡＮ設定を開始する指示を入力するためのメニューを選択することで表示される。また、デジタルカメラ１００の表示部１０６には、図４（ｂ）の画面４０２のように、デジタルカメラ１００が生成しているネットワークの通信パラメータが表示される。ユーザは、デジタルカメラ１００の画面４０２に表示されるＳＳＩＤを見ながら、ＳＳＩＤ一覧に表示されるＳＳＩＤから、デジタルカメラ１００が生成しているネットワークのＳＳＩＤを選択することができる。

Ｓ３０５では、スマートデバイス２００の制御部２０１は、Ｓ３０４でデジタルカメラ１００が生成した簡易ＡＰネットワークが選択されると、デジタルカメラ１００の簡易ＡＰのネットワークに参加する。スマートデバイス２００が簡易ＡＰネットワークに参加すると、ＩＰアドレスなどの設定を行い、ネットワークレベルで、デジタルカメラ１００とスマートデバイス２００との間の接続が確立する。

次に、スマートデバイス２００の制御部２０１は、アプリケーションレベルでの接続の確立を行う。

Ｓ３０６では、スマートデバイス２００の制御部２０１は、操作部２０５を介して、スマートデバイス２００の不揮発性メモリ２０３に記憶されたアプリケーションを起動する操作を受け付ける。

Ｓ３０７では、スマートデバイス２００の制御部２０１は、Ｓ３０６で起動したアプリケーションの制御に従い、参加したネットワークにアドバタイズ通知をブロードキャストし、自身の存在をデジタルカメラ１００に通知する。なお、アドバタイズ通知で用いられるのはディスカバリプロトコルであり、例えばＳＳＤＰ（Ｓｉｎｇｌｅ Ｓｅｒｖｉｃｅ Ｄｉｓｃｏｖｅｒｙ Ｐｒｏｔｏｃｏｌ）やＭａｌｔｉｃａｓｔ ＤＮＳを用いることができる。

Ｓ３０８では、デジタルカメラ１００の制御部１０１は、Ｓ３０７でアドバタイズ通知を受信すると、アドバタイズパケットに含まれるデバイス名を含む図４（ｃ）の画面４０３を表示部１０６に表示する。図４（ｃ）の画面４０３には接続可能な機器の一覧が表示される。ユーザは、操作部１０５を介して、図４（ｃ）の画面４０３から接続したい機器を選択することができる。

Ｓ３０９では、デジタルカメラ１００の制御部１０１は、図４（ｃ）の画面４０３から接続したい機器が選択されると、選択された機器との接続処理を開始し、図４（ｄ）の画面４０４を表示部１０６に表示する。ここでは、接続したい機器としてスマートデバイス２００が選択されたものとする。

Ｓ３１０では、スマートデバイス２００の制御部２０１は、デジタルカメラ１００に対して接続可否を通知する。スマートデバイス２００の制御部２０１は、接続可能であれば接続ＯＫを通知し、接続不可であれば接続ＮＧを通知する。ここでは、接続ＯＫを通知するものとする。

Ｓ３１１では、Ｓ３１０での接続ＯＫ通知に応じて、デジタルカメラ１００とスマートデバイス２００のアプリケーションレベルでの接続が完了する。

Ｓ３１２では、デジタルカメラ１００の制御部１０１は、撮像部１０２から出力されるメイン画像データのサイズに応じてサブ画像データのサイズを決定し、サブ画像データのサイズ情報を含むサブ画像要求をスマートデバイス２００に対して送信する。ここで、画像データのサイズとは、例えば、画像データの総画素数、長辺や短辺の画素数などの解像度（ｄｐｉ）である。なお、サブ画像データのサイズを決定する処理の詳細は後述する。

Ｓ３１３では、スマートデバイス２００の制御部２０１は、サブ画像データのサイズを、Ｓ３１２で受信したサブ画像要求に含まれるサブ画像データのサイズ情報に基づいて調整（リサイズ）し、デジタルカメラ１００に対して送信する。

Ｓ３１４では、デジタルカメラ１００の制御部１０１は、撮像部１０２から出力されるメイン画像データと、Ｓ３１３で受信したサブ画像データとを合成する。なお、デジタルカメラ１００の表示部１０６には、図４（ｅ）の画面４０５のように、メイン画像にサブ画像４６０を重畳した合成画像データが表示される。なお、図４（ｅ）の画面４０５が表示された状態で撮影指示（第２シャッタースイッチ信号ＳＷ２オン）が行われた場合には、合成画像データを記録媒体１１０に記憶するようにしてもよい。

その後、デジタルカメラ１００の制御部１０１は、Ｓ３１２からＳ３１４の処理を繰り返し行う。

以上のようにして、デジタルカメラ１００がスマートデバイス２００と無線通信を行い、撮像部１０２から出力される画像データに、スマートデバイス２００から受信した画像データを合成するワイプ撮影処理を実行する。

＜デジタルカメラ１００の動作＞
次に、図５を参照して、図３のワイプ撮影処理を実現するためのデジタルカメラ１００の制御処理について説明する。

なお、図５の処理は、デジタルカメラ１００の制御部１０１が不揮発性メモリ１０３から読み出したプログラムを作業用メモリ１０４に展開して実行することにより実現される。後述する図８でも同様である。

Ｓ５０１では、制御部１０１は、図４（ａ）の画面４０１からワイプ撮影が選択されたか否かを判定し、ワイプ撮影が選択されたと判定した場合は処理をＳ５０２へ進め、ワイプ撮影が選択されていないと判定した場合は処理をＳ５０１へ戻す。Ｓ５０１の処理は、図３のＳ３０１に相当する。

Ｓ５０２では、制御部１０１は、簡易ＡＰを起動して無線ＬＡＮネットワークを生成する。Ｓ５０２の処理は、図３のＳ３０２に相当する。

Ｓ５０３では、制御部１０１は、機器の検索を開始する。Ｓ５０３の処理は、図３のＳ３０３に相当する。

Ｓ５０４では、制御部１０１は、機器を発見したか否かを判定し、機器を発見したと判定した場合は処理をＳ５０５へ進め、そうでない場合は処理を終了する。Ｓ５０４の処理は、図３のＳ３０７に相当し、アドバタイズ通知を受信した場合は機器を発見したと判定し、アドバタイズ通知を受信しなかった場合は機器を発見していないと判定する。なお、ここでの判定は所定時間アドバタイズ通知を受信しなかった場合に、機器を発見していないと判定してもよい。

Ｓ５０５では、制御部１０１は、接続する機器の選択を行う。接続する機器の選択は、操作部１０５を介してユーザ操作により選択されてもよいし、例えば最初に発見した機器を選択するなど、所定の条件を満たした機器を選択するようにしてもよい。Ｓ５０５の処理は、図３のＳ３０８に相当する。

Ｓ５０６では、制御部１０１は、機器との接続処理を行う。なお、Ｓ５０６の処理は、図３のＳ３０９からＳ３１１に相当する。

Ｓ５０７では、制御部１０１は、サブ画像データのサイズ決定処理を行う。図５（ｂ）は、サブ画像データのサイズ決定処理の詳細を示している。なお、以下では、画像データのサイズは解像度であるものとする。後述する図８、図９でも同様である。

Ｓ５５１では、制御部１０１は、撮像部１０２から出力された画像データや、画像合成部１１２で生成された合成画像データを記録媒体１１０に記録中であるか否かを判定する。そして、制御部１０１は、記録中であると判定した場合は処理をＳ５５２へ進め、記録中ではないと判定した場合は処理をＳ５５５へ進める。

Ｓ５５２では、制御部１０１は、撮像部１０２から出力されるメイン画像データの解像度を取得する。なお、メイン画像データの解像度とは、撮像部１０２から出力される画像データの解像度であり、デジタルカメラ１００の設定によって変更可能なものである。

Ｓ５５３では、制御部１０１は、Ｓ５５２において取得したメイン画像データの解像度と閾値とを比較することにより閾値以上であるか否かを判定する。そして、制御部１０１は、閾値以上であると判定した場合は処理をＳ５５４へ進め、閾値未満であると判定した場合は処理をＳ５５５へ進める。ここでは、例えば、メイン画像データの総画素数が９３万画素以上か否か、長辺の解像度が２０００画素以上か否か、などの判定が行われる。

Ｓ５５４では、制御部１０１は、サブ画像データの解像度を「大」に決定し、サブ画像データのサイズ決定処理を終了して、処理をＳ５０８に進める。サブ画像データの解像度「大」とは、Ｓ５５５において説明するサブ画像データの解像度「小」より大きいことを意味し、例えば幅１２８０ピクセル×高さ７２０ピクセルとする。

Ｓ５５５では、制御部１０１は、サブ画像データの解像度を「小」に決定し、サブ画像データのサイズ決定処理を終了して、処理をＳ５０８に進める。サブ画像データの解像度「小」とは、例えば幅６４０ピクセル×高さ３６０ピクセルとし、Ｓ５５４において説明したサブ画像データの解像度「大」より小さいことを意味する。なお、Ｓ５５１において、撮像部１０２から出力された画像データや、画像合成部１１２で生成された合成画像データが記録媒体１１０に記録中ではない場合に、サブ画像データの解像度を「小」とする理由は、記録中でない場合は、表示部１０６に表示するだけであれば、サブ画像の解像度が「小」であってもユーザが十分に認識可能であるためである。

なお、後述するＳ５１１からＳ５０７に処理が戻った場合は、前回のサブ画像データのサイズ決定処理を行った後に、録画状態やメイン画像データの解像度が変更されていなければ、前回の解像度に決定してもよい。

Ｓ５０８では、制御部１０１は、Ｓ５０７で決定したサブ画像データのサイズ情報を含むサブ画像要求を通信相手のスマートデバイス２００に送信する。なお、Ｓ５０８の処理は、図３のＳ３１２に相当する。

Ｓ５０９では、制御部１０１は、Ｓ５０８において送信したサブ画像要求に対する応答として、通信相手のスマートデバイス２００からサブ画像データを受信する。なお、ここで受信するサブ画像データの解像度は、Ｓ５０７において決定したサブ画像データの解像度となる。なお、Ｓ５０９の処理は、図３のＳ３１３に相当する。

Ｓ５１０では、制御部１０１は、撮像部１０２から出力されるメイン画像データと、Ｓ５０９において受信したサブ画像データを合成する。なお、Ｓ５１０の処理は、図３のＳ３１４に相当する。

Ｓ５１１では、制御部１０１は、処理を終了するか否かを判定し、処理を終了しないと判定した場合は処理をＳ５０７へ戻し、処理を終了すると判定した場合は処理を終了する。処理終了の判定は、図４（ａ）の画面４０１でワイプ撮影以外の機能が選択された場合や、デジタルカメラ１００の電源がオフされてシャットダウンした場合である。

本実施形態によれば、デジタルカメラ１００は、撮像部１０２から出力されるメイン画像データとスマートデバイス２００から受信したサブ画像データを合成する場合に、メイン画像データに好適な解像度のサブ画像データをスマートデバイス２００から受信する。デジタルカメラ１００は、メイン画像データの解像度に基づいてサブ画像データの解像度を決定する。そして、決定したサブ画像データの解像度を通信相手のスマートデバイス２００に通知し、決定した解像度のサブ画像データをスマートデバイス２００から受信し合成画像を生成する。このように、サブ画像データの解像度をメイン画像データの解像度に基づいて決定することで、見栄えのよい合成画像を生成することが可能となる。

［実施形態２］次に、実施形態２について説明する。

実施形態２では、デジタルカメラ１００が複数のスマートデバイス２００Ａ、２００Ｂと無線通信を行い、それぞれのスマートデバイス２００Ａ、２００Ｂから受信した複数のサブ画像データと、撮像部１０２から出力される画像データとを合成するワイプ撮影処理を説明する。

なお、デジタルカメラ１００の構成と、スマートデバイス２００Ａとスマートデバイス２００Ｂの構成は、実施形態１のスマートデバイス２００と同様である。また、デジタルカメラ１００と各スマートデバイス２００Ａ、２００Ｂとの通信処理は実施形態１と同様である。

＜ワイプ撮影処理＞次に、図６および図７を参照して、本実施形態のデジタルカメラ１００とスマートデバイス２００Ａ、２００Ｂによるワイプ撮影処理について説明する。

図６は、本実施形態のデジタルカメラ１００がスマートデバイス２００Ａ、２００Ｂと無線通信を行い、撮像部１０２から出力される画像データに、スマートデバイス２００Ａ、２００Ｂから受信した画像データを合成するワイプ撮影処理のシーケンスを示している。図７は、本実施形態のワイプ撮影時におけるデジタルカメラ１００に表示されるＵＩ画面を例示している。

Ｓ６０１では、図３のＳ３０１と同様に、デジタルカメラ１００の制御部１０１が図７（ａ）のメニュー一覧画面７０１を表示部１０６に表示する。そして、ユーザがメニュー項目からワイプ撮影ボタン７５０を選択すると、デジタルカメラ１００の制御部１０１はワイプ撮影処理を実行する指示を受け付ける。デジタルカメラ１００の制御部１０１が、図７（ａ）のメニュー一覧画面７０１からワイプ撮影ボタン７５０が選択されたと判定すると、無線ＬＡＮ接続のためのＳ６０２からの処理を開始する。

Ｓ６０２からＳ６１９では、デジタルカメラ１００とスマートデバイス２００Ａ、２００Ｂの間で図３のＳ３０２からＳ３１１と同様の接続処理を実行する。図７（ｂ）の画面７０２から図７（ｆ）の画面７０６は、図４（ｂ）の画面４０２から図４（ｄ）の画面４０４と同様に、デジタルカメラ１００がスマートデバイス２００Ａ、２００Ｂと接続するまでの画面遷移を示している。

Ｓ６２０では、デジタルカメラ１００の制御部１０１は、スマートデバイス２００Ａに対して、メイン画像データのサイズを通知する。

Ｓ６２１では、デジタルカメラ１００の制御部１０１は、スマートデバイス２００Ｂに対して、メイン画像データのサイズを通知する。

Ｓ６２２では、スマートデバイス２００Ａの制御部２０１は、サブ画像データのサイズを、Ｓ６２０で受信したメイン画像データのサイズ情報に基づいてリサイズし、デジタルカメラ１００に対して送信する。

Ｓ６２３では、スマートデバイス２００Ｂの制御部２０１は、サブ画像データのサイズを、Ｓ６２１で受信したメイン画像データのサイズ情報に基づいてリサイズし、デジタルカメラ１００に対して送信する。

Ｓ６２４では、図３のＳ３１４と同様に、デジタルカメラ１００の制御部１０１は、撮像部１０２から出力されるメイン画像データと、Ｓ６２２において受信したサブ画像データと、Ｓ６２３において受信したサブ画像データを合成する。なお、デジタルカメラ１００の表示部１０６には、図７（ｇ）の画面７０７のように、メイン画像に、スマートデバイス２００Ａから受信したサブ画像７６０と、スマートデバイス２００Ｂから受信したサブ画像７６１を重畳した合成画像データが表示される。なお、図７（ｇ）の画面７０７が表示された状態で撮影指示（第２シャッタースイッチ信号ＳＷ２オン）が行われた場合には、合成画像データを記録媒体１１０に記憶するようにしてもよい。

その後、デジタルカメラ１００の制御部１０１は、Ｓ６２２からＳ６２４の処理を繰り返し行う。

以上のようにして、デジタルカメラ１００がスマートデバイス２００Ａ、２００Ｂと無線通信を行い、撮像部１０２から出力される画像データに、スマートデバイス２００Ａ、２００Ｂから受信した画像データを合成するワイプ撮影処理を実行する。

＜デジタルカメラ１００の動作＞
次に、図８を参照して、図６のワイプ撮影処理を実現するためのデジタルカメラ１００の制御処理について説明する。

Ｓ８０１からＳ８０６では、制御部１０１は、スマートデバイス２００Ａとの間で図５のＳ５０１からＳ５０６と同様の処理を実行する。

Ｓ８０７では、制御部１０１は、他の機器とも接続を行うか否かを判定し、他の機器と接続すると判定した場合は処理をＳ８０５に戻し、他の機器と接続しないと判定した場合は処理をＳ８０８へ進める。本実施形態では、スマートデバイス２００Ａと接続した後に、他の機器としてスマートデバイス２００Ｂと接続するものとする。なお、他の機器と接続するか否かは、操作部１０５を介してユーザ操作により選択されてもよいし、例えば予め台数が決められていてもよい。

Ｓ８０５、Ｓ８０６では、制御部１０１は、スマートデバイス２００Ｂとの間で図５のＳ５０５とＳ５０６と同様の処理を実行する。

Ｓ８０８では、制御部１０１は、撮像部１０２から出力されるメイン画像データの解像度を通信相手のスマートデバイス２００Ａおよび／またはスマートデバイス２００Ｂに送信する。

Ｓ８０９からＳ８１０では、制御部１０１は、通信相手のスマートデバイス２００Ａおよび／またはスマートデバイス２００Ｂとの間で図５のＳ５０８からＳ５１１と同様の処理を実行する。

＜スマートデバイス２００Ａ、２００Ｂの動作＞
次に、図９を参照して、図６のワイプ撮影処理を実現するためのスマートデバイス２００Ａ、２００Ｂの制御処理について説明する。

なお、図９の処理は、スマートデバイス２００Ａ、２００Ｂの制御部２０１が不揮発性メモリ２０３から読み出したプログラムを作業用メモリ２０４に展開して実行することにより実現される。

Ｓ９０１では、制御部２０１は、ユーザによってネットワークが選択されたか否かを判定する。そして、制御部２０１は、ネットワークが選択されたと判定した場合は処理をＳ９０２へ進め、ネットワークが選択されていないと判定した場合は処理をＳ９０１に戻す。Ｓ９０１の処理は、図６のＳ６０４やＳ６０８に相当する。

Ｓ９０２では、制御部２０１は、Ｓ９０１において選択された無線ＬＡＮネットワークに参加する。Ｓ９０２の処理は、図６のＳ６０５やＳ６０９に相当する。

Ｓ９０３では、制御部２０１は、ユーザによってアプリケーションが起動されたかを判定し、アプリケーションが起動されたと判定した場合は処理をＳ９０４へ進める。Ｓ９０３の処理は、図６のＳ６０６やＳ６１０に相当する。

Ｓ９０４では、制御部２０１は、Ｓ９０３で起動したアプリケーションの制御に従い、参加したネットワークにアドバタイズ通知をブロードキャストし、自身の存在をデジタルカメラ１００に通知する。Ｓ９０４の処理は、図６のＳ６０７やＳ６１１に相当する。

Ｓ９０５では、制御部２０１は、機器との接続処理を行う。Ｓ９０５の処理は、図６のＳ６１３からＳ６１５や、Ｓ６１７からＳ６１９に相当する。

Ｓ９０６では、制御部２０１は、メイン画像データの解像度を受信する。Ｓ９０６の処理は、図６のＳ６２０やＳ６２１に相当する。

Ｓ９０７では、制御部２０１は、サブ画像データのサイズ決定処理を行う。図９（ｂ）は、サブ画像のサイズ決定処理の詳細を示している。

Ｓ９５１では、制御部２０１は、Ｓ９０６において受信したメイン画像データの解像度が第１の閾値以上であるか否かを判定し、第１の閾値以上であると判定した場合は処理をＳ９５３へ進め、第１の閾値未満であると判定した場合は処理をＳ９５２へ進める。

Ｓ９５２では、制御部２０１は、Ｓ９０６において受信したメイン画像データの解像度が第１の閾値より小さい第２の閾値以上であるか否かを判定する。そして、制御部２０１は、第２の閾値以上であると判定した場合は処理をＳ９５４へ進め、第２の閾値未満であると判定した場合は処理をＳ９５５へ進める。

Ｓ９５３では、制御部２０１は、サブ画像データの解像度を「大」に決定し、サブ画像データの解像度決定処理を終了して、処理をＳ９０８に進める。サブ画像データの解像度「大」とは、Ｓ９５４、Ｓ９５５において説明するサブ画像データの解像度「中」、「小」より大きいことを意味する。

Ｓ９５４では、制御部２０１は、サブ画像の解像度を「中」に決定し、サブ画像データの解像度決定処理を終了して、処理をＳ９０８に進める。サブ画像データの解像度「中」とは、Ｓ９５３で説明したサブ画像データの解像度「大」より小さく、Ｓ９５５において説明するサブ画像の解像度「小」より大きいことを意味する。

Ｓ９５５では、制御部２０１は、サブ画像の解像度を「小」に決定し、サブ画像データの解像度決定処理を終了して、処理をＳ９０８に進める。サブ画像データの解像度「小」とは、Ｓ９５３、Ｓ９５４で説明したサブ画像の解像度「大」、「中」より小きいことを意味する。

Ｓ９０８では、制御部２０１は、Ｓ９０７で決定した解像度にリサイズされたサブ画像データをデジタルカメラ１００に送信する。なお、ここで送信するサブ画像データの解像度は、Ｓ９０７で決定したサブ画像データの解像度であるが、撮像部２０２から出力される画像データの解像度を、決定したサブ画像データの解像度にしてもよい。また、撮像部２０２から出力される画像データをリサイズし解像度を決定したサブ画像データの解像度にしてもよい。

Ｓ９０９では、制御部２０１は、処理を終了するか否かを判定し、処理を終了しないと判定した場合は処理をＳ９０８へ戻し、処理を終了すると判定した場合は処理を終了する。処理終了の判定は、アプリケーション画面が終了した場合や他のアプリケーション画面が起動された場合である。

本実施形態によれば、デジタルカメラ１００は、撮像部１０２から出力されるメイン画像の画像データとスマートデバイス２００Ａ、２００Ｂから受信したサブ画像の画像データを合成する場合に、メイン画像データに好適な解像度のサブ画像データをスマートデバイス２００Ａ、２００Ｂから受信する。スマートデバイス２００Ａ、２００Ｂは、メイン画像データの解像度に基づいてサブ画像データの解像度を決定し、決定した解像度のサブ画像データをデジタルカメラ１００に送信する。このように、サブ画像データの解像度をメイン画像データの解像度に基づいて決定することで、見栄えのよい合成画像を生成することが可能となる。

［他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…デジタルカメラ、１０１…制御部、１０２…撮像部、１１１…接続部、１１２…画像合成部、２００、２００Ａ、２００Ｂ…スマートデバイス、２０１…制御部、２１１…接続部

Claims (14)

1. 無線通信手段と、撮像手段と、制御手段とを有する通信装置であって、
   前記制御手段は、
   被写体を撮像して順次画像を生成するように前記撮像手段を制御し、
   前記撮像手段により生成される画像の解像度が、所定の解像度以上か否かを判定し、
   前記撮像手段により生成される画像の解像度が前記所定の解像度以上であると判定した場合、前記所定の解像度以上の解像度に対応する解像度の画像を外部装置に要求する第一の要求を前記無線通信手段を介して前記外部装置に送信し、前記撮像手段により生成される画像の解像度が前記所定の解像度以上でないと判定した場合、前記所定の解像度未満の解像度に対応する解像度の画像を前記外部装置に要求する第二の要求を前記無線通信手段を介して前記外部装置に送信し、
   前記第一の要求または前記第二の要求を受信した前記外部装置によって順次撮像される画像を、前記外部装置から前記無線通信手段を介して順次受信するように制御し、
   前記外部装置から順次受信される前記外部装置によって撮像される画像を、前記撮像手段によって順次生成される画像に合成して順次表示するように制御することを特徴とする通信装置。
2. 操作手段をさらに有し、
   前記制御手段は、ユーザから前記操作手段を介して受け付けた指示に基づく解像度で画像を生成するように前記撮像手段を制御することを特徴とする請求項１に記載の通信装置。
3. 前記通信装置は、ワイプ撮影モードを含む複数の撮影モードを有し、
   前記制御手段は、ユーザの指示に応じた撮影モードで撮像を行うように前記撮像手段を制御することを特徴とする請求項１または２に記載の通信装置。
4. 前記ワイプ撮影モードの開始に応じて、前記制御手段は、前記第一の要求または前記第二の要求を前記外部装置に送信することを特徴とする請求項３に記載の通信装置。
5. 前記ワイプ撮影モードにおいてユーザから録画指示を受け付けたことに応じて、前記制御手段は、前記第一の要求または前記第二の要求を前記外部装置に送信することを特徴とする請求項３に記載の通信装置。
6. 前記制御手段は、前記外部装置から順次受信される前記外部装置によって撮像される画像を、前記撮像手段によって順次生成される画像に合成した合成画像を記録媒体に記録中か否かを判定し、
   前記合成画像を前記記録媒体に記録中でない場合、前記第一の要求を送信せず前記第二の要求を送信することを特徴とする請求項１から５のいずれか１項に記載の通信装置。
7. 前記制御手段は、前記無線通信手段を介して複数の外部装置と通信を行うように制御し、
   前記複数の外部装置から順次受信される複数の画像を、前記撮像手段によって順次生成される画像に合成した合成画像を表示するように制御することを特徴とする請求項１から６のいずれか１項に記載の通信装置。
8. 前記制御手段は、アクセスポイントとして動作することによってＷｉ－Ｆｉ（登録商標）ネットワークを形成するように前記無線通信手段を制御することを特徴とする請求項１から７のいずれか１項に記載の通信装置。
9. 無線通信手段と、撮像手段と、制御手段とを有し、前記制御手段が被写体を撮像して順次画像を生成するように前記撮像手段を制御する通信装置の制御方法であって、
   前記撮像手段により生成される画像の解像度が、所定の解像度以上か否かを判定するステップと、
   前記撮像手段により生成される画像の解像度が前記所定の解像度以上であると判定した場合、前記所定の解像度以上の解像度に対応する解像度の画像を外部装置に要求する第一の要求を前記無線通信手段を介して前記外部装置に送信し、前記撮像手段により生成される画像の解像度が前記所定の解像度以上でないと判定した場合、前記所定の解像度未満の解像度に対応する解像度の画像を前記外部装置に要求する第二の要求を前記無線通信手段を介して前記外部装置に送信するステップと、
   前記第一の要求または前記第二の要求を受信した前記外部装置によって順次撮像される画像を、前記外部装置から前記無線通信手段を介して順次受信するように制御するステップと、
   前記外部装置から順次受信される前記外部装置によって撮像される画像を、前記撮像手段によって順次生成される画像に合成して順次表示するように制御するステップと、を有することを特徴とする制御方法。
10. コンピュータを、請求項１から８のいずれか１項に記載された通信装置の制御手段として機能させるためのプログラム。
11. 無線通信手段と、撮像手段と、制御手段とを有する携帯装置であって、
    前記制御手段は、
    前記携帯装置とは異なる撮像装置により生成される画像の解像度を前記無線通信手段を介して前記撮像装置から受信し、
    前記受信した解像度に基づく解像度で被写体を撮像して順次画像を生成するように前記撮像手段を制御し、
    前記撮像手段によって生成される画像を前記撮像装置へ順次送信することを特徴とする携帯装置。
12. 前記制御手段は、
    前記受信した解像度が所定の解像度以上であるか否かを判定し、
    前記受信した解像度が前記所定の解像度以上であると判定した場合、前記所定の解像度以上の解像度に対応する解像度で被写体を撮像して順次画像を生成するように前記撮像手段を制御し、
    前記受信した解像度が前記所定の解像度以上でないと判定した場合、前記所定の解像度未満の解像度に対応する解像度で被写体を撮像して順次画像を生成するように前記撮像手段を制御することを特徴とする請求項１１に記載の携帯装置。
13. 無線通信手段と、撮像手段と、制御手段とを有する携帯装置の制御方法であって、
    前記携帯装置とは異なる撮像装置により生成される画像の解像度を前記無線通信手段を介して前記撮像装置から受信するステップと、
    前記受信した解像度に基づく解像度で被写体を撮像して順次画像を生成するように前記撮像手段を制御するステップと、
    前記撮像手段によって生成される画像を前記撮像装置へ順次送信するステップと、を有することを特徴とする制御方法。
14. コンピュータを、請求項１１または１２に記載された携帯装置の制御手段として機能させるためのプログラム。

Images