JP6929094B2 - 電子機器、撮像装置、及び制御方法、並びにプログラム - Google Patents

Description

本発明は、電子機器、撮像装置、及び制御方法、並びにプログラムに関し、特にモジュールとしての撮像装置を着脱可能な電子機器、撮像装置、及び制御方法、並びにプログラムに関する。

機能単位でまとまりを持たせたモジュールをブロックの様に組み合わせることで、所望する様々な機能を実現させたスマートデバイスと呼ばれる電子機器が公知となっている。こうしたスマートデバイスは、複数のスロットが形成された本体と、異なる機能を持った複数のモジュールとで構成されており、これらの多種多様なモジュールは、それぞれ自由な組み合わせで本体のスロットに着脱される。このとき、例えば撮影機能を有するモジュール（撮像モジュール）を本体のスロットに装着すれば、ＯＳ上にインストールされたアプリケーションプログラムの動作によって、撮影機能を利用することが可能となる。

こうしたスマートデバイスに対応する撮像モジュール自体もまた多種多様である。本体への着脱手段や通信手段など一定の規格を満足するものであれば、例えば光学レンズの焦点距離や撮像センサのサイズが異なっていても良い。更に、これらの撮像モジュールを設計するメーカーが特定の企業に限定される必要はなく、カメラメーカーや電機メーカーなど複数存在しても構わない。また撮像モジュール内において、どこにどの構成部品を配置するかといった制約が少なく、設計の自由度は高い。そのため、撮像モジュールをそれぞれの仕様やメーカーにとって都合のよい、最適なレイアウトで設計することができる。

更に前述のように、モジュールの組み合わせが比較的自由であるため、例えば複数の撮像モジュールをそれぞれ異なるスロットに装着することもできる。この場合、複眼カメラ機能を動作させるアプリケーションプログラムを装着した複数の撮像モジュールに対して実行することにより、所謂、複眼カメラの機能として公知な画像の合成機能や測定機能が利用可能となる。

複眼カメラに期待される画像の合成機能としては、立体視モード、パノラマモード、パンフォーカスモード、ダイナミックレンジ拡大モード、シャローフォーカスモード、マルチズーム（高解像度）モードなどが公知である。これらの機能は、それぞれの撮像モジュールにおける撮影条件を一致もしくは異ならせて同時撮影を行い、得られた複数の画像データから１枚の画像を合成するものである。また他にも、複眼カメラを使った測定機能として測距技術が挙げられる。この機能は、左右２つのカメラで被写体を同時に撮影し、得られたステレオ画像を処理することで、被写体を三次元的に認識したり、被写体までの距離を計測したりするものである。

こうした複眼カメラによる画像の合成機能や測定機能は、少なくとも２つの撮像モジュールの視差情報に基づいて処理されるものである。このため、温度、湿度等の環境条件における変化や外部からの衝撃による内部部品の状態変化によって、測定精度が左右されることが多い。即ち、複眼カメラを使用する上で問題になるのは、そのモジュール間の校正関係が通常のデジタルカメラの使用環境範囲内で安定的とはいえないことである。

そこで、従来から、ステレオカメラの位置ずれを検出して、検出した位置ずれに応じてステレオカメラで撮影された画像を補正する方法が知られている（例えば、特許文献１参照）。

具体的には、左右２つのカメラで撮影された画像の一方を基準画像、他方を比較画像として、その比較画像を幾何変換することで行われる。この変換処理のために、画像を一時的に記憶するバッファメモリが使用されるが、位置ずれ量がバッファメモリの範囲内であるかを判別して、バッファメモリの範囲を超えていればステレオカメラに異常があると判断する。

また、撮像素子の有する焦点検出用画素対のそれぞれにレンズの射出瞳を介して入射する光量がアンバランスであることに起因して、焦点検出用画素対のそれぞれから出力される画像信号の信号レベルに違いが生じることがある。この場合、設定された領域の像高と撮像素子の製造の際のアライメント誤差に関連した補正情報を用いてその信号レベルの違いを補償する撮像装置が知られている（例えば、特許文献２参照）。

特開２０１５−２５７３０号公報 特開２０１４−１８６３３８号公報

しかしながら、特許文献１，２には以下のような課題がある。

特許文献１は撮影した２つの画像データを比較して基準画像に対して一方の画像を補正するものであり、ＡＦ精度を補正することはできない。

また、特許文献２は位相差検出機能を付与されている撮像素子の製造誤差を補正することで位相差ＡＦの精度を上げるものであり、撮像モジュールの挿し替えには対応できない。

このような課題を鑑みて本発明は、複数の撮像モジュールを用いて複眼カメラの機能を実現する電子機器において温度、湿度等の環境条件における変化や外部からの衝撃による状態変化があったとしてもＡＦ精度を正確に補正することを目的とする。

本発明の請求項１に係る電子機器は、２つの撮像モジュール用いて複眼カメラの機能を実現する電子機器において、前記２つの撮像モジュールの一方によりコントラストＡＦを用いた焦点検出を実施し、第１の測距情報を取得する第１の取得手段と、前記２つの撮像モジュールの間の視差情報から被写体距離を計算し、第２の測距情報を取得する第２の取得手段と、前記２つの撮像モジュール及び前記電子機器の本体のいずれかにおいて状態変化があり、且つ前記第１及び第２の測距情報との差が閾値よりも大きい場合は、前記第２の取得手段による前記被写体距離の計算結果を補正する補正手段とを備え、前記被写体距離は前記視差情報を元に前記２つの撮像モジュールの間の基線長から算出され、前記基線長に応じて前記閾値を変更することを特徴とする。
本発明の請求項９に係る電子機器は、２つの撮像モジュールを用いて複眼カメラの機能を実現する電子機器において、前記２つの撮像モジュールの一方によりコントラストＡＦを用いて第１の測距情報を取得する第１の取得手段と、前記２つの撮像モジュールの間の視差情報から被写体距離を計算し、第２の測距情報を取得する第２の取得手段と、前記２つの撮像モジュール及び前記電子機器の本体のいずれかにおいて状態変化があり、且つ前記第１及び第２の測距情報との差が閾値よりも大きい場合は、前記第２の取得手段による前記被写体距離の計算結果を補正する補正手段とを備え、前記第１及び第２の測距情報に基づき前記２つの撮像モジュールの間の基線長を計算し、当該基線長を用いて撮影範囲内の距離を指し示す距離マップを生成することを特徴とする。

本発明によれば、複数の撮像モジュールを用いて複眼カメラの機能を実現する電子機器において温度、湿度等の環境条件における変化や外部からの衝撃による状態変化があったとしてもＡＦ精度を正確に補正することができる。加えて、コントラストＡＦと視差情報を使った測距結果の差から２つの撮像モジュールの間の正確な基線長を算出することで、撮影範囲内の距離を指し示す距離マップを生成することが可能となる。

実施例１に係る電子機器としてのスマートデバイスの外観図である。 スマートデバイスの本体に取り付けられるモジュールの外観図である。 スマートデバイスの本体にモジュールを取り付ける方法を示す説明図である。 スマートデバイスの本体に設けられたＥＰＭとモジュールに設けられた磁性体との磁力による結合を示す説明図である。 複数のモジュール及びこれらが装着されたスマートデバイスの本体のハードウェア構成を示すブロック図である。 アプリケーションプログラム制御モジュールにより実行される、複数のモジュールが装着されたスマートデバイスの動作制御処理の手順を示すフローチャートである。 図６のステップＳ１１０７のリリース処理の詳細な手順を示すフローチャートである。 図６のステップＳ１１０９の装着処理の詳細な手順を示すフローチャートである。 図６のステップＳ１１１１のアプリケーションプログラム実行処理の一例である撮影アプリケーションプログラム実行処理の詳細な手順を示すフローチャートである。 図９のステップＳ１４０５の撮影実行処理の手順を示すフローチャートである。 図１０のステップＳ１５０５で行われる実施例１にかかる複数の撮像モジュールに対する合焦位置最適化処理の手順を示すフローチャートである。 図１１のステップＳ１６０４，Ｓ１６０６でコントラストＡＦを実施するメインカメラとサブカメラの選定の詳細を示す図である。 図１１のステップＳ１６０２において実行される基線長の算出方法を示した説明図である。 図１０のステップＳ１５０５で行われる実施例２にかかる複数の撮像モジュールに対する合焦位置最適化処理の手順を示すフローチャートである。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

（実施例１）
図１は、本実施例に係る電子機器のとしてのスマートデバイス５０の外観図である。

図１（ａ）は、スマートデバイス５０の本体を正面側から見た外観図と、背面側から見た外観図である。

図１（ａ）に示すように、スマートデバイス５０の本体の正面側には、モジュールを取り付ける際のガイドと保持機能とを兼ね備えた複数のリブ１０１ａ〜ｃが形成されている。また、スマートデバイス５０の本体の背面側には、複数のリブ１０１ａ，ｃ〜ｈが形成されると共に、スマートデバイス５０の本体を左右の領域に分割するスパイン１０２が形成されている。リブ１０１ａ〜ｈとスパイン１０２とは、モジュールを取り付ける際のガイドと保持機能とを兼ね備えていると共に、スマートデバイス５０の本体の剛性を高める機能も有している。以下、リブ１０１ａ〜ｈとスパイン１０２とを合わせてフレーム構造と称する。スマートデバイス５０の本体の正面側と背面側とは、リブ１０１ａ〜ｈとスパイン１０２とによって、複数のモジュールの取り付け領域に分割されている。以下、これらの複数のモジュールの取り付け領域を、スロット１０００，１１００，１２００，１３００，１４００，１５００，１６００，１７００，１８００，１９００と称する。

各スロット１０００〜１９００には、電磁着脱機構を司るエレクトロパーマネントマグネット（ＥＰＭ）１６０〜１６９が設けられている。尚、ＥＰＭ１６０〜１６９については、詳しくは後述する。各ＥＰＭ１６０〜１６９近傍には、これらと対となる、スマートデバイス５０の本体と各モジュールとがデータの送受信をするための本体側非接触通信手段（以下、本体側ＣＭＣと称する）１４０〜１４９が備えられている。つまり、各スロット１０００〜１９００には、ＥＰＭ１６０〜１６９と本体側ＣＭＣ１４０〜１４９とが、それぞれ少なくとも一対設けられていることになる。尚、図１（ａ）に示すように、ＥＰＭ１６０〜１６９と本体側ＣＭＣ１４０〜１４９とは、各スロット１０００〜１９００の大きさに応じて複数設けられても良い。

スマートデバイス５０の本体の正面側には、紙面向かって左側の端部付近にＥＰＭ１６０，１６３が配置されており、そのＥＰＭ１６０，１６３の右側に本体側ＣＭＣ１４０，１４３が配置されている。スマートデバイス５０の本体の背面側には、スパイン１０２に隣接するようにＥＰＭ１６１，１６２ａ，１６２ｂ，１６４ａ，１６４ｂ，１６５ａ，１６５ｂ，１６６〜１６９が配置されている。紙面に向かってスパイン１０２の左側の領域には、ＥＰＭ１６５ａ，１６５ｂ，１６７ａ，１６７ｂ，１６８，１６９が設けられ、更にその左側に本体側ＣＭＣ１４５ａ，１４５ｂ，１４７ａ，１４７ｂ，１４８，１４９が配置されている。またスパイン１０２の右側の領域には、ＥＰＭ１６１，１６２ａ，１６２ｂ，１６４ａ，１６４ｂ，１６６が設けられ、更にその右側に本体側ＣＭＣ１４１、１４２ａ，１４２ｂ，１４４ａ，１４４ｂ，１４６が配置されている。

図１（ｂ）は、スマートデバイス５０の本体にモジュールを取り付けた状態を正面側から見た外観図と、背面側から見た外観図である。

図１（ｂ）に示すように、スマートデバイス５０の本体の正面側及び背面側には、各機能を備えたモジュール１５０，２００，３００，３５０，４００，５００，６００，７００，８００，９００が取り付けられる。スマートデバイス５０の本体の正面側の下部のスロット１３００には、略全面にタッチ検知機能を有したＬＣＤパネル３１２から成るモジュール（以下、表示操作モジュールと称する）３００が装着されている。表示操作モジュール３００の右側面には、スマートデバイス５０の電源のＯＮとＯＦＦとを切り替える電源ボタン３１４ａが形成されており、同じく表示操作モジュール３００の左側面には、音量を調節する音量調節ボタン３１４ｂが形成されている。更に表示操作モジュール３００には、スマートデバイス５０が移動体無線通信機器として機能する際に、通話者の音声を検出するマイク３１８が設けられている。マイク３１８は、スマートデバイス５０がビデオカメラとして機能する際に、動画の音声を収集する役割も担う。また、スマートデバイス５０の本体の正面側の上部のスロット１０００には、スピーカモジュール３５０が取り付けられている。スピーカモジュール３５０には、スマートデバイス５０が移動体無線通信機器として機能する際に、受信した音声を出力するスピーカ部３５１が設けられている。このスピーカ部３５１は、その他に音楽や操作音を出力する。

一方、スマートデバイス５０の本体の背面側には、スパイン１０２の左側の上部のスロット１５００に、各種撮影機能を有する撮像モジュール５００が、またスパイン１０２の右側の上部のスロット１６００に、撮像モジュール６００が装着されている。スマートデバイス５０の本体において、少なくともスロット１５００とスロット１６００とは略同一平面となっており、更に撮像モジュール５００，６００とは、お互いの光軸が略平行である。これによって、撮像モジュール５００，６００はそれぞれの撮影範囲に同一の被写体をフレーミングすることが可能となり、後述する視差を用いて被写体距離を測定したり略同時に撮影したりする構成となっている。また前述した通り、撮像モジュール５００，６００は、スマートデバイス５０の本体への着脱手段と通信手段とが一定の規格を満足するように共通化されてはいるものの、それぞれのモジュールにおいては構成部品の配置が異なっている。

スパイン１０２の左側の上部のスロット１５００に対して、その下部に形成されたスロット１７００には、外部と無線でデータの送受信を行う無線ＬＡＮモジュール７００が装着されている。更にその下部のスロット１８００には、スマートデバイス５０の姿勢を検知する姿勢検知モジュール８００が取り付けられている。姿勢検知モジュール８００は、３軸のジャイロセンサから取得する角速度情報を利用することで、スマートデバイス５０の姿勢を検知する。スパイン１０２の左側の下部のスロット１９００には、ＴＤＭＡ、ＣＤＭＡ、ＬＴＥ等の単数或いは複数の各種遠距離通信機能を有する移動体通信モジュール９００が装着されている。スパイン１０２の右側の上部のスロット１６００に対して、その下部に形成されたスロット１２００には、スマートデバイス５０全体の制御を行うアプリケーションプログラム制御モジュール２００が装着されている。

ユーザがスマートデバイス５０において利用を所望する機能を動作させるには、装着中の所定のモジュール専用のアプリケーションプログラムをアプリケーションプログラム制御モジュール２００にインストールする必要がある。これにより、アプリケーションプログラム制御モジュール２００を介することでスマートデバイス５０においてその所望する機能を利用できる。例えば、移動体通信モジュール９００専用の通話アプリケーションがインストールされている場合、アプリケーションプログラム制御モジュール２００を介して移動体通信モジュール９００を動作させて通話機能が利用可能となる。また、無線ＬＡＮモジュール７００専用のインターネット接続アプリケーションがインストールされている場合がある。この場合、アプリケーションプログラム制御モジュール２００を介して無線ＬＡＮモジュール７００を動作させてインターネット接続によるウェブ閲覧機能が利用可能となる。また例えば、撮像モジュール５００，６００専用の撮影アプリケーションがインストールされている場合、アプリケーションプログラム制御モジュール２００を介して撮像モジュール５００，６００を動作させて複眼カメラの機能を利用することができる。ここで、複眼カメラの機能とは画像の合成機能や測定機能を指す。

複眼カメラに期待される画像の合成機能としては、前述の特許文献１に記載された立体視モード、パノラマモード、パンフォーカスモード、ダイナミックレンジ拡大モード、シャローフォーカスモード、マルチズーム（高解像度）モードが含まれる。そして専用の撮影アプリケーションは、撮像モジュール５００，６００のそれぞれで任意に設定可能である。これらの合成機能は、撮像モジュール５００，６００の夫々の撮影条件を一致もしくは異ならせて同時撮影を行い、得られた２枚の画像データから１枚の画像を合成するものである。

また上述の撮影アプリケーションでは、測定機能として、前述の特許文献２に記載された測距技術が適用される。この機能は、撮像モジュール５００，６００により被写体を同時に撮影し、得られたステレオ画像を処理することで、被写体を三次元的に認識したり、被写体までの距離を計測したりするものである。尚、本発明はこうした複眼カメラの機能を限定するものではなく、またこれらは既に先行技術文献等により公知であるため、詳細な個別の説明は省略する。

スロット１２００の下部のスロット１４００には、スマートデバイス５０に電力を供給する電源モジュール４００が装着されている。更にスパイン１０２の右側の下部のスロット１１００には、撮影した画像データなどの各種データを保存する記録モジュール１５０が取り付けられている。

図２は、スマートデバイス５０の本体に取り付けられるモジュール１５０，２００，３００，３５０，４００，５００，６００，７００，８００，９００の外観図である。図２（ａ）は、スマートデバイス５０の本体の正面側に取り付けられる表示操作モジュール３００及びスピーカモジュール３５０を正面側から見た外観図と背面側から見た外観図である。図２（ｂ）は、スマートデバイス５０の本体の背面側に取り付けられる各モジュールを正面側から見た外観図と背面側から見た外観図である。前述のとおり、スマートデバイス５０の本体の背面側には、図１（ｂ）に示すように、スパイン１０２の左側に、撮像モジュール５００、無線ＬＡＮモジュール７００、姿勢検知モジュール８００、及び移動体通信モジュール９００が取り付けられている。また、スパイン１０２の右側に、撮像モジュール６００、アプリケーションプログラム制御モジュール２００、電源モジュール４００、及び記録モジュール１５０が取り付けられている。

図２（ａ）に示すように、表示操作モジュール３００及びスピーカモジュール３５０の背面には、スマートデバイス５０の本体に設けられたＥＰＭ１６３，１６０と対向する位置に、磁性体３６０，３５６が設けられている。ここで用いられる磁性体３６０，３５６の材質としては、保磁力が小さく透磁率が大きい軟磁性体が好ましく、本実施例では鉄・コバルト・バナジウムの軟磁性合金であるＨＩＰＥＲＣＯＴＭ５０が採用されている。以下説明する各磁性体においても同様の材質が採用される。

更に、スマートデバイス５０の本体に設けられた本体側ＣＭＣ１４３，１４０と対向する位置には、スマートデバイス５０の本体とデータの送受信を行うモジュール側非接触通信手段（以下、モジュール側ＣＭＣと称する）３４０，３５４が設けられている。磁性体３６０，３５６とモジュール側ＣＭＣ３４０，３５４とは、それぞれ隣接して表示操作モジュール３００及びスピーカモジュール３５０に一対ずつ設けられている。

一方、図２（ｂ）に示すように、撮像モジュール５００の背面には、スマートデバイス５０の本体に設けられたＥＰＭ１６５ａ，１６５ｂと対向する位置に、磁性体５６０ａ，５６０ｂが設けられている。また、撮像モジュール６００の背面には、スマートデバイス５０の本体に設けられたＥＰＭ１６６と対向する位置に、磁性体６６０ａが設けられている。尚、撮像モジュール６００の背面には磁性体６６０ｂも設けられているが、スマートデバイス５０の本体にはこれと対向する磁性体が存在しない。このため、撮像モジュール６００では磁性体６６０ｂは用いず、磁性体６６０ａがＥＰＭ１６６と磁力で結合することによりスマートデバイス５０の本体に装着される。

同様に、無線ＬＡＮモジュール７００の背面には、スマートデバイス５０の本体に設けられたＥＰＭ１６７ａ，１６７ｂと対向する位置に、磁性体７６０ａ，７６０ｂが設けられている。また、姿勢検知モジュール８００及び移動体通信モジュール９００の背面には、スマートデバイス５０の本体に設けられたＥＰＭ１６８，１６９と対向する位置に、磁性体８６０，９６０が設けられている。

更に、アプリケーションプログラム制御モジュール２００の背面には、スマートデバイス５０の本体に設けられたＥＰＭ１６２ａ，１６２ｂと対向する位置に、磁性体２６０ａ，２６０ｂが設けられている。また、電源モジュール４００、及び記録モジュール１５０の背面には、スマートデバイス５０の本体に設けられたＥＰＭ，１６４ａ，１６４ｂ，１６１と対向する位置に、磁性体，４６０ａ，４６０ｂ，１５６ａが設けられている。尚、記録モジュール１５０の背面には磁性体１５６ｂも設けられているが、スマートデバイス５０の本体にはこれと対向する磁性体が存在しない。このため、記録モジュール１５０では磁性体１５６ｂは用いず、磁性体１５６ａがＥＰＭ１６１と磁力で結合することによりスマートデバイス５０の本体に装着される。

本体側ＣＭＣ１４５ｂ，１４６，１４７ｂ，１４８，１４９，１４２ａ，１４２ｂ，１４４ａ，１４４ｂ，１４１と対向する位置にモジュール側ＣＭＣ５４０，６４０，７４０，８４０，９４０，２４０ａ，２４０ｂ，４４０ａ，４４０ｂ，１５４が設けられる。これらのモジュール側ＣＭＣにより、各モジュールはスマートデバイス５０の本体とデータの送受信を行う。磁性体５６０ｂ，６６０ａ，７６０ｂ，８６０，９６０，２６０ａ，２６０ｂ，４６０ａ，４６０ｂ，１５６ａとモジュール側ＣＭＣ５４０，６４０，７４０，８４０，９４０，２４０ａ，２４０ｂ，４４０ａ，４４０ｂ，１５４はそれぞれ隣接して設けられる。このように、撮像モジュール５００，６００、無線ＬＡＮモジュール７００、姿勢検知モジュール８００、移動体通信モジュール９００、記録モジュール１５０には、それぞれ一対の磁性体及びモジュール側ＣＭＣが設けられている。また、アプリケーションプログラム制御モジュール２００及び電源モジュール４００は、それぞれ二対の磁性体及びモジュール側ＣＭＣが設けられている。

図３は、スマートデバイス５０の本体に、モジュール１５０，２００，３００，３５０，４００，５００，６００，７００，８００，９００を取り付ける方法を示した説明図である。

ここで、図３（ａ）は、スマートデバイス５０の本体の正面側に、表示操作モジュール３００及びスピーカモジュール３５０を取り付ける方法を示した説明図である。また、図３（ｂ）は、スマートデバイス５０の本体の背面側のスパイン１０２の左側に、撮像モジュール５００、無線ＬＡＮモジュール７００、姿勢検知モジュール８００、及び移動体通信モジュール９００を取り付ける方法を示した説明図である。また、図３（ｂ）では、スパイン１０２の右側に、撮像モジュール６００、アプリケーションプログラム制御モジュール２００、電源モジュール４００、及び記録モジュール１５０を取り付ける方法も併せて示す。

図３（ａ）に示すように、表示操作モジュール３００及びスピーカモジュール３５０は、スマートデバイス５０の本体に対して、リブ１０１ａ〜ｃに沿って側面方向からスライドさせて取り付けられる。このとき、表示操作モジュール３００及びスピーカモジュール３５０は、スマートデバイス５０の本体の左側面、或いは右側面のどちら側からでも挿入することができる。

図３（ｂ）に示すように、撮像モジュール５００、無線ＬＡＮモジュール７００、姿勢検知モジュール８００、移動体通信モジュール９００は、スマートデバイス５０の本体に対して、左側面からスライドさせて取り付けられる。左側面から各モジュールをスパイン１０２に突き当てることにより、スマートデバイス５０の本体に対してモジュール５００，７００，８００，９００の位置が決定する。また、撮像モジュール６００、アプリケーションプログラム制御モジュール２００、電源モジュール４００、記録モジュール１５０は、スマートデバイス５０の本体に対して、右側面からスライドさせて取り付けられる。右側面から各モジュールをスパイン１０２に突き当てることにより、スマートデバイス５０の本体に対してモジュール６００，２００，４００，１５０の位置が決定する。

本実施例において、図３（ｂ）のようにスマートデバイス５０の本体の背面側に設けられたスロットは、サイズによって３種類に大別される。まずスロット１５００，１６００，１７００，１１００が同じ種類であり、例えば撮像モジュール５００はこの４箇所のうち、どのスロットを選択して装着しても構わない。また最も大きいスロット１２００，１４００が同じ種類であり、例えばアプリケーションプログラム制御モジュール２００はこの２箇所のうち、どちらのスロットを選択して装着しても構わない。同様に最も小さいスロット１８００，１９００が同じ種類であり、例えば姿勢検知モジュール８００はこの２箇所のうち、どちらのスロットを選択して装着しても構わない。

図４は、スマートデバイス５０の本体に設けられたＥＰＭ１６５ｂと、撮像モジュール５００に設けられた磁性体５６０ｂとの磁力による結合を説明する模式図である。

ここで、図４（ａ）は、スマートデバイス５０の本体と撮像モジュール５００とが磁力による結合をしていない状態の部分拡大図である。また、図４（ｂ）は、スマートデバイス５０の本体と撮像モジュール５００とが磁力による結合をしている状態の部分拡大図である。尚、図４は例としてＥＰＭ１６５ｂと磁性体５６０ｂとの組み合わせを示すものであるが、他のＥＰＭと磁性体との組み合わせについても図４と同様である。

図４（ａ）に示すようにＥＰＭ１６５ｂは、極性が固定された永久磁石１６５１と永電磁石１６５２との両側面を、磁性体１６５３ａ，１６５３ｂによって連結・保持した構造となっている。ここで用いる永久磁石１６５１には、例えば磁束密度が非常に高いネオジム磁石などが適している。また永電磁石１６５２は、アルニコ等の硬磁性体からなる可逆性の永久磁石１６５４と、可逆性の永久磁石１６５４の周りに巻かれたコイル１６５５とから構成されている。コイル１６５５に電流を流すと、可逆性の永久磁石１６５４は一方向に着磁され、通電が終了した後もそのまま着磁状態を保持する。コイル１６５５に対する通電時間は１〜数秒程度であり、比較的短い時間である。こうして永電磁石１６５２は、コイル１６５５に流す電流の向きを変えることにより、極性が可変な永電磁石となる。

図４（ａ）に示す状態でコイル１６５５に対して通電すると、可逆性の永久磁石１６５４を着磁して、永電磁石１６５２は極性が固定された永久磁石１６５１の磁力線の向きと引き合う向きの磁力線を発生させる。その結果、永電磁石１６５２の磁力線と永久磁石１６５１の磁力線とが互いに閉じたループ形状となり、撮像モジュール５００の磁性体５６０ｂを吸着しようとする磁力は非常に弱くなる。そのため撮像モジュール５００は、ＥＰＭ１６５ｂから吸着力を受けずに解放される。

一方図４（ｂ）に示すように、図４（ａ）とは逆方向にコイル１６５５に対して通電すると、可逆性の永久磁石１６５４を着磁して、永電磁石１６５２は極性が固定された永久磁石１６５１の磁力線の向きと反発し合う向きの磁力線を発生させる。その結果、永電磁石１６５２の磁力線と永久磁石１６５１の磁力線とが互いに強め合って、撮像モジュール５００に設けられた磁性体５６０ｂを吸着する磁力が非常に高まる。そのため撮像モジュール５００は、ＥＰＭ１６５ｂから吸着力を受けてスマートデバイス５０の本体に固着される。このように本実施例では、着脱手段にＥＰＭを採用することで、各モジュールの着脱の作業性と信頼性との両立を実現している。

図５は、複数のモジュール２００〜６００，８００及びこれらが装着されたスマートデバイス５０の本体のハードウェア構成を示すブロック図である。

以下、図５を用いて、スマートデバイス５０の本体の構成、アプリケーションプログラム制御モジュール２００、表示操作モジュール３００、電源モジュール４００、撮像モジュール５００，６００、及び姿勢検知モジュール８００の構成を説明する。尚、スマートデバイス５０の本体に装着可能なモジュールは多種多様であり、図５に示す組み合わせは単なる一例に過ぎず、本発明はその組み合わせを限定するものではない。

＜スマートデバイス５０の本体の構成＞
スマートデバイス５０の本体は、アプリケーションプログラム制御モジュール２００による統括制御の下で、スマートデバイス５０の本体に装着された各モジュールに関する制御を行う。スマートデバイス５０の本体において、１１０はスマートデバイス５０の本体全体を制御するシステム制御回路である。システム制御回路１１０は、カーネルやＯＳを実行させた環境で各種アプリケーションプログラムを実行する際、アプリケーションプログラム制御モジュール２００が備えるアプリケーション制御回路２１０の指示や要求に応じて、協調動作を行う。そしてシステム制御回路１１０は、スマートデバイス５０の本体と各モジュールとを連携して動作させることが可能となっており、アプリケーション制御回路２１０を介して各種サービス、機能を実行することが可能である。

１１２は、システム制御回路１１０が直接アクセスして読み書きを行うメモリである。１１４は、システム制御回路１１０の動作用の定数、変数、プログラム、各スロットの位置情報等を記憶し、電気的に消去・記録可能な不揮発性メモリであり、例えばフラッシュメモリ等が用いられる。ここで、各スロットの位置情報には、スマートデバイス５０の本体の背面側に設けられたスロット１１００，１２００，１４００，１５００，１６００，１７００，１８００，１９００のそれぞれの位置情報が含まれる。この各スロットの位置情報は、各スロットにおいて、モジュールを装着した際にその位置を決定することになる、各リブ１０１ａ，ｃ〜ｈやスパイン１０２の突き当て面の座標を特定するものである。尚、本実施例は各モジュールの位置決めを、リブ１０１ａ，ｃ〜ｈとスパイン１０２への突き当てにより行っているが、本発明はこれに限定されるものではない。例えば、スマートデバイス５０の本体に位置決め用の凸部を設け、各モジュールに凸部と嵌合する凹部を設けるなどしても良い。この場合、各スロットの位置情報には、位置決め用の凸部の位置情報が含まれることになる。

１１６は識別情報メモリであり、スマートデバイス５０の本体が各モジュールと通信を行う際に必要な各種識別情報が格納されている。１１８は、スマートデバイス５０の本体の所定箇所の温度を計測するための単数或いは複数の温度センサである。１２０は、システム制御回路１１０を介してスマートデバイス５０の本体の各部に必要な所定の電圧・電流を供給する電源制御回路である。

１２２は、スマートデバイス５０の本体の電源制御回路１２０及びコネクタ１８２〜１８６，１８８の電源端子に接続される電源バスである。コネクタ１８２〜１８６，１８８の電源端子は、それぞれ、各モジュールのコネクタ２８０，３８０，４８０，５８０，６８０，８８０の電源端子を介して、各モジュールの電源制御回路２２０，３２０，４１０，５２０，６２０，８２０と接続されている。

１３０はスイッチインターフェース回路であり、図５に示すように、本体側ＣＭＣ１４２ａ，１４２ｂ（不図示），１４３，１４４ａ，１４４ｂ（不図示），１４５ｂ，１４６，１４８を介して、各モジュールと接続する。これにより、各モジュールとスマートデバイス５０の本体の間でデータやメッセージの高速な通信を切り替え中継する。本体側ＣＭＣ１４２ａ，１４３，１４４ａ，１４５ｂ，１４６，１４８は、誘導結合（インダクティブカップリング）方式により接触近接通信を行う。これにより、それぞれがこれに近接するモジュール側ＣＭＣ２４０ａ，３４０，４４０ａ，５４０，６４０，８４０と高速通信を行う。尚、本体側ＣＭＣとこれに近接するモジュール側ＣＭＣとの組み合わせは、ユーザの意図に応じて適宜変更されるものであり、図５に示す組み合わせは単なる一例に過ぎない。

図５に示すように、スマートデバイス５０は、ＥＰＭ１６２ａ，１６２ｂ（不図示），１６３，１６４ａ，１６４ｂ（不図示），１６５ａ，１６５ｂ（不図示），１６６，１６８を備える。これは、それぞれモジュールの磁性体２６０ａ，２６０ｂ（不図示），３６０，４６０ａ，４６０ｂ（不図示），５６０ａ，５６０ｂ（不図示），６６０ａ，８６０を磁力制御により吸着或いは非吸着する。これにより、各モジュールをスマートデバイス５０の本体のフレーム構造と各モジュールとの接続箇所において、固定（ロック）或いは解放（リリース）する。尚、スマートデバイス５０の本体側の各ＥＰＭとこれに接続するモジュール側の磁性体との組み合わせは、ユーザの意図に応じて適宜変更されるものであり、図５に示す組み合わせは単なる一例に過ぎない。

コネクタ１８２〜１８６，１８８は、それぞれモジュールのコネクタ２８０，３８０，４８０，５８０，６８０，８８０と接続する。これにより、電源関係（パワーバス、グラウンド）の端子群を、スマートデバイス５０の本体と各モジュール間で相互に使用可能とする。更に、モジュールの装着を示す検出（Ｄｅｔｅｃｔ）信号の端子、モジュールのスリープ解除を示す起動（Ｗａｋｅ）信号の端子、アンテナの配線をつなぐＲＦ信号の端子などの各機能についても同様に、相互に使用可能とするものである。ここで本実施例におけるコネクタ１８２〜１８６，１８８は、スマートデバイス５０の本体のリブ１０１ａ〜ｈやスパイン１０２の側面部に形成された一般的な小型の金属端子であるが、図１〜３に示す位置からは視認できないため不図示とする。尚、コネクタ１８２〜１８６，１８８と、これに接続するモジュール側のコネクタの組み合わせは、ユーザの意図に応じて適宜変更されるものであり、図５に示す組み合わせは単なる一例に過ぎない。

＜アプリケーションプログラム制御モジュール２００の構成＞
アプリケーションプログラム制御モジュール２００は、アプリケーション制御回路２１０の動作により、スマートデバイス５０の本体とこれに装着された各モジュールを含めた全体システムを統括制御する。例えばアプリケーション制御回路２１０は、表示操作モジュール３００が備える表示操作制御回路３１０を介して、表示部であるＬＣＤパネル３１２を制御し、各種情報の表示を行うことが可能である。またアプリケーション制御回路２１０は、表示操作モジュール３００が備える表示操作制御回路３１０を介して、操作入力手段であるタッチパネル及び操作ボタン（以下「ＴＰ／ボタン」という）３１４に対する操作入力情報を取得することができる。そして、その操作入力内容に応じて、カーネルのサービスやＯＳのサービス、各種アプリケーションプログラムによる処理を実行させることが可能である。

２１２は、アプリケーション制御回路２１０が直接アクセスして読み書きを行うメモリである。２１４は、アプリケーション制御回路２１０の動作用の定数、変数、プログラム等を記憶し、電気的に消去・記録可能な不揮発性メモリであり、例えばフラッシュメモリ等が用いられる。２１６は識別情報メモリであり、アプリケーションプログラム制御モジュール２００がスマートデバイス５０の本体及び各モジュールと通信を行う際に必要な各種識別情報が格納されている。２２０は、アプリケーションプログラム制御モジュール２００の各部に必要な所定の電圧・電流を供給する電源制御回路である。２２２は、アプリケーションプログラム制御モジュール２００の所定箇所の温度を計測するための単数或いは複数の温度センサである。２３０はインターフェース回路であり、モジュール側ＣＭＣ２４０ａを介して、スマートデバイス５０の本体及び各モジュールとのデータやメッセージの高速な通信を中継する。

２９０は、各専用アプリケーションプログラムを実行する上で必要となる複数の管理ファイルの情報を記憶した管理テーブルである。管理ファイルの情報には、各専用アプリケーションプログラムを実行する際に不可欠なモジュールの種類や、所望の機能を最大限に活用できる該当モジュールの組み合わせや、該当モジュールを装着するのに最適な各スロットの位置関係などが含まれる。また本実施例は、管理ファイルの情報として、各専用アプリケーションプログラムに必須ではないものの、機能追加に有効なモジュールの種類などを含んでおり、ユーザに多くの選択肢を提供することで利便性を高めている。こうした管理ファイルの情報は、アプリケーション制御回路２１０が、管理テーブル２９０から取得する。尚、本発明はこの構成に限定されるものではなく、管理ファイルの情報はメモリ２１２や不揮発性メモリ２１４に記憶させても良い。この場合の管理ファイルの情報は、アプリケーション制御回路２１０が、メモリ２１２や不揮発性メモリ２１４から取得することになる。

＜表示操作モジュール３００の構成＞
表示操作モジュール３００は、アプリケーションプログラム制御モジュール２００による統括制御の下で、スマートデバイス５０の本体の制御により、各種情報の表示、操作入力の取得を行う。表示操作モジュール３００において、３１０は表示操作モジュール３００全体を制御する表示操作制御回路である。表示操作モジュール３００の表示部としては、ＬＣＤ、ＯＬＥＤ、ＬＥＤ等の表示デバイスを採用することができるが、本実施例はＬＣＤパネル３１２を採用している。表示操作モジュール３００の操作入力手段としては、タッチパネル（ＴＰ）、操作ボタン等の操作デバイスを独立して構成しても一体として構成してもよいが、本実施例では、独立して構成されるＴＰ／ボタン３１４を採用している。

ＬＣＤパネル３１２は、アプリケーションプログラム制御モジュール２００のアプリケーション制御回路２１０の指示に応じて、表示操作制御回路３１０によりユーザに対する各種情報の表示を行う。また、ＴＰ／ボタン３１４へのユーザによるタッチパネル操作やボタン操作等の入力操作と、マイク３１８が検出した音声信号とは、表示操作制御回路３１０を介して、アプリケーション制御回路２１０に伝達される。

３１６は識別情報メモリで、表示操作モジュール３００がスマートデバイス５０の本体及び各モジュールと通信を行う際に必要な各種識別情報が格納されている。３２０は、表示操作モジュール３００の各部に必要な所定の電圧・電流を供給する電源制御回路である。３２２は、表示操作モジュール３００の所定箇所の温度を計測するための単数或いは複数の温度センサである。３３０はインターフェース回路であり、モジュール側ＣＭＣ３４０を介して、スマートデバイス５０の本体及び各モジュールとのデータやメッセージの高速な通信を中継する。

＜電源モジュール４００の構成＞
電源モジュール４００は、アプリケーションプログラム制御モジュール２００による統括制御の下で、スマートデバイス５０の本体の電源バス１２２を介して電池４２０の放電・充電を行う。電源モジュール４００において、４１０は電池４２０の放電・充電制御を含め、電源モジュール４００全体を制御する電池制御回路であり、電源モジュール４００の各部に必要な所定の電圧・電流を供給する。４１６は識別情報メモリであり、電源モジュール４００がスマートデバイス５０の本体及び各モジュールと通信を行う際に必要な各種識別情報が格納されている。

電池４２０には、Ｌｉ−ｉｏｎ電池、燃料電池等が該当する。電池４２０は、電池制御回路４１０によりコネクタ４８０を介して、スマートデバイス５０の本体及び各モジュールに対して放電すると共に、スマートデバイス５０の本体及び不図示の充電モジュールから充電される。４２２は、電源モジュール４００の所定箇所の温度を計測するための単数或いは複数の温度センサである。４３０はインターフェース回路であり、モジュール側ＣＭＣ４４０ａを介して、スマートデバイス５０の本体及び各モジュールとのデータやメッセージの高速な通信を中継する。

＜撮像モジュール５００の構成＞
撮像モジュール５００は、アプリケーションプログラム制御モジュール２００による統括制御の下で、スマートデバイス５０の本体によって制御され、所望の撮像処理を行うモジュールとしての撮像装置である。撮像モジュール５００において５１０は、光軸上に光学レンズを複数配置したカメラである。更にカメラ５１０は、通過する光量を調節する絞り機構と、光軸方向に少なくとも一枚の光学レンズを移動させて焦点調節を行うＡＦ機構と、これらの構成部品を内部に収納するレンズ鏡筒とで構成されている。またカメラ５１０は、光電変換により画像データを得る撮像センサと、画像データを処理する画像処理回路と、各機構を制御する駆動制御回路とを備える。

カメラ５１０は、絞りやシャッター速度や撮像センサの感度を最適に設定する自動露出調節（ＡＥ）、被写体距離に応じた自動焦点調節（ＡＦ）、色温度を調節して適正な色調を再現する自動ホワイトバランス（ＡＷＢ）などの制御を実現する。他にも本実施例は、姿勢検知モジュール８００で取得した角速度情報から手ブレを算出し、撮像センサ上で切り出した露光範囲を追従させることで、簡易的に手ブレ補正（ＩＳ）を行うことが可能である。尚、本発明はこうした撮像装置の一般的な制御方法を限定するものではなく、またこれらは既に先行技術文献等により公知であるため、詳細な個別の説明は省略する。

カメラ５１０への指示は、アプリケーション制御回路２１０で実行されるアプリケーションプログラムや、表示操作モジュール３００のＴＰ／ボタン３１４に対する入力に応じて行われる。カメラ５１０により取得した画像データは、アプリケーション制御回路２１０が、スマートデバイス５０の本体と表示操作モジュール３００とを制御することで、ＬＣＤパネル３１２に表示可能となる。

５１６は識別情報メモリで、撮像モジュール５００がスマートデバイス５０の本体及び各モジュールと通信を行う際に必要な各種識別情報が格納されている。５２０は、撮像モジュール５００の各部に必要な所定の電圧・電流を供給する電源制御回路である。

５２２は、カメラ５１０の動作用の定数、変数、構成部品の位置情報、光軸の誤差情報、レンズの誤差情報等を記憶し、電気的に消去・記録可能な不揮発性メモリであり、例えばフラッシュメモリ等が用いられる。ここでいう構成部品の位置情報には、撮像モジュール５００の外形から見た光軸の座標情報が含まれている。前述のように、撮像モジュール５００は、スマートデバイス５０の本体に対してその外形を突き当てることで位置が決定される。尚、本実施例は撮像モジュール５００の位置決めを、スマートデバイス５０の本体のリブ１０１ａ〜ｈとスパイン１０２への突き当てにより行っているが、本発明はこれに限定されるものではない。例えば、スマートデバイス５０の本体に位置決め用の凸部を設け、撮像モジュール５００に凸部と嵌合する凹部を設けるなどしても良い。この場合、構成部品の位置情報には、凸部と嵌合する凹部から見た光軸の座標情報が含まれることになる。

また光軸の誤差情報には、詳しくは後述するが、例えば部品や組立の精度により製造誤差として生じる、カメラ５１０の光軸の傾きの誤差が含まれる。一方レンズの誤差情報には、例えば製造誤差として生じる焦点距離の誤差やＦ値の誤差、歪曲、光軸を回転中心とする撮像センサの角度誤差などが含まれる。こうした製造誤差に関する情報を不揮発性メモリ５２２に記憶させることで、アプリケーション制御回路２１０の処理においてこれらの誤差を補正することが可能となる。ひいては、後述する複眼カメラの機能を利用する際に画像の合成機能や測定機能の精度を高めることができる。

５３０はインターフェース回路であり、モジュール側ＣＭＣ５４０を介して、スマートデバイス５０の本体及び各モジュールとのデータやメッセージの高速な通信を中継する。

＜撮像モジュール６００の構成＞
撮像モジュール６００は、アプリケーションプログラム制御モジュール２００による統括制御の下で、スマートデバイス５０の本体によって制御され、所望の撮像処理を行うモジュールとしての撮像装置である。撮像モジュール６００において６１０は、光軸上に光学レンズを複数配置したカメラである。更にカメラ６１０は、通過する光量を調節する絞り機構と、光軸方向に少なくとも一枚の光学レンズを移動させて焦点調節を行うＡＦ機構と、これらの構成部品を内部に収納するレンズ鏡筒とで構成されている。またカメラ６１０は、光電変換により画像データを得る撮像センサと、画像データを処理する画像処理回路と、各機構を制御する駆動制御回路とを備える。こうしたカメラ６１０の構成部品は、前述のカメラ５１０と同様である。しかしながら、撮像モジュール６００におけるカメラ６１０の配置や形状は、撮像モジュール５００におけるカメラ５１０の配置や形状とは異なっている。

カメラ６１０は、カメラ５１０と同様の制御を実現する。具体的には、絞りやシャッター速度や撮像センサの感度を最適に設定する自動露出調節（ＡＥ）、被写体距離に応じた自動焦点調節（ＡＦ）、色温度を調節して適正な色調を再現する自動ホワイトバランス（ＡＷＢ）などの制御を実現する。他にも本実施例は、姿勢検知モジュール８００で取得した角速度情報から手ブレを算出し、撮像センサ上で切り出した露光範囲を追従させることで、簡易的に手ブレ補正（ＩＳ）を行うことが可能である。尚、本発明はこうした撮像装置の一般的な制御方法を限定するものではなく、またこれらは既に先行技術文献等により公知であるため、詳細な個別の説明は省略する。

カメラ６１０への指示は、アプリケーション制御回路２１０で実行されるアプリケーションプログラムや、表示操作モジュール３００のＴＰ／ボタン３１４に対する入力に応じて行われる。カメラ６１０により取得した画像データは、アプリケーション制御回路２１０が、スマートデバイス５０の本体と表示操作モジュール３００とを制御することで、ＬＣＤパネル３１２に表示可能となる。

６１６は識別情報メモリで、撮像モジュール６００がスマートデバイス５０の本体及び各モジュールと通信を行う際に必要な各種識別情報が格納されている。６２０は、撮像モジュール６００の各部に必要な所定の電圧・電流を供給する電源制御回路である。

６２２は、カメラ６１０の動作用の定数、変数、構成部品の位置情報、光軸の誤差情報、レンズの誤差情報等を記憶し、電気的に消去・記録可能な不揮発性メモリであり、例えばフラッシュメモリ等が用いられる。ここでいう構成部品の位置情報には、撮像モジュール６００の外形から見た光軸の座標情報が含まれている。前述のように、撮像モジュール６００は、スマートデバイス５０の本体に対してその外形を突き当てることで位置が決定される。尚、本実施例は撮像モジュール６００の位置決めを、スマートデバイス５０の本体のリブ１０１ａ〜ｈとスパイン１０２への突き当てにより行っているが、本発明はこれに限定されるものではない。例えば、スマートデバイス５０の本体に位置決め用の凸部を設け、撮像モジュール６００に凸部と嵌合する凹部を設けるなどしても良い。この場合、構成部品の位置情報には、凸部と嵌合する凹部から見た光軸の座標情報が含まれることになる。

また光軸の誤差情報には、詳しくは後述するが、例えば部品や組立の精度により製造誤差として生じる、カメラ６１０の光軸の傾きの誤差が含まれる。一方レンズの誤差情報には、例えば製造誤差として生じる焦点距離の誤差やＦ値の誤差、歪曲、光軸を回転中心とする撮像センサの角度誤差などが含まれる。こうした製造誤差に関する情報を不揮発性メモリ６２２に記憶させることで、アプリケーション制御回路２１０の処理においてこれらの誤差を補正することが可能となる。ひいては、後述する複眼カメラの機能を利用する際に画像の合成機能や測定機能の精度を高めることができる。

６３０はインターフェース回路であり、モジュール側ＣＭＣ６４０を介して、スマートデバイス５０の本体及び各モジュールとのデータやメッセージの高速な通信を中継する。

＜姿勢検知モジュール８００の構成＞
姿勢検知モジュール８００は、アプリケーションプログラム制御モジュール２００による統括制御の下で、スマートデバイス５０の本体によって制御され、スマートデバイス５０の姿勢を検知する。姿勢検知モジュール８００において、８１０は３軸のジャイロセンサから角速度情報を取得するジャイロセンサである。８１６は識別情報メモリであり、姿勢検知モジュール８００がスマートデバイス５０の本体及び各モジュールと通信を行う際に必要な各種識別情報が格納されている。８２０は、姿勢検知モジュール８００の各部に必要な所定の電圧・電流を供給する電源制御回路である。８２２は、姿勢検知モジュール８００の所定箇所の温度を計測するための単数或いは複数の温度センサである。

８３０はインターフェース回路であり、モジュール側ＣＭＣ８４０を介して、スマートデバイス５０の本体及び各モジュールとのデータやメッセージの高速な通信を中継する。インターフェース回路８３０は、ジャイロセンサ８１０で取得した角速度情報を、スマートデバイス５０の本体に送信する。そこから更に、スマートデバイス５０の本体は、アプリケーションプログラム制御モジュール２００にデータを高速で転送する。こうして、姿勢検知モジュール８００の角速度情報は、表示操作モジュール３００における表示方向の切り替えや、撮像モジュール５００，６００に対する手ブレ補正などに用いられる。

＜アプリケーションプログラム制御モジュール２００の動作説明＞
図６は、アプリケーションプログラム制御モジュール２００により実行される、複数のモジュールが装着されたスマートデバイス５０の動作制御処理の手順を示すフローチャートである。

図６の処理は、アプリケーションプログラム制御モジュール２００とスマートデバイス５０の本体と表示操作モジュール３００とが低消費電力状態であって、表示操作モジュール３００の電源ボタン３１４ａへのユーザ操作があったときに開始する。

かかるユーザ操作があると、表示操作制御回路３１０は、アプリケーション制御回路２１０へ向けてスリープ解除を示す起動（Ｗａｋｅ）信号を送信する。アプリケーション制御回路２１０は、表示操作制御回路３１０からの起動（Ｗａｋｅ）信号を受信すると、ステップＳ１１００において初期設定を実行する。また本実施例は、スマートデバイス５０の本体に装着される全てのモジュールのコネクタ部に検出（Ｄｅｔｅｃｔ）信号の端子が設けられている。これにより、例えば空いているスロットに対して新たなモジュールを装着した際も同様に、検出（Ｄｅｔｅｃｔ）信号が送信されてステップＳ１１００に移行する。

ステップＳ１１００において、アプリケーション制御回路２１０は、所定のフラグや制御変数等をリセットして初期化すると共に、アプリケーションプログラム制御モジュール２００の各部の初期化を行う。続いて、アプリケーション制御回路２１０は、不揮発性メモリ２１４から読み出したソフトウェアプログラムを実行して、カーネル起動とＯＳ起動を順次行う。その後、インターフェース回路２３０、モジュール側ＣＭＣ２４０ａ、本体側ＣＭＣ１４２ａ、スイッチインターフェース回路１３０を介して、スマートデバイス５０の本体のシステム制御回路１１０との通信の初期化を行う。システム制御回路１１０の初期化によってスマートデバイス５０の本体に装着される全てのモジュールは動作可能な状態となる。これにより、例えば表示操作モジュール３００において、表示操作制御回路３１０は、表示部であるＬＣＤパネル３１２に所定の起動画面を表示させる。そして表示操作モジュール３００は、操作入力手段であるＴＰ／ボタン３１４に対するユーザの入力指示が可能な状態に至る。

ステップＳ１１００を終えると、ステップＳ１１０１に進み、アプリケーション制御回路２１０は、ステップＳ１１０１において終了メッセージを受信したか否かを判断する。この終了メッセージは、表示操作制御回路３１０において以下のような形でアプリケーション制御回路２１０に送信される。まず、表示部であるＬＣＤパネル３１２に終了ボタンを表示すると共に、この終了ボタンをＴＰ／ボタン３１４でユーザ選択できる状態とする。その後、この終了ボタンがユーザ選択されたとき、表示操作制御回路３１０は、アプリケーション制御回路２１０に終了メッセージを送信する。

ステップＳ１１０１で終了メッセージを受信したと判断した場合、ステップＳ１１２０に進む。ステップＳ１１２０で、アプリケーション制御回路２１０は終了処理を行なう。具体的には、アプリケーション制御回路２１０は、システム制御回路１１０に終了メッセージを送信した後、フラグや制御変数等を必要に応じて不揮発性メモリ２１４に退避する。それと共に、ＯＳ及びカーネルを低消費電力で動作する動作終了状態に移行する。そして、電源制御回路２２０を介したアプリケーションプログラム制御モジュール２００とスマートデバイス５０の本体と表示操作モジュール３００とへの電力供給を、低消費電力の設定に変更する。システム制御回路１１０は、終了メッセージを受信すると、アプリケーションプログラム制御モジュール２００とスマートデバイス５０の本体、表示操作モジュール３００以外のモジュールの全ての動作を停止する処理を行う。

ステップＳ１１２０の終了処理を終えた後、アプリケーション制御回路２１０は、本処理を終了し、所謂電源ＯＦＦの状態に至る。

ステップＳ１１０１で、終了メッセージを受信しなかった場合、ステップＳ１１０２に進む。ステップＳ１１０２において、アプリケーション制御回路２１０は、表示操作モジュール３００の表示操作制御回路３１０からスリープ状態に移行するスリープメッセージを受信したかどうかを判断する。このスリープメッセージは、表示操作制御回路３１０において以下のような形でアプリケーション制御回路２１０に送信される。まず、表示部であるＬＣＤパネル３１２にスリープボタンを表示すると共に、このスリープボタンをＴＰ／ボタン３１４でユーザ選択できる状態とする。その後、このスリープボタンがユーザ選択されたとき、表示操作制御回路３１０は、アプリケーション制御回路２１０にスリープ状態に移行するスリープメッセージを送信する。

ステップＳ１１０２で、スリープ状態に移行するスリープメッセージを受信したと判断した場合、ステップＳ１１０３に進む。ステップＳ１１０３において、アプリケーション制御回路２１０はスリープ処理を行なう。具体的には、アプリケーション制御回路２１０は、システム制御回路１１０にスリープメッセージを送信した後、フラグや制御変数等を必要に応じて不揮発性メモリ２１４に退避する。それと共に、ＯＳ及びカーネルを低消費電力で動作するスリープ動作状態に移行する。そしてシステム制御回路１１０は、スリープメッセージを受信すると、スマートデバイス５０の全てのモジュールの動作をスリープ状態に移行する処理を行った後、ステップＳ１１０４に進む。

尚、ステップＳ１１００で初期設定がされると、表示操作モジュール３００のＬＣＤパネル３１２には、上述した終了ボタン、スリープボタンの他、後述するリリースボタン、アプリ実行ボタンが表示される。これらのボタンのいずれもＬＣＤパネル３１２に表示されてから所定時間が経過するまでにユーザ選択されない場合がある。また、本処理の開始時に表示操作モジュール３００の電源ボタン３１４ａへのユーザ操作があった後、表示操作制御回路３１０から送信される起動（Ｗａｋｅ）信号が所定の時間を経過しても受信されない場合がある。このような場合、スリープメッセージを受信したのと同じようにステップＳ１１０３に進む。更に、ステップＳ１１０２において、アプリケーション制御回路２１０は、後述する処理による入力指示や起動（Ｗａｋｅ）信号が最後に受信されたタイミングから経過した時間を積算する。この積算した時間を所定値と比較した結果、積算時間のほうが長ければスリープ状態に移行する。その後のスリープ処理については、前述した通りである。

ステップＳ１１０４において、アプリケーション制御回路２１０は、コネクタ２８０を介して、各モジュールから送信される起動（Ｗａｋｅ）信号を受信したかどうか判断する。ステップＳ１１０４で起動（Ｗａｋｅ）信号を受信しなかったならば、起動（Ｗａｋｅ）信号を受信するまでスリープ動作状態を継続する。ここで、本実施例におけるスリープ動作状態とは、前述した電源ＯＦＦの状態とは異なる。例えば、移動体通信モジュール９００が移動体通信の規格に準じた呼び出し信号を受信した際、アプリケーション制御回路２１０は、直ちにスマートデバイス５０をスリープ動作状態から所定のアプリ実行状態へと移行させる。尚、こうした移動体無線通信システムの一般的な制御については、既に公知であるため詳しい説明を省略する。

ステップＳ１１０４で起動（Ｗａｋｅ）信号を受信したならば、ステップＳ１１０５に進む。ステップＳ１１０５において、アプリケーション制御回路２１０は、フラグや制御変数等を必要に応じて不揮発性メモリ２１４から戻す。それと共に、ＯＳ及びカーネルを通常消費電力で動作する通常動作状態に移行し、電源制御回路２２０を介したスマートデバイス５０の全てのモジュールへの電力供給を通常消費電力の設定に変更する復帰処理を行う。更にステップＳ１１０５において、アプリケーション制御回路２１０は、スマートデバイス５０の本体のシステム制御回路１１０との通信の復帰処理を行う。このときシステム制御回路１１０は、アプリケーション制御回路２１０以外の全てのモジュールに対して復帰処理を行い、スマートデバイス５０を通常動作状態に移行させて、ステップＳ１１０１に戻る。

ステップＳ１１０２でスリープ状態に移行するスリープメッセージを受信しなかった場合、ステップＳ１１０６に進む。ステップＳ１１０６において、アプリケーション制御回路２１０は、表示操作モジュール３００の表示操作制御回路３１０からリリースメッセージを受信したかどうかを判断する。このリリースメッセージは、表示操作制御回路３１０において以下のような形でアプリケーション制御回路２１０に送信される。まず、表示操作制御回路３１０は、表示部であるＬＣＤパネル３１２にリリースボタンを表示すると共に、このリリースボタンをＴＰ／ボタン３１４でユーザ選択できる状態とする。その後、このリリースボタンがユーザ選択され、更にどのモジュールの取り外しを行うかのユーザ指示が入力された場合、表示操作制御回路３１０は、アプリケーション制御回路２１０にリリース状態に移行するリリースメッセージを送信する。

ステップＳ１１０６でリリース状態に移行するリリースメッセージを受信したと判断した場合、ステップＳ１１０７に進む。ステップＳ１１０７において、アプリケーション制御回路２１０は、ユーザが取り外しを意図するモジュールに対して、正常に機能を終了させてＥＰＭを解放するためのリリース処理を実行する。リリース処理の詳細は、図７を用いて後述する。ステップＳ１１０７を終了すると、ステップＳ１１０１に戻る。

ステップＳ１１０６で、リリース状態に移行するリリースメッセージを受信しなかった場合、ステップＳ１１０８に進む。ステップＳ１１０８において、アプリケーション制御回路２１０は、各モジュールの検出（Ｄｅｔｅｃｔ）信号を受信したかどうかを判断する。ここで検出（Ｄｅｔｅｃｔ）信号とは、スマートデバイス５０の本体に対して新たにモジュールが装着されたことを検出する信号である。また、この検出信号は、その新たに装着されたモジュールからシステム制御回路１１０を介してアプリケーション制御回路２１０に送信される電気信号のことである。

ステップＳ１１０８で検出（Ｄｅｔｅｃｔ）信号を受信したならば、ステップＳ１１０９に進む。ステップＳ１１０９において、アプリケーション制御回路２１０は、スマートデバイス５０の本体に挿入された該当モジュールを固定し適切に機能させるためのモジュール設定処理を実行する。モジュール設定処理の詳細は、図８を用いて後述する。ステップＳ１１０９を終了すると、ステップＳ１１０１に戻る。

ステップＳ１１０８で検出（Ｄｅｔｅｃｔ）信号を受信しなかったと判断した場合、ステップＳ１１１０に進む。ステップＳ１１１０において、アプリケーション制御回路２１０は、表示操作モジュール３００の表示操作制御回路３１０から、アプリケーションプログラム関係メッセージを受信したかどうかを判断する。このアプリケーションプログラム関係メッセージは、表示操作制御回路３１０において以下のような形でアプリケーション制御回路２１０に送信される。まず、表示操作制御回路３１０は、表示部であるＬＣＤパネル３１２にアプリ実行ボタンを表示すると共に、このアプリ実行ボタンをＴＰ／ボタン３１４でユーザ選択できる状態とする。その後、このアプリ実行ボタンがユーザ選択され、更にどのアプリケーションプログラムを実行するかユーザ入力された場合、表示操作制御回路３１０は、アプリケーション制御回路２１０にアプリケーションプログラム関係メッセージを送信する。

ステップＳ１１１０でアプリケーションプログラム関係メッセージを受信したと判断した場合、ステップＳ１１１１に進み、アプリケーション制御回路２１０は、ステップＳ１１１１でアプリケーションプログラム実行処理を実行する。本実施例で想定されるアプリケーションプログラムには、各モジュールの組み合わせによって実現され得る様々な機能が含まれる。例えば、移動体通信モジュール９００と表示操作モジュール３００の組み合わせにより通話機能が可能となり、無線ＬＡＮモジュール７００と表示操作モジュール３００の組み合わせによりインターネット接続を介したウェブ閲覧が可能となる。また例えば、撮像モジュール５００のみによって一般的な撮影機能が実現され、そこへ撮像モジュール６００を組み合わせることによって複眼カメラの機能である画像の合成機能や測定機能が実現される。こうしたアプリケーションプログラムの一例である撮影アプリケーション実行処理の詳細は、図９を用いて後述する。ステップＳ１１１１を終了すると、ステップＳ１１０１に戻る。

ステップＳ１１１０でアプリケーションプログラム関係メッセージを受信しなかったと判断した場合、ステップＳ１１０１に戻る。

図７は、図６のステップＳ１１０７のリリース処理の詳細な手順を示すフローチャートである。

図７において、まずステップＳ１２０１で、アプリケーション制御回路２１０は、システム制御回路１１０にユーザにより取り外し指示を受けたモジュール（以下「リリース対象モジュール」という）の機能の終了を指示するメッセージを送信する。次にステップＳ１２０２に進み、アプリケーション制御回路２１０は、システム制御回路１１０から送信される、リリース対象モジュールのモジュール情報が更新されていることを通知する情報更新メッセージを受信したかどうかを判断する。

ステップＳ１２０２で情報更新メッセージを受信しなかったと判断した場合、アプリケーション制御回路２１０は、ステップＳ１２０３で所定のエラー処理を行う。その後、ステップＳ１２０５においてＥＰＭを制御することにより、リリース対象モジュールのロック状態を解除して本処理を終了する。ステップＳ１２０３のエラー処理では、表示操作モジュール３００などにエラー内容を表示してユーザに通知しても良い。

ステップＳ１２０２で情報更新メッセージを受信したと判断した場合、ステップＳ１２０４に進む。ステップＳ１２０４において、アプリケーション制御回路２１０は、受信した情報更新メッセージの内容に応じて、ＯＳ及びカーネルが管理する不揮発性メモリ２１４及びメモリ２１２の所定領域に格納された管理情報を更新する。ここでいう管理情報とは、モジュール管理情報、ＥＰＭ制御管理情報、ＲＦバス構成管理情報を含む。その後、ステップＳ１２１５においてＥＰＭを制御することにより、リリース対象モジュールのロック状態を解除して本処理を終了する。

図８は、図６のステップＳ１１０９の装着処理の詳細な手順を示すフローチャートである。

図８において、まずステップＳ１３０１で、アプリケーション制御回路２１０は、システム制御回路１１０と共にメッセージ通信のコネクションセットアップを行い、システム制御回路１１０とのネットワークリンクを確立する。次にステップＳ１３０２に進み、アプリケーション制御回路２１０は、システム制御回路１１０を介してスマートデバイス５０の本体に装着されたモジュール（以下「装着モジュール」という）から初期化などのモジュール情報を取得する。更にステップＳ１３０３に進み、アプリケーション制御回路２１０は、ステップＳ１３０２で取得したモジュール情報が、スマートデバイス５０において問題の無い内容かどうかを検証する。例えば、安定した通信が可能か、既に装着されている電源モジュール４００の電圧で動作可能か、またその他にも、スマートデバイス５０に個別で設定されている規格がある場合にはそれを満足しているか等が検証される。

ステップＳ１３０３で検証した結果に問題があれば、アプリケーション制御回路２１０は、ステップＳ１３０４で所定のエラー処理を行った後、装着モジュールに対して本処理を終了する。エラー処理では、表示操作モジュール３００などにエラー内容などを表示してユーザに通知しても良い。

一方、ステップＳ１３０３で検証した結果に問題が無ければ、装着モジュールが正常であると判断し、ステップＳ１３０５に進む。ステップＳ１３０５において、アプリケーション制御回路２１０は、初期化を行う装着モジュールのモジュール情報に基づき、不揮発性メモリ２１４及びメモリ２１２の所定領域に格納された管理情報を更新する。ここでいう管理情報とは、モジュール管理情報、ＥＰＭ制御管理情報、ＲＦバス構成管理情報を含む。

次にステップＳ１３０６において、アプリケーション制御回路２１０は、システム制御回路１１０に初期化を行う装着モジュールのＥＰＭロック指示メッセージを送信する。これにより、スマートデバイス５０の本体と初期化を行う装着モジュールとが、ＥＰＭにより固定されてロック状態となる。

続いて、ステップＳ１３０７でアプリケーション制御回路２１０は、システム制御回路１１０に向けて通信開始指示メッセージを送信し、一連の初期化処理を行った装着モジュールとのメッセージ通信が可能になったことを通知する。その後、ステップＳ１３０８において、状態変化フラグをＯＮに切り替えて、本処理を終了する。ここでいう状態変化フラグとは、各モジュールに割り付けられて不揮発性メモリ２１４に保持されるフラグであり、各モジュールの状態変化の有無によりＯＮとＯＦＦとが切り替えられる再処理フラグである。状態変化フラグがＯＮとなるのは、各モジュールの状態変化フラグがＯＦＦの状態において、スマートデバイス５０の本体に装着された各モジュールの状態が変化した時である。尚、状態の変化としては、各モジュールの装着の他に、外部からの衝撃、電池残量の変化、故障、性能の劣化などが含まれる。また、スマートデバイス５０の本体にある温度センサ１１８により計測された温度変化が一定の閾値を超えた場合や、図５において不図示の湿度センサにより計測された湿度変化が一定の閾値を超えた場合は、すべてのモジュールの状態変化フラグがＯＮとなる。

本処理の結果、装着モジュールが正常であり（ステップＳ１３０３でＹＥＳ）、更に装着モジュールがロック状態となったときに（ステップＳ１３０６）、装着モジュールの機能がスマートデバイス５０において利用可能な状態となる。

尚、本発明の装着処理は図８に示す手順に限定されるわけでない。例えば、各通信を安定させるため、ＥＰＭによる装着モジュールのロックをステップＳ１３０１の前に行っても良く、その場合はステップＳ１３０４の後にロック解除を行うことになる。

図９は、図６のステップＳ１１１１のアプリケーションプログラム実行処理の一例である撮影アプリケーション実行処理の詳細な手順を示すフローチャートである。

図９において、まずステップＳ１４０１で表示操作モジュール３００の操作入力により撮影アプリケーションを立ち上げると、アプリケーション制御回路２１０は、管理テーブル２９０から撮影アプリケーションの管理ファイルの情報を取得する。この情報には、撮影アプリケーションを実行するのに不可欠なモジュールの種類や、撮影機能を最大限に活用できる該当モジュールの組み合わせや、該当モジュールを装着するのに最適な各スロットの位置関係が含まれる。

次にステップＳ１４０２に進み、アプリケーション制御回路２１０は、システム制御回路１１０を介して各モジュールからモジュール情報を取得する。そしてステップＳ１４０３において、撮像アプリケーションの管理ファイルの情報に基づき、必要なモジュールが装着されているか、その組み合わせに問題がないか等を検証する。

ステップＳ１４０３で検証した結果に問題があれば、アプリケーション制御回路２１０は、ステップＳ１４０４で所定のエラー処理を行った後、本撮影アプリケーション実行処理を終了する。エラー処理では、表示操作モジュール３００などにエラー内容などを表示してユーザに通知しても良い。例えば、ステップＳ１４０２の時点でいずれのスロットにも撮像モジュールが装着されておらず、撮像アプリケーションを実行できない場合は、ステップＳ１４０４のエラー処理においてエラー内容を通知し、本撮影アプリケーション実行処理を終了する。またその他に、装着された撮像モジュール５００に手ブレ補正（ＩＳ）の機能が備わっているにも関わらず、例えば姿勢検知モジュール８００が装着されていないために手ブレを検知できない場合がある。この場合は、ステップＳ１４０４のエラー処理において撮影機能の一部を制限する。この場合は、本撮影アプリケーション実行処理を終了する必要はなく、エラー内容の通知に対してユーザの操作入力等があれば、状況に応じてステップＳ１４０５の撮影実行処理に移行しても良い。

ステップＳ１４０３で検証した結果に問題が無ければ、ステップＳ１４０５に進んで撮影実行処理を行う。その後、アプリケーション制御回路２１０は、撮像アプリケーションに必要な各モジュールの動作を停止し、本処理を終了する。撮影実行処理の詳細は、図１０を用いて後述する。

図１０は、図９のステップＳ１４０５において実行される撮影実行処理の手順を示すフローチャートである。

図１０のステップＳ１５０１で、アプリケーション制御回路２１０は、モジュール起動指示のメッセージをシステム制御回路１１０に送信する。システム制御回路１１０を介してこの撮像モジュール起動指示のメッセージを受信すると、装着されている撮像モジュール（本実施例では、撮像モジュール５００，６００）はリセット動作を行って撮影準備を完了させる。

次にステップＳ１５０２において、図９のステップＳ１４０２で取得したモジュール情報から、アプリケーション制御回路２１０は、撮像モジュールが複数装着されているかどうかを判断する。撮像モジュールが一つのみであった場合はステップＳ１５０３に進む。例えば撮像モジュール５００のみが装着されている場合、アプリケーション制御回路２１０が、そのカメラ５１０を利用して単眼モードの一般的な撮影を実行し、ステップＳ１５０９に進む。ここでいう一般的な撮影とは、自動露出（ＡＥ）、自動焦点調節（ＡＦ）、自動ホワイトバランス（ＡＷＢ）、手ブレ補正（ＩＳ）等の制御を行いつつ、撮像センサから所望の画像データを取得することである。尚、本発明はこうした一般的な撮影の内容を限定するものではなく、またこれらは既に先行技術文献等により公知であるため、詳細な説明は省略する。

ステップＳ１５０２で、撮像モジュールが複数装着されていると判断した場合は、ステップＳ１５０４に進む。ステップＳ１５０４において、アプリケーション制御回路２１０は、装着されている各撮像モジュールの状態が変化したかどうかを検知するため、状態変化フラグがＯＮとなっているかどうかを判断する。このとき、状態変化フラグが全てＯＦＦであればステップＳ１５０８に進む。このとき、例えば撮像モジュール５００，６００が装着されている場合、アプリケーション制御回路２１０が、そのカメラ５１０，６１０を介して複眼モードの撮影を実行した後、本処理を終了する。前述のように、複眼カメラの機能には、画像の合成機能や測定機能が含まれる。

ステップＳ１５０４の判断の結果、装着されている撮像モジュール（例えば撮像モジュール５００，６００）のいずれかの状態変化フラグがＯＮとなっていた場合、ステップＳ１５０５に進む。かかる場合、そのカメラ５１０，６１０において、温度、湿度等の環境条件における変化や、外部からの衝撃による内部部品の状態変化が発生している可能性があるからである。さらには、カメラ５１０，６１０の画像合成機能や測距機能などの測定精度の劣化が懸念される。

ステップＳ１５０５において、アプリケーション制御回路２１０は、カメラ５１０，６１０のキャリブレーションを行うために、合焦位置最適化処理を行う。ステップＳ１５０５の合焦位置最適化処理の詳細については図１１で後述する。

続いてステップＳ１５０６において、アプリケーション制御回路２１０は、ステップＳ１５０５の合焦位置最適化処理で行われたカメラ５１０，６１０のキャリブレーション結果に基づき、管理情報を更新する。ここでいう管理情報とは、ステップＳ１５０５で新たに得たキャリブレーション結果以外に、モジュール管理情報、ＥＰＭ制御管理情報、ＲＦバス構成管理情報を含む。尚、この管理情報は、不揮発性メモリ２１４及びメモリ２１２の所定領域に格納される。

その後、ステップＳ１５０７へ進み、アプリケーション制御回路２１０はステップＳ１５０４でＯＮとなっていると判断された状態変化フラグをＯＦＦに切り替える。ここで状態変化フラグがＯＮとなるタイミングとは、例えば図８の装着処理におけるステップＳ１３０８で新たなモジュールをスマートデバイス５０の本体に対して装着した時である。一方、状態変化フラグがＯＦＦとなるタイミングとは、例えば、ステップＳ１５０７のように、管理ファイルを最新の状態に更新した直後である。このように、適切なタイミングで状態変化フラグのＯＮとＯＦＦとを切り替えることにより、本実施例ではモジュールの状態変化が常に管理される。

続いてステップＳ１５０８に進み、アプリケーション制御回路２１０が、例えばカメラ５１０，６１０を複眼カメラとして利用して複眼モードの撮影を実行した後、本処理を終了する。前述のように複眼カメラの機能には、画像の合成機能や測定機能が含まれる。

最後にステップＳ１５０９で、アプリケーション制御回路２１０は、撮像モジュール終了指示のメッセージをシステム制御回路１１０に送信し、本処理を終了する。システム制御回路１１０はこの撮像モジュール終了指示のメッセージを受信すると、電源制御回路２２０を介して撮像モジュール５００，６００への電源供給を、低消費電力の設定に変更する。

図１１は、図１０のステップＳ１５０５において行われる本実施例にかかる複数の撮像モジュールに対する合焦位置最適化処理の手順を示すフローチャートである。

図１１のステップＳ１６０１で、アプリケーション制御回路２１０によりキャリブレーション開始指示のメッセージをシステム制御回路１１０に送信する。システム制御回路１１０を介してこのキャリブレーション開始指示のメッセージを受信すると、装着されている撮像モジュール（本実施例では、撮像モジュール５００，６００）はそのカメラ５１０，６１０のキャリブレーション動作を開始する。

ステップＳ１６０２でカメラ５１０，６１０の視差情報を利用した位相差ＡＦによって撮影画面内所定位置の被写体に対する焦点検出を行う。位相差ＡＦについては公知の技術であるため、具体的な制御に関してはここでは省略するが、概略次のように動作する。即ち、カメラ５１０，６１０それぞれに撮像された画像の視差（視差情報）を元に、カメラ５１０，６１０間の基線長から三角測量によって奥行きを求めて被写体距離を計算し、焦点位置を検出する。尚、本発明でいう基線長とは、少なくとも２つの撮像モジュールの視差情報を処理する目的で用いられる変数であって、２つの光軸間の距離を示しているが、先行技術文献によっては位置ずれ量や視差といった表現で記載されるものである。カメラ５１０，６１０間の基線長の算出方法については図１３で後述する。

ステップＳ１６０３へ進み、アプリケーション制御回路２１０によって、位相差ＡＦによって焦点検出（合焦）されたかどうか判定する。位相差ＡＦによって焦点検出されなかった場合は、ステップＳ１６０２に戻り再度位相差ＡＦによって焦点検出動作を行う。

次に、後述する図１２の方法によりカメラ５１０，６１０の一方から選定されるメインカメラによってコントラストＡＦを実施する（ステップＳ１６０４）。これにより、ステップＳ１６０３で焦点検出された場合は位相差ＡＦによって検出された結果が適切か否かを判断する。コントラストＡＦは、被写体像を撮像するための撮像素子から出力された信号のレベルがピークに向かう方向に、カメラ内部のフォーカスレンズを移動させる。このような方式では、位相差ＡＦのように合焦に必要な焦点調節レンズの駆動方向、駆動量を直接検知することはできないため、合焦動作に時間がかかってしまうという欠点がある。しかし、撮像素子からの出力信号に基づいて合焦判定を行っているので、高精度に焦点検出を行うことが出来るという特長をもつ。

次に、ステップＳ１６０４のメインカメラによるコントラストＡＦの結果、撮像素子の出力信号から算出されるフォーカス評価値を取得し、ピーク位置を検出できるかどうか判定する（ステップＳ１６０５）。メインカメラの選定方法についての詳細は図１２において後述するが、基本的にはスマートデバイス５０の本体に対して撮像モジュール５００，６００の配置されている位置や向きから判断して最適な一方をメインカメラとして、もう一方をサブカメラとする。

ステップＳ１６０５において、メインカメラによるコントラストＡＦから被写体のピーク位置が検出できた場合はステップＳ１６０８へ進む。

一方、ステップＳ１６０５において、ピーク位置が検出できなかった（失敗した）場合には、アプリケーション制御回路２１０はメインカメラでは焦点検出できないと判断し、サブカメラによるコントラストＡＦを行う（ステップＳ１６０６）。そして、ステップＳ１６０７において、サブカメラがピーク位置を検出できたかどうか判定を行い、ピーク位置が検出できた場合は、ステップＳ１６０８へと進む。

ステップＳ１６０７において、サブカメラによるコントラストＡＦでもピーク位置を検出できなかった場合は、ステップＳ１６０４に戻り再度メインカメラによるコントラストＡＦを行い、ステップＳ１６０４〜Ｓ１６０７の動作を繰り返す。

ステップＳ１６０８において、位相差ＡＦによって検出された焦点位置と、メインカメラあるいはサブカメラで実行されたコントラストＡＦで検出したピーク位置との比較、すなわち測距情報の比較を行う。

ステップＳ１６０９において、アプリケーション制御回路２１０によって、測距情報の差があらかじめ設定された閾値を超えているかどうか判定する。測距情報の差が閾値を超えていなければ位相差ＡＦで検出された焦点検出位置は適切な位置であると判断して本処理を終了する（ステップＳ１６１０）。

一方、ステップＳ１６０９において測距情報の差が閾値を超えていた場合は、位相差ＡＦにより検出された焦点位置が適切ではないと判断してステップＳ１６１１に進み、アプリケーション制御回路２１０が補正テーブルを読み出す。この補正テーブルは予めアプリケーション制御回路２１０の不揮発性メモリ２１４に保持されるテーブルであり、位相差ＡＦによる被写体距離の計算結果を補正するための補正量が記載される。

ステップＳ１６１２において、補正テーブルから位相差ＡＦによる被写体距離の計算結果に対する補正量が読み出され、カメラ５１０，６１０のキャリブレーションを行い、本処理を終了する。

尚、図５に示すアプリケーションプログラム制御モジュール２００に設けられた管理テーブル２９０は、無線ＬＡＮモジュール７００等により、アプリケーションプログラムのアップデートがされた時点で情報を更新することができる。そのため、図５における管理テーブル２９０は、各モジュールの種類や実現できる機能、その他必要となる情報を適宜変更したり追加したりすることが可能である。

次に、前述したメインカメラ、サブカメラの選定方法についての説明を図１２（ａ）、（ｂ）を用いて行う。

図１２（ａ）はスマートデバイス５０の、表示操作モジュール３００側外観図、側面外観図、及び撮像モジュール５００，６００側外観図を示した図である。

図１２（ｂ）はスマートデバイス５０の本体に取り付けられた撮像モジュール５００，６００内の撮像センサの配置方向を示す図である。

図１２（ａ）に示すように、表示操作モジュール３００の長手方向の中心位置は中心線で示された位置である。表示操作モジュール３００の中心線とカメラ５１０，６１０の光軸中心位置を結ぶ距離は図のＬ５１、Ｌ６１で表示される。本実施例において、アプリケーション制御回路２１０は、例えば、表示操作モジュール３００の中心からカメラ光軸までの距離が近い方のカメラをメインカメラとして、もう一方のカメラをサブカメラとして設定する。Ｌ５１とＬ６１はＬ５１＞Ｌ６１であるため、カメラ６１０が表示操作モジュール３００に近く、この場合はカメラ６１０をメインカメラとし、カメラ５１０をサブカメラとして設定する。

次に図１２（ｂ）について説明する。

図１２（ｂ）はスマートデバイス５０の、カメラ５１０，６１０側外観図であり、カメラ５１０，６１０の撮像センサ５０１，６０１のレイアウトが分かるように２点鎖線で表示されている。図１２（ｂ）のようにカメラ５１０の撮像センサ５０１の長手方向と表示操作モジュール３００の長手方向が一致している。また、カメラ６１０の撮像センサ６０１の長手方向と表示操作モジュール３００の長手方向は９０°異なる方向に延びており一致しない。この場合は、カメラ５１０をメインカメラとし、カメラ６１０をサブカメラとして設定する。

上述したように、カメラ５１０，６１０のうち表示操作モジュール３００の中心にカメラ光軸が近い方、あるいは表示操作モジュール３００の表示画面とカメラの撮像センサのアスペクト比が近い方をメインカメラとして選定する。この理由は、被写体フレーミング時の違和感がサブカメラと比べて少なくなるためである。

上述したメインカメラの選定方法はあくまで一例を示したものであり、これに限るものではなく、上述した２つのどちらのメインカメラの選定方法を優先させてもよい。また、表示操作モジュール３００の中心に近いことや、撮像センサの向きに関わらず、ユーザが任意にメインカメラを選択出来るように設定してもよい。

次にカメラ５１０，６１０間の基線長の算出方法についての一例を説明する。

図１３は、図１１のステップＳ１６０２において実行される基線長の算出方法を示した説明図である。

前述した図１１のステップＳ１６０２において、アプリケーション制御回路２１０は、スマートデバイス５０の本体の不揮発性メモリ２１４から各スロットの位置情報を取得する。ここで本実施例における各スロットの位置情報とは、スロット１５００，１６００との位置情報を含み、モジュールの位置を決定する各リブ１０１ａ，ｃ〜ｈやスパイン１０２の突き当て面の位置を特定するものである。これと同時に、ステップＳ１６０２においてアプリケーション制御回路２１０は、撮像モジュール５００の不揮発性メモリ５２２からカメラ５１０における光軸の座標情報を取得する。またアプリケーション制御回路２１０は、撮像モジュール６００の不揮発性メモリ６２２からカメラ６１０における光軸の座標情報を取得する。ここで本実施例における各光軸の座標情報とは、それぞれの撮像モジュール５００，６００の外形から見た各光軸の座標を特定するものである。

具体的にはこうした位置・座標情報を基にして、アプリケーション制御回路２１０は、図１３に示すＸ１０１〜Ｘ１０３及びＹ１０１、Ｙ１０２のそれぞれの数値を得る。Ｘ１０１は、撮像モジュール５００の突き当て面からカメラ５１０における光軸までの水平方向の長さを示しており、同じくＹ１０１は、垂直方向の長さを示している。Ｘ１０２は、スマートデバイス５０の本体におけるスパイン１０２の水平方向の長さを示している。Ｘ１０３は、撮像モジュール６００の突き当て面からカメラ６１０における光軸までの水平方向の長さを示しており、同じくＹ１０２は、垂直方向の長さを示している。

図１３に示すＬ１００は、カメラ５１０における光軸とカメラ６１０における光軸とを結んだ中心線の長さを示しており、基線長に相当するものである。基線長Ｌ１００は、Ｘ１０１〜Ｘ１０３とＹ１０１、Ｙ１０２とから幾何学的に算出されるものである。ここで本実施例における基線長Ｌ１００は、下記数１に示す計算式によって求められる。
［数１］
Ｌ１００＝√｛（Ｘ１０１＋Ｘ１０２＋Ｘ１０３）^２＋（Ｙ１０１−Ｙ１０２）^２｝

上記に示すように、計算式自体は比較的単純であり、アプリケーションプログラム制御モジュール２００のメモリ２１２や不揮発性メモリ２１４に要求とされるメモリ容量は比較的少ない。更に、アプリケーション制御回路２１０による処理速度は非常に高速であるため、合焦や露光開始までにタイムラグを生じさせてしまう恐れはない。

また、本実施例は、撮像モジュール５００，６００の製造誤差をそれぞれ製造工程において測定する。例えばカメラ５１０の光軸の位置ずれは撮像モジュール５００の不揮発性メモリ５２２に、カメラ６１０の光軸の位置ずれは撮像モジュール６００の不揮発性メモリ６２２にそれぞれ記憶させる。こうすることで、基線長の計算時に、アプリケーション制御回路２１０がそれぞれの誤差を補正することが可能となり、複眼カメラの機能を利用する際に画像の合成機能や測定機能の精度を高めることができる。

尚、コントラストＡＦと視差情報を使った測距結果の差から撮像モジュール５００，６００の間の正確な基線長を算出することで、撮影範囲内の距離を指し示す距離マップを生成するようにしてもよい。

本実施例は、撮像モジュール５００，６００の位置ずれを記憶させることを一例に説明したが、光軸に対する倒れ量の情報を記憶しても構わない。また、基線長の計算についても一例を示したもので、基線長の算出方法は本実施例によるものに限らない。

（実施例２）
ここまで本発明の好ましい実施の形態を、図１〜１３に示す実施例１に従って説明してきた。ここから以下に、合焦位置最適化処理のみを実施例１から変更する実施例２について説明する。

本実施例に係るスマートデバイス５０の本体とこれに装着するモジュールの構成は実施例１の構成と同じものである。そこで、本実施例においては実施例１と異なる部分のみを説明する。

図１４は、図１０のステップＳ１５０５で行われる本実施例にかかる複数の撮像モジュールに対する合焦位置最適化処理の手順を示すフローチャートである。

図１４のステップＳ１７０１で、アプリケーション制御回路２１０は、キャリブレーション開始指示のメッセージをシステム制御回路１１０に送信する。システム制御回路１１０を介してこのキャリブレーション開始指示のメッセージを受信すると、撮像モジュール５００，６００はそのカメラ５１０，６１０のキャリブレーション動作を開始する。

ステップＳ１７０２で、アプリケーション制御回路２１０は、カメラ５１０における光軸とカメラ６１０における光軸との距離である基線長を計算する。本処理のような複眼モードの撮影実行処理において、正しい基線長を得ることは重要である。

ステップＳ１７０２の基線長算出結果から、位相差ＡＦとコントラストＡＦでの焦点検出結果（測距情報）の差分に対する閾値が決定される。（ステップＳ１７０３）。本実施例では、閾値はカメラ５１０，６１０間の基線長の長さ毎に異なる値を閾値として設定されている差分テーブルが予めアプリケーション制御回路２１０の不揮発性メモリ２１４に保持されている。例えば、図１２に示された撮像モジュール５００，６００のレイアウトのように、カメラ５１０，６１０間の基線長が長い場合は測距精度が高いため閾値が差分テーブルにおいて低めに設定されている。一方、図１３に示されるような撮像モジュール５００，６００のレイアウトの場合はカメラ５１０，６１０間の基線長が短いため、基線長が長い時と比較すると測距精度は悪くなる。そのため、閾値が差分テーブルにおいて大きめに設定されている。

尚、前述した閾値設定は単なる一例にすぎず、本発明は閾値の設定方法を限定するものではない。例えば、撮像モジュール５００，６００のカメラがズーム可能なカメラの場合は焦点距離によって被写界深度が変化するため、それぞれの焦点距離に応じて閾値を変更しても良い。また、差分テーブルは不揮発性メモリ２１４ではなく、スマートデバイス５０の本体の不揮発性メモリ１１４に保持されていてもよい。

ステップＳ１７０４でカメラ５１０，６１０の視差情報を利用した位相差ＡＦによって撮影画面内所定位置の被写体に対する焦点検出を行う。位相差ＡＦについては公知の技術であり、前述したとおりである。

ステップＳ１７０５へ進み、アプリケーション制御回路２１０によって、位相差ＡＦによって焦点検出（合焦）されたかどうか判定する。位相差ＡＦによって焦点検出されなかった場合は、ステップＳ１７０４に戻り再度位相差ＡＦによって焦点検出を行う。

ステップＳ１７０５で焦点検出された場合は位相差ＡＦによって検出された結果が適切か否かを判断するために、図１２の方法によりカメラ５１０，６１０の一方から選定されるメインカメラによる被写体測光を実施する（ステップＳ１７０６）。そして、測光結果が所定値よりも明るいかを確認する（ステップＳ１７０７）。所定値よりも暗い場合は、コントラストＡＦの信頼性が低いと判断して、ステップＳ１７０８に進み、位相差ＡＦの結果を信頼し、測距結果のキャリブレーションを行うことなくそのまま本処理を終了する。尚、このようにコントラストＡＦの信頼性が低いと判断した場合、ステップＳ１７０８に進まずに、撮影者に対し測光結果が暗く、コントラストＡＦを行うことができない旨の注意喚起を行う通知をして、本処理を終了するようにしてもよい。

ステップＳ１７０７で所定値よりも明るいと判断した場合は、ステップＳ１７０９に進み、メインカメラによるコントラストＡＦを行う。その後、撮像素子の出力信号から算出されるフォーカス評価値を取得しピーク位置を検出できるかどうか判定する（ステップＳ１７１０）。

ステップＳ１７１０において、メインカメラによるコントラストＡＦから被写体のピーク位置が検出できた場合はステップＳ１７１３へ進む。

一方、ステップＳ１７１０において、ピーク位置が検出できなかった（失敗した）場合には、アプリケーション制御回路２１０はメインカメラでは焦点検出できないと判断し、サブカメラによるコントラストＡＦを行う。（ステップＳ１７１１）。そして、ステップＳ１７１２において、サブカメラがピーク位置を検出できたかどうか判定を行い、ピーク位置が検出できた場合は、ステップＳ１７１３へと進む。

ステップＳ１７１２において、サブカメラによるコントラストＡＦでもピーク位置を検出できなかった場合は、被写体のコントラストが低いと判断し、ステップＳ１７０８に進み、位相差ＡＦの結果を信頼して本処理を終了する。

ステップＳ１７１３において、位相差ＡＦによって検出された焦点位置と、メインカメラあるいはサブカメラで実行されたコントラストＡＦで検出したピーク位置との比較、すなわち測距情報の比較を行う。

ステップＳ１７１４において、アプリケーション制御回路２１０によって、測距情報の差がステップＳ１７０３で決定された閾値を超えているかどうか判定する。測距情報の差が閾値を超えていなければ位相差ＡＦで検出された焦点検出位置は適切な位置であると判断して本処理を終了する（ステップＳ１７０８）。

一方、ステップＳ１７１４において測距情報の差が閾値を超えていた場合は、位相差ＡＦによる焦点検出結果が適切ではないと判断しステップＳ１７１５に進み、アプリケーション制御回路２１０が補正テーブルを読み出す。

ステップＳ１７１６において、補正テーブルから位相差ＡＦによる被写体距離の計算結果に対する補正量が読み出され、その読みだされた補正量を位相差ＡＦ時の補正量として不揮発性メモリ２１４に記憶し、本処理を終了する。

本実施例では、メインカメラのコントラストＡＦでピーク位置を検出できないときは、サブカメラのコントラストＡＦへ移行したがメインカメラのみを使用してもよい。

また、図１４に示すフローチャートは単なる一例に過ぎず、本発明はその組み合わせを限定するものではない。

また、実施例１，２では、モジュールが着脱可能な電子機器を例に説明したが、位相差ＡＦで得られた測距結果を、コントラストＡＦで得られた測距情報から補正する方法は、モジュールが着脱可能でなくても構わない。すなわち、実施例１，２の補正方法は、固定式の複眼カメラによる経時誤差に対する補正に適用してもよい。

また、本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

５０ スマートデバイス
１０１ａ〜ｈ リブ
１０２ スパイン
１１８ 温度センサ
１０００〜１９００ スロット
２００ アプリケーションプログラム制御モジュール
２１０ アプリケーション制御回路
２１４ 不揮発性メモリ
５００，６００ 撮像モジュール
５０１，６０１ 撮像センサ
５１０，６１０ カメラ

Claims (22)

1. ２つの撮像モジュールを用いて複眼カメラの機能を実現する電子機器において、
   前記２つの撮像モジュールの一方によりコントラストＡＦを用いた焦点検出を実施し、第１の測距情報を取得する第１の取得手段と、
   前記２つの撮像モジュールの間の視差情報から被写体距離を計算し、第２の測距情報を取得する第２の取得手段と、
   前記２つの撮像モジュール及び前記電子機器の本体のいずれかにおいて状態変化があり、且つ前記第１及び第２の測距情報との差が閾値よりも大きい場合は、前記第２の取得手段による前記被写体距離の計算結果を補正する補正手段とを備え、
   前記被写体距離は前記視差情報を元に前記２つの撮像モジュールの間の基線長から算出され、
   前記基線長に応じて前記閾値を変更することを特徴とする電子機器。
2. 前記基線長が長いほど、前記閾値を小さくすることを特徴とする請求項１記載の電子機器。
3. 前記２つの撮像モジュールの焦点距離に応じて前記閾値を変更することを特徴とする請求項１又は２記載の電子機器。
4. 前記２つの撮像モジュールの１つにより被写体測光を行う測光手段を更に備え、
   前記測光手段による測光結果が所定よりも暗い場合は、前記補正手段による補正を行わないことを特徴とする請求項１乃至３のいずれか１項に記載の電子機器。
5. 前記２つの撮像モジュールの１つにより被写体測光を行う測光手段を更に備え、
   前記測光手段による測光結果が所定よりも暗い場合は、撮影者に注意を促す通知を行うことを特徴とする請求項１乃至４のいずれか１項に記載の電子機器。
6. 前記電子機器は、表示部を有するモジュールを更に備え、
   前記２つの撮像モジュールは、それぞれ撮像センサを備え、
   前記２つの撮像モジュールのうち、長手方向が前記表示部の長手方向と一致する撮像センサを備える方をメインカメラに選定し、前記コントラストＡＦを用いた焦点検出を実施する前記２つの撮像モジュールの一方として前記メインカメラを用いることを特徴とする請求項１乃至５のいずれか１項に記載の電子機器。
7. 前記電子機器は表示部を更に備え、
   前記２つの撮像モジュールのうち、光軸が前記表示部の中心に近い方をメインカメラに選定し、前記コントラストＡＦを用いた焦点検出を実施する前記２つの撮像モジュールの一方として前記メインカメラを用いることを特徴とする請求項１乃至５のいずれか１項に記載の電子機器。
8. 前記第１の取得手段は、前記メインカメラによる前記コントラストＡＦを用いた焦点検出に失敗した場合は、前記２つの撮像モジュールの他方によりコントラストＡＦを用いた焦点検出を実施することを特徴する請求項６又は７記載の電子機器。
9. ２つの撮像モジュールを用いて複眼カメラの機能を実現する電子機器において、
   前記２つの撮像モジュールの一方によりコントラストＡＦを用いて第１の測距情報を取得する第１の取得手段と、
   前記２つの撮像モジュールの間の視差情報から被写体距離を計算し、第２の測距情報を取得する第２の取得手段と、
   前記２つの撮像モジュール及び前記電子機器の本体のいずれかにおいて状態変化があり、且つ前記第１及び第２の測距情報との差が閾値よりも大きい場合は、前記第２の取得手段による前記被写体距離の計算結果を補正する補正手段とを備え、
   前記第１及び第２の測距情報に基づき前記２つの撮像モジュールの間の基線長を計算し、当該基線長を用いて撮影範囲内の距離を指し示す距離マップを生成することを特徴とする電子機器。
10. 前記被写体距離は前記視差情報を元に前記２つの撮像モジュールの間の基線長から算出されることを特徴とする請求項９記載の電子機器。
11. 前記基線長に応じて前記閾値を変更することを特徴とする請求項１０記載の電子機器。
12. 前記基線長が長いほど、前記閾値を小さくすることを特徴とする請求項１０記載の電子機器。
13. 前記２つの撮像モジュールの焦点距離に応じて前記閾値を変更することを特徴とする請求項１０乃至１２のいずれか１項に記載の電子機器。
14. 前記２つの撮像モジュールの１つにより被写体測光を行う測光手段を更に備え、
    前記測光手段による測光結果が所定よりも暗い場合は、前記補正手段による補正を行わないことを特徴とする請求項９乃至１３のいずれか１項に記載の電子機器。
15. 前記２つの撮像モジュールの１つにより被写体測光を行う測光手段を更に備え、
    前記測光手段による測光結果が所定よりも暗い場合は、撮影者に注意を促す通知を行うことを特徴とする請求項９乃至１３のいずれか１項に記載の電子機器。
16. 前記電子機器は、表示部を有するモジュールを更に備え、
    前記２つの撮像モジュールは、それぞれ撮像センサを備え、
    前記２つの撮像モジュールのうち、長手方向が前記表示部の長手方向と一致する撮像センサを備える方をメインカメラに選定し、前記コントラストＡＦを用いた焦点検出を実施する前記２つの撮像モジュールの一方として前記メインカメラを用いることを特徴とする請求項９乃至１５のいずれか１項に記載の電子機器。
17. 前記電子機器は表示部を更に備え、
    前記２つの撮像モジュールのうち、光軸が前記表示部の中心に近い方をメインカメラに選定し、前記コントラストＡＦを用いた焦点検出を実施する前記２つの撮像モジュールの一方として前記メインカメラを用いることを特徴とする請求項９乃至１５のいずれか１項に記載の電子機器。
18. 前記第１の取得手段は、前記メインカメラによる前記コントラストＡＦを用いた焦点検出に失敗した場合は、前記２つの撮像モジュールの他方によりコントラストＡＦを用いた焦点検出を実施することを特徴する請求項１６又は１７記載の電子機器。
19. 前記２つの撮像モジュールを着脱可能な複数の取り付け領域を更に備えることを特徴とする請求項１乃至１８のいずれか１項に記載の電子機器。
20. ２つの撮像モジュールを用いて複眼カメラの機能を実現する電子機器の制御方法において、
    前記２つの撮像モジュールの一方によりコントラストＡＦを用いた焦点検出を実施し、第１の測距情報を取得する第１の取得ステップと、
    前記２つの撮像モジュールの間の視差情報から被写体距離を計算し、第２の測距情報を取得する第２の取得ステップと、
    前記２つの撮像モジュール及び前記電子機器の本体のいずれかにおいて状態変化があり、且つ前記第１及び第２の測距情報との差が閾値よりも大きい場合は、前記第２の取得ステップにおける前記被写体距離の計算結果を補正する補正ステップとを備え、
    前記被写体距離は前記視差情報を元に前記２つの撮像モジュールの間の基線長から算出され、
    前記基線長に応じて前記閾値を変更することを特徴とする制御方法。
21. ２つの撮像モジュールを用いて複眼カメラの機能を実現する電子機器の制御方法において、
    前記２つの撮像モジュールの一方によりコントラストＡＦを用いて第１の測距情報を取得する第１の取得ステップと、
    前記２つの撮像モジュールの間の視差情報から被写体距離を計算し、第２の測距情報を取得する第２の取得ステップと、
    前記２つの撮像モジュール及び前記電子機器の本体のいずれかにおいて状態変化があり、且つ前記第１及び第２の測距情報との差が閾値よりも大きい場合は、前記第２の取得ステップによる前記被写体距離の計算結果を補正する補正ステップとを備え、
    前記第１及び第２の測距情報に基づき前記２つの撮像モジュールの間の基線長を計算し、当該基線長を用いて撮影範囲内の距離を指し示す距離マップを生成することを特徴とする制御方法。
22. 請求項２０又は２１記載の制御方法を実行することを特徴とするプログラム。

Images