JP2012209677A

JP2012209677A - Portable electronic apparatus

Info

Publication number: JP2012209677A
Application number: JP2011072472A
Authority: JP
Inventors: Hiromichi Arai; 弘道荒井
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2011-03-29
Filing date: 2011-03-29
Publication date: 2012-10-25
Anticipated expiration: 2031-03-29
Also published as: JP5701124B2

Abstract

PROBLEM TO BE SOLVED: To provide a portable electronic apparatus capable of suitably photographing an image which can be displayed as a three-dimensional image.SOLUTION: The portable electronic apparatus comprises a frame, a photographing part, a distance detection part, and a control part. The photographing part is disposed in the frame and photographs a subject. The distance detection part detects a subject distance between the photographing part and the subject. After the photographing part photographs the first image of the subject, if determining on the basis of the result of detection by the distance detection part that the frame is disposed at a subject distance at which the apparatus is capable of photographing an image allowing three-dimensional viewing of the subject by being combined with the first image, causes the photographing part to photograph the second image of the subject.

Description

本発明は、三次元画像の撮影を行う携帯電子機器に関する。 The present invention relates to a portable electronic device that captures a three-dimensional image.

近年では、三次元画像を表示させる電子機器が提案されている。この電子機器に表示させる三次元画像を撮影する装置は、例えばミラー等を配置して角度をずらした２つの画像を撮影することで、三次元画像として再生可能な画像を撮影できる（特許文献１参照）。また、複数台の撮影装置を配置して夫々の撮影装置で同時に画像を撮影することでも、三次元画像として再生可能な画像を撮影できる（特許文献２参照）。 In recent years, electronic devices that display three-dimensional images have been proposed. An apparatus that captures a three-dimensional image to be displayed on the electronic apparatus can capture an image that can be reproduced as a three-dimensional image by capturing, for example, two images at different angles by arranging a mirror or the like (Patent Document 1). reference). In addition, an image that can be reproduced as a three-dimensional image can be captured by arranging a plurality of imaging devices and simultaneously capturing images with each of the imaging devices (see Patent Document 2).

特開２０００−９２５１７号公報JP 2000-92517 A 特開平１１−３４１５１８号公報JP-A-11-341518

しかしながら、特許文献１に記載の装置は、画像を撮影する撮影機構として三次元画像を撮影するための光学系、撮像素子が必要となる。また、特許文献２に記載の装置は、複数台の撮影装置が必要となる。このため、装置構成が複雑化、大型化し、装置が高価になる。 However, the apparatus described in Patent Document 1 requires an optical system and an image sensor for capturing a three-dimensional image as an image capturing mechanism for capturing an image. Further, the apparatus described in Patent Document 2 requires a plurality of photographing apparatuses. For this reason, the apparatus configuration becomes complicated and large, and the apparatus becomes expensive.

また、三次元画像を撮影する装置としては、ユーザが１つの電子機器で１回目の撮影をした後、場所を移動して２回目の撮影を行うことで、三次元画像として再生可能な画像を撮影する装置もある。このように場所を移動しつつ２枚の画像を取得することで１枚の画像を撮影できない電子機器でも三次元画像として再生可能な画像を撮影することができる。 In addition, as a device that captures a 3D image, a user can capture an image that can be reproduced as a 3D image by moving the location and performing a second image after the first image is captured with one electronic device. Some devices take pictures. Thus, by acquiring two images while moving between places, an electronic device that cannot capture one image can capture an image that can be reproduced as a three-dimensional image.

しかしながら、１台の装置で移動しながら撮影する方法では、撮影した２つの画像の間に不要なずれ等が生じ、撮影した画像が三次元画像にならない、つまり立体画像に見えない恐れがある。 However, in the method of shooting while moving with one apparatus, an unnecessary shift or the like occurs between the two shot images, and the shot image may not become a three-dimensional image, that is, may not be seen as a three-dimensional image.

本発明は、上記に鑑みてなされたものであって、三次元画像として表示可能な画像の撮影を好適に実行できる携帯電子機器を提供することを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to provide a portable electronic device that can suitably execute shooting of an image that can be displayed as a three-dimensional image.

上述した課題を解決し、目的を達成するために、本発明の携帯電子機器は、筐体と、前記筐体に配置され、被写体を撮影する撮影部と、前記撮影部と前記被写体との被写体距離を検出する距離検出部と、前記撮影部で前記被写体の１枚目の画像を撮影した後、前記距離検出部で検出した結果に基づいて、前記１枚目の画像と組み合わせることで前記被写体を立体視できる画像を撮影できる前記被写体距離に前記筐体が配置されていると判定した場合、前記撮影部で前記被写体の２枚目の画像を撮影する制御部と、を有することを特徴とする。 In order to solve the above-described problems and achieve the object, a portable electronic device of the present invention includes a housing, a photographing unit that is disposed in the housing and photographs a subject, and a subject of the photographing unit and the subject. A distance detection unit that detects a distance; and the first image of the subject is captured by the imaging unit and then combined with the first image based on a result detected by the distance detection unit. A control unit that captures a second image of the subject by the photographing unit when it is determined that the casing is disposed at the subject distance at which a stereoscopically viewable image can be photographed. To do.

ここで、前記距離検出部は、前記被写体に向けて超音波を出力し、当該超音波の反射波を検出することで、前記被写体距離を検出する超音波センサであることが好ましい。 Here, it is preferable that the distance detection unit is an ultrasonic sensor that outputs the ultrasonic wave toward the subject and detects the subject distance by detecting a reflected wave of the ultrasonic wave.

また、前記超音波センサは、超音波を出力してから当該超音波の反射波を検出するまでの時間に基づいて前記被写体距離を検出することが好ましい。 Further, it is preferable that the ultrasonic sensor detects the subject distance based on a time from when an ultrasonic wave is output until a reflected wave of the ultrasonic wave is detected.

また、前記超音波センサは、超音波の反射波の反射強度の変化に基づいて前記被写体との相対位置の変化を検出することが好ましい。 Moreover, it is preferable that the ultrasonic sensor detects a change in the relative position with respect to the subject based on a change in the reflection intensity of the reflected wave of the ultrasonic wave.

また、報知部をさらに有し、前記制御部は、前記距離検出部で検出した結果に基づいて前記被写体が動かないと判定した場合、前記報知部から前記筐体を移動させる指示を報知し、前記被写体が動いていると判定した場合、前記報知部から前記筐体を移動させない指示を報知することが好ましい。 Further, the information processing apparatus further includes a notification unit, and when the control unit determines that the subject does not move based on a result detected by the distance detection unit, the control unit notifies the instruction to move the housing from the notification unit, When it is determined that the subject is moving, it is preferable that an instruction not to move the housing is notified from the notification unit.

また、前記筐体の移動を検出する加速度センサと、報知部と、をさらに有し、前記制御部は、前記被写体が動いていると判定しかつ前記加速度センサで前記筐体が移動していることを検出した場合、前記報知部から前記筐体を移動させない指示を報知することが好ましい。 In addition, the apparatus further includes an acceleration sensor that detects movement of the housing and a notification unit, and the control unit determines that the subject is moving and the housing is moved by the acceleration sensor. When this is detected, it is preferable that an instruction not to move the housing is notified from the notification unit.

また、前記制御部は、検出した被写体距離と前記１枚目の画像の撮影時の被写体距離との差分が設定した範囲にある場合、前記被写体の２枚目の画像を撮影することが好ましい。 In addition, it is preferable that the control unit captures the second image of the subject when the difference between the detected subject distance and the subject distance at the time of capturing the first image is within a set range.

また、前記制御部は、前記撮影部で撮影した画像に基づいて被写体を特定し、前記撮影部と特定した被写体との距離を前記被写体距離とすることが好ましい。 Further, it is preferable that the control unit specifies a subject based on an image photographed by the photographing unit, and sets a distance between the photographing unit and the identified subject as the subject distance.

本発明にかかる携帯電子機器は、三次元画像として表示可能な画像の撮影を好適に実行できるという効果を奏する。 The portable electronic device according to the present invention has an effect that it is possible to suitably perform shooting of an image that can be displayed as a three-dimensional image.

図１は、携帯電話端末の外観を示す正面図である。FIG. 1 is a front view showing an appearance of a mobile phone terminal. 図２は、携帯電話端末の機能の概略構成を示すブロック図である。FIG. 2 is a block diagram showing a schematic configuration of functions of the mobile phone terminal. 図３は、携帯電話端末の撮影動作時の処理の一例を示すフロー図である。FIG. 3 is a flowchart showing an example of processing at the time of photographing operation of the mobile phone terminal. 図４は、携帯電話端末の撮影動作を説明するための説明図である。FIG. 4 is an explanatory diagram for explaining the photographing operation of the mobile phone terminal. 図５は、携帯電話端末の撮影動作を説明するための説明図である。FIG. 5 is an explanatory diagram for explaining the photographing operation of the mobile phone terminal. 図６は、携帯電話端末の撮影動作時の処理の一例を示すフロー図である。FIG. 6 is a flowchart showing an example of processing at the time of photographing operation of the mobile phone terminal.

以下、本発明につき図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。以下においては、電子機器として携帯電話端末を例として説明するが、本発明の適用対象は携帯電話端末に限定されるものではなく、三次元（３Ｄ）画像表示機能を備える各種装置、例えば、ＰＨＳ（Personal Handy-phone System）、ＰＤＡ、ポータブルナビゲーション装置、パーソナルコンピュータ、ゲーム機等に対しても本発明は適用できる。 Hereinafter, the present invention will be described in detail with reference to the drawings. The present invention is not limited to the following description. In addition, constituent elements in the following description include those that can be easily assumed by those skilled in the art, those that are substantially the same, and those in a so-called equivalent range. In the following, a mobile phone terminal will be described as an example of an electronic device. However, the application target of the present invention is not limited to a mobile phone terminal, and various devices having a three-dimensional (3D) image display function, for example, PHS The present invention can also be applied to (Personal Handy-phone System), PDAs, portable navigation devices, personal computers, game machines, and the like.

図１は、本発明の携帯電子機器の一実施形態である携帯電話端末１の外観を示す正面図である。携帯電話端末１は、薄板状の筐体１２を有する。携帯電話端末１は、筐体１２の表面に、タッチパネル２と、ボタン２０、ボタン２２及び入力デバイス２４からなる入力部３と、レシーバ７と、マイク８と、カメラ１６と、超音波センサ１７と、が配置されている。タッチパネル２は、板状の筐体１２の面積が最も広い面に配置されている。また、入力部３も、筐体１２のタッチパネル２が配置されている面の、長手方向の一方の端部に配置されている。入力部３は、短手方向の一方から他方に向かって、ボタン２０、入力デバイス２４、ボタン２２の順で配置されている。また、レシーバ７は、筐体１２のタッチパネル２が配置されている面の長手方向の他方の端部、つまり、入力部３が配置されている端部とは反対側の端部に配置されている。また、マイク８は、筐体１２のタッチパネル２が配置されている面の長手方向の一方の端部、つまり、入力部３が配置されている端部に配置されている。また、カメラ１６は、タッチパネル２が配置されている面とは反対側の面に配置されている。超音波センサ１７は、タッチパネル２が配置されている面とは反対側の面に配置されている。また、超音波センサ１７は、カメラ１６の近傍に配置されている。本実施形態の携帯電話端末１は、カメラ１６と超音波センサ１７とが筐体１２の長手方向のレシーバ７が配置されている側の端部に配置されている。 FIG. 1 is a front view showing an appearance of a mobile phone terminal 1 which is an embodiment of the mobile electronic device of the present invention. The mobile phone terminal 1 has a thin plate-like housing 12. The mobile phone terminal 1 includes a touch panel 2, an input unit 3 including a button 20, a button 22, and an input device 24, a receiver 7, a microphone 8, a camera 16, and an ultrasonic sensor 17 on the surface of a housing 12. , Is arranged. The touch panel 2 is arranged on the surface having the widest area of the plate-like housing 12. The input unit 3 is also disposed at one end in the longitudinal direction of the surface of the housing 12 on which the touch panel 2 is disposed. The input unit 3 is arranged in the order of the button 20, the input device 24, and the button 22 from one side to the other side in the short direction. The receiver 7 is disposed at the other end in the longitudinal direction of the surface of the housing 12 where the touch panel 2 is disposed, that is, at the end opposite to the end where the input unit 3 is disposed. Yes. The microphone 8 is disposed at one end in the longitudinal direction of the surface of the housing 12 where the touch panel 2 is disposed, that is, the end where the input unit 3 is disposed. Moreover, the camera 16 is arrange | positioned at the surface on the opposite side to the surface where the touch panel 2 is arrange | positioned. The ultrasonic sensor 17 is disposed on the surface opposite to the surface on which the touch panel 2 is disposed. Further, the ultrasonic sensor 17 is disposed in the vicinity of the camera 16. In the mobile phone terminal 1 of the present embodiment, the camera 16 and the ultrasonic sensor 17 are disposed at the end of the housing 12 on the side where the receiver 7 in the longitudinal direction is disposed.

タッチパネル２は、文字、図形、画像等を表示するとともに、指、スタイラス、ペン（ペンの先端、棒状部材の先端）等（以下、単に「指」という）を用いてタッチパネル２に対して行われる各種動作を検出する。例えば、携帯電話端末１は、利用者から文字の入力を受け付けるために、タッチパネル２上に仮想キーボードを表示させる。携帯電話端末１は、タッチパネル２上に仮想キーボードを表示させた状態で、指によってタッチパネル２に入力される各種動作を検出し、仮想キーボードのどのキーが押下されたか、接触されたかを検出し、押下、接触を検出したキーを入力したキーとすることで、文字入力を行うことができる。また、タッチパネル２は、文字の入力によらず、表示させている画像と、指によってタッチパネル２に対して行われる各種動作とに基づいて、各種操作の入力を検出し、入力された操作に基づいて各種制御を行う。 The touch panel 2 displays characters, figures, images, and the like, and is performed on the touch panel 2 using a finger, a stylus, a pen (a tip of a pen, a tip of a rod-like member) or the like (hereinafter simply referred to as “finger”). Detect various actions. For example, the mobile phone terminal 1 displays a virtual keyboard on the touch panel 2 in order to accept input of characters from the user. The mobile phone terminal 1 detects various operations input to the touch panel 2 with a finger in a state where the virtual keyboard is displayed on the touch panel 2, detects which key of the virtual keyboard is pressed or touched, Character input can be performed by using a key that has been detected as pressed or touched as an input key. Moreover, the touch panel 2 detects the input of various operations based on the displayed image and various operations performed on the touch panel 2 with a finger regardless of the input of characters, and based on the input operations. Various controls.

入力部３は、ボタン２０、２２が押下された場合に、押下されたボタンに対応する機能を起動させる。また、入力部３は、入力デバイス２４に入力された動作も操作として検出し、入力された操作に基づいて各種制御を行う。例えば、入力デバイス２４は、方向指示操作や決定操作を検出する。入力デバイス２４は、タッチパッド、光学式入力デバイス、４方及び中央にボタンを備える入力デバイス等で構成される。 When the buttons 20 and 22 are pressed, the input unit 3 activates a function corresponding to the pressed button. The input unit 3 also detects an operation input to the input device 24 as an operation, and performs various controls based on the input operation. For example, the input device 24 detects a direction instruction operation or a determination operation. The input device 24 includes a touch pad, an optical input device, an input device having buttons on the four sides and the center, and the like.

カメラ１６は、画像を撮影する撮影装置である。撮影窓が、筐体１２のタッチパネル２が配置されている面とは反対側の面に露出して配置されている。カメラ１６は、撮影窓から入射した撮影領域の光を読み取ることで、カメラ１６が配置されている面に向かい合う面のうち所定の角度領域（撮影領域）の画像を取得する。 The camera 16 is a photographing device that photographs an image. The photographing window is disposed so as to be exposed on the surface of the housing 12 opposite to the surface on which the touch panel 2 is disposed. The camera 16 obtains an image of a predetermined angle region (photographing region) among the surfaces facing the surface on which the camera 16 is arranged by reading light of the photographing region incident from the photographing window.

超音波センサ１７は、配置されている面と対面する物体との距離を検出する検出素子である。超音波センサ１７は、カメラ１６と同様に筐体１２のタッチパネル２が配置されている面とは反対側の面に露出して配置されている。超音波センサ１７は、カメラ１６の撮影領域に含まれる被写体とカメラ１６との距離を検出する。なお超音波センサ１７は、超音波センサ１７とカメラ１６との位置関係は一定であるため、自身と被写体との距離を検出して、検出した距離を補正することで、カメラ１６と被写体との距離を算出する。なお、カメラ１６と超音波センサ１７とは近接した位置に配置されているため、超音波センサ１７は、補正を行うことなく、自身と被写体との距離をカメラ１６と被写体との距離としてもよい。 The ultrasonic sensor 17 is a detection element that detects the distance between the surface on which the ultrasonic sensor 17 is disposed and the object facing the surface. Similar to the camera 16, the ultrasonic sensor 17 is disposed so as to be exposed on a surface opposite to the surface on which the touch panel 2 of the housing 12 is disposed. The ultrasonic sensor 17 detects the distance between the subject included in the imaging region of the camera 16 and the camera 16. In addition, since the positional relationship between the ultrasonic sensor 17 and the camera 16 is constant, the ultrasonic sensor 17 detects the distance between itself and the subject and corrects the detected distance, thereby correcting the detected distance between the camera 16 and the subject. Calculate the distance. Since the camera 16 and the ultrasonic sensor 17 are arranged in close proximity, the ultrasonic sensor 17 may use the distance between itself and the subject as the distance between the camera 16 and the subject without performing correction. .

次に、携帯電話端末１の機能と制御部との関係を説明する。図２は、図１に示す携帯電話端末１の機能の概略構成を示すブロック図である。図２に示すように携帯電話端末１は、タッチパネル２と、入力部３と、電源部５と、通信部６と、レシーバ７と、マイク８と、記憶部９と、主制御部１０と、ＲＡＭ（Random Access Memory）１１と、カメラ（撮影部）１６と、超音波センサ１７と、加速度センサ１８と、を有する。なお、本実施形態では、超音波センサ１７が被写体とカメラ（撮影部）１６との距離を検出する距離検出部となる。 Next, the relationship between the function of the mobile phone terminal 1 and the control unit will be described. FIG. 2 is a block diagram showing a schematic configuration of functions of the mobile phone terminal 1 shown in FIG. As shown in FIG. 2, the mobile phone terminal 1 includes a touch panel 2, an input unit 3, a power supply unit 5, a communication unit 6, a receiver 7, a microphone 8, a storage unit 9, a main control unit 10, A RAM (Random Access Memory) 11, a camera (imaging unit) 16, an ultrasonic sensor 17, and an acceleration sensor 18 are included. In the present embodiment, the ultrasonic sensor 17 serves as a distance detection unit that detects the distance between the subject and the camera (imaging unit) 16.

タッチパネル２は、表示部２Ｂと、表示部２Ｂに重畳されたタッチセンサ２Ａとを有する。タッチセンサ２Ａは、指を用いてタッチパネル２に対して行われた各種動作を、動作が行われた場所のタッチパネル２上での位置とともに検出する。タッチセンサ２Ａによって検出される動作には、指をタッチパネル２の表面に接触させる動作や、指をタッチパネル２の表面に接触させたまま移動させる動作や、指をタッチパネル２の表面から離す動作が含まれる。なお、タッチセンサ２Ａは、感圧式、静電式等のいずれの検出方式を採用していてもよい。表示部２Ｂは、例えば、液晶ディスプレイ（ＬＣＤ、Liquid Crystal Display）や、有機ＥＬ（Organic Electro−Luminescence）パネル等で構成され、文字、図形、画像等を表示する。また、表示部２Ｂは、複数の画像を重ねて表示させて三次元（３Ｄ）画像、つまり利用者が立体視できる画像を表示できる。つまり、表示部２Ｂは、複数の画像を重ねて表示させることで三次元（３Ｄ）画像を表示できる。 The touch panel 2 includes a display unit 2B and a touch sensor 2A superimposed on the display unit 2B. The touch sensor 2A detects various operations performed on the touch panel 2 using a finger together with the position on the touch panel 2 where the operation is performed. The operations detected by the touch sensor 2 </ b> A include an operation of bringing a finger into contact with the surface of the touch panel 2, an operation of moving a finger while keeping the surface in contact with the surface of the touch panel 2, and an operation of moving the finger away from the surface of the touch panel 2. It is. The touch sensor 2A may employ any detection method such as a pressure-sensitive method or an electrostatic method. The display unit 2B includes, for example, a liquid crystal display (LCD), an organic EL (Organic Electro-Luminescence) panel, and the like, and displays characters, figures, images, and the like. The display unit 2B can display a three-dimensional (3D) image, that is, an image that can be stereoscopically viewed by the user, by displaying a plurality of images in a superimposed manner. That is, the display unit 2B can display a three-dimensional (3D) image by overlapping and displaying a plurality of images.

入力部３は、上述したようにボタン２０、２２と、入力デバイス２４とを有する。ボタン２０、２２は、物理的な入力（押下）を通じて利用者の操作を受け付け、受け付けた操作に対応する信号を主制御部１０へ送信する。また、入力デバイス２４も、利用者の操作を受け付け、受け付けた操作に対応する信号を主制御部１０へ送信する。 The input unit 3 includes the buttons 20 and 22 and the input device 24 as described above. The buttons 20 and 22 receive a user operation through physical input (pressing), and transmit a signal corresponding to the received operation to the main control unit 10. In addition, the input device 24 also accepts a user operation and transmits a signal corresponding to the accepted operation to the main control unit 10.

電源部５は、蓄電池または外部電源から得られる電力を、主制御部１０を含む携帯電話端末１の各機能部へ供給する。通信部６は、基地局によって割り当てられるチャネルを介し、基地局との間でＣＤＭＡ方式等による無線信号回線を確立し、基地局との間で電話通信及び情報通信を行う。レシーバ７は、電話通信における相手側の音声や着信音等を出力する。マイク８は、利用者等の音声を電気的な信号へ変換する。 The power supply unit 5 supplies power obtained from a storage battery or an external power supply to each functional unit of the mobile phone terminal 1 including the main control unit 10. The communication unit 6 establishes a radio signal line by a CDMA system or the like with a base station via a channel assigned by the base station, and performs telephone communication and information communication with the base station. The receiver 7 outputs the other party's voice, ringtone, and the like in telephone communication. The microphone 8 converts the voice of the user or the like into an electrical signal.

記憶部９は、例えば、不揮発性メモリや磁気記憶装置であり、主制御部１０での処理に利用されるプログラムやデータを保存する。具体的には、記憶部９は、メールの送受信や閲覧のためのメールプログラム９Ａや、ＷＥＢページの閲覧のためのブラウザプログラム９Ｂや、カメラ１６で画像を撮影するためのカメラプログラム９Ｃや、超音波センサ１７の検出結果に基づいて自身と被写体との距離を検出し、加速度センサ１８の検出結果に基づいて自身の位置の移動を検出するための位置検出プログラム９Ｄや、３Ｄ（三次元）画像として表示可能な画像を撮影するためおよび３Ｄ画像を表示するための３Ｄ（三次元）画像処理プログラム９Ｅや、各種プログラムを実行する際に用いる各種条件を対応付けた処理条件テーブル９Ｆや、撮影等により取得された画像が格納された画像フォルダ９Ｇを記憶する。また、記憶部９には、携帯電話端末１の基本的な機能を実現するオペレーティングシステムプログラムや、氏名、電話番号、メールアドレス等が登録されたアドレス帳データ等の他のプログラムやデータも記憶される。また、記憶部９には、タッチパネル２に入力された入力操作に基づいて制御動作、処理を決定するプログラム等も記憶される。なお、制御動作、処理とは、携帯電話端末１で実行する各種動作、処理が含まれ、例えば、カーソル、ポインタの移動、画面の表示切換、文字入力処理、各種アプリケーションの起動処理、終了処理がある。 The storage unit 9 is, for example, a nonvolatile memory or a magnetic storage device, and stores programs and data used for processing in the main control unit 10. Specifically, the storage unit 9 includes a mail program 9A for sending / receiving and browsing mail, a browser program 9B for browsing a WEB page, a camera program 9C for capturing an image with the camera 16, and a super program. A position detection program 9D or a 3D (three-dimensional) image for detecting the distance between the subject and the subject based on the detection result of the acoustic wave sensor 17 and detecting the movement of the own position based on the detection result of the acceleration sensor 18 A 3D (three-dimensional) image processing program 9E for capturing images that can be displayed as images and displaying 3D images, a processing condition table 9F that associates various conditions used when executing various programs, imaging, etc. The image folder 9G in which the image acquired by the above is stored is stored. The storage unit 9 also stores other programs and data such as an operating system program that realizes basic functions of the mobile phone terminal 1 and address book data in which names, telephone numbers, mail addresses, etc. are registered. The The storage unit 9 also stores a program for determining a control operation and processing based on an input operation input to the touch panel 2. The control operations and processes include various operations and processes executed by the mobile phone terminal 1. For example, a cursor, a pointer movement, a screen display switching, a character input process, various application activation processes, and an end process are included. is there.

主制御部１０は、例えば、ＣＰＵ（Central Processing Unit）であり、携帯電話端末１の動作を統括的に制御する。具体的には、主制御部１０は、記憶部９に記憶されているデータを必要に応じて参照しつつ、記憶部９に記憶されているプログラムを実行して、タッチパネル２、入力部３、通信部６、カメラ１６、超音波センサ１７、加速度センサ１８等を制御することによって各種処理を実行する。主制御部１０は、記憶部９に記憶されているプログラムや、処理を実行することによって取得／生成／加工されたデータを、一時的な記憶領域を提供するＲＡＭ１１に必要に応じて展開する。なお、主制御部１０が実行するプログラムや参照するデータは、通信部６による無線通信でサーバ装置からダウンロードすることとしてもよい。 The main control unit 10 is, for example, a CPU (Central Processing Unit), and comprehensively controls the operation of the mobile phone terminal 1. Specifically, the main control unit 10 executes the program stored in the storage unit 9 while referring to the data stored in the storage unit 9 as necessary, so that the touch panel 2, the input unit 3, Various processes are executed by controlling the communication unit 6, the camera 16, the ultrasonic sensor 17, the acceleration sensor 18, and the like. The main control unit 10 expands the program stored in the storage unit 9 and the data acquired / generated / processed by executing the process to the RAM 11 that provides a temporary storage area as necessary. The program executed by the main control unit 10 and the data to be referred to may be downloaded from the server device by wireless communication by the communication unit 6.

カメラ１６は、画像を撮影する撮影装置である。撮影窓が、筐体１２のタッチパネル２が配置されている面とは反対側の面に露出して配置されている。カメラ１６は、撮影窓から入射した撮影領域の光を読み取ることで、対面する領域のうち所定の角度領域（撮影領域）の画像を取得する。 The camera 16 is a photographing device that photographs an image. The photographing window is disposed so as to be exposed on the surface of the housing 12 opposite to the surface on which the touch panel 2 is disposed. The camera 16 obtains an image of a predetermined angle region (photographing region) among the facing regions by reading light of the photographing region incident from the photographing window.

超音波センサ１７は、所定の方向（本実施形態では、カメラ１６の撮影領域内）にある被写体との距離（相対距離、被写体距離）を測定する計測器である。超音波センサ１７は、筐体１２の上面に配置され、計測波として超音波を射出する出力部１７ａと、筐体１２の上面に配置され、計測波を受信する受信部１７ｂとを有する。超音波センサ１７は、出力部１７ａから出力した超音波のうち被写体に当たって反射した反射波の計測波を受信部１７ｂで受信する。超音波センサ１７は、受信部１７ｂが受信した計測波の強度や、計測波の入射角、出力部１７ａで出力されてから受信部１７ｂで受信されるまでの時間等に基づいて、自身と被写体との距離を算出する。 The ultrasonic sensor 17 is a measuring instrument that measures the distance (relative distance, subject distance) to a subject in a predetermined direction (in this embodiment, within the imaging region of the camera 16). The ultrasonic sensor 17 includes an output unit 17a that is disposed on the upper surface of the housing 12 and emits ultrasonic waves as measurement waves, and a reception unit 17b that is disposed on the upper surface of the housing 12 and receives measurement waves. The ultrasonic sensor 17 receives the measurement wave of the reflected wave reflected by the subject among the ultrasonic waves output from the output unit 17a by the receiving unit 17b. The ultrasonic sensor 17 is based on the intensity of the measurement wave received by the reception unit 17b, the incident angle of the measurement wave, the time from the output of the output unit 17a to the reception of the reception unit 17b, and the like. And the distance is calculated.

加速度センサ１８は、筐体１２に加わる加速度を検出する検出器である。ここで、加速度センサ１８としては、種々の方法で加速度を検出する検出器を用いることができ、例えば、静電容量の変化や、ピエゾ抵抗の変化、相対位置の変化等で加速度を検出する検出器を用いることができる。また、加速度センサ１８は、加速度の大きさに加え加速度の方向を検出する。加速度センサ１８は、操作者が筐体１２を移動させたり振ったりする際に筐体１２に作用する加速度を検出し、検出した加速度情報を主制御部１０に送る。主制御部１０は、位置検出プログラム９Ｄを実行し、加速度センサ１８の検出結果を解析することで、具体的には検出した加速度の情報を積算することで筐体１２の姿勢の変化量や移動を検出する。 The acceleration sensor 18 is a detector that detects acceleration applied to the housing 12. Here, as the acceleration sensor 18, a detector that detects acceleration by various methods can be used. For example, detection that detects acceleration by a change in capacitance, a change in piezoresistance, a change in relative position, or the like. Can be used. The acceleration sensor 18 detects the direction of acceleration in addition to the magnitude of acceleration. The acceleration sensor 18 detects acceleration acting on the housing 12 when the operator moves or shakes the housing 12, and sends the detected acceleration information to the main control unit 10. The main control unit 10 executes the position detection program 9D, analyzes the detection result of the acceleration sensor 18, and specifically adds the information of the detected acceleration to thereby change the posture change amount and movement of the housing 12. Is detected.

次に、図３を用いて、撮影動作の一例について説明する。図３は、携帯電話端末の撮影動作時の処理の一例を示すフロー図である。図３に示す処理は、携帯電話端末１により三次元画像で表示可能な画像を撮影する撮影動作の一例である。図３に示す処理手順は、カメラプログラム９Ｃ、位置検出プログラム９Ｄ、３Ｄ画像処置プログラム９Ｅが提供する機能に基づいて繰り返し実行される。より具体的には、カメラプログラム９Ｃが提供する機能（画像撮影機能）、位置検出プログラム９Ｄが提供する機能（距離検出機能）により取得した各種検出結果および画像を３Ｄ画像処理プログラム９Ｅが提供する機能に基づいて、解析してカメラプログラム９Ｃが提供する機能（撮影機能）の動作を制御し、被写体の撮影を行う。携帯電話端末１は、三次元画像の撮影を行う機能を起動する指示が入力された場合、図３に示す処理を行う。 Next, an example of the photographing operation will be described with reference to FIG. FIG. 3 is a flowchart showing an example of processing at the time of photographing operation of the mobile phone terminal. The process shown in FIG. 3 is an example of a photographing operation for photographing an image that can be displayed as a three-dimensional image by the mobile phone terminal 1. The processing procedure shown in FIG. 3 is repeatedly executed based on the functions provided by the camera program 9C, the position detection program 9D, and the 3D image treatment program 9E. More specifically, the 3D image processing program 9E provides various detection results and images acquired by the function (image shooting function) provided by the camera program 9C and the function (distance detection function) provided by the position detection program 9D. Based on the above, the operation of the function (photographing function) provided by the camera program 9C is controlled by analysis, and the subject is photographed. The mobile phone terminal 1 performs the process shown in FIG. 3 when an instruction to activate a function for taking a three-dimensional image is input.

主制御部１０は、ステップＳ１２として超音波センサ１７を起動させる。主制御部１０は、ステップＳ１２で超音波センサ１７を起動させたら、ステップＳ１４としてカメラ１６を起動させる。なお、ステップＳ１２とステップＳ１４の処理は、同時に行っても、逆の順序で行ってもよい。また、既に起動されている場合は、処理を行わなくてもよい。 The main control unit 10 activates the ultrasonic sensor 17 as step S12. After activating the ultrasonic sensor 17 in step S12, the main control unit 10 activates the camera 16 as step S14. Note that the processing of step S12 and step S14 may be performed simultaneously or in the reverse order. Further, if it has already been activated, the processing need not be performed.

主制御部１０は、ステップＳ１４でカメラ１６を起動させたら、ステップＳ１５として初期設定を行う。ここで、初期設定とは、撮影に必要な各種条件の設定である。例えば、明るさ、ズーム角等の撮影条件の設定、画像をタッチパネル２に表示させるかの設定、撮影指示として検出する操作の設定等を行う。携帯電話端末１は、ステップＳ１５で初期設定を行ったら、カメラ１６による撮影を開始し、ステップＳ１６として、ビューイングを行う。つまりカメラ１６で撮影した画像をプレビュー画像としてタッチパネル２に表示させる。主制御部１０は、ステップＳ１６でビューイングを実行したら、ステップＳ１８として、撮影指示を検出したかを判定する。具体的には、主制御部１０は、利用者からの撮影指示開始指示（シャッタ）の押下等を検出したかを判定する。携帯電話端末１は、ステップＳ１８で撮影指示なし（Ｎｏ）、つまり、撮影指示を検出していないと判定したら、ステップＳ１６に進む。このように、主制御部１０は、撮影指示を検出するまでビューイング、つまりブレビュー画像の表示を行う。 When the main controller 10 activates the camera 16 in step S14, the main controller 10 performs initial setting in step S15. Here, the initial setting is a setting of various conditions necessary for shooting. For example, setting of shooting conditions such as brightness and zoom angle, setting of whether to display an image on the touch panel 2, setting of an operation to be detected as a shooting instruction, or the like is performed. After performing the initial setting in step S15, the mobile phone terminal 1 starts photographing with the camera 16, and performs viewing as step S16. That is, an image photographed by the camera 16 is displayed on the touch panel 2 as a preview image. After executing the viewing in step S16, the main control unit 10 determines whether a shooting instruction has been detected in step S18. Specifically, the main control unit 10 determines whether or not pressing of a shooting instruction start instruction (shutter) from the user is detected. If the cellular phone terminal 1 determines in step S18 that there is no shooting instruction (No), that is, no shooting instruction has been detected, the process proceeds to step S16. In this manner, the main control unit 10 performs viewing, that is, displays a review image until a shooting instruction is detected.

主制御部１０は、ステップＳ１８で撮影指示を検出した（Ｙｅｓ）と判定したら、ステップＳ２０として１枚目の画像の撮影を行う。つまり、画像を取得する。主制御部１０は、取得した画像のデータをＲＡＭ１１、記憶部９等に一時的に保存する。主制御部１０は、ステップＳ２０で画像を取得したら、ステップＳ２２からステップＳ２６の処理で自身と被写体との相対距離の検出を行う。 If the main control unit 10 determines in step S18 that a shooting instruction has been detected (Yes), it takes a first image in step S20. That is, an image is acquired. The main control unit 10 temporarily stores the acquired image data in the RAM 11, the storage unit 9, and the like. After acquiring the image in step S20, the main control unit 10 detects the relative distance between itself and the subject in the processing from step S22 to step S26.

主制御部１０は、ステップＳ２２として、超音波センサ１７の出力部１７ａから超音波を送出（出力）し、ステップＳ２４として、超音波センサ１７の受信部１７ｂで反射波を検出する。つまり、超音波センサ１７は、ステップＳ２４で出力部１７ａから出力された超音波のうち、被写体で反射され受信部１７ｂに到達した超音波である反射波を受信部１７ｂで検出する。主制御部１０は、ステップＳ２４で反射波を検出したら、ステップＳ２６として距離を算出する。具体的には、主制御部１０は、超音波を出力してから当該超音波の反射波を検出するまでの時間に基づいて、被写体と自身（筐体１２、超音波センサ１７またはカメラ１６）との距離を検出する。なお、超音波の速度は既知であるので、超音波を出力してから当該超音波の反射波を検出するまでの時間と超音波の速度とを計算することで、被写体と自身との距離を算出することができる。なお、主制御部１０は、ステップＳ２０で画像を撮影した直後のステップＳ２２からステップＳ２６の処理は、１枚目の画像の撮影時の自身と被写体との相対距離の検出として実行する。 The main control unit 10 sends (outputs) ultrasonic waves from the output unit 17a of the ultrasonic sensor 17 as step S22, and detects a reflected wave at the receiving unit 17b of the ultrasonic sensor 17 as step S24. That is, the ultrasonic sensor 17 detects a reflected wave, which is an ultrasonic wave reflected by the subject and reaches the receiving unit 17b, among the ultrasonic waves output from the output unit 17a in Step S24, by the receiving unit 17b. When the main control unit 10 detects the reflected wave in step S24, the main control unit 10 calculates the distance in step S26. Specifically, the main control unit 10 determines the subject and itself (the casing 12, the ultrasonic sensor 17 or the camera 16) based on the time from when the ultrasonic wave is output until the reflected wave of the ultrasonic wave is detected. And detect the distance. Since the speed of the ultrasonic wave is known, the distance between the subject and itself can be calculated by calculating the time from the output of the ultrasonic wave until the reflected wave of the ultrasonic wave is detected and the speed of the ultrasonic wave. Can be calculated. Note that the main control unit 10 executes the processing from step S22 to step S26 immediately after the image is captured in step S20 as detection of the relative distance between itself and the subject when the first image is captured.

主制御部１０は、ステップＳ２６で距離を算出したら、ステップＳ２８として２枚目を撮影可能な距離であるかを判定する。２枚目を撮影可能な距離とは、１枚目の画像の相対距離との間に設定した閾値範囲の距離差があり、１枚目の画像と重ねて表示させることで被写体を立体視できる画像を撮影することが可能な距離である。 After calculating the distance in step S26, the main control unit 10 determines whether it is a distance at which the second image can be captured in step S28. The distance that can be photographed for the second image is a difference in the threshold range set between the relative distance of the first image, and the subject can be stereoscopically viewed by overlapping it with the first image. This is the distance at which an image can be taken.

主制御部１０は、ステップＳ２８で撮影可能な距離ではない（Ｎｏ）と判定したら、ステップＳ３０として、距離の変化が規定値よりも大きいかを判定する。なお、規定値とは、２枚目を撮影可能な距離の判定の基準に設定した閾値範囲の距離差よりも大きい距離である。なお、規定値と閾値範囲の距離差とは、同一でなくてもよい。規定値は、閾値範囲の距離よりも大きくてもよい。主制御部１０は、ステップＳ３０で規定値よりも大きくない（Ｎｏ）と判定したら、ステップＳ２２に進み、上記処理を繰り返す。 If the main control unit 10 determines in step S28 that the distance is not photographable (No), in step S30, the main control unit 10 determines whether the change in the distance is greater than a specified value. The specified value is a distance that is larger than the distance difference between the threshold ranges set as a criterion for determining the distance at which the second image can be taken. Note that the distance difference between the specified value and the threshold range may not be the same. The specified value may be larger than the distance of the threshold range. If the main control unit 10 determines in step S30 that it is not greater than the specified value (No), the main control unit 10 proceeds to step S22 and repeats the above processing.

主制御部１０は、ステップＳ３０で規定値よりも大きい（Ｙｅｓ）と判定したら、ステップＳ３２としてアラームを送出し、ステップＳ３４として撮影不可の処理を行い、本処理を終了する。つまり、距離差が規定値を越えた場合は、その旨を報知するアラームを出力し、三次元画像の撮影を不可と判定して、１枚目の画像の消去等の処理を行い処理を終了する。 If the main control unit 10 determines that the value is larger than the specified value (Yes) in step S30, the main control unit 10 sends an alarm in step S32, performs a non-shooting process in step S34, and ends this process. In other words, if the distance difference exceeds the specified value, an alarm that informs that is output, it is determined that 3D image shooting is not possible, processing such as erasing the first image is completed, and the processing ends. To do.

携帯電話端末１は、ステップＳ２８で撮影可能距離である（Ｙｅｓ）と判定したら、ステップＳ３６として２枚目の画像を撮影する。つまり、ステップＳ２０で撮影した画像と共に表示することで被写体の３Ｄ画像を表示できる画像を撮影する。また、携帯電話端末１は、撮影した２枚の画像をタッチパネル２に重ねて表示させ、三次元画像のプレビュー表示を行ってもよい。その後、携帯電話端末１は、撮影した画像を記憶部９の画像フォルダ９Ｇに保存する。なお、携帯電話端末１は、タッチパネル２に撮影した画像および撮影した画像を保存するかの問い合わせ画像を表示させ、利用者による保存指示を検出したら画像を保存してもよい。携帯電話端末１は、保存処理を行ったら、本処理を終了する。 If the mobile phone terminal 1 determines in step S28 that the photographing distance is possible (Yes), the mobile phone terminal 1 captures the second image in step S36. That is, an image that can display a 3D image of the subject is displayed by displaying together with the image captured in step S20. In addition, the mobile phone terminal 1 may display the three-dimensional image preview by displaying two captured images on the touch panel 2 in an overlapping manner. Thereafter, the mobile phone terminal 1 stores the captured image in the image folder 9G of the storage unit 9. Note that the cellular phone terminal 1 may display an image captured on the touch panel 2 and an inquiry image as to whether to store the captured image, and may store the image when a user save instruction is detected. When the cellular phone terminal 1 performs the storage process, the process ends.

以下、図４および図５を用いて、撮影動作の具体例を説明する。ここで、図４および図５は、それぞれ携帯電話端末の撮影動作を説明するための説明図である。なお、図４は、自身が移動する場合の例であり、図５は、被写体が移動する場合の例である。図４に示すように携帯電話端末１は、ステップＳ１として、撮影領域５０に被写体４０が含まれた状態で画像を撮影する指示を検出した場合、１枚目の画像の撮影を行う。また、携帯電話端末１は、超音波センサ１７により超音波５２を出力し、携帯電話端末１と被写体４０との相対距離を算出する。 Hereinafter, a specific example of the photographing operation will be described with reference to FIGS. 4 and 5. Here, FIG. 4 and FIG. 5 are explanatory diagrams for explaining the photographing operation of the mobile phone terminal, respectively. FIG. 4 is an example when the subject moves, and FIG. 5 is an example when the subject moves. As shown in FIG. 4, when the cellular phone terminal 1 detects an instruction to shoot an image with the subject 40 included in the shooting area 50 in step S1, the mobile phone terminal 1 shoots the first image. Further, the mobile phone terminal 1 outputs an ultrasonic wave 52 by the ultrasonic sensor 17 and calculates a relative distance between the mobile phone terminal 1 and the subject 40.

その後、携帯電話端末１を持つ利用者が被写体４０と向かい合っている状態を維持しつつ移動し、本実施形態では被写体４０と離れる方向に移動する。携帯電話端末１は、一定時間毎に超音波センサ１７により定期的に相対距離を検出する。その後、ステップＳ２に示すように、携帯電話端末１は、被写体４０に向けて超音波５２を出力して携帯電話端末１と被写体４０との相対距離を検出し、相対距離が１枚目の画像を撮影した相対距離よりも距離Ｌ離れたことを検出した場合、２枚目の画像を撮影する。これにより、被写体との相対距離が一定距離変化している２枚の画像を撮影することができる。 Thereafter, the user who has the mobile phone terminal 1 moves while maintaining the state facing the subject 40, and moves in a direction away from the subject 40 in the present embodiment. The cellular phone terminal 1 periodically detects the relative distance by the ultrasonic sensor 17 at regular intervals. Thereafter, as shown in step S2, the mobile phone terminal 1 outputs an ultrasonic wave 52 toward the subject 40 to detect the relative distance between the mobile phone terminal 1 and the subject 40, and the relative distance is the first image. When it is detected that the distance L is greater than the relative distance at which the image is captured, the second image is captured. Thereby, it is possible to take two images whose relative distance to the subject is changed by a certain distance.

次に、図５に示すように携帯電話端末１は、ステップＳ５として、撮影領域に被写体１００が含まれた状態で画像を撮影する指示を検出した場合、１枚目の画像の撮影を行う。また、携帯電話端末１は、超音波センサ１７により超音波を出力し、携帯電話端末１と被写体１００との相対距離を算出する。 Next, as shown in FIG. 5, when the cellular phone terminal 1 detects an instruction to shoot an image in a state where the subject 100 is included in the shooting area in step S <b> 5, the mobile phone terminal 1 shoots the first image. Further, the mobile phone terminal 1 outputs an ultrasonic wave by the ultrasonic sensor 17 and calculates a relative distance between the mobile phone terminal 1 and the subject 100.

その後、被写体１００は、携帯電話端末１と向かい合っている状態を維持しつつ移動し、本実施形態では携帯電話端末１と離れる方向に移動する。携帯電話端末１は、一定時間毎に超音波センサ１７により定期的に相対距離を検出する。その後、ステップＳ６に示すように、携帯電話端末１は、移動した被写体１００ａに向けて超音波を出力して携帯電話端末１と被写体１００ａとの相対距離を検出し、相対距離が１枚目の画像を撮影した相対距離から設定した範囲内の距離分離れたことを検出した場合、２枚目の画像を撮影する。これにより、被写体との相対距離が一定距離変化している２枚の画像を撮影することができる。 Thereafter, the subject 100 moves while maintaining the state facing the mobile phone terminal 1, and in the present embodiment, the subject 100 moves away from the mobile phone terminal 1. The cellular phone terminal 1 periodically detects the relative distance by the ultrasonic sensor 17 at regular intervals. Thereafter, as shown in step S6, the mobile phone terminal 1 outputs an ultrasonic wave toward the moved subject 100a to detect the relative distance between the mobile phone terminal 1 and the subject 100a, and the relative distance is the first one. When it is detected that the distance within the set range is separated from the relative distance at which the image was captured, the second image is captured. Thereby, it is possible to take two images whose relative distance to the subject is changed by a certain distance.

このように、携帯電話端末１は、超音波センサ１７を用いて、自身（筐体１２、携帯電話端末１）と被写体との距離（相対距離、被写体距離）を検出することで、１枚目の画像と２枚目の画像との相対位置を高い精度で検出することができる。これにより、より好適に被写体の三次元画像を撮影可能な位置で画像を取得することができる。つまり、被写体を立体視できる画像の組み合わせを高い精度で撮影し、取得することができる。また、１台の携帯電話端末１で三次元表示が可能な画像データの組み合わせを撮影することができる。 Thus, the mobile phone terminal 1 uses the ultrasonic sensor 17 to detect the distance (relative distance, subject distance) between itself (the casing 12 and the mobile phone terminal 1) and the subject, thereby The relative position between the first image and the second image can be detected with high accuracy. Thereby, it is possible to acquire an image at a position where a three-dimensional image of the subject can be captured more suitably. That is, it is possible to capture and acquire a combination of images with which the subject can be stereoscopically viewed with high accuracy. In addition, a combination of image data that can be three-dimensionally displayed by one mobile phone terminal 1 can be photographed.

また、携帯電話端末１は、超音波センサ１７を用いて相対距離を算出することで、携帯電話端末１が動かない場合、つまり被写体が移動する場合でも被写体の移動により適切な位置関係となったときに２枚目の画像を撮影することができる。また、両者が移動した場合も同様に、適切な位置関係となったときに２枚目の画像を撮影することができる。これにより、被写体が移動する場合でも被写体の移動を加味して２枚目の画像の撮影タイミングを決定することができる。これにより、より好適に被写体の三次元画像を撮影可能な位置で画像を取得することができる。 Further, the mobile phone terminal 1 calculates the relative distance using the ultrasonic sensor 17, so that the mobile phone terminal 1 has an appropriate positional relationship due to the movement of the subject even when the mobile phone terminal 1 does not move, that is, even when the subject moves. Sometimes a second image can be taken. Similarly, when both are moved, the second image can be taken when the appropriate positional relationship is obtained. Thereby, even when the subject moves, the shooting timing of the second image can be determined in consideration of the movement of the subject. Thereby, it is possible to acquire an image at a position where a three-dimensional image of the subject can be captured more suitably.

また、携帯電話端末１は、１枚目の画像を撮影した後、超音波センサ１７で検出した相対距離の情報に基づいて、自動的に２枚目の画像を撮影することで、利用者が勘や携帯電話端末１からの指示により撮影を行う場合よりも高い精度で、被写体の三次元画像を撮影可能な位置で画像を取得することができる。 In addition, the mobile phone terminal 1 automatically captures the second image based on the information on the relative distance detected by the ultrasonic sensor 17 after the first image is captured. An image can be acquired at a position where a three-dimensional image of a subject can be photographed with higher accuracy than when photographing based on an intuition or an instruction from the mobile phone terminal 1.

携帯電話端末１は、主制御部１０で、検出した被写体距離と１枚目の画像の撮影時の被写体距離との差分が設定した範囲にある場合、被写体の２枚目の画像を撮影する設定とすることで、より適切に、被写体の三次元画像を撮影可能な位置で画像を取得することができる。 The mobile phone terminal 1 is configured to shoot the second image of the subject when the difference between the detected subject distance and the subject distance at the time of photographing the first image is within the set range in the main control unit 10. By doing so, an image can be acquired more appropriately at a position where a three-dimensional image of the subject can be captured.

また、携帯電話端末１は、超音波センサ１７により検出した超音波の反射波の反射強度の変化に基づいて被写体との相対位置の変化を検出することが好ましい。このように、反射強度を判定することで、被写体が位置を移動せずに回転し、超音波が当たる位置が変化することを検出することができる。これにより、移動していないが相対位置が変化し、２枚目の画像を撮影できる場合にも対応することができる。 In addition, the mobile phone terminal 1 preferably detects a change in the relative position with respect to the subject based on a change in the reflection intensity of the reflected wave of the ultrasonic wave detected by the ultrasonic sensor 17. In this way, by determining the reflection intensity, it is possible to detect that the subject rotates without moving the position and the position where the ultrasonic wave hits changes. Accordingly, it is possible to cope with the case where the second image can be captured because the relative position is changed although it is not moved.

また、携帯電話端末１の主制御部１０は、超音波センサ１７で検出した結果に基づいて被写体が動かないと判定した場合、タッチパネル２やレシーバ７等の報知部（利用者に情報を伝達できる機構）から筐体１２を移動させる指示を報知してもよい。また、主制御部１０は、被写体が動いていると判定した場合、報知部から筐体１２を移動させない指示を報知してもよい。このように、相対距離の情報に基づいて利用者に移動しないことを含めて適切な移動を指示することで、短時間でより好適に被写体の三次元画像を撮影可能な位置で画像を取得することができる。なお、被写体が動いているか、筐体１２が動いているかは加速度センサ１８の検出結果を用いることで判定できる。なお、撮影した画像の解析を行い、被写体と周りの風景との関係を検出することでも判定することはできる。 In addition, when the main control unit 10 of the mobile phone terminal 1 determines that the subject does not move based on the result detected by the ultrasonic sensor 17, the notification unit (information can be transmitted to the user such as the touch panel 2 and the receiver 7). An instruction to move the housing 12 may be notified from the mechanism. Further, when determining that the subject is moving, the main control unit 10 may notify the instruction not to move the housing 12 from the notification unit. In this way, by instructing appropriate movement including not moving to the user based on the information on the relative distance, an image is acquired at a position where a three-dimensional image of the subject can be captured more suitably in a short time. be able to. Whether the subject is moving or the housing 12 is moving can be determined by using the detection result of the acceleration sensor 18. The determination can also be made by analyzing the photographed image and detecting the relationship between the subject and the surrounding landscape.

主制御部１０は、被写体が動いていると判定しかつ加速度センサ１８で筐体１２が移動していることを検出した場合、報知部から筐体１２を移動させない指示を報知することがより好ましい。これにより、相対位置の関係が大きく変化し、好適に被写体の三次元画像を撮影可能な位置で画像を取得することができる。 When the main control unit 10 determines that the subject is moving and detects that the casing 12 is moved by the acceleration sensor 18, it is more preferable that the notification unit notifies the instruction not to move the casing 12. . Thereby, the relationship between the relative positions changes greatly, and an image can be acquired at a position where a three-dimensional image of the subject can be suitably captured.

また、主制御部１０は、カメラ１６で撮影した画像に基づいて被写体を特定し、前記撮影部と特定した被写体との距離を被写体距離とすることが好ましい。これにより、被写体距離を評価する対象が変化することを抑制でき、より高い確率で被写体を立体視することができる画像を撮影することができる。 Further, it is preferable that the main control unit 10 identifies a subject based on an image photographed by the camera 16 and sets a distance between the photographing unit and the identified subject as a subject distance. Thereby, it is possible to suppress a change in the subject whose subject distance is evaluated, and it is possible to capture an image that allows the subject to be stereoscopically viewed with higher probability.

また、上記実施形態では、２枚の画像で１つの三次元画像を表示させる場合としたが、さらに多くの枚数で１つの三次元画像を表示させるようにしてもよい。この場合、携帯電話端末１は、必要な相対位置の画像を対応する枚数分撮影することで、複数枚の画像データで構成される三次元画像を撮影することができる。 In the above embodiment, one three-dimensional image is displayed with two images, but one three-dimensional image may be displayed with a larger number of images. In this case, the cellular phone terminal 1 can capture a three-dimensional image composed of a plurality of pieces of image data by capturing a corresponding number of images of relative positions.

次に、図６を用いて、撮影動作の他の例について説明する。図６は、携帯電話端末の撮影動作時の処理の一例を示すフロー図である。図６に示す処理は、携帯電話端末１により三次元画像で表示可能な画像を撮影する撮影動作の一例である。図６に示す処理手順は、図３と同様に、カメラプログラム９Ｃ、位置検出プログラム９Ｄ、３Ｄ画像処置プログラム９Ｅが提供する機能に基づいて繰り返し実行される。 Next, another example of the photographing operation will be described with reference to FIG. FIG. 6 is a flowchart showing an example of processing at the time of photographing operation of the mobile phone terminal. The process shown in FIG. 6 is an example of a photographing operation for photographing an image that can be displayed as a three-dimensional image by the mobile phone terminal 1. The processing procedure shown in FIG. 6 is repeatedly executed based on the functions provided by the camera program 9C, the position detection program 9D, and the 3D image treatment program 9E, as in FIG.

主制御部１０は、ステップＳ１１２として超音波センサ１７を起動させる。主制御部１０は、ステップＳ１１２で超音波センサを起動させたら、ステップＳ１１４としてカメラ１６を起動させる。なお、ステップＳ１１２とステップＳ１１４の処理は、同時に行っても、逆の順序で行ってもよい。また、既に起動されている場合は、処理を行わなくてもよい。 The main control unit 10 activates the ultrasonic sensor 17 as step S112. When the main control unit 10 activates the ultrasonic sensor in step S112, the main control unit 10 activates the camera 16 in step S114. Note that the processing of step S112 and step S114 may be performed simultaneously or in the reverse order. Further, if it has already been activated, the processing need not be performed.

主制御部１０は、ステップＳ１１４でカメラ１６を起動させたら、ステップＳ１１６として、画像を撮影する。つまり、１枚目の画像を取得する。主制御部１０は、取得した画像のデータをＲＡＭ１１、記憶部９等に一時的に保存する。主制御部１０は、ステップＳ１６で画像を取得したら、ステップＳ１１８で撮影位置情報を取得する。具体的には、主制御部１０は、超音波センサ１７で検出した情報に基づいて自身（筐体１２）と被写体との距離を検出し、相対的な位置関係（相対距離）の情報を取得する。なお、主制御部１０は、最初に検出した相対距離を基準の相対距離とする。主制御部１０は、取得した撮影位置情報を一時的に保存する。 When the main control unit 10 activates the camera 16 in step S114, the main control unit 10 captures an image in step S116. That is, the first image is acquired. The main control unit 10 temporarily stores the acquired image data in the RAM 11, the storage unit 9, and the like. After acquiring the image in step S16, the main control unit 10 acquires the shooting position information in step S118. Specifically, the main control unit 10 detects the distance between itself (the casing 12) and the subject based on the information detected by the ultrasonic sensor 17, and acquires information on the relative positional relationship (relative distance). To do. The main control unit 10 sets the first detected relative distance as a reference relative distance. The main control unit 10 temporarily stores the acquired shooting position information.

主制御部１０は、ステップＳ１１８で撮影位置情報を取得したら、ステップＳ１２０として、現在位置情報を取得する。具体的には、主制御部１０は、ステップＳ１１８と同様に超音波センサ１７から取得した情報に基づいて、現在の相対距離の情報を取得する。 After acquiring the shooting position information in step S118, the main control unit 10 acquires the current position information as step S120. Specifically, the main control unit 10 acquires information on the current relative distance based on information acquired from the ultrasonic sensor 17 as in step S118.

主制御部１０は、ステップＳ１２０で現在の位置情報（相対距離）を取得したら、ステップＳ１２２として立体視に適した位置であるかを判定する。つまり、撮影した画像とこれから撮影する画像とで被写体の立体画像を表示することが可能な状態であるかを判定する。 After acquiring the current position information (relative distance) in step S120, the main control unit 10 determines whether the position is suitable for stereoscopic vision in step S122. That is, it is determined whether or not it is possible to display a stereoscopic image of the subject between the photographed image and the image to be photographed.

主制御部１０は、ステップＳ１２２で立体視に適した位置ではない（Ｎｏ）と判定したら、ステップＳ１２０に進む。つまり、主制御部１０は、立体視に適した相対距離となるまで、ステップＳ１２０とステップＳ１２２の処理を繰り返す。なお主制御部１０は、立体視に適した位置ではないと判定したら、１枚目の画像から撮影しなおしてもよい。つまり、ステップＳ１２２でＮｏと判定したら、ステップＳ１１６に進むようにしてもよい。主制御部１０は、ステップＳ１２２で立体視に適した位置である（Ｙｅｓ）と判定したら、ステップＳ１２４として画像（２枚目の画像）を撮影する。つまり、ステップＳ１１６で撮影した画像と共に表示することで前記被写体の３Ｄ画像を表示できる画像を撮影する。主制御部１０は、ステップＳ１２４で撮影した２枚目の画像のデータおよび２枚目の画像のデータの撮影位置情報（直近のステップＳ１８８で取得した情報）を一時的に記憶する。また、主制御部１０は、撮影した２枚の画像をタッチパネル２に重ねて表示させ、三次元画像のプレビュー表示を行ってもよい。 If the main control unit 10 determines in step S122 that the position is not suitable for stereoscopic viewing (No), the main control unit 10 proceeds to step S120. That is, the main control unit 10 repeats the processes of step S120 and step S122 until the relative distance suitable for stereoscopic viewing is reached. If the main control unit 10 determines that the position is not suitable for stereoscopic viewing, the main control unit 10 may re-shoot from the first image. That is, if it is determined No in step S122, the process may proceed to step S116. If the main control unit 10 determines in step S122 that the position is suitable for stereoscopic viewing (Yes), the main control unit 10 captures an image (second image) in step S124. That is, an image that can display a 3D image of the subject is displayed by displaying the image together with the image captured in step S116. The main control unit 10 temporarily stores the data of the second image captured in step S124 and the shooting position information of the data of the second image (information acquired in the latest step S188). Further, the main control unit 10 may display the captured two images on the touch panel 2 so as to display a preview of the three-dimensional image.

主制御部１０は、ステップＳ１２４で画像を撮影したら、ステップＳ１２６として、画像を調整する。具体的には、ステップＳ１１６で撮影した１枚目の画像とステップＳ１２４で撮影した２枚目の画像とを比較し、いずれか一方の画像のみに含まれる周囲の景色等を切り取り、２つの画像に含まれる被写体、景色等を同一の構成とする。 When the main control unit 10 captures an image in step S124, the main control unit 10 adjusts the image in step S126. Specifically, the first image captured in step S116 and the second image captured in step S124 are compared, and the surrounding scenery or the like included in only one of the images is cut out to obtain two images. The subject, scenery, etc. included in the same structure.

主制御部１０は、ステップＳ１２６で画像の調整を行ったら、ステップＳ１２８として、撮影指示ありかを判定する。なお、撮影指示とは、画像を撮影するトリガーとなる操作であり、いわゆるシャッタ操作である。主制御部１０は、ステップＳ１２８で撮影指示なし（Ｎｏ）、つまり、シャッタが押されていないと判定したら、ステップＳ１１６に進み、上記処理を繰り返す。なお、この際、主制御部１０は、一時的に記憶していた撮影データおよび撮影位置情報を破棄（消去）する。 After adjusting the image in step S126, the main control unit 10 determines whether there is a shooting instruction in step S128. The shooting instruction is an operation that serves as a trigger for shooting an image, and is a so-called shutter operation. If the main control unit 10 determines in step S128 that there is no shooting instruction (No), that is, the shutter is not pressed, the main control unit 10 proceeds to step S116 and repeats the above processing. At this time, the main control unit 10 discards (deletes) the temporarily stored shooting data and shooting position information.

主制御部１０は、ステップＳ１２８で撮影指示あり（Ｙｅｓ）と判定したら、ステップＳ１３０として、撮影した画像と位置情報を記憶部９の画像フォルダ９Ｇに保存する。なお、主制御部１０は、タッチパネル２に撮影した画像および撮影した画像を保存するかの問い合わせ画像を表示させ、利用者による保存指示を検出したら画像を保存してもよい。主制御部１０は、ステップＳ１３０の保存処理を行ったら、本処理を終了する。 If the main control unit 10 determines that there is a shooting instruction (Yes) in step S128, the main control unit 10 stores the shot image and position information in the image folder 9G of the storage unit 9 in step S130. The main control unit 10 may display a captured image on the touch panel 2 and an inquiry image as to whether to store the captured image, and may store the image when a user's storage instruction is detected. When the main control unit 10 performs the storage process of step S130, the main control unit 10 ends the process.

携帯電話端末１は、図６に示すように超音波センサ１７での測定結果に基づいて相対距離を検出しつつ、画像を撮影し、立体視が可能な画像の組み合わせを撮影しておき、利用者が撮影指示を入力したら、予め撮影した立体視が可能な画像の組み合わせを保存するようにしてもよい。つまり、随時、立体視が可能な画像を自動的に撮影しつづけてもよい。 As shown in FIG. 6, the mobile phone terminal 1 captures an image while detecting a relative distance based on the measurement result of the ultrasonic sensor 17 and captures a combination of images that can be stereoscopically viewed. When a person inputs a shooting instruction, a combination of images that can be stereoscopically shot in advance may be stored. That is, an image that can be stereoscopically viewed may be automatically taken as needed.

携帯電話端末１は、主制御部１０でカメラプログラム９Ｃの処理を実行することで、焦点距離、倍率（ズーム）露出量等の撮影条件を調整し、撮影した画像の被写体の明るさ、大きさ等を同等とすることが好ましい。これにより、三次元画像を表示させるために画像を重ねたときに違和感が生じることを抑制することができる。 The mobile phone terminal 1 executes the processing of the camera program 9C in the main control unit 10 to adjust the shooting conditions such as the focal length and the magnification (zoom) exposure amount, and the brightness and size of the subject of the shot image. Etc. are preferably equal. Thereby, it is possible to suppress a sense of incongruity when images are superimposed to display a three-dimensional image.

また、携帯電話端末１の超音波センサ１７は、出力部１７ａから出力する超音波に指向性を持たせることが好ましい。これにより、主制御部１０は、利用者の操作に基づいて撮影領域に含まれる複数の被写体から特定の被写体を抽出し、超音波センサ１７によって、当該特定の被写体と自身との距離を算出することで、２つの画像の間で特定の被写体の位置を適切にずらすことができ、特定の被写体を三次元で表示できる画像を撮影することができる。 Moreover, it is preferable that the ultrasonic sensor 17 of the mobile phone terminal 1 has directivity to the ultrasonic wave output from the output unit 17a. As a result, the main control unit 10 extracts a specific subject from a plurality of subjects included in the imaging region based on the user's operation, and calculates the distance between the specific subject and itself using the ultrasonic sensor 17. Thus, the position of the specific subject can be appropriately shifted between the two images, and an image that can display the specific subject in three dimensions can be taken.

また、携帯電話端末１は、加速度センサ１８での検出結果も加味して、相対距離に加え、筐体１２の移動を加味して、２枚目の画像を撮影するかを判定してもよい。例えば、携帯電話端末１は、撮影時の位置からの自身（筐体１２）の移動距離を算出し、撮影時の距離と現在の距離と被写体とで構成される二等辺三角形（被写体と撮影時の位置を結んだ線と、被写体と現在の位置とを結んだ線と、が長さの等しい三角形）の頂角を算出し、当該頂角が立体視に適した角度であるかを判定する。これにより、被写体を立体視できる画像をより高い確率で撮影することができる。 Further, the mobile phone terminal 1 may determine whether to capture the second image in consideration of the detection result of the acceleration sensor 18 and the movement of the housing 12 in addition to the relative distance. . For example, the mobile phone terminal 1 calculates the movement distance of itself (housing 12) from the position at the time of shooting, and isosceles triangles (the subject and the shooting time) that are configured by the distance at the time of shooting, the current distance, and the subject. The vertex angle of the line connecting the positions of the object and the line connecting the subject and the current position is equal in length), and determines whether the vertex angle is an angle suitable for stereoscopic viewing. . As a result, it is possible to capture an image with which the subject can be stereoscopically viewed with higher probability.

なお、上記実施形態の携帯電話端末１は、距離検出部として超音波センサ１７を用いることで、より遠くの被写体との距離をより高精度に計測することができる。このため、距離検出部としては、超音波で距離を検出する方法、カメラのオートフォーカス機能（絞りの調整機能）で被写体との焦点距離を算出して当該焦点距離を被写体との距離として検出する方法を用いることが好ましいがこれに限定されない。距離検出部は、超音波以外にも、赤外線やレーザ光等を用いて自身と被写体との距離を算出するセンサも用いることができる。 Note that the cellular phone terminal 1 of the above embodiment can measure the distance to a farther subject with higher accuracy by using the ultrasonic sensor 17 as a distance detection unit. For this reason, as the distance detection unit, a method of detecting a distance using ultrasonic waves, a focal length with a subject is calculated by an autofocus function (aperture adjustment function) of the camera, and the focal length is detected as a distance to the subject. The method is preferably used, but is not limited thereto. In addition to the ultrasonic wave, the distance detection unit can also use a sensor that calculates the distance between itself and the subject using infrared rays, laser light, or the like.

また、上記の実施形態では、表示部としてタッチパネルを有する電子機器に本発明を適用する例について説明したが、本発明は、表示手段として、タッチセンサが重畳されていない単なる表示パネルを有する電子機器に適用することもできる。 In the above embodiment, an example in which the present invention is applied to an electronic device having a touch panel as a display unit has been described. However, the present invention is an electronic device having a simple display panel on which a touch sensor is not superimposed as a display unit. It can also be applied to.

１携帯電話端末
２タッチパネル
２Ａタッチセンサ
２Ｂ表示部
３入力部
５電源部
６通信部
７レシーバ
８マイク
９記憶部
９Ａメールプログラム
９Ｂブラウザプログラム
９Ｃカメラプログラム
９Ｄ位置検出プログラム
９Ｅ３Ｄ画像処理プログラム
９Ｆ処理条件テーブル
９Ｇ画像フォルダ
１０主制御部
１１ＲＡＭ
１２筐体
１６カメラ
１７超音波センサ
１７ａ出力部
１７ｂ受信部
１８加速度センサ
２０、２２ボタン
２４入力デバイス DESCRIPTION OF SYMBOLS 1 Mobile phone terminal 2 Touch panel 2A Touch sensor 2B Display part 3 Input part 5 Power supply part 6 Communication part 7 Receiver 8 Microphone 9 Memory | storage part 9A Mail program 9B Browser program 9C Camera program 9D Position detection program 9E 3D image processing program 9F Processing condition table 9G image folder 10 main control unit 11 RAM
DESCRIPTION OF SYMBOLS 12 Case 16 Camera 17 Ultrasonic sensor 17a Output part 17b Reception part 18 Acceleration sensor 20, 22 Button 24 Input device

Claims

筐体と、
前記筐体に配置され、被写体を撮影する撮影部と、
前記撮影部と前記被写体との被写体距離を検出する距離検出部と、
前記撮影部で前記被写体の１枚目の画像を撮影した後、前記距離検出部で検出した結果に基づいて、前記１枚目の画像と組み合わせることで前記被写体を立体視できる画像を撮影できる前記被写体距離に前記筐体が配置されていると判定した場合、前記撮影部で前記被写体の２枚目の画像を撮影する制御部と、
を有することを特徴とする携帯電子機器。 A housing,
An imaging unit arranged in the housing for imaging a subject;
A distance detection unit for detecting a subject distance between the photographing unit and the subject;
After the first image of the subject is photographed by the photographing unit, an image capable of stereoscopically viewing the subject can be photographed by combining with the first image based on the result detected by the distance detecting unit. A control unit that captures a second image of the subject by the photographing unit when it is determined that the casing is disposed at a subject distance;
A portable electronic device characterized by comprising:

前記距離検出部は、前記被写体に向けて超音波を出力し、当該超音波の反射波を検出することで、前記被写体距離を検出する超音波センサであることを特徴とする請求項１に記載の携帯電子機器。 The said distance detection part is an ultrasonic sensor which detects the said object distance by outputting an ultrasonic wave toward the said object and detecting the reflected wave of the said ultrasonic wave. Portable electronic devices.

前記超音波センサは、超音波を出力してから当該超音波の反射波を検出するまでの時間に基づいて前記被写体距離を検出することを特徴とする請求項２に記載の携帯電子機器。 The portable electronic device according to claim 2, wherein the ultrasonic sensor detects the subject distance based on a time from when an ultrasonic wave is output until a reflected wave of the ultrasonic wave is detected.

前記超音波センサは、超音波の反射波の反射強度の変化に基づいて前記被写体との相対位置の変化を検出することを特徴とする請求項２または３に記載の携帯電子機器。 The portable electronic device according to claim 2, wherein the ultrasonic sensor detects a change in a relative position with respect to the subject based on a change in reflection intensity of an ultrasonic reflected wave.

報知部をさらに有し、
前記制御部は、前記距離検出部で検出した結果に基づいて前記被写体が動かないと判定した場合、前記報知部から前記筐体を移動させる指示を報知し、前記被写体が動いていると判定した場合、前記報知部から前記筐体を移動させない指示を報知することを特徴とする請求項１から４のいずれか一項に記載の携帯電子機器。 It further has a notification unit,
When the control unit determines that the subject does not move based on the result detected by the distance detection unit, the control unit notifies the instruction to move the housing from the notification unit, and determines that the subject is moving. In this case, the portable electronic device according to any one of claims 1 to 4, wherein an instruction not to move the casing is issued from the notification unit.

前記筐体の移動を検出する加速度センサと、報知部と、をさらに有し、
前記制御部は、前記被写体が動いていると判定しかつ前記加速度センサで前記筐体が移動していることを検出した場合、前記報知部から前記筐体を移動させない指示を報知することを特徴とする請求項１から４のいずれか一項に記載の携帯電子機器。 An acceleration sensor that detects movement of the housing; and a notification unit;
When the control unit determines that the subject is moving and the acceleration sensor detects that the casing is moving, the control unit notifies the instruction not to move the casing from the notification unit. The portable electronic device according to any one of claims 1 to 4.

前記制御部は、検出した被写体距離と前記１枚目の画像の撮影時の被写体距離との差分が設定した範囲にある場合、前記被写体の２枚目の画像を撮影することを特徴とする請求項１から６のいずれか一項に記載の携帯電子機器。 The control unit captures a second image of the subject when a difference between the detected subject distance and a subject distance at the time of capturing the first image is within a set range. Item 7. The portable electronic device according to any one of Items 1 to 6.

前記制御部は、前記撮影部で撮影した画像に基づいて被写体を特定し、前記撮影部と特定した被写体との距離を前記被写体距離とすることを特徴とする請求項１から７のいずれか一項に記載の携帯電子機器。 The said control part specifies a to-be-photographed object based on the image image | photographed with the said imaging | photography part, The distance of the said to-be-photographed part and the specified to-be-photographed object is made into the said to-be-photographed object distance. The portable electronic device according to Item.