JP2003259394A - Imaging apparatus with display function, and mobile terminal provided with the imaging apparatus with the display function - Google Patents
Imaging apparatus with display function, and mobile terminal provided with the imaging apparatus with the display functionInfo
- Publication number
- JP2003259394A JP2003259394A JP2002058174A JP2002058174A JP2003259394A JP 2003259394 A JP2003259394 A JP 2003259394A JP 2002058174 A JP2002058174 A JP 2002058174A JP 2002058174 A JP2002058174 A JP 2002058174A JP 2003259394 A JP2003259394 A JP 2003259394A
- Authority
- JP
- Japan
- Prior art keywords
- image
- eye
- display
- dimensional
- dimensional image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】本発明は、表示機能付撮像装
置及び該表示機能付撮像装置を備えた携帯端末装置に関
し、特に、3次元画像として撮像する撮像手段と3次元
画像を表示する表示手段とを備えている表示機能付撮像
装置及び該表示機能付撮像装置を備えた携帯端末装置に
関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image pickup device with a display function and a portable terminal device equipped with the image pickup device with a display function, and particularly to an image pickup means for picking up a three-dimensional image and a display means for displaying a three-dimensional image. The present invention relates to an image pickup apparatus with a display function, and a mobile terminal device including the image pickup apparatus with a display function.
【0002】[0002]
【従来の技術】近年、パーソナルコンピュータやインタ
ーネットの発展と共に、デジタルカメラの普及には目覚
しいものがある。従来、撮像装置を用いて、3次元の画
像を作成する手法としては、特開平7−234460号
公報「3次元画像信号処理方法」に記載されているよう
に、2つのカメラを用いて右目用及び左目用の画像デー
タとして撮像されたそれぞれの画像データを、3次元画
像として画像合成を行ない、3次元画像データを作成す
る方法が用いられている。図6に、従来のカメラを2個
使用した場合の表示機能付撮像装置の構成例を示してい
る。2. Description of the Related Art In recent years, with the development of personal computers and the Internet, the spread of digital cameras has been remarkable. Conventionally, as a method of creating a three-dimensional image using an imaging device, as described in Japanese Patent Application Laid-Open No. 7-234460, "Three-dimensional image signal processing method", two cameras are used for the right eye. And a method of creating three-dimensional image data by performing image synthesis on the respective image data captured as the image data for the left eye as a three-dimensional image. FIG. 6 shows a configuration example of an image pickup apparatus with a display function when two conventional cameras are used.
【0003】図6に示す従来の表示機能付撮像装置20
においては、左目用及び右目用の2つの画像をそれぞれ
撮像するカメラA 11a,カメラB 11bと、2つ
の撮像画像を画像合成して3次元画像を作成し表示する
ことを制御すると共に、撮像者からの指示に基づいて、
カメラA 11aとカメラB 11bとの位置を調整す
る機能を提供するCPU12と、メモリ13と、撮像画
像を表示装置15上に表示させる制御を行なう表示装置
用コントローラ14と、撮像画像を表示する表示装置1
5とから構成されている。メモリ13には、カメラA
11aとカメラB 11bとから取り込まれた画像デー
タをそれぞれ一旦保管するために、フレームメモリA
13a,フレームメモリB 13bなども備えられてい
る。A conventional image pickup device 20 with a display function shown in FIG.
In the above, the camera A 11a and the camera B 11b respectively capturing two images for the left eye and the right eye, and controlling the creation and display of a three-dimensional image by combining the two captured images are controlled. Based on the instructions from
A CPU 12 that provides a function of adjusting the positions of the camera A 11a and the camera B 11b, a memory 13, a display device controller 14 that controls to display a captured image on a display device 15, and a display that displays the captured image. Device 1
It is composed of 5 and. In the memory 13, the camera A
In order to temporarily store the image data respectively captured by the camera 11a and the camera B 11b, the frame memory A
13a and a frame memory B 13b are also provided.
【0004】図7には、図6に示す従来の表示機能付撮
像装置20において、左右それぞれの目用画像の取り込
みから3次元画像データの決定までの動作を、動作フロ
ーチャートとして纏めている。カメラA 11a及びカ
メラB 11bからそれぞれ右目用及び左目用画像デー
タを順次撮像して取り込み(ステップS21)、それぞ
れメモリ13内のフレームメモリA 13a及びフレー
ムメモリB 13bに書き込む(ステップS22)。FIG. 7 is a flow chart showing the operation of the conventional image pickup apparatus 20 with a display function shown in FIG. 6 from the acquisition of left and right eye images to the determination of three-dimensional image data. The image data for the right eye and the image data for the left eye are sequentially captured and captured from the camera A 11a and the camera B 11b (step S21), and written in the frame memory A 13a and the frame memory B 13b in the memory 13 (step S22).
【0005】CPU12は、メモリ13のフレームメモ
リA 13aとフレームメモリB13bとにそれぞれ取
り込まれている右目用画像データと左目用画像データと
を画像合成し、3次元画像データに変換する(ステップ
S23)。ここで、変換された前記3次元画像データ
は、仮3次元画像データとして仮決定される。The CPU 12 synthesizes the image data for the right eye and the image data for the left eye, which are respectively taken into the frame memory A 13a and the frame memory B 13b of the memory 13, and converts them into three-dimensional image data (step S23). . Here, the converted three-dimensional image data is provisionally determined as provisional three-dimensional image data.
【0006】仮決定された前記仮3次元画像データは、
表示装置用コントローラ14内の表示用のメモリに書き
込まれる(ステップS24)。表示装置用コントローラ
14は、表示装置用コントローラ14内の表示用のメモ
リに書き込まれている仮3次元画像データに基づいて、
表示装置15を点灯すべく制御信号を作成し、作成され
た制御信号と、表示すべき表示データとして表示装置用
コントローラ14内の表示用のメモリに書き込まれてい
る前記仮3次元画像データとを表示装置15に送信す
る。表示装置15は、送信されてきた制御信号と、表示
データとなる前記仮3次元画像データとに基づいて、仮
3次元画像を表示する(ステップS25)。The provisionally determined three-dimensional image data is
It is written in the display memory in the display device controller 14 (step S24). The display device controller 14 is based on the temporary three-dimensional image data written in the display memory in the display device controller 14,
A control signal is generated to turn on the display device 15, and the generated control signal and the temporary three-dimensional image data written in the display memory in the display device controller 14 as display data to be displayed are displayed. It is transmitted to the display device 15. The display device 15 displays the temporary three-dimensional image based on the transmitted control signal and the temporary three-dimensional image data serving as display data (step S25).
【0007】次いで、撮像者は、表示装置15に表示さ
れている前記仮3次元画像の表示内容が3次元画像表示
として認識可能か否かを判定することになる(ステップ
S26)。かかる3次元画像表示の判定について、もう
少し詳細に、図8乃至図11を用いて説明する。ここ
に、図8乃至図11は、3次元画像表示として認識する
目と表示画像と結像位置との関係を示す模式図である。Next, the photographer determines whether the display contents of the temporary three-dimensional image displayed on the display device 15 can be recognized as a three-dimensional image display (step S26). The determination of the three-dimensional image display will be described in more detail with reference to FIGS. 8 to 11. 8 to 11 are schematic diagrams showing the relationship between the eyes recognized as a three-dimensional image display, the display image, and the image forming position.
【0008】まず、図8において、符号31a,31b
は、それぞれ撮像者の右目,左目の位置を示している。
表示装置15に表示される前記仮3次元画像は、撮像者
の右目の位置31aと左目の位置31bとを結ぶ線31
cの垂直方向に符号d1で示す距離だけ右目の位置31
a,左目の位置31bから離れた位置(即ち、表示装置
15と撮像者の目の位置31a,31bとの間の距離d
1)にある。First, in FIG. 8, reference numerals 31a and 31b are used.
Indicates the positions of the right eye and left eye of the photographer, respectively.
The temporary three-dimensional image displayed on the display device 15 is a line 31 connecting the position 31a of the right eye and the position 31b of the left eye of the photographer.
The position 31 of the right eye in the vertical direction of c by the distance indicated by the symbol d 1.
a, a position away from the position 31b of the left eye (that is, the distance d between the display device 15 and the positions 31a and 31b of the imager's eyes).
1 ).
【0009】表示装置15上に表示される前記仮3次元
画像データのある一つのポイントに対しては、右目用画
像は符号32a1の位置に、左目用画像は符号32b1の
位置に、前記仮3次元画像として表示され、而して、該
仮3次元画像は、右目の位置31aと右目用画像の位置
32a1とを結ぶ直線の延長線と左目の位置31bと左
目用画像の位置32b1とを結ぶ直線の延長線との交点
に、それぞれの画像が合成されて結像されているように
見え、それぞれの画像の結像位置となる符号33p1の
位置に画像が存在しているように見ることができる。For one point of the provisional three-dimensional image data displayed on the display device 15, the right-eye image is at the position 32a 1 and the left-eye image is at the position 32b 1 The temporary 3D image is displayed as a temporary 3D image, and the temporary 3D image is an extension of a straight line connecting the position 31a of the right eye and the position 32a 1 of the image for the right eye, the position 31b of the left eye, and the position 32b of the image for the left eye. At the intersection with the extension of the straight line connecting 1 and 1 , it appears that the respective images are combined and imaged, and the image exists at the position 33p 1 which is the image formation position of each image. Can be seen as.
【0010】また、表示装置15上に表示される前記仮
3次元画像データの他のポイントに対しては、右目用画
像は符号32a2の位置に、左目用画像は符号32b2の
位置に、前記仮3次元画像として表示され、而して、該
仮3次元画像は、右目の位置31aと右目用画像の位置
32a2とを結ぶ直線の延長線と左目の位置31bと左
目用画像の位置32b2とを結ぶ直線の延長線との交点
に、それぞれの画像が合成されて結像されているように
見え、それぞれの画像の結像位置となる符号33p2の
位置に存在しているように見ることができる。従って、
ある一つのポイント又は他のポイントに対して、それぞ
れ、左目用画像データと右目用画像データとの間の距離
が符号w1又はw2という拡大された位置に表示されてい
る場合には、前記2個の画像の結像位置33p1と33
p2との両者の距離の差(即ち、2つの画像の結合位置
間の距離)が、符号pd1に示されるような奥行きを有
する3次元画像として、表示装置15に表示されている
前記仮3次元画像を認識することができ、仮3次元画像
として撮像された右目用画像データと左目用画像データ
とを、所望の3次元画像用の右目用及び左目用の画像デ
ータとして確定させることが可能となる。With respect to the other points of the temporary three-dimensional image data displayed on the display device 15, the image for the right eye is at the position of reference numeral 32a 2 and the image for the left eye is at the position of reference numeral 32b 2 . The temporary 3D image is displayed as the temporary 3D image, and the temporary 3D image is an extension of a straight line connecting the position 31a of the right eye and the position 32a 2 of the image for the right eye, the position 31b of the left eye, and the position of the image for the left eye. It seems that the respective images are combined and imaged at the intersection with the extension line of the straight line connecting with 32b 2, and they are present at the position of the symbol 33p 2 which is the image formation position of each image. Can be seen in. Therefore,
When the distance between the image data for the left eye and the image data for the right eye is displayed at an enlarged position of reference sign w 1 or w 2 for one point or another point, respectively, Image forming positions 33p 1 and 33 of the two images
The difference between the distance between the two and p 2 (that is, the distance between the combined positions of the two images) is displayed on the display device 15 as a three-dimensional image having a depth as indicated by symbol pd 1. A three-dimensional image can be recognized, and the right-eye image data and the left-eye image data captured as a temporary three-dimensional image can be determined as desired three-dimensional image right-eye and left-eye image data. It will be possible.
【0011】然しながら、2個のカメラの位置あるいは
視差などの個人差によっては、2つのカメラA 11a
とカメラB 11bとにより撮像された右目用画像デー
タと左目用画像データとを画像合成させて表示された画
像を、かかる奥行きがある3次元画像として認識するこ
とができない場合がある。図9は、3次元画像表示とし
て認識する目と表示画像と結像位置との関係の他の例を
示す模式図であり、2個のカメラA 11a,カメラB
11bの位置が互いに近接していて、撮像されて画像
合成された右目用画像データと左目用画像データとの表
示位置間の距離が短くなっている場合の模式図である。However, depending on the position of the two cameras or individual differences such as parallax, the two cameras A 11a may be different.
The image displayed by combining the right-eye image data and the left-eye image data captured by the camera B 11b with each other may not be recognized as a three-dimensional image having such depth. FIG. 9 is a schematic diagram showing another example of the relationship between the eyes recognized as a three-dimensional image display, the display image, and the image formation position. Two cameras A 11a and B are provided.
11B is a schematic diagram in the case where the positions of 11b are close to each other and the distance between the display positions of the image data for the right eye and the image data for the left eye that have been imaged and image-combined is short. FIG.
【0012】かかる場合においては、表示装置15上に
表示される前記仮3次元画像データのある一つのポイン
トに対して、右目用画像は符号32a3の位置に、左目
用画像は符号32b3の位置に、前記仮3次元画像とし
て表示され、而して、該仮3次元画像は、右目の位置3
1aと右目用画像の位置32a3とを結ぶ直線の延長線
と左目の位置31bと左目用画像の位置32b3とを結
ぶ直線の延長線との交点に、それぞれの画像が合成され
て結像されているように見え、それぞれの画像の結像位
置となる符号33p3の位置に存在しているように見る
ことができる。In such a case, the right eye image is at the position of reference numeral 32a 3 and the left eye image is at the reference numeral 32b 3 with respect to one point of the temporary three-dimensional image data displayed on the display device 15. The temporary 3D image is displayed at the position, and the temporary 3D image is displayed at the position 3 of the right eye.
1a and the position 32a 3 of the image for the right eye and the extension line of the straight line connecting the position 31b of the left eye and the position 32b 3 of the image for the left eye, the respective images are combined to form an image. It can be seen that the image is formed, and it can be seen that the image is present at the position of the reference numeral 33p 3 which is the image forming position of each image.
【0013】また、表示装置15上に表示される前記仮
3次元画像データの他のポイントに対して、右目用画像
は符号32a4の位置に、左目用画像は符号32b4の位
置に、前記仮3次元画像として表示され、而して、該仮
3次元画像は、右目の位置31aと右目用画像の位置3
2a4とを結ぶ直線の延長線と左目の位置31bと左目
用画像の位置32b4とを結ぶ直線の延長線との交点
に、それぞれの画像が合成されて結像されているように
見え、それぞれの画像の結像位置となる符号33p4の
位置に存在しているように見ることができる。従って、
前記2個の画像の結像位置33p3と33p4との両者の
距離の差が、符号pd3(<pd1)と近接して、奥行き
が少ない画像表示となり、表示装置15に表示される前
記仮3次元画像が、3次元画像としては認識し難くな
る。Further, with respect to the other points of the temporary three-dimensional image data displayed on the display device 15, the right-eye image is at the position of reference numeral 32a 4 , the left-eye image is at the position of reference numeral 32b 4 , and The temporary 3D image is displayed as a temporary 3D image, and the temporary 3D image is displayed at the position 31a of the right eye and the position 3 of the image for the right eye.
At the intersection of the straight line connecting 2a 4 and the straight line connecting the position 31b of the left eye and the position 32b 4 of the image for the left eye, it seems that the respective images are combined to form an image. It can be seen that they are present at the position of the symbol 33p 4 , which is the image forming position of each image. Therefore,
The difference in distance between the image forming positions 33p 3 and 33p 4 of the two images is close to the code pd 3 (<pd 1 ), and an image display with a small depth is displayed on the display device 15. It becomes difficult to recognize the temporary three-dimensional image as a three-dimensional image.
【0014】図10は、3次元画像表示として認識する
目と表示画像と結像位置との関係の更なる他の例を示す
模式図であり、撮像者の個人差による目の位置が変わ
り、図8における場合よりも、左右の目の位置がより広
がった位置関係にあった場合の様子を示す模式図であ
る。即ち、ある一つのポイント又は他のポイントに対し
て、それぞれ、左目用画像データと右目用画像データと
の間の距離が符号w5又はw6という近接した位置に表示
される。FIG. 10 is a schematic diagram showing still another example of the relationship between the eyes recognized as a three-dimensional image display, the display image, and the image formation position. It is a schematic diagram which shows a mode when the position of the left and right eyes has a more expanded positional relationship than the case in FIG. That is, the distance between the image data for the left eye and the image data for the right eye is displayed at a close position of reference sign w 5 or w 6 for a certain point or another point, respectively.
【0015】図10において、符号31a1,31b
1は、それぞれ撮像者の右目、左目の位置を示してお
り、符号31a1,31b1間の間隔が、符号31a,3
1b間の間隔よりも広くなっている。表示装置15に表
示される前記仮3次元画像は、図8,図9の場合と同様
に、撮像者の右目の位置31a1と左目の位置31b1と
を結ぶ線31cの垂直方向に符号d1で示す距離だけ右
目の位置31a1,左目の位置31b1から離れた位置に
ある。In FIG. 10, reference numerals 31a 1 and 31b
1 indicates the positions of the right eye and the left eye of the photographer, respectively, and the intervals between the reference numerals 31a 1 and 31b 1 are the reference numerals 31a 3
It is wider than the interval between 1b. The temporary three-dimensional image displayed on the display device 15 has a code d in the vertical direction of a line 31c connecting the position 31a 1 of the right eye and the position 31b 1 of the left eye of the photographer, as in the case of FIGS. The positions indicated by 1 are separated from the position 31a 1 of the right eye and the position 31b 1 of the left eye.
【0016】表示装置15上に表示される前記仮3次元
画像データのある一つのポイントに対しては、右目用画
像は符号32a5の位置に、左目用画像は符号32b5の
位置に、前記仮3次元画像として表示され、而して、該
仮3次元画像は、右目の位置31a1と右目用画像の位
置32a5とを結ぶ直線の延長線と左目の位置31b1と
左目用画像の位置32b5とを結ぶ直線の延長線との交
点に、それぞれの画像が合成されて結像されているよう
に見え、それぞれの画像の結像位置となる符号33p5
の位置に存在しているように見ることができる。For a certain point of the provisional three-dimensional image data displayed on the display device 15, the right-eye image is at the position 32a 5 and the left-eye image is at the position 32b 5 and the The temporary 3D image is displayed as a temporary 3D image, and the temporary 3D image is an extension of a straight line connecting the position 31a 1 of the right eye and the position 32a 5 of the image for the right eye and the position 31b 1 of the left eye and the image for the left eye. At the intersection with the extended line of the straight line connecting the position 32b 5 , it seems that the respective images are combined to form an image, and the reference numeral 33p 5 is the image forming position of each image.
Can be seen to exist in the position.
【0017】また、表示装置15上に表示される前記仮
3次元画像データの他のポイントに対しては、右目用画
像は符号32a6の位置に、左目用画像は符号32b6の
位置に、前記仮3次元画像として表示され、而して、該
仮3次元画像は、右目の位置31a1と右目用画像の位
置32a6とを結ぶ直線の延長線と左目の位置31b1と
左目用画像の位置32b6とを結ぶ直線の延長線との交
点に、それぞれの画像が合成されて結像されているよう
に見え、それぞれの画像の結像位置となる符号33p6
の位置に存在しているように見ることができる。従っ
て、前記2個の画像の結像位置33p5と33p6との両
者の距離の差が、符号pd5(<pd1)と近接して、奥
行きが少ない画像表示となり、表示装置15に表示され
る前記仮3次元画像が、3次元画像としては認識し難く
なる。With respect to the other points of the temporary three-dimensional image data displayed on the display device 15, the right eye image is at the position of reference numeral 32a 6 , the left eye image is at the position of reference numeral 32b 6 , and The temporary 3D image is displayed as the temporary 3D image, and the temporary 3D image is an extension of a straight line connecting the position 31a 1 of the right eye and the position 32a 6 of the image for the right eye and the position 31b 1 of the left eye and the image for the left eye. the intersection of the position 32 b 6 an extension of a straight line connecting the are respectively image synthesis appear to be imaged, the code becomes the imaging position of each image 33p 6
Can be seen to exist in the position. Therefore, the difference in distance between the image forming positions 33p 5 and 33p 6 of the two images is close to the reference symbol pd 5 (<pd 1 ), resulting in an image display with less depth, which is displayed on the display device 15. It becomes difficult to recognize the temporary 3D image as a 3D image.
【0018】図11は、3次元画像表示として認識する
目と表示画像と結像位置との関係の更なる他の例を示す
模式図であり、表示装置15の位置と目の位置との間の
距離が変わり、図8における場合よりも、該距離が短く
なった場合の様子を示す模式図である。即ち、ある一つ
のポイント又は他のポイントに対して、それぞれ、左目
用画像データと右目用画像データとの間の距離が符号w
7又はw8という近接した位置に表示される。図11にお
いて、符号31a,31bは、それぞれ撮像者の右目、
左目の位置を示しており、図8の場合と同一である。表
示装置15に表示される前記仮3次元画像は、図8乃至
図10の場合と異なり、撮像者の右目の位置31aと左
目の位置31bとを結ぶ線31cの垂直方向に符号d2
(<d1)で示す距離だけ右目の位置31a,左目の位
置31bから離れた位置にある。FIG. 11 is a schematic diagram showing still another example of the relationship between the eyes recognized as a three-dimensional image display, the display image, and the image formation position, and between the position of the display device 15 and the position of the eyes. FIG. 9 is a schematic diagram showing a state in which the distance has changed and the distance has become shorter than in the case of FIG. 8. That is, the distance between the left-eye image data and the right-eye image data is a symbol w for a certain point or another point, respectively.
It is displayed at a close position of 7 or w 8 . In FIG. 11, reference numerals 31a and 31b denote the right eye of the photographer,
The position of the left eye is shown and is the same as the case of FIG. Unlike the case of FIGS. 8 to 10, the temporary three-dimensional image displayed on the display device 15 has a code d 2 in the vertical direction of a line 31c connecting the position 31a of the right eye and the position 31b of the left eye of the photographer.
The position is apart from the position 31a of the right eye and the position 31b of the left eye by the distance indicated by (<d 1 ).
【0019】表示装置15上に表示される前記仮3次元
画像データのある一つのポイントに対しては、右目用画
像は32a7の位置に、左目用画像は32b7の位置に、
前記仮3次元画像として表示され、而して、該仮3次元
画像は、右目の位置31aと右目用画像の位置32a7
とを結ぶ直線の延長線と左目の位置31bと左目用画像
の位置32b7とを結ぶ直線の延長線との交点に、それ
ぞれの画像が合成されて結像されているように見え、そ
れぞれの画像の結像位置となる符号33p7の位置に存
在しているように見ることができる。For one point of the temporary three-dimensional image data displayed on the display device 15, the right eye image is located at the position 32a 7 , the left eye image is located at the position 32b 7 ,
The temporary 3D image is displayed as the temporary 3D image, and the temporary 3D image is displayed at the position 31a of the right eye and the position 32a 7 of the image for the right eye.
It appears that the respective images are combined to form an image at the intersection of the extended line of the straight line connecting the line and the extended line of the line connecting the position 31b of the left eye and the position 32b 7 of the image for the left eye. It can be seen that the image is present at the position 33p 7 which is the image forming position.
【0020】また、表示装置15上に表示される前記仮
3次元画像データの他のポイントに対しては、右目用画
像は32a8の位置に、左目用画像は32b8の位置に、
前記仮3次元画像として表示され、而して、該仮3次元
画像は、右目の位置31aと右目用画像の位置32a8
とを結ぶ直線の延長線と左目の位置31bと左目用画像
の位置32b8とを結ぶ直線の延長線との交点に、それ
ぞれの画像が合成されて結像されているように見え、そ
れぞれの画像の結像位置となる符号33p8の位置に存
在しているように見ることができる。従って、前記2個
の画像の結像位置33p7と33p8との両者の距離の差
が、符号pd7(<pd1)と近接して、奥行きが少ない
画像表示となり、表示装置15に表示される前記仮3次
元画像が、3次元画像としては認識し難くなる。Further, with respect to the other points of the temporary three-dimensional image data displayed on the display device 15, the right eye image is located at the position 32a 8 and the left eye image is located at the position 32b 8 .
The temporary 3D image is displayed as the temporary 3D image, and the temporary 3D image is displayed at the position 31a of the right eye and the position 32a 8 of the image for the right eye.
It appears that the respective images are combined to form an image at the intersection of the extension line of the straight line connecting the line and the extension line of the line connecting the position 31b of the left eye and the position 32b 8 of the image for the left eye. It can be seen as if it were present at the position of 33p 8 which is the image forming position of the image. Therefore, the difference in distance between the image forming positions 33p 7 and 33p 8 of the two images is close to the reference sign pd 7 (<pd 1 ), resulting in an image display with less depth, which is displayed on the display device 15. It becomes difficult to recognize the temporary 3D image as a 3D image.
【0021】図7の動作フローチャートに戻り、図9乃
至図11のいずれかに示すごとく、表示された前記仮3
次元画像が、3次元画像として認識できない状態であれ
ば(ステップS26のNO)、撮像者は、2個のカメラ
の位置及び距離等の調整を行ない(ステップS27)、
再度、カメラA 11a及びカメラB 11bから右目
用及び左目用画像データを順次取り込み(ステップS2
1)、前述と同様のステップを繰り返して、ステップS
26において、表示された前記仮3次元画像が、3次元
画像として認識できるような状態になるまでは(ステッ
プS26のYES)、撮像者は、2つのカメラ位置や距
離等の調整を行ない、繰り返し、撮像を行なう。Returning to the operation flowchart of FIG. 7, as shown in any of FIGS. 9 to 11, the temporary 3 displayed is displayed.
If the three-dimensional image cannot be recognized as a three-dimensional image (NO in step S26), the photographer adjusts the positions and distances of the two cameras (step S27),
Again, the image data for the right eye and the image for the left eye are sequentially captured from the camera A 11a and the camera B 11b (step S2
1), the same steps as described above are repeated, and step S
In 26, until the displayed temporary three-dimensional image is in a state in which it can be recognized as a three-dimensional image (YES in step S26), the photographer adjusts two camera positions, distances, and the like, and repeats. , Take an image.
【0022】一方、表示された前記仮3次元画像が、3
次元画像として認識できた場合には(ステップS26の
YES)、仮の3次元画像データ用として取り込まれて
いた右目用及び左目用画像データの取り込み動作を、最
終的な3次元画像用の画像データとして確定(決定)す
る(ステップS28)。而して、最終的に、取り込まれ
ている右目用又は左目用画像データ及び反対側の目用画
像データ(即ち、左目用又は右目用画像データ)のそれ
ぞれが、3次元画像として認識可能な確定3次元画像デ
ータとして確定(決定)される(ステップS29)。On the other hand, the displayed temporary three-dimensional image is 3
If it can be recognized as a three-dimensional image (YES in step S26), the capturing operation of the right-eye and left-eye image data that has been captured for provisional three-dimensional image data is performed as the final three-dimensional image data. Is determined (determined) as (step S28). Thus, finally, each of the captured right-eye or left-eye image data and the opposite-side image data (that is, left-eye or right-eye image data) can be recognized as a three-dimensional image. It is determined (determined) as three-dimensional image data (step S29).
【0023】[0023]
【発明が解決しようとする課題】前記図7に示す動作フ
ローチャートに基づいて説明したごとく、表示された仮
3次元画像が、3次元画像として認識できるようになる
までは、従来技術においては、撮像者は、2つのカメラ
の両者について、その位置や距離等の調整を繰り返し行
ない、2つのカメラそれぞれによる撮像を繰り返すこと
が必要となる。かかる2つのカメラ双方共に、位置や距
離等を調整してしまう結果、3次元画像として確定でき
るまでに、無駄な操作が繰り返されている可能性が大き
く、撮像者の操作時間が余計に消費されるだけではな
く、所望の3次元画像を獲得可能になるまでの撮像者の
心理的な負担も大きい。As described above with reference to the operation flowchart shown in FIG. 7, until the displayed temporary three-dimensional image can be recognized as a three-dimensional image, in the conventional technique, image pickup is performed. It is necessary for the person to repeatedly adjust the position, distance, etc. of both of the two cameras and repeat the image pickup by each of the two cameras. As a result of adjusting the position, distance, etc. of both of these two cameras, there is a high possibility that useless operations will be repeated until the three-dimensional image can be determined, and the operation time of the photographer is consumed extra. In addition to the above, the psychological burden on the imager until obtaining a desired three-dimensional image is large.
【0024】従って、表示装置に表示された前記仮3次
元画像が、3次元画像として認識ができるまで、2つの
カメラの位置や距離等の調整と撮像とを、何回も無駄に
繰り返す行為を、できる限り避けることが重要である。Therefore, until the provisional three-dimensional image displayed on the display device can be recognized as a three-dimensional image, the adjustment of the positions and distances of the two cameras and the imaging are repeatedly performed in vain. , It is important to avoid as much as possible.
【0025】更には、3次元画像を獲得するために、左
右の2つの目用画像を撮像する画像撮像素子として2つ
のカメラを装備することが必要であり、また、かかる2
つのカメラにより撮像された2つの画像を格納保存する
ために、高価な高速メモリ内に2つのフレームメモリを
備えることも必要となり、3次元画像表示を可能とする
表示機能付撮像装置のコストが、製造コストも含めて、
高価なものになってしまうという問題も有しており、表
示機能付撮像装置のコスト低減を図り、かつ、小型化を
図る上での障害になっている。Furthermore, in order to obtain a three-dimensional image, it is necessary to equip two cameras as image pickup devices for picking up two left and right eye images, and the above two
In order to store and save two images captured by one camera, it is also necessary to provide two frame memories in an expensive high-speed memory, and the cost of the image capturing device with a display function that enables three-dimensional image display is Including the manufacturing cost,
There is also a problem that it becomes expensive, which is an obstacle to cost reduction and miniaturization of the image pickup apparatus with a display function.
【0026】本発明に係る表示機能付画像撮像装置及び
該表示機能付撮像装置を備えた携帯端末装置は、かかる
事情に鑑みてなされたものであり、画像撮像素子とし
て、カメラを1個のみ装備し、該カメラにより先に撮像
した右目用又は左目用画像を、3次元画像用の一方の目
用画像として確定(決定)して、確定された該一方の目
用画像を確定画像として保管し、後から撮像する反対側
の他方の目用画像のみを調整用の仮画像として扱い、先
に確定している前記確定画像と画像合成させて表示させ
た3次元画像の表示結果に基づいて、3次元画像として
の認識が可能となるまで、カメラや当該表示機能付撮像
装置の位置や角度を調整して、該仮画像である他方の目
用画像のみを逐次撮像することにより、3次元として認
識可能な3次元画像を簡単かつ迅速に撮像することを可
能にすると共に、被写体を撮像する画像撮像素子即ちカ
メラ及び高価なフレームメモリを1個のみ装備すれば良
い構成とすることにより、表示機能付撮像装置のコスト
の低減と小型化とを可能にすることを目的とする。The image pickup device with a display function and the portable terminal device equipped with the display device according to the present invention have been made in view of such circumstances, and only one camera is provided as an image pickup device. Then, the image for the right eye or the image for the left eye previously captured by the camera is determined (determined) as the image for one eye of the three-dimensional image, and the determined image for one eye is stored as the determined image. , Only the other eye image on the opposite side, which is captured later, is treated as a temporary image for adjustment, and based on the display result of the three-dimensional image that is displayed by combining the image with the previously confirmed confirmed image. Until the recognition as a three-dimensional image becomes possible, the position and angle of the camera and the image pickup apparatus with the display function are adjusted, and only the other eye image, which is the temporary image, is sequentially picked up to obtain a three-dimensional image. Recognizable three-dimensional image The image pickup device with a display function can be reduced in cost by making it possible to simply and quickly take an image and to provide only one image pickup device for taking an image of a subject, that is, a camera and an expensive frame memory. And the miniaturization.
【0027】[0027]
【課題を解決するための手段】本発明に係る表示機能付
撮像装置及び該表示機能付撮像装置を備えた携帯端末装
置は、以下の具体的な技術手段から構成されている。An image pickup device with a display function and a portable terminal device equipped with the image pickup device with a display function according to the present invention are constituted by the following specific technical means.
【0028】第1の技術手段は、被写体を右目用画像及
び左目用画像として撮像する画像撮像素子と、該画像撮
像素子により撮像されて取り込まれた前記右目用画像と
前記左目用画像とを3次元画像として画像変換すると共
に画像合成して表示せしめる3次元画像表示機能と、撮
像者からの指示に基づいて、前記画像撮像素子の位置や
角度あるいは当該表示機能付撮像装置の位置や角度の調
整を行なわしめ、調整された前記位置や前記角度によ
り、確定3次元画像用とするための調整用の仮画像であ
る前記右目用画像及び/又は前記左目用画像として、前
記被写体を撮像せしめる位置調整機能と、前記撮像者か
らの3次元画像としての調整完了の確定指示に基づい
て、前記位置調整機能を用いて調整された前記位置や前
記角度により撮像された仮画像である前記右目用画像及
び/又は前記左目用画像を、確定3次元画像用の前記右
目用画像及び/又は前記左目用画像として確定する画像
確定機能と、を備えている表示機能付撮像装置におい
て、前記画像撮像素子により先に撮像されて取り込まれ
た前記右目用画像又は前記左目用画像のいずれか一方の
目用画像を、確定3次元画像用の一方の目用の確定画像
として先に確定して、確定された一方の目用の該確定画
像として前記3次元画像表示機能により画像変換して画
像表示させる一方、後から撮像されて取り込まれた前記
確定画像と反対側の他方の目用画像を、確定3次元画像
用とするための調整用の仮画像として、前記3次元画像
表示機能により画像変換して前記確定画像と画像合成し
て画像表示させ、前記位置調整機能が、前記撮像者から
の指示に基づいて、前記画像撮像素子の位置や角度ある
いは当該表示機能付撮像装置の位置や角度を逐次調整し
て、前記他方の目用画像である調整用の前記仮画像を撮
像し、撮像する都度、前記3次元画像表示機能により前
記仮画像を前記確定画像と3次元画像として画像合成し
て画像表示することを可能とすると共に、前記画像確定
機能が、前記撮像者からの3次元画像としての調整完了
の確定指示に基づいて、前記仮画像を確定3次元画像用
の他方の目用画像として確定する表示機能付撮像装置と
することを特徴とするものである。[0028] The first technical means includes an image pickup device for picking up a subject as an image for the right eye and an image for the left eye, and the image for the right eye and the image for the left eye which are picked up and captured by the image pickup device. A three-dimensional image display function of converting the image as a three-dimensional image and displaying the combined image, and the position and angle of the image pickup device or the position and angle of the image pickup device with the display function are adjusted based on an instruction from the photographer. The position adjustment that causes the subject to be imaged as the right-eye image and / or the left-eye image, which is a temporary image for adjustment for the finalized three-dimensional image, based on the adjusted position and angle. Based on the function and a confirmation instruction of adjustment completion as a three-dimensional image from the photographer, the image is captured at the position and the angle adjusted using the position adjustment function. An image with a display function, which has an image confirmation function for determining the right-eye image and / or the left-eye image, which is a temporary image, as the right-eye image and / or the left-eye image for a confirmed three-dimensional image In the apparatus, one of the right-eye image and the left-eye image that has been previously captured and captured by the image-capturing element is used as the final image for one final image for the final three-dimensional image. And the image is converted and displayed by the three-dimensional image display function as the confirmed image for one of the confirmed eyes, and the other image on the opposite side of the confirmed image captured and captured later. The image for eye is used as a temporary image for adjustment for making a finalized three-dimensional image, the image is converted by the three-dimensional image display function, and the finalized image is combined with the final image, and the image is displayed. Previous Based on an instruction from the photographer, the position and angle of the image pickup device or the position and angle of the image pickup device with a display function are sequentially adjusted to pick up the temporary image for adjustment which is the other eye image. Then, each time an image is captured, the provisional image can be image-combined with the finalized image and the three-dimensional image by the three-dimensional image display function, and the image can be displayed. An image pickup apparatus with a display function for determining the temporary image as the other eye image for the finalized three-dimensional image based on a finalization instruction for adjustment completion as a three-dimensional image.
【0029】第2の技術手段は、前記第1の技術手段に
記載の表示機能付撮像装置において、前記3次元画像表
示機能が、確定3次元画像用の一方の目用画像として先
に確定される前記確定画像と、確定3次元画像用となる
べき他方の目用画像である調整用の前記仮画像とを、画
像表示装置の表示制御を司る表示装置用コントローラ内
に設けられた画像表示用の表示メモリ上において、3次
元画像としての画像合成を行なわしめて、表示用3次元
画像として保存せしめる表示機能付撮像装置とすること
を特徴とするものである。In a second technical means, in the image pickup apparatus with a display function described in the first technical means, the three-dimensional image display function is first confirmed as one eye image for the confirmed three-dimensional image. The fixed image for display and the temporary image for adjustment which is the image for the other eye to be the fixed three-dimensional image for image display provided in the controller for the display device that controls the display of the image display device. The image-capturing device with a display function is configured to perform image composition as a three-dimensional image on the display memory and store the image as a three-dimensional image for display.
【0030】第3の技術手段は、前記第1又は第2の技
術手段に記載の表示機能付撮像装置において、1個の画
像撮像素子を用いて、左目用画像と右目用画像とを、順
次撮像することにより、3次元画像を画像合成すること
ができる表示機能付撮像装置とすることを特徴とするも
のである。A third technical means is the image pickup apparatus with a display function described in the first or second technical means, in which one image pickup device is used to sequentially obtain a left-eye image and a right-eye image. The present invention is characterized in that it is an image pickup apparatus with a display function that can synthesize a three-dimensional image by picking up an image.
【0031】第4の技術手段は、前記第1乃至第3の技
術手段のいずれかに記載の表示機能付撮像装置を備えて
いる携帯端末装置とすることを特徴とするものである。A fourth technical means is a mobile terminal device equipped with the image pickup device with a display function according to any one of the first to third technical means.
【0032】(作用)従来技術のごとく、表示装置に表
示された仮3次元画像が3次元画像として認識できるま
での間、2個のカメラ双方の位置や距離等の調整と撮像
とを無駄に繰り返す手間が簡略化され、簡単に、かつ、
迅速に、3次元画像を撮像することができる。また、高
価なメモリ内に設けられているフレームメモリも1画面
分のみで対応可能であり、かつ、被写体の撮像用の画像
撮像素子即ちカメラも1個のみで対応することが可能で
あるため、コスト低減が可能となると共に、表示機能付
撮像装置の小型化が達成可能となり、可搬性に富む携帯
型表示機能付撮像装置として提供することも可能とな
る。(Operation) As in the prior art, adjustment and imaging of positions and distances of the two cameras are wasteful until the temporary three-dimensional image displayed on the display device can be recognized as a three-dimensional image. The effort to repeat is simplified, easy, and
It is possible to quickly capture a three-dimensional image. Further, since the frame memory provided in the expensive memory can handle only one screen, and the image pickup device for capturing the subject, that is, the camera can also be handled by only one. The cost can be reduced, the size of the image pickup device with a display function can be reduced, and the image pickup device with a portable display function can be provided with high portability.
【0033】[0033]
【発明の実施の形態】以下に、本発明に係る表示機能付
撮像装置及び該表示機能付撮像装置を備えた携帯端末装
置の実施形態の一例について、図面を参照しながら説明
する。図1は、本発明に係る表示機能付撮像装置の構成
例を示すブロック構成図である。図1における本発明に
係る表示機能付撮像装置の構成例においては、表示機能
付撮像装置10は、カメラ1と、CPU2と、メモリ3
と、表示装置用コントローラ4と、表示装置5とから構
成されている。BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, an example of an embodiment of an image pickup apparatus with a display function and a portable terminal apparatus having the image pickup apparatus with a display function according to the present invention will be described with reference to the drawings. FIG. 1 is a block configuration diagram showing a configuration example of an image pickup apparatus with a display function according to the present invention. In the configuration example of the imaging device with a display function according to the present invention in FIG. 1, the imaging device with a display function 10 includes a camera 1, a CPU 2, and a memory 3.
And a display device controller 4 and a display device 5.
【0034】また、図1に示すごとき構成例からなる表
示機能付撮像装置を備えた携帯端末装置としては、デジ
タルカメラ,VTR,ノート型PC,PDA、あるい
は、車載用電子機器などを含むのみならず、携帯電話機
やPHS電話機における画像撮像装置としても適用する
ことが可能であり、かかる場合においては、CPU2や
メモリ3を、あるいは、場合によっては、表示装置用コ
ントローラ4や表示装置5を、携帯端末装置本体を構成
する回路部と共用させることも可能である。Further, as the portable terminal device having the image pickup device with a display function having the configuration example as shown in FIG. 1, only a digital camera, a VTR, a notebook PC, a PDA, or an on-vehicle electronic device is included. Alternatively, the present invention can be applied as an image pickup device in a mobile phone or a PHS phone. In such a case, the CPU 2 and the memory 3 or, in some cases, the display device controller 4 and the display device 5 can be carried. It is also possible to share the terminal unit body with the circuit unit.
【0035】ここに、カメラ1は、1つのカメラのみか
らなっており、例えば、CCD(Charge Cou
pled Device)などからなる画像撮像素子で
あり、被写体を3次元表示する際には、左目用画像及び
右目用画像の2つの画像を順次撮像するものである。Here, the camera 1 is composed of only one camera, for example, a CCD (Charge Cou).
It is an image pickup device composed of a pled device or the like, and picks up two images of a left-eye image and a right-eye image sequentially when a subject is three-dimensionally displayed.
【0036】CPU2は、後述のメモリ3に格納されて
いるプログラムの動作により、順次撮像された左目用画
像及び右目用画像の2つの撮像画像を3次元画像として
画像変換すると共に画像合成して、後述の表示装置5に
表示することを制御する3次元画像表示機能2aと、撮
像者からの指示に基づいて、画像撮像素子であるカメラ
1や当該表示機能付撮像装置自体の位置(距離等も含
む)や角度を逐次調整させて、調整された前記位置や前
記角度により、確定3次元画像用とするための調整用と
なる仮画像の前記右目用画像及び/又は前記左目用画像
として、被写体を撮像させる位置調整機能2bと、更
に、撮像者からの3次元画像としての調整完了の確定指
示に基づいて、前記位置調整機能2bにより調整された
前記位置や前記角度により撮像された前記仮画像である
前記右目用画像及び/又は前記左目用画像を、確定3次
元画像用の前記右目用画像及び/又は前記左目用画像と
して確定する画像確定機能2cと、を備えている。The CPU 2 converts the two picked-up images of the left-eye image and the right-eye image, which have been sequentially picked up, into a three-dimensional image and combines the images by the operation of a program stored in the memory 3 described later, Based on a three-dimensional image display function 2a for controlling display on a display device 5 to be described later, and a position (distance etc.) of the camera 1 which is an image pickup device and the image pickup device with the display function itself based on an instruction from a photographer. And the angle is sequentially adjusted, and the subject is used as the right-eye image and / or the left-eye image of the provisional image for adjustment for the fixed three-dimensional image by the adjusted position and angle. And a position adjustment function 2b for picking up the image, and further, based on a confirmation instruction of completion of adjustment as a three-dimensional image from a photographer, the position and the angle adjusted by the position adjustment function 2b are displayed. An image confirming function 2c for confirming the right-eye image and / or the left-eye image, which are the temporarily-captured images, as the right-eye image and / or the left-eye image for a confirmed three-dimensional image, ing.
【0037】また、メモリ3は、高速ROMや高速RA
Mなどから構成されており、前記の3次元画像表示機能
2aや位置調整機能2bや画像確定機能2cなどの各機
能をCPU2により実行せしめるためのプログラムや、
各種のデータを格納している。また、メモリ3には、カ
メラ1により撮像された画像データを一旦保管するため
の1つのフレームメモリ3aも備えており、カメラ1に
より右目用画像データあるいは左目用画像データとして
順次撮像されて取り込まれてくる画像データを一旦保管
して、前記3次元画像表示機能2aの動作により、3次
元画像としての画像処理が施されて表示装置用コントロ
ーラ4内に設けられている画像表示用の表示用メモリ4
aに順次転送するように構成されている。The memory 3 is a high-speed ROM or high-speed RA.
And a program for causing the CPU 2 to execute the respective functions such as the three-dimensional image display function 2a, the position adjustment function 2b, and the image confirmation function 2c.
Stores various data. The memory 3 also includes one frame memory 3a for temporarily storing the image data captured by the camera 1, and the camera 1 sequentially captures and captures the image data for the right eye or the image data for the left eye. The display image memory for temporarily displaying the image data, which is provided in the display device controller 4 after temporarily storing the image data and performing the image processing as the three-dimensional image by the operation of the three-dimensional image display function 2a. Four
It is configured to sequentially transfer to a.
【0038】また、表示装置用コントローラ4は、表示
装置5の表示制御を司るものであり、前記フレームメモ
リ3aから転送されてくる画像データを3次元画像とし
て表示装置5に表示させるために、前記3次元画像表示
機能2aの制御に基づいて、転送されてきた右目用画像
データと左目用画像データとを3次元画像として画像合
成させて、保存蓄積する3次元画像表示用の表示用メモ
リ4aを備えている。即ち、表示装置用コントローラ4
は、前記3次元画像表示機能2aの制御に基づいて、表
示用メモリ4a上において、3次元画像としての画像合
成を行なわせて、表示用メモリ4aに保存蓄積せしめ、
かつ、表示用メモリ4aに保存蓄積された3次元画像デ
ータを表示装置5に画像表示させるための制御を行な
う。Further, the display device controller 4 controls the display of the display device 5, and in order to display the image data transferred from the frame memory 3a on the display device 5 as a three-dimensional image, Under the control of the three-dimensional image display function 2a, the transferred right-eye image data and left-eye image data are combined as a three-dimensional image, and the display memory 4a for storing and storing the three-dimensional image is stored. I have it. That is, the display device controller 4
On the display memory 4a under the control of the three-dimensional image display function 2a, performs image composition as a three-dimensional image, and saves and stores it in the display memory 4a.
At the same time, control is carried out for displaying the three-dimensional image data stored and accumulated in the display memory 4a on the display device 5.
【0039】また、表示装置5は、例えば、小型のLC
D(Liquid CrystalDisplay)な
どから構成されており、表示装置用コントローラ4内の
3次元画像表示用の表示用メモリ4aに保存蓄積されて
いる3次元画像を画像表示する。The display device 5 is, for example, a small LC.
A three-dimensional image, which is made up of a D (Liquid Crystal Display) or the like and is stored and accumulated in the display memory 4a for displaying the three-dimensional image in the display device controller 4, is displayed.
【0040】図2には、図1に示す本発明に係る表示機
能付撮像装置10において、左右それぞれの目用画像の
取り込みから3次元画像データの決定までの動作を、動
作フローチャートとして纏めている。まず、カメラ1か
ら右目用又は左目用画像データのいずれか一方の撮像画
像データを先に取り込み、先に取り込んだ右目用又は左
目用画像データを、確定3次元画像用の一方の目用の画
像データとして確定(決定)して、確定画像データとし
て、メモリ3内のフレームメモリ3aに書き込む(ステ
ップS1)。次に、CPU2の前記3次元画像表示機能
2aは、メモリ3のフレームメモリ3aに先に書き込ま
れている右目用又は左目用いずれか一方の前記確定画像
データを3次元画像用データの形式にデータ変換する
(ステップS2)。データ変換された右目用又は左目用
いずれかの前記確定画像データは、表示装置用コントロ
ーラ4内の画像表示用の表示用メモリ4aに書き込まれ
る(ステップS3)。FIG. 2 is a flow chart showing the operation of the image pickup apparatus with a display function 10 according to the present invention shown in FIG. 1 from the acquisition of left and right eye images to the determination of three-dimensional image data. . First, the captured image data of either the right-eye image data or the left-eye image data is first captured from the camera 1, and the right-eye image data or the left-eye image data captured first is used as an image for one eye of the fixed three-dimensional image. The data is finalized (determined) and written as finalized image data in the frame memory 3a in the memory 3 (step S1). Next, the 3D image display function 2a of the CPU 2 converts the confirmed image data for either the right eye or the left eye previously written in the frame memory 3a of the memory 3 into a data format for 3D image. Convert (step S2). The data-converted fixed image data for either the right eye or the left eye is written in the display memory 4a for image display in the display device controller 4 (step S3).
【0041】次に、カメラ1は、3次元表示用の取り込
み画像データとして先に取り込まれた右目用又は左目用
いずれか一方の前記確定画像データとは反対側の他方の
目用の画像データである左目用又は右目用画像データを
撮像して取り込み、メモリ3内のフレームメモリ3aの
前記確定画像データに上書きして後から書き込む(ステ
ップS4)。Next, the camera 1 uses the image data for the right eye or the left eye, which is previously captured as the captured image data for three-dimensional display, and the image data for the other eye on the opposite side. Image data for a certain left eye or right eye is picked up and captured, and the determined image data in the frame memory 3a in the memory 3 is overwritten and written later (step S4).
【0042】CPU2の前記3次元画像表示機能2a
は、メモリ3のフレームメモリ3aに、後から上書きさ
れて、書き込まれている前記反対側の他方の目用となる
前記左目用又は右目用画像データを、他方の目用の確定
3次元画像用とするための調整用の仮画像データとして
扱うと共に、3次元画像用データの形式にデータ変換す
る(ステップS5)。データ変換された前記他方の目用
の前記仮画像データは、表示装置用コントローラ4内の
画像表示用の表示用メモリ4aに書き込まれる(ステッ
プS6)。The three-dimensional image display function 2a of the CPU 2
Is the image data for the left eye or the right eye, which is overwritten on the frame memory 3a of the memory 3 later and written for the other eye on the opposite side, for the fixed three-dimensional image for the other eye. It is treated as temporary image data for adjustment in order to convert the data into a three-dimensional image data format (step S5). The data-converted temporary image data for the other eye is written in the display memory 4a for image display in the display device controller 4 (step S6).
【0043】表示装置用コントローラ4は、CPU2の
前記3次元画像表示機能2aの制御により、当該表示装
置用コントローラ4内の表示用メモリ4a上において、
先に書き込まれた右目用又は左目用いずれか一方の前記
確定画像データと、後から書き込まれた前記他方の目用
の前記仮画像データとを、3次元画像データとして画像
合成させる。しかる後において、画像合成されて、表示
用メモリ4aに書き込まれている3次元画像データ(表
示データ)を表示装置5に表示すべく、表示装置5を点
灯するための制御信号を作成し、作成された該制御信号
と共に、表示用メモリ4aに保存されている3次元画像
データ(表示データ)を、送信3次元画像データとし
て、表示装置5に送信する。The display device controller 4 controls the display memory 4a in the display device controller 4 under the control of the three-dimensional image display function 2a of the CPU 2.
The previously written final image data for either the right eye or the left eye and the temporary image data for the other eye written later are image-synthesized as three-dimensional image data. After that, in order to display the three-dimensional image data (display data) which has been image-synthesized and written in the display memory 4a on the display device 5, a control signal for turning on the display device 5 is created and created. The three-dimensional image data (display data) stored in the display memory 4a is transmitted to the display device 5 as transmission three-dimensional image data together with the generated control signal.
【0044】ここに、表示用メモリ4aから送信されて
くる前記送信3次元画像データは、前記他方の目用の前
記仮画像データとして、仮に撮像されている画像データ
に基づいて画像合成されたものであり、かかる前記仮画
像データとの画像合成により生成された前記送信3次元
画像データは、必ずしも、3次元画像として認識可能な
画像であるとは限らない。表示装置5は、送信されてき
た前記制御信号と、送信されてきた前記送信3次元画像
データ(即ち、右目用又は左目用いずれか一方の前記確
定画像データと前記他方の目用の前記仮画像データとが
画像合成された3次元画像データ)とに基づいて、仮の
3次元画像を表示する(ステップS7)。Here, the transmitted three-dimensional image data transmitted from the display memory 4a is image-synthesized based on the image data that is temporarily taken as the temporary image data for the other eye. Therefore, the transmission three-dimensional image data generated by the image combination with the temporary image data is not necessarily an image that can be recognized as a three-dimensional image. The display device 5 transmits the control signal that has been transmitted and the transmission three-dimensional image data that has been transmitted (that is, the final image data for either the right eye or the left eye and the temporary image for the other eye). A temporary three-dimensional image is displayed based on the data and the three-dimensional image data in which the image is combined (step S7).
【0045】この時、ステップS1において先に取り込
まれた右目用又は左目用いずれか一方の画像データは、
前記確定画像データとして既に確定しており、該確定画
像データを基準にして反対側の他方の目用画像データ
(即ち、左目用又は右目用画像データ)である前記仮画
像データのみに関して、撮像位置や撮像角度の調整を行
なうこととしている。即ち、先に取り込まれた右目用又
は左目用いずれか一方の画像データについては、確定3
次元画像用として確定した一方の目用画像としての表示
のみを行ない、以降の撮像位置や撮像角度の調整によ
り、再度、撮像が行なわれるようなことはしない。At this time, the image data for either the right eye or the left eye, which has been previously fetched in step S1, is
Only the temporary image data, which has already been decided as the decided image data and is the image data for the other eye (that is, left eye or right eye image data) on the opposite side with respect to the decided image data, is the imaging position. And the imaging angle will be adjusted. That is, with respect to the image data for either the right eye or the left eye that has been captured previously, the confirmation 3
Only one eye image determined for the three-dimensional image is displayed, and the subsequent imaging is not performed by adjusting the imaging position and the imaging angle.
【0046】しかしながら、ステップS4にて取り込ま
れた反対側の他方の目用画像データは、仮の画像データ
即ち前記仮画像データであり、随時、撮像位置や撮像角
度を調整されたカメラ1により撮像されて、メモリ3の
フレームメモリ3aに書き込まれ、書き込まれた該反対
側の他方の目用画像データは、随時、CPU2にて、前
記他方の目用の前記仮画像データとして、3次元画像形
式にデータ変換されて、表示装置用コントローラ4の表
示用メモリ4aに送られ、先に送られてきて保存されて
いる前記確定画像データと3次元画像として画像合成さ
れて、表示装置5にて、仮の3次元画像として表示され
るものである。However, the other eye image data on the opposite side fetched in step S4 is tentative image data, that is, the tentative image data, and is imaged by the camera 1 whose imaging position and imaging angle are adjusted at any time. Then, the image data for the other eye on the opposite side written in the frame memory 3a of the memory 3 is written in the three-dimensional image format as the temporary image data for the other eye by the CPU 2 at any time. Is converted into data and sent to the display memory 4a of the display device controller 4, and the finalized image data previously sent and stored is image-synthesized as a three-dimensional image. It is displayed as a temporary three-dimensional image.
【0047】而して、撮像者は、表示装置5に表示され
ている前記仮の3次元画像の表示内容が3次元画像表示
として認識可能か否かを判定することになる(ステップ
S8)。3次元画像として認識ができない場合には(ス
テップS8のNO)、CPU2の前記位置調整機能2b
により、カメラ1の撮像位置や撮像角度、あるいは、当
該表示機能付撮像装置の位置や角度が調整されて(ステ
ップS9)、調整用の仮の画像データとして撮像される
他方の目用画像データ(即ち、左目用又は右目用画像デ
ータ)である前記仮画像データを、再度撮像し直すため
に、ステップS4に戻る。Then, the photographer determines whether the display contents of the temporary three-dimensional image displayed on the display device 5 can be recognized as a three-dimensional image display (step S8). If the image cannot be recognized as a three-dimensional image (NO in step S8), the position adjustment function 2b of the CPU 2 is performed.
The image pickup position and the image pickup angle of the camera 1, or the position and the angle of the image pickup apparatus with a display function are adjusted (step S9), and the other image data for the eye (image data for the other eye that is imaged as temporary image data for adjustment ( That is, in order to re-capture the temporary image data, which is the left-eye or right-eye image data), the process returns to step S4.
【0048】一方、前記仮の3次元画像の表示内容が、
3次元画像として認識できた場合には(ステップS8の
YES)、撮像者からの3次元画像としての調整完了の
確定指示に基づいて、CPU2の前記画像確定機能2c
により、仮の画像データとしてステップS4にて撮像さ
れていた他方の目用画像データ(即ち、左目用又は右目
用画像データ)である前記仮画像データを、確定3次元
画像用の他方の目用の画像データとして確定(決定)す
る(ステップS10)。On the other hand, the display contents of the temporary three-dimensional image are
When the image can be recognized as a three-dimensional image (YES in step S8), the image confirming function 2c of the CPU 2 is executed based on the confirmation instruction of the adjustment completion as the three-dimensional image from the photographer.
Accordingly, the provisional image data, which is the image data for the other eye (that is, the image data for the left eye or the image for the right eye) captured in step S4 as the provisional image data, is used for the other eye for the fixed three-dimensional image. The image data is determined (determined) (step S10).
【0049】而して、最終的に、先に取り込まれて3次
元画像の一方の目用画像データである右目用又は左目用
画像データ及び反対側の他方の目用画像データ(即ち、
左目用又は右目用画像データ)が3次元画像データ用と
して確定(決定)され、先に確定(決定)されて取り込
まれている右目用又は左目用画像データ即ち前記確定画
像データと、調整結果として後に確定(決定)された他
方の目用画像データ(即ち、左目用又は右目用画像デー
タ)とは、共に、3次元画像データ用として確定(決
定)されたものとして、表示装置用コントローラ4内の
表示用メモリ4a上において3次元画像データとして画
像合成されて保存され、所望の3次元画像として表示装
置5に表示される(ステップS11)。Thus, finally, the image data for the right eye or the left eye, which is the image data for one eye of the three-dimensional image that has been previously captured and the image data for the other eye on the opposite side (that is,
(Left eye or right eye image data) is determined (determined) for three-dimensional image data, and the right eye or left eye image data that has been previously determined (determined) and captured, that is, the determined image data, and the adjustment result. The other image data for the other eye (that is, the image data for the left eye or the image for the right eye) that has been subsequently determined (determined) is both determined (determined) for three-dimensional image data in the controller 4 for the display device. The image is combined and stored as three-dimensional image data in the display memory 4a, and is displayed on the display device 5 as a desired three-dimensional image (step S11).
【0050】即ち、撮像者は、一つのカメラ1により順
次撮像をしながら、表示装置5にて表示されてくる仮の
3次元画像をリアルタイムで確認し、先に取り込まれた
右目用又は左目用いずれか一方の目用画像は固定して、
他方の目用画像のみを、調整用の仮画像として、撮像す
る撮像位置(距離等を含む)や撮像角度をリアルタイム
で調整しつつ、ステップS8に示すがごとく、画像合成
されて表示された仮の3次元画像が3次元画像として認
識することができるかできないかをリアルタイムで判断
することにより、ステップS9に示すがごとく、カメラ
1の撮像位置や撮像角度あるいは当該表示機能付撮像装
置の位置や角度を、簡単、かつ、迅速に調整して、3次
元画像として認識可能な画像を表示させることを可能と
している。That is, the photographer confirms the temporary three-dimensional image displayed on the display device 5 in real time while sequentially picking up images with one camera 1, and then takes in the right eye or the left eye that was previously captured. Fix one of the eye images,
Only the other eye image is used as a temporary image for adjustment while adjusting the image capturing position (including distance) and the image capturing angle in real time, and the temporary image displayed as a composite image is displayed as shown in step S8. By determining in real time whether or not the three-dimensional image can be recognized as a three-dimensional image, as shown in step S9, the image capturing position and the image capturing angle of the camera 1, the position of the image capturing apparatus with the display function, and the like. The angle can be adjusted easily and quickly to display an image that can be recognized as a three-dimensional image.
【0051】かかる3次元画像表示の判定とカメラ1の
位置又は角度、あるいは、当該表示機能付撮像装置10
の位置又は角度の調整の一例について、以下に、図3乃
至図5の模式図を用いて説明する。ここに、図3乃至図
5は、すべて、図1に示す本発明に係る表示装置付撮像
装置10の場合における、3次元画像表示として認識す
る目と表示画像と結像位置との関係を、従来技術に前記
した図8乃至図11の場合と同様に、模式的に示した模
式図であり、本発明に係る表示装置付撮像装置10のカ
メラ1の位置又は角度、あるいは、当該表示機能付撮像
装置10の位置又は角度の調整方法を説明するための図
である。Determination of such three-dimensional image display and the position or angle of the camera 1, or the image pickup device 10 with the display function.
An example of the adjustment of the position or angle will be described below with reference to the schematic diagrams of FIGS. 3 to 5. Here, FIG. 3 to FIG. 5 all show the relationship between the eyes recognized as three-dimensional image display, the display image, and the image formation position in the case of the image pickup apparatus with a display device 10 according to the present invention shown in FIG. FIG. 12 is a schematic diagram similar to the case of FIGS. 8 to 11 described above in the related art, and shows the position or angle of the camera 1 of the image pickup apparatus with a display device 10 according to the present invention, or the display function. FIG. 6 is a diagram for explaining a method of adjusting the position or angle of the imaging device 10.
【0052】なお、図3は、前述した従来技術におけ
る、2個のカメラの位置が近く、右目用画像データと左
目用画像データとの表示位置の距離が短くなった場合の
図9に対応しているものであり、図8に示すごとく、所
望の3次元画像を獲得することが可能となる場合に比
し、右目用画像データと左目用画像データとの表示位置
間の距離が短くなっている場合即ち互いの画像データの
表示位置が近接している場合におけるカメラ1の位置又
は角度、あるいは、当該表示機能付撮像装置10の位置
又は角度の調整方法を説明するものである。Note that FIG. 3 corresponds to FIG. 9 in the case where the positions of the two cameras are close to each other and the distance between the display positions of the image data for the right eye and the image data for the left eye is short in the above-mentioned conventional technique. As shown in FIG. 8, the distance between the display positions of the right-eye image data and the left-eye image data is shorter than that in the case where a desired three-dimensional image can be acquired. When the display positions of the image data are close to each other, that is, the position or angle of the camera 1 or the position or angle of the imaging device with a display function 10 is adjusted.
【0053】また、図4は、前述した従来技術におけ
る、撮像者の個人差による目の位置が変わった場合の図
10に対応しているものであり、図8に示すごとく、所
望の3次元画像を獲得することが可能となる場合に比
し、撮像者により目の位置が異なり、左右の目の間の間
隔が広がっている場合におけるカメラ1の位置又は角
度、あるいは、当該表示機能付撮像装置10の位置又は
角度の調整方法を説明するものである。また、図5は、
前述した従来技術における、表示装置の位置と目の位置
との間の距離が変わった場合の図11に対応しているも
のであり、図8に示すごとく、所望の3次元画像を獲得
することが可能となる場合に比し、撮像者の目の位置と
表示装置との間の距離が異なり、短くなっている場合に
おけるカメラ1の位置又は角度、あるいは、当該表示機
能付撮像装置10の位置又は角度の調整方法を説明する
ものである。Further, FIG. 4 corresponds to FIG. 10 in the case where the eye position is changed due to the individual difference of the imager in the above-mentioned conventional technique, and as shown in FIG. Compared with the case where it is possible to capture an image, the position or angle of the camera 1 when the eye position differs depending on the imager and the distance between the left and right eyes widens, or the image pickup with the display function. A method for adjusting the position or angle of the device 10 will be described. In addition, FIG.
This corresponds to FIG. 11 in the case where the distance between the position of the display device and the position of the eyes changes in the above-mentioned conventional technique, and as shown in FIG. 8, obtains a desired three-dimensional image. The position or angle of the camera 1 or the position of the imaging device with a display function 10 in the case where the distance between the position of the imager's eyes and the display device is different and shorter than that in the case where Alternatively, the method for adjusting the angle will be described.
【0054】更に、図3乃至図5のいずれの場合におい
ても、図2に示す動作フローチャートのステップS1に
おいて、先に右目用又は左目用画像データを取り込み、
先に取り込んだ画像データを確定3次元表示用の前記確
定画像データとして決定(確定)することとする一方の
目用画像データとしては、左目用画像データである場合
を例示している。即ち、先に一旦取り込まれた一方の目
用画像データである左目用画像データは、前記確定画像
データとして既に確定しており、以降の調整段階におい
ては、調整用の前記仮画像データとして取り込まれる他
方の目用画像データである右目用画像データのみを調整
することとして説明している。Further, in any of FIGS. 3 to 5, in step S1 of the operation flowchart shown in FIG. 2, the image data for the right eye or the image for the left eye is first fetched,
The case where the first captured image data is determined (determined) as the determined image data for the determined three-dimensional display is the image data for the left eye is illustrated. That is, the image data for the left eye, which is the image data for one eye that has been previously fetched, has already been decided as the decided image data, and is fetched as the temporary image data for adjustment in the subsequent adjustment stage. It is described that only the image data for the right eye, which is the image data for the other eye, is adjusted.
【0055】まず、図3を用いて、先に取り込まれてい
る左目用画像データに対して、後に取り込まれた仮の画
像データである右目用画像データの位置が近接して、3
次元画像が獲得可能な両者の画像間の距離であった前記
図8の符号w1,w2と異なり、更に近接している場合に
おけるカメラ1及び当該表示機能付撮像装置10の調整
例について説明する。図2の動作フローチャートに示す
ように、まず、左目用画像データが取り込まれ、確定3
次元画像用の左目用画像データとして決定(確定)さ
れ、表示装置5上には、決定(確定)された確定3次元
画像用の左目用画像データのある一つのポイントに対し
て符号32b3の位置に、又、他のポイントに対して符
号32b4の位置に表示される。First, referring to FIG. 3, the position of the right-eye image data, which is temporary image data that is subsequently captured, is close to the position of the left-eye image data that has been captured first.
Different from the symbols w 1 and w 2 in FIG. 8 which are the distances between the two images in which the two-dimensional image can be obtained, an example of adjusting the camera 1 and the image pickup apparatus 10 with the display function in the case of closer proximity will be described. To do. As shown in the operation flowchart of FIG. 2, first, the image data for the left eye is captured, and the confirmation 3
The image data is determined (determined) as the left-eye image data for the three-dimensional image, and the reference numeral 32b 3 is assigned to one point of the determined (determined) left-eye image data for the determined three-dimensional image on the display device 5. It is displayed at the position and at the position of 32b 4 with respect to the other points.
【0056】ここで、先に取り込まれている左目用画像
データの位置に対して、後に取り込まれた右目用画像デ
ータの位置が近接している場合、仮の画像データとして
取り込まれた右目用画像データは、先に決定(確定)さ
れた前記左目用画像データに対して3次元画像が獲得可
能となる右目用画像データの位置ではなく、図9におけ
る説明の場合と同様に、表示装置5上には、前記左目用
画像データに対応するある一つのポイント32b3に対
して符号32a3の位置に、また、他のポイント32b4
に対して符号32a4の位置に、即ち、ある一つのポイ
ント又は他のポイントに対して、それぞれ、左目用画像
データと右目用画像データとの間の距離が符号w3又は
w4という近接した位置に表示される。Here, when the position of the right-eye image data acquired later is close to the position of the left-eye image data acquired first, the right-eye image acquired as temporary image data. The data is not the position of the right-eye image data for which a three-dimensional image can be obtained with respect to the previously determined (fixed) left-eye image data, but the data on the display device 5 is the same as in the case of the description in FIG. At a position 32a 3 with respect to one point 32b 3 corresponding to the left-eye image data, and another point 32b 4
, The distance between the left-eye image data and the right-eye image data is close to the position of the reference numeral 32a 4 , that is, a certain point or another point, which is the reference numeral w 3 or w 4 , respectively. It is displayed at the position.
【0057】而して、図9に示したごとく、表示される
仮3次元画像としては、前記ある一つのポイントに対し
ての右目の位置31aと右目用画像の位置32a3とを
結ぶ直線の延長線と左目の位置31bと左目用画像の位
置32b3とを結ぶ直線の延長線との交点に、それぞれ
の画像が合成されて結像されているように見え、それぞ
れの画像の結像位置となる符号33p3の位置に存在し
ているように見ることができ、一方、前記他のポイント
に対しての右目の位置31aと右目用画像の位置32a
4とを結ぶ直線の延長線と左目の位置31bと左目用画
像の位置32b4とを結ぶ直線の延長線との交点に、そ
れぞれの画像が合成されて結像されているように見え、
それぞれの画像の結像位置となる符号33p4の位置に
存在しているように見ることができる。As shown in FIG. 9, the displayed provisional three-dimensional image is a straight line connecting the position 31a of the right eye and the position 32a 3 of the image for the right eye with respect to the certain one point. At the intersection of the extension line and the extension line of the straight line connecting the position 31b of the left eye and the position 32b 3 of the image for the left eye, the respective images appear to be formed as a composite image, and the image formation positions of the respective images are formed. become present in the position of the mark 33p 3 can be seen as, on the other hand, the position 32a of the right eye position 31a and the right-eye image with respect to the other point
It appears that the respective images are combined and formed at the intersection of the extension line of the straight line connecting 4 and the extension line of the straight line connecting the position 31b of the left eye and the position 32b 4 of the image for the left eye,
It can be seen that they are present at the position of the symbol 33p 4 , which is the image forming position of each image.
【0058】従って、前記2個の画像の結像位置33p
3と33p4との両者の距離の差が、3次元画像として認
識可能な奥行きを示す距離pd1に比し短く、符号pd3
(<pd1)と近接して表示され、奥行きが少ない画像
表示となり、仮画像データである右目用画像データを用
いて画像合成されて、表示装置5に表示される仮3次元
画像が、3次元画像としては認識し難くなる。Therefore, the image forming position 33p of the two images
The difference between the distances of 3 and 33p 4 is shorter than the distance pd 1 indicating the depth that can be recognized as a three-dimensional image, and the symbol pd 3
The image is displayed in close proximity to (<pd 1 ) and has a small depth, and the temporary three-dimensional image displayed on the display device 5 after being image-synthesized using the right-eye image data that is temporary image data is 3 It becomes difficult to recognize as a three-dimensional image.
【0059】そこで、表示装置5上に表示されている仮
3次元画像をリアルタイムで確認しながら、手動にてC
PU2の位置調整機能2bを制御して、カメラ1の位置
や角度又は当該表示機能付撮像装置10自体の位置や角
度等を調整して、3次元画像として認識することが可能
となるように、調整された位置や角度により右目用画像
の撮像を行ない、撮像された右目用画像データの取り込
みを行なう。Therefore, while confirming the temporary three-dimensional image displayed on the display device 5 in real time, the C
By controlling the position adjusting function 2b of the PU 2 to adjust the position and angle of the camera 1 or the position and angle of the image pickup apparatus 10 with the display function itself, it is possible to recognize as a three-dimensional image. An image for the right eye is captured according to the adjusted position and angle, and the captured image data for the right eye is captured.
【0060】しかる操作を経た後において、例えば、前
記図8に示す3次元画像と同等のレベルの3次元画像を
獲得した場合、即ち、前記2個の画像の前記結像位置3
3p 3と33p4とが、それぞれ調整後の結合位置として
符号33p3′と33p4′の位置に移動されて見ること
ができる状態となり、調整後の2個の画像の結像位置3
3p3′と33p4′との両者の距離の差が符号pd3′
となり、図8における2個の画像の結像位置の差を示す
符号pd1と等しい値となっている(即ち、調整後に表
示される3次元画像が、図8に示した3次元画像と同等
のレベルの3次元画像として認識することができる)場
合において、該右目用画像データを右目用の確定画像デ
ータとして確定(決定)する。After the appropriate operation, for example,
A three-dimensional image of the same level as the three-dimensional image shown in FIG.
If acquired, that is, the imaging position 3 of the two images
3p 3And 33pFourAnd as the binding position after adjustment
Code 33p3'And 33pFourSeeing moved to ‘position’
Image forming position 3 of the two images after adjustment.
3p3'And 33pFour′ And the difference between the two distances are pd3′
And shows the difference between the image forming positions of the two images in FIG.
Code pd1Is equal to (i.e.
The 3D image shown is equivalent to the 3D image shown in FIG.
Can be recognized as a three-dimensional image at the level of
Image data for the right eye, the image data for the right eye is set to the fixed image data for the right eye.
Data is confirmed (determined).
【0061】かかる調整により、撮像者により3次元画
像として認識可能とされる右目用画像データが、前記あ
る一つのポイントに対しての画像位置32a3又は前記
他のポイントに対しての画像位置32a4の代わりに、
例えば、前記図8に示す3次元画像と同等のレベルの3
次元画像を獲得することができる場合のそれぞれの画像
位置32a3′と32a4′とに表示されるように調整さ
れた時点、即ち、左目用画像データと右目用画像データ
との間の距離が、図3に示すように、符号w3やw4か
ら、それぞれ符号w3′やw4′に調整された時点で、撮
像者からの調整完了の確定指示に基づいて、CPU2の
前記画像確定機能2cは、仮3次元画像として取り込ん
でいた右目用画像データを、確定3次元画像用の他方の
目用画像データとして確定(決定)する。With this adjustment, the image data for the right eye, which can be recognized as a three-dimensional image by the photographer, is displayed at the image position 32a 3 with respect to the one point or the image position 32a with respect to the other point. Instead of 4
For example, the level of 3 is the same as that of the 3D image shown in FIG.
When the two-dimensional image can be acquired, the time point adjusted to be displayed at each image position 32a 3 ′ and 32a 4 ′, that is, the distance between the left-eye image data and the right-eye image data is As shown in FIG. 3, when the images are adjusted from the symbols w 3 and w 4 to the symbols w 3 ′ and w 4 ′, respectively, the image determination by the CPU 2 is determined based on the adjustment completion confirmation instruction from the photographer. The function 2c determines (determines) the right-eye image data captured as the temporary three-dimensional image as the other eye image data for the finalized three-dimensional image.
【0062】次に、図4を用いて、撮像者の個人差によ
り、左右の目の位置が、3次元画像が獲得可能な距離で
あった前記図8の符号31a,31bと異なり、左右の
目の間の間隔がより広がっている場合におけるカメラ1
及び当該表示機能付撮像装置10の調整例について説明
する。図2の動作フローチャートに示すように、まず、
左目用画像データが取り込まれ、確定3次元画像用の左
目用画像データとして決定(確定)され、表示装置5上
には、決定(確定)された確定3次元画像用の左目用画
像データのある一つのポイントに対して符号32b5の
位置に、又、他のポイントに対して符号32b6の位置
に表示される。Next, referring to FIG. 4, the left and right eye positions are different from the reference numerals 31a and 31b in FIG. Camera 1 when the distance between the eyes is wider
Also, an example of adjustment of the imaging device with a display function 10 will be described. As shown in the operation flowchart of FIG. 2, first,
The image data for the left eye is fetched and determined (determined) as the image data for the left eye for the determined three-dimensional image, and the determined (determined) left-eye image data for the determined three-dimensional image is present on the display device 5. It is displayed at the position 32b 5 for one point and at the position 32b 6 for the other points.
【0063】ここで、撮像者の個人差により、図10の
場合と同様に、左目,右目の位置が、3次元画像が獲得
可能となる左右の目の位置である、それぞれ31b,3
1aとは異なり、両者の間隔がより広がった31b1,
31a1という異なる位置関係にある場合、仮の画像デ
ータとして取り込まれた右目用画像データは、先に決定
(確定)された前記左目用画像データに対して3次元画
像が獲得可能となる右目用画像データの位置ではなく、
図10における説明の場合と同様に、表示装置5上に
は、より近接した位置に表示され、前記左目用画像デー
タに対応するある一つのポイント32b5に対して符号
32a5の位置に、また、他のポイント32b 6に対して
符号32a6の位置に、即ち、ある一つのポイント又は
他のポイントに対して、それぞれ、左目用画像データと
右目用画像データとの間の距離が符号w 5又はw6という
近接した位置に表示される。Here, depending on the individual difference of the image pickup person, as shown in FIG.
As in the case, the position of the left and right eyes is acquired as a 3D image.
31b, 3 which are the left and right eye positions that are possible, respectively.
Unlike 1a, the distance between the two is wider 31b1,
31a1, The temporary image data
The image data for the right eye captured as data is decided first.
A 3D image for the (confirmed) image data for the left eye.
Not the position of the image data for the right eye where the image can be acquired,
As in the case of the explanation in FIG.
Are displayed closer to each other, and the image data for the left eye is displayed.
One point 32b corresponding toFiveSign for
32aFiveAnd another point 32b 6Against
Reference numeral 32a6At the position of, that is, a certain point or
Left eye image data and
The distance from the image data for the right eye is sign w FiveOr w6Say
Displayed in close proximity.
【0064】而して、図10に示したごとく、表示され
る仮3次元画像としては、前記ある一つのポイントに対
しての右目の位置31a1と右目用画像の位置32a5と
を結ぶ直線の延長線と左目の位置31b1と左目用画像
の位置32b5とを結ぶ直線の延長線との交点に、それ
ぞれの画像が合成されて結像されているように見え、そ
れぞれの画像の結像位置となる符号33p5の位置に存
在しているように見ることができ、一方、前記他のポイ
ントに対しての右目の位置31a1と右目用画像の位置
32a6とを結ぶ直線の延長線と左目の位置31b1と左
目用画像の位置32b6とを結ぶ直線の延長線との交点
に、それぞれの画像が合成されて結像されているように
見え、それぞれの画像の結像位置となる符号33p6の
位置に存在しているように見ることができる。Thus, as shown in FIG. 10, the displayed temporary three-dimensional image is a straight line connecting the position 31a 1 of the right eye and the position 32a 5 of the image for the right eye with respect to the certain one point. It seems that the respective images are formed as a composite image at the intersection of the extension line of the line and the extension line of the straight line connecting the position 31b 1 of the left eye and the position 32b 5 of the image for the left eye, and the combination of the images is formed. can be seen to be present at the position of the code 33p 5 as the image position, whereas, the extension of the straight line connecting the position 32a 6 right eye position 31a 1 and the right-eye image with respect to the other point At the intersection of the line and the extended line of the straight line connecting the position 31b 1 of the left eye and the position 32b 6 of the image for the left eye, it seems that the respective images are combined to form an image. is present at the position of the code 33p 6 as a It can be seen in cormorants.
【0065】従って、前記2個の画像の結像位置33p
5と33p6との両者の距離の差が、3次元画像として認
識可能な奥行きを示す距離pd1に比し短く、符号pd5
(<pd1)と近接して表示され、奥行きが少ない画像
表示となり、仮画像データである右目用画像データを用
いて画像合成されて、表示装置5に表示される仮3次元
画像が、3次元画像としては認識し難くなる。Therefore, the image forming position 33p of the two images
The difference between the distances of 5 and 33p 6 is shorter than the distance pd 1 indicating the depth that can be recognized as a three-dimensional image, and the symbol pd 5
The image is displayed in close proximity to (<pd 1 ) and has a small depth, and the temporary three-dimensional image displayed on the display device 5 after being image-synthesized using the right-eye image data that is temporary image data is 3 It becomes difficult to recognize as a three-dimensional image.
【0066】そこで、表示装置5上に表示されている仮
3次元画像をリアルタイムで確認しながら、手動にてC
PU2の位置調整機能2bを制御して、カメラ1の位置
や角度又は当該表示機能付撮像装置10自体の位置や角
度等を調整して、3次元画像として認識することが可能
となるように、調整された位置や角度により右目用画像
の撮像を行ない、撮像された右目用画像データの取り込
みを行なう。Therefore, while confirming the temporary three-dimensional image displayed on the display device 5 in real time, the C
By controlling the position adjusting function 2b of the PU 2 to adjust the position and angle of the camera 1 or the position and angle of the image pickup apparatus 10 with the display function itself, it is possible to recognize as a three-dimensional image. An image for the right eye is captured according to the adjusted position and angle, and the captured image data for the right eye is captured.
【0067】しかる操作を経た後において、例えば、前
記図8に示す3次元画像と同等のレベルの3次元画像を
獲得した場合、即ち、前記2個の画像の前記結像位置3
3p 5と33p6とが、それぞれ調整後の結合位置として
符号33p5′と33p6′の位置に移動されて見ること
ができる状態となり、調整後の2個の画像の結像位置3
3p5′と33p6′との両者の距離の差が符号pd5′
となり、図8における2個の画像の結像位置の差を示す
符号pd1と等しい値となっている(即ち、調整後に表
示される3次元画像が、図8に示した3次元画像と同等
のレベルの3次元画像として認識することができる)場
合において、該右目用画像データを右目用の確定画像デ
ータとして確定(決定)する。After performing the appropriate operation, for example,
A three-dimensional image of the same level as the three-dimensional image shown in FIG.
If acquired, that is, the imaging position 3 of the two images
3p FiveAnd 33p6And as the binding position after adjustment
Code 33pFive'And 33p6Seeing moved to ‘position’
Image forming position 3 of the two images after adjustment.
3pFive'And 33p6′ And the difference between the two distances are pdFive′
And shows the difference between the image forming positions of the two images in FIG.
Code pd1Is equal to (i.e.
The 3D image shown is equivalent to the 3D image shown in FIG.
Can be recognized as a three-dimensional image at the level of
Image data for the right eye, the image data for the right eye is set to the fixed image data for the right eye.
Data is confirmed (determined).
【0068】かかる調整により、撮像者により3次元画
像として認識可能とされる右目用画像データが、前記あ
る一つのポイントに対しての画像位置32a5又は前記
他のポイントに対しての画像位置32a6の代わりに、
例えば、前記図8に示す3次元画像と同等のレベルの3
次元画像を獲得することができる場合のそれぞれの画像
位置32a5′と32a6′とに表示されるように調整さ
れた時点、即ち、左目用画像データと右目用画像データ
との間の距離が、図4に示すように、符号w5やw6か
ら、それぞれ符号w5′やw6′に調整された時点で、撮
像者からの調整完了の確定指示に基づいて、CPU2の
前記画像確定機能2cは、仮3次元画像として取り込ん
でいた右目用画像データを、確定3次元画像用の他方の
目用画像データとして確定(決定)する。With this adjustment, the image data for the right eye, which can be recognized as a three-dimensional image by the photographer, is displayed at the image position 32a 5 with respect to the one point or the image position 32a with respect to the other point. Instead of 6
For example, the level of 3 is the same as that of the 3D image shown in FIG.
When the three-dimensional image can be acquired, the time point adjusted to be displayed at each image position 32a 5 ′ and 32a 6 ′, that is, the distance between the left-eye image data and the right-eye image data is As shown in FIG. 4, when the symbols w 5 and w 6 are adjusted to the symbols w 5 ′ and w 6 ′, respectively, the image confirmation by the CPU 2 is performed based on the adjustment completion confirmation instruction from the photographer. The function 2c determines (determines) the right-eye image data captured as the temporary three-dimensional image as the other eye image data for the finalized three-dimensional image.
【0069】次に、図5を用いて、撮像者の目の位置と
表示装置との間の距離が、3次元画像が獲得可能な距離
であった前記図8の符号d1と異なり、更に近接してい
る場合におけるカメラ1及び当該表示機能付撮像装置1
0の調整例について説明する。図2の動作フローチャー
トに示すように、まず、左目用画像データが取り込ま
れ、確定3次元画像用の左目用画像データとして決定
(確定)され、表示装置5上には、決定(確定)された
確定3次元画像用の左目用画像データのある一つのポイ
ントに対して符号32b7の位置に、又、他のポイント
に対して符号32b8の位置に表示される。Next, referring to FIG. 5, the distance between the position of the imager's eyes and the display device is different from the reference numeral d 1 in FIG. 8 which is a distance at which a three-dimensional image can be obtained. Camera 1 and image pickup apparatus with display function 1 when they are in close proximity
An adjustment example of 0 will be described. As shown in the operation flowchart of FIG. 2, first, the image data for the left eye is captured and determined (determined) as the image data for the left eye for the determined three-dimensional image, and then determined (determined) on the display device 5. It is displayed at a position of a reference numeral 32b 7 with respect to one point of the left-eye image data for the confirmed three-dimensional image and at a position of a reference numeral 32b 8 with respect to the other points.
【0070】ここで、撮像者の目の位置と表示装置5と
の間の距離、即ち、左右の目を結ぶ線31cと表示装置
5との間の距離が、図11の場合と同様に、3次元画像
が獲得可能となる距離である符号d1よりも、より近接
した位置関係の符号d2にある場合、仮の画像データと
して取り込まれた右目用画像データは、先に決定(確
定)された前記左目用画像データに対して3次元画像が
獲得可能となる右目用画像データの位置ではなく、図1
1における説明の場合と同様に、表示装置5上には、よ
り近接した位置に表示され、前記左目用画像データに対
応するある一つのポイント32b7に対して符号32a7
の位置に、また、他のポイント32b8に対して符号3
2a8の位置に、即ち、ある一つのポイント又は他のポ
イントに対して、それぞれ、左目用画像データと右目用
画像データとの間の距離が符号w7又はw8という近接し
た位置に表示される。Here, the distance between the position of the imager's eyes and the display device 5, that is, the distance between the line 31c connecting the left and right eyes and the display device 5, is the same as in the case of FIG. When the code d 2 is closer than the code d 1, which is the distance at which the three-dimensional image can be acquired, the right-eye image data captured as the temporary image data is first determined (determined). It is not the position of the right-eye image data for which a three-dimensional image can be acquired for the left-eye image data that has been generated, but FIG.
As in the case of the explanation in 1, the reference numeral 32a 7 is displayed for one point 32b 7 displayed at a closer position on the display device 5 and corresponding to the left-eye image data.
At position 3 and with respect to other points 32b 8
2a 8 , that is, the distance between the left-eye image data and the right-eye image data is displayed at a close position of w 7 or w 8 with respect to one point or another point, respectively. It
【0071】而して、図11に示したごとく、表示され
る仮3次元画像としては、前記ある一つのポイントに対
しての右目の位置31aと右目用画像の位置32a7と
を結ぶ直線の延長線と左目の位置31bと左目用画像の
位置32b7とを結ぶ直線の延長線との交点に、それぞ
れの画像が合成されて結像されているように見え、それ
ぞれの画像の結像位置となる符号33p7の位置に存在
しているように見ることができ、一方、前記他のポイン
トに対しての右目の位置31aと右目用画像の位置32
a8とを結ぶ直線の延長線と左目の位置31bと左目用
画像の位置32b8とを結ぶ直線の延長線との交点に、
それぞれの画像が合成されて結像されているように見
え、それぞれの画像の結像位置となる符号33p8の位
置に存在しているように見ることができる。Thus, as shown in FIG. 11, the displayed temporary three-dimensional image is a straight line connecting the position 31a of the right eye and the position 32a 7 of the image for the right eye with respect to the certain one point. At the intersection of the extension line and the extension line of the straight line connecting the position 31b of the left eye and the position 32b 7 of the image for the left eye, it seems that the respective images are combined and imaged. become present in the position of the mark 33p 7 can be seen as, on the other hand, the position of the right eye position 31a and the right-eye image with respect to the other points 32
the intersection of the extended line of a straight line connecting the position 32 b 8 of straight extension and left position 31b and the left-eye image connecting the a 8,
It can be seen that the respective images are combined to form an image and that they are present at the position of the reference numeral 33p 8 which is the image forming position of the respective images.
【0072】従って、前記2個の画像の結像位置33p
7と33p8との両者の距離の差が、3次元画像として認
識可能な奥行きを示す距離pd1に比し短く、符号pd7
(<pd1)と近接して表示され、奥行きが少ない画像
表示となり、仮画像データである右目用画像データを用
いて画像合成されて、表示装置5に表示される仮3次元
画像が、3次元画像としては認識し難くなる。Therefore, the image forming position 33p of the two images
The difference between the distances of 7 and 33p 8 is shorter than the distance pd 1 indicating the depth that can be recognized as a three-dimensional image, and the symbol pd 7
The image is displayed in close proximity to (<pd 1 ) and has a small depth, and the temporary three-dimensional image displayed on the display device 5 after being image-synthesized using the right-eye image data that is temporary image data is 3 It becomes difficult to recognize as a three-dimensional image.
【0073】そこで、表示装置5上に表示されている仮
3次元画像をリアルタイムで確認しながら、手動にてC
PU2の位置調整機能2bを制御して、カメラ1の位置
や角度又は当該表示機能付撮像装置10自体の位置や角
度等を調整して、3次元画像として認識することが可能
となるように、調整された位置や角度により右目用画像
の撮像を行ない、撮像された右目用画像データの取り込
みを行なう。Then, while confirming the temporary three-dimensional image displayed on the display device 5 in real time, C
By controlling the position adjusting function 2b of the PU 2 to adjust the position and angle of the camera 1 or the position and angle of the image pickup apparatus 10 with the display function itself, it is possible to recognize as a three-dimensional image. An image for the right eye is captured according to the adjusted position and angle, and the captured image data for the right eye is captured.
【0074】しかる操作を経た後において、例えば、前
記図8に示す3次元画像と同等のレベルの3次元画像を
獲得した場合、即ち、前記2個の画像の前記結像位置3
3p 7と33p8とが、それぞれ調整後の結合位置として
符号33p7′と33p8′の位置に移動されて見ること
ができる状態となり、調整後の2個の画像の結像位置3
3p7′と33p8′との両者の距離の差が符号pd7′
となり、図8における2個の画像の結像位置の差を示す
符号pd1と等しい値となっている(即ち、調整後に表
示される3次元画像が、図8に示した3次元画像と同等
のレベルの3次元画像として認識することができる)場
合において、該右目用画像データを右目用の確定画像デ
ータとして確定(決定)する。After the appropriate operation, for example,
A three-dimensional image of the same level as the three-dimensional image shown in FIG.
If acquired, that is, the imaging position 3 of the two images
3p 7And 33p8And as the binding position after adjustment
Code 33p7'And 33p8Seeing moved to ‘position’
Image forming position 3 of the two images after adjustment.
3p7'And 33p8′ And the difference between the two distances are pd7′
And shows the difference between the image forming positions of the two images in FIG.
Code pd1Is equal to (i.e.
The 3D image shown is equivalent to the 3D image shown in FIG.
Can be recognized as a three-dimensional image at the level of
Image data for the right eye, the image data for the right eye is set to the fixed image data for the right eye.
Data is confirmed (determined).
【0075】かかる調整により、撮像者により3次元画
像として認識可能とされる右目用画像データが、前記あ
る一つのポイントに対しての画像位置32a7又は前記
他のポイントに対しての画像位置32a8の代わりに、
例えば、前記図8に示す3次元画像と同等のレベルの3
次元画像を獲得することができる場合のそれぞれの画像
位置32a7′と32a8′とに表示されるように調整さ
れた時点、即ち、左目用画像データと右目用画像データ
との間の距離が、図5に示すように、符号w7やw8か
ら、それぞれ符号w7′やw8′に調整された時点で、撮
像者からの調整完了の確定指示に基づいて、CPU2の
前記画像確定機能2cは、仮3次元画像として取り込ん
でいた右目用画像データを、確定3次元画像用の他方の
目用画像データとして確定(決定)する。With this adjustment, the image data for the right eye, which can be recognized as a three-dimensional image by the photographer, is displayed at the image position 32a 7 with respect to the one point or the image position 32a with respect to the other point. Instead of 8
For example, the level of 3 is the same as that of the 3D image shown in FIG.
When the two-dimensional image can be acquired, the time point adjusted to be displayed at each image position 32a 7 ′ and 32a 8 ′, that is, the distance between the left-eye image data and the right-eye image data is As shown in FIG. 5, when the symbols w 7 and w 8 are adjusted to the symbols w 7 ′ and w 8 ′, respectively, the image confirmation of the CPU 2 is performed based on the adjustment completion confirmation instruction from the photographer. The function 2c determines (determines) the right-eye image data captured as the temporary three-dimensional image as the other eye image data for the finalized three-dimensional image.
【0076】以上に説明したように、一つのカメラ1に
より先に撮像する右目用又は左目用画像データのいずれ
か一方の目用画像データを、確定3次元画像用の一方の
目用画像データとして確定(決定)しておいて、後から
撮像する反対側の他方の目用画像データのみを調整用の
仮画像データとして調整することにより、より簡単かつ
迅速に、3次元画像として認識可能な位置にカメラ1又
は当該表示機能付撮像装置10の位置や角度を調整する
ことが可能である。As described above, either one of the right-eye image data or the left-eye image data which is previously captured by one camera 1 is used as the one-eye image data for the fixed three-dimensional image. A position that can be recognized as a three-dimensional image more easily and quickly by determining (determining) and adjusting only the other eye image data on the opposite side to be captured later as provisional image data for adjustment. Further, it is possible to adjust the position and angle of the camera 1 or the image pickup apparatus 10 with the display function.
【0077】即ち、図2に示す動作フローチャートのス
テップS10及びS11において示したように、前記他
方の目用画像データのみに対してカメラ1又は当該表示
機能付撮像装置10の位置や角度を調整して撮像し、該
調整の結果として撮像された前記他方の目用画像データ
と、先に撮像されて確定画像データとして確定(決定)
されていた一方の目用画像データとが3次元画像として
画像合成されて、表示装置5に表示された3次元画像デ
ータの結像画像が、3次元画像として認識することがで
きた際には、先に確定(決定)していた例えば左目用画
像データに対する反対側の仮画像データであった右目用
画像データを確定3次元画像用の確定画像データとして
確定(決定)して、それぞれの確定(決定)された左目
用及び右目用の画像データを3次元画像として画像合成
して表示させることにより、3次元表示として認識可能
な3次元画像データを、簡単かつ迅速に決定することが
可能となる。That is, as shown in steps S10 and S11 of the operation flow chart shown in FIG. 2, the position and angle of the camera 1 or the image pickup apparatus 10 with the display function are adjusted only for the other eye image data. Image data for the other eye captured as a result of the adjustment, and the image data previously captured and confirmed as the confirmed image data (determined)
When the image data for one eye that has been displayed is combined as a three-dimensional image and the formed image of the three-dimensional image data displayed on the display device 5 can be recognized as a three-dimensional image. , The right-eye image data, which was the provisional image data on the opposite side of the previously-determined (determined) left-eye image data, is determined (determined) as the determined image data for the determined three-dimensional image, and each is determined. By synthesizing and displaying the (determined) image data for the left eye and for the right eye as a three-dimensional image, it is possible to easily and quickly determine the three-dimensional image data that can be recognized as a three-dimensional display. Become.
【0078】更には、本発明に係る表示機能付撮像装置
10は、一つのカメラ1のみを用いて、左目用及び右目
用の画像を順次撮像するように構成しているので、ま
た、左目用及び右目用の画像を、表示装置用コントロー
ラ4に設けられた表示用メモリ4a上で画像合成させる
ようにして、高価なフレームメモリ3aも1個のみ備え
れば良い構成としているので、製造コストも含めて、当
該表示機能付撮像装置10のコスト低減が可能であり、
かつ、小型化が可能となり、携帯型の表示機能付撮像装
置を容易に実現することも可能である。Furthermore, since the image pickup device with a display function 10 according to the present invention is configured to sequentially pick up the images for the left eye and the right eye using only one camera 1, the image pickup device for the left eye is also used. The image for the right eye and the image for the right eye are combined on the display memory 4a provided in the display device controller 4 so that only one expensive frame memory 3a is required, so that the manufacturing cost is reduced. Including, it is possible to reduce the cost of the imaging device 10 with the display function,
In addition, the size can be reduced, and a portable image pickup apparatus with a display function can be easily realized.
【0079】[0079]
【発明の効果】本発明に係る表示機能付撮像装置及び該
表示機能付撮像装置を備えた携帯端末装置によれば、以
下のごとき作用効果を齎すことが可能である。第1に、
先に撮像されて、3次元画像用の一方の目用画像として
確定された右目用又は左目用の画像データを3次元画像
形式にデータ変換して、先に、表示装置側に出力すると
同時に、後で撮像された反対側の他方の目用画像である
左目用又は右目用の画像データを、仮に撮像された調整
用の仮画像として、先に出力されている確定3次元画像
用の一方の目用画像と3次元画像として画像合成して表
示装置に表示せしめ、撮像者が撮像しながらリアルタイ
ムで表示された3次元表示を確認して、前記他方の目用
画像を撮像するための画像撮像素子あるいは当該表示機
能付撮像装置の位置や角度をリアルタイムで逐次調整し
ながら、所望の3次元画像として認識できた際に、前記
他方の目用画像も、確定3次元画像用の他方の目用画像
として確定して取り込むように構成しているので、3次
元画像を獲得するための画像撮像素子あるいは当該表示
機能付撮像装置の位置や角度などの調整が簡素化され、
3次元画像として認識できる右目用及び左目用の画像デ
ータを簡単かつ迅速に確定して取り込むことが可能とな
り、撮像者の心理的な負担を軽減することも可能であ
る。According to the image-capturing device with a display function and the portable terminal device equipped with the image-capturing device with a display function according to the present invention, the following operational effects can be brought about. First,
At the same time as converting the image data for the right eye or the left eye, which has been imaged first and fixed as the image for one eye for the three-dimensional image, into a three-dimensional image format and first output to the display device side, The image data for the left eye or the right eye, which is the image for the other eye on the opposite side captured later, is used as the temporary image for adjustment temporarily captured for one of the previously output fixed three-dimensional images. Image capturing for capturing the other eye image while confirming the three-dimensional display that is displayed in real time while the image is being captured by the imager by synthesizing the image as an eye image and a three-dimensional image on the display device. When the desired three-dimensional image can be recognized while sequentially adjusting the position or angle of the element or the image pickup apparatus with the display function in real time, the other eye image is also used for the other eye for the fixed three-dimensional image. Confirm as an image Since configured such writing, it simplifies adjustment of the position and angle of the image pickup element or the display function with an imaging device for acquiring three-dimensional images,
Image data for the right eye and the image for the left eye that can be recognized as a three-dimensional image can be determined easily and quickly, and the psychological burden on the imager can be reduced.
【0080】また、第2に、先に撮像された右目又は左
目用の画像データと後から撮像された反対側の他方の目
用画像データとの3次元画像としての画像合成を、表示
装置に対して3次元画像の表示を行なうための表示用メ
モリとして表示装置用コントローラ内に設けられている
メモリ上で行なわしめ、画像撮像素子から取り込むフレ
ームメモリを一つのみとする構成としているので、高価
なフレームメモリを2フレーム分準備する必要がなく、
コスト低減が可能となる。Secondly, the image synthesis as a three-dimensional image of the previously imaged right eye or left eye image data and the later imaged image data for the other eye on the opposite side is performed on the display device. On the other hand, the display memory for displaying a three-dimensional image is performed on the memory provided in the controller for the display device, and only one frame memory is taken in from the image pickup device, which is expensive. It is not necessary to prepare 2 frames
Cost reduction is possible.
【0081】更には、第3に、一つの画像撮像素子を用
いて、右目又は左目用の画像データとして順次撮像する
構成としているので、前記フレームメモリを一つとする
ことと相俟って、コスト低減が可能であると共に、小型
化も可能となり、可搬性に富む携帯型表示機能付撮像装
置を容易に実現することが可能となる。Thirdly, since one image pickup device is used to sequentially pick up the image data for the right eye or the left eye, the cost is reduced in combination with one frame memory. It is possible to reduce the size and size, and it is possible to easily realize a highly portable image pickup device with a display function.
【図1】本発明に係る表示機能付撮像装置の構成例を示
すブロック構成図である。FIG. 1 is a block configuration diagram showing a configuration example of an image pickup apparatus with a display function according to the present invention.
【図2】図1に示す本発明に係る表示機能付撮像装置に
おいて、左右それぞれの目用画像の取り込みから3次元
画像データの決定までの動作を示す動作フローチャート
である。FIG. 2 is an operation flowchart showing an operation from capturing left and right eye images to determining three-dimensional image data in the image pickup apparatus with a display function according to the present invention shown in FIG.
【図3】本発明に係る表示装置付撮像装置の場合におけ
る3次元画像表示として認識する目と表示画像と結像位
置との関係を示す模式図である。FIG. 3 is a schematic diagram showing a relationship between an eye recognized as a three-dimensional image display, a display image, and an image formation position in the case of the image pickup apparatus with a display device according to the present invention.
【図4】本発明に係る表示装置付撮像装置の場合におけ
る3次元画像表示として認識する目と表示画像と結像位
置との他の関係を示す模式図である。FIG. 4 is a schematic diagram showing another relationship between an eye recognized as a three-dimensional image display, a display image, and an imaging position in the case of the image pickup apparatus with a display device according to the present invention.
【図5】本発明に係る表示装置付撮像装置の場合におけ
る3次元画像表示として認識する目と表示画像と結像位
置との更なる他の関係を示す模式図である。FIG. 5 is a schematic diagram showing still another relationship between an eye recognized as a three-dimensional image display, a display image, and an imaging position in the case of the image pickup apparatus with a display device according to the present invention.
【図6】従来のカメラを2個使用した場合の表示機能付
撮像装置の構成例を示すブロック構成図である。FIG. 6 is a block configuration diagram showing a configuration example of an image pickup apparatus with a display function when two conventional cameras are used.
【図7】図6に示す従来の表示機能付撮像装置におい
て、左右それぞれの目用画像の取り込みから3次元画像
データの決定までの動作を示す動作フローチャートであ
る。FIG. 7 is an operation flowchart showing an operation from the acquisition of left and right eye images to the determination of three-dimensional image data in the conventional imaging device with a display function shown in FIG.
【図8】3次元画像表示として認識する目と表示画像と
結像位置との関係を示す模式図である。FIG. 8 is a schematic diagram showing a relationship between an eye recognized as a three-dimensional image display, a display image, and an image formation position.
【図9】3次元画像表示として認識する目と表示画像と
結像位置との関係の他の例を示す模式図である。FIG. 9 is a schematic diagram showing another example of the relationship between the eyes recognized as three-dimensional image display, the display image, and the image formation position.
【図10】3次元画像表示として認識する目と表示画像
と結像位置との関係の更なる他の例を示す模式図であ
る。FIG. 10 is a schematic diagram showing still another example of the relationship between the eyes recognized as a three-dimensional image display, the display image, and the image formation position.
【図11】3次元画像表示として認識する目と表示画像
と結像位置との関係の更なる他の例を示す模式図であ
る。FIG. 11 is a schematic diagram showing still another example of the relationship between the eyes recognized as a three-dimensional image display, the display image, and the image formation position.
【符号の説明】
1…カメラ、2…CPU、2a…3次元画像表示機能、
2b…位置調整機能、2c…画像確定機能、3…メモ
リ、3a…フレームメモリ、4…表示装置用コントロー
ラ、4a…表示用メモリ、5…表示装置、10…表示機
能付撮像装置、11a…カメラA、11b…カメラB、
12…CPU、13…メモリ、13a…フレームメモリ
A、13b…フレームメモリB、14…表示装置用コン
トローラ、15…表示装置、20…表示機能付撮像装
置、31a,31a1…撮像者の右目の位置、31b,
31b1…撮像者の左目の位置、31c…撮像者の左右
の目の位置を結ぶ線、32a1,32a2,32a3,3
2a4,32a5,32a6,32a 7,32a8…右目用
画像の位置、32a3′,32a4′,32a5′,32
a6′,32a7′,32a8′…調整後の右目用画像の
位置、32b1,32b2,32b3,32b4,32
b5,32b6,32b7,32b8…左目用画像の位置、
33p1,33p2,33p3,33p4,33p5,33
p6,33p7,33p8…画像の結像位置、33p3′,
33p4′,33p5′,33p6′,33p7′,33p
8′…調整後の画像の結像位置、d1,d2…表示装置と
目の位置との間の距離、pd1,pd3,pd5,pd7…
2つの画像の結像位置間の距離、pd3′,pd5′,p
d7′…調整後の2つの画像の結像位置間の距離、w1,
w2,w3,w4,w5,w6,w7,w8…左目用及び右目
用画像間の距離、w3′,w4′,w5′,w6′,
w7′,w8′…調整後の左目用及び右目用画像間の距
離。[Explanation of symbols]
1 ... Camera, 2 ... CPU, 2a ... 3D image display function,
2b ... Position adjustment function, 2c ... Image confirmation function, 3 ... Memo
3a ... Frame memory, 4 ... Display controller
LA, 4a ... Display memory, 5 ... Display device, 10 ... Display device
Capable imaging device, 11a ... Camera A, 11b ... Camera B,
12 ... CPU, 13 ... Memory, 13a ... Frame memory
A, 13b ... Frame memory B, 14 ... Display device controller
Tracker, 15 ... Display device, 20 ... Imaging device with display function
Placement, 31a, 31a1... the position of the right eye of the photographer, 31b,
31b1... Position of left eye of imager, 31c ... Left and right of imager
32a, a line connecting the eye positions1, 32a2, 32a3, 3
2aFour, 32aFive, 32a6, 32a 7, 32a8... for the right eye
Image position, 32a3', 32aFour', 32aFive', 32
a6', 32a7', 32a8′… Of the adjusted right eye image
Position, 32b1, 32b2, 32b3, 32bFour, 32
bFive, 32b6, 32b7, 32b8... the position of the image for the left eye,
33p1, 33p2, 33p3, 33pFour, 33pFive, 33
p6, 33p7, 33p8… Image formation position, 33p3′,
33pFour', 33pFive', 33p6', 33p7', 33p
8′ ... Image formation position of adjusted image, d1, D2... with display
Distance to eye position, pd1, Pd3, PdFive, Pd7…
Distance between image formation positions of two images, pd3′, PdFive′, P
d7′ ... the distance between the image formation positions of the two images after adjustment, w1,
w2, W3, WFour, WFive, W6, W7, W8... for left and right eyes
Distance between images, w3′, WFour′, WFive′, W6′,
w7′, W8′… Distance between the adjusted left-eye and right-eye images
Away.
Claims (4)
て撮像する画像撮像素子と、該画像撮像素子により撮像
されて取り込まれた前記右目用画像と前記左目用画像と
を3次元画像として画像変換すると共に画像合成して表
示せしめる3次元画像表示機能と、撮像者からの指示に
基づいて、前記画像撮像素子の位置や角度あるいは当該
表示機能付撮像装置の位置や角度の調整を行なわしめ、
調整された前記位置や前記角度により、確定3次元画像
用とするための調整用の仮画像である前記右目用画像及
び/又は前記左目用画像として、前記被写体を撮像せし
める位置調整機能と、前記撮像者からの3次元画像とし
ての調整完了の確定指示に基づいて、前記位置調整機能
を用いて調整された前記位置や前記角度により撮像され
た仮画像である前記右目用画像及び/又は前記左目用画
像を、確定3次元画像用の前記右目用画像及び/又は前
記左目用画像として確定する画像確定機能と、を備えて
いる表示機能付撮像装置において、前記画像撮像素子に
より先に撮像されて取り込まれた前記右目用画像又は前
記左目用画像のいずれか一方の目用画像を、確定3次元
画像用の一方の目用の確定画像として先に確定して、確
定された一方の目用の該確定画像として前記3次元画像
表示機能により画像変換して画像表示させる一方、後か
ら撮像されて取り込まれた前記確定画像と反対側の他方
の目用画像を、確定3次元画像用とするための調整用の
仮画像として、前記3次元画像表示機能により画像変換
して前記確定画像と画像合成して画像表示させ、前記位
置調整機能が、前記撮像者からの指示に基づいて、前記
画像撮像素子の位置や角度あるいは当該表示機能付撮像
装置の位置や角度を逐次調整して、前記他方の目用画像
である調整用の前記仮画像を撮像し、撮像する都度、前
記3次元画像表示機能により前記仮画像を前記確定画像
と3次元画像として画像合成して画像表示することを可
能とすると共に、前記画像確定機能が、前記撮像者から
の3次元画像としての調整完了の確定指示に基づいて、
前記仮画像を確定3次元画像用の他方の目用画像として
確定することを特徴とする表示機能付撮像装置。1. An image pickup device for picking up a subject as an image for the right eye and an image for the left eye, and image conversion of the image for the right eye and the image for the left eye captured and captured by the image pickup device as a three-dimensional image. In addition, the position and angle of the image pickup device or the position and angle of the image pickup device with the display function are adjusted based on a three-dimensional image display function of displaying images by combining images, and an instruction from a photographer.
A position adjusting function for picking up the subject as the right-eye image and / or the left-eye image, which is a temporary image for adjustment for a fixed three-dimensional image, based on the adjusted position and the angle; The right-eye image and / or the left-eye image, which is a temporary image captured at the position and the angle adjusted using the position adjustment function, based on a confirmation instruction of adjustment completion as a three-dimensional image from the imager. In the image pickup device with a display function, which has an image confirmation function for confirming the image for use as the image for the right eye and / or the image for the left eye for the confirmed three-dimensional image, the image is first captured by the image pickup device. Either one of the captured right eye image or left eye image that has been captured is first determined as a confirmed image for one of the confirmed three-dimensional images, and the confirmed one eye is determined. While the image is converted and displayed as the finalized image by the three-dimensional image display function, the other eye image on the opposite side of the finalized image captured and captured later is used as the finalized three-dimensional image. As a temporary image for adjustment, the image is converted by the three-dimensional image display function, and the finalized image is combined with the final image to display the image. The position adjusting function displays the image based on an instruction from the photographer. The position and angle of the image pickup device or the position and angle of the image pickup apparatus with the display function are sequentially adjusted to pick up the temporary image for adjustment which is the image for the other eye, and each time the image is taken, the three-dimensional image display is performed. The function allows the provisional image to be combined with the finalized image as a three-dimensional image to be displayed, and the image finalizing function is used to confirm the adjustment completion from the photographer as a three-dimensional image. On the basis of the instruction,
An image pickup apparatus with a display function, wherein the temporary image is fixed as the other eye image for the fixed three-dimensional image.
おいて、前記3次元画像表示機能が、確定3次元画像用
の一方の目用画像として先に確定される前記確定画像
と、確定3次元画像用となるべき他方の目用画像である
調整用の前記仮画像とを、画像表示装置の表示制御を司
る表示装置用コントローラ内に設けられた画像表示用の
表示メモリ上において、3次元画像としての画像合成を
行なわしめて、表示用3次元画像として保存せしめるこ
とを特徴とする表示機能付撮像装置。2. The imaging device with a display function according to claim 1, wherein the three-dimensional image display function is the one of the confirmed images which is first confirmed as one eye image for the confirmed three-dimensional image, and the confirmed three. The temporary image for adjustment, which is the image for the other eye to be used for a three-dimensional image, is displayed three-dimensionally on the display memory for image display provided in the controller for the display device that controls the display of the image display device. An image pickup apparatus with a display function, characterized in that an image is synthesized as an image and stored as a three-dimensional image for display.
装置において、1個の画像撮像素子を用いて、左目用画
像と右目用画像とを、順次撮像することにより、3次元
画像を画像合成することができることを特徴とする表示
機能付撮像装置。3. The image pickup device with a display function according to claim 1, wherein a three-dimensional image is obtained by sequentially picking up an image for the left eye and an image for the right eye using one image pickup device. An image pickup device with a display function, which is capable of synthesizing images.
機能付撮像装置を備えていることを特徴とする携帯端末
装置。4. A mobile terminal device comprising the image pickup device with a display function according to claim 1.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002058174A JP2003259394A (en) | 2002-03-05 | 2002-03-05 | Imaging apparatus with display function, and mobile terminal provided with the imaging apparatus with the display function |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002058174A JP2003259394A (en) | 2002-03-05 | 2002-03-05 | Imaging apparatus with display function, and mobile terminal provided with the imaging apparatus with the display function |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2003259394A true JP2003259394A (en) | 2003-09-12 |
Family
ID=28668202
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002058174A Pending JP2003259394A (en) | 2002-03-05 | 2002-03-05 | Imaging apparatus with display function, and mobile terminal provided with the imaging apparatus with the display function |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2003259394A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006038570A1 (en) * | 2004-10-01 | 2006-04-13 | Sharp Kabushiki Kaisha | Three-dimensional image forming system |
-
2002
- 2002-03-05 JP JP2002058174A patent/JP2003259394A/en active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006038570A1 (en) * | 2004-10-01 | 2006-04-13 | Sharp Kabushiki Kaisha | Three-dimensional image forming system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101899877B1 (en) | Apparatus and method for improving quality of enlarged image | |
JP5036599B2 (en) | Imaging device | |
WO2015081870A1 (en) | Image processing method, device and terminal | |
CN102917236B (en) | A kind of solid picture-taking method based on single camera and digital camera | |
US20110249146A1 (en) | Imaging device, display control method and program | |
KR20140106779A (en) | Apparatus and method for processing a image in device | |
TW201007617A (en) | Image processing device and program | |
US9596455B2 (en) | Image processing device and method, and imaging device | |
CN102739959A (en) | Image processing device for generating composite image having predetermined aspect ratio | |
WO2013145820A1 (en) | Image pick-up device, method, storage medium, and program | |
US8063956B2 (en) | Image pickup device, image pickup method and integrated circuit | |
JP2006018384A (en) | Imaging device and image processing method | |
JP3730450B2 (en) | Image input apparatus and image input method | |
US8269858B2 (en) | Image pickup device, image pickup method, and integrated circuit | |
JP2003259394A (en) | Imaging apparatus with display function, and mobile terminal provided with the imaging apparatus with the display function | |
JP2004222025A (en) | Electronic camera | |
JP7128347B2 (en) | Image processing device, image processing method and program, imaging device | |
CN112738399B (en) | Image processing method and device and electronic equipment | |
CN114979458B (en) | Image shooting method and electronic equipment | |
US7663676B2 (en) | Image composing apparatus and method of portable terminal | |
JP2010097449A (en) | Image composition device, image composition method and image composition program | |
JP2004173300A (en) | Image pickup device and picked-up image working method | |
KR20050066183A (en) | System and method for embodying panorama image | |
JP7209305B2 (en) | Control device, control method, program | |
CN113890984B (en) | Photographing method, image processing method and electronic equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040728 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060710 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060718 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060908 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060911 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070320 |