JP2003259394A - Imaging apparatus with display function, and mobile terminal provided with the imaging apparatus with the display function - Google Patents
Imaging apparatus with display function, and mobile terminal provided with the imaging apparatus with the display functionInfo
- Publication number
- JP2003259394A JP2003259394A JP2002058174A JP2002058174A JP2003259394A JP 2003259394 A JP2003259394 A JP 2003259394A JP 2002058174 A JP2002058174 A JP 2002058174A JP 2002058174 A JP2002058174 A JP 2002058174A JP 2003259394 A JP2003259394 A JP 2003259394A
- Authority
- JP
- Japan
- Prior art keywords
- image
- eye
- display
- dimensional
- dimensional image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、表示機能付撮像装
置及び該表示機能付撮像装置を備えた携帯端末装置に関
し、特に、３次元画像として撮像する撮像手段と３次元
画像を表示する表示手段とを備えている表示機能付撮像
装置及び該表示機能付撮像装置を備えた携帯端末装置に
関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image pickup device with a display function and a portable terminal device equipped with the image pickup device with a display function, and particularly to an image pickup means for picking up a three-dimensional image and a display means for displaying a three-dimensional image. The present invention relates to an image pickup apparatus with a display function, and a mobile terminal device including the image pickup apparatus with a display function.
【０００２】[0002]
【従来の技術】近年、パーソナルコンピュータやインタ
ーネットの発展と共に、デジタルカメラの普及には目覚
しいものがある。従来、撮像装置を用いて、３次元の画
像を作成する手法としては、特開平７−２３４４６０号
公報「３次元画像信号処理方法」に記載されているよう
に、２つのカメラを用いて右目用及び左目用の画像デー
タとして撮像されたそれぞれの画像データを、３次元画
像として画像合成を行ない、３次元画像データを作成す
る方法が用いられている。図６に、従来のカメラを２個
使用した場合の表示機能付撮像装置の構成例を示してい
る。2. Description of the Related Art In recent years, with the development of personal computers and the Internet, the spread of digital cameras has been remarkable. Conventionally, as a method of creating a three-dimensional image using an imaging device, as described in Japanese Patent Application Laid-Open No. 7-234460, "Three-dimensional image signal processing method", two cameras are used for the right eye. And a method of creating three-dimensional image data by performing image synthesis on the respective image data captured as the image data for the left eye as a three-dimensional image. FIG. 6 shows a configuration example of an image pickup apparatus with a display function when two conventional cameras are used.
【０００３】図６に示す従来の表示機能付撮像装置２０
においては、左目用及び右目用の２つの画像をそれぞれ
撮像するカメラＡ １１ａ，カメラＢ １１ｂと、２つ
の撮像画像を画像合成して３次元画像を作成し表示する
ことを制御すると共に、撮像者からの指示に基づいて、
カメラＡ １１ａとカメラＢ １１ｂとの位置を調整す
る機能を提供するＣＰＵ１２と、メモリ１３と、撮像画
像を表示装置１５上に表示させる制御を行なう表示装置
用コントローラ１４と、撮像画像を表示する表示装置１
５とから構成されている。メモリ１３には、カメラＡ
１１ａとカメラＢ １１ｂとから取り込まれた画像デー
タをそれぞれ一旦保管するために、フレームメモリＡ
１３ａ，フレームメモリＢ １３ｂなども備えられてい
る。A conventional image pickup device 20 with a display function shown in FIG.
In the above, the camera A 11a and the camera B 11b respectively capturing two images for the left eye and the right eye, and controlling the creation and display of a three-dimensional image by combining the two captured images are controlled. Based on the instructions from
A CPU 12 that provides a function of adjusting the positions of the camera A 11a and the camera B 11b, a memory 13, a display device controller 14 that controls to display a captured image on a display device 15, and a display that displays the captured image. Device 1
It is composed of 5 and. In the memory 13, the camera A
In order to temporarily store the image data respectively captured by the camera 11a and the camera B 11b, the frame memory A
13a and a frame memory B 13b are also provided.
【０００４】図７には、図６に示す従来の表示機能付撮
像装置２０において、左右それぞれの目用画像の取り込
みから３次元画像データの決定までの動作を、動作フロ
ーチャートとして纏めている。カメラＡ １１ａ及びカ
メラＢ １１ｂからそれぞれ右目用及び左目用画像デー
タを順次撮像して取り込み（ステップＳ２１）、それぞ
れメモリ１３内のフレームメモリＡ １３ａ及びフレー
ムメモリＢ １３ｂに書き込む（ステップＳ２２）。FIG. 7 is a flow chart showing the operation of the conventional image pickup apparatus 20 with a display function shown in FIG. 6 from the acquisition of left and right eye images to the determination of three-dimensional image data. The image data for the right eye and the image data for the left eye are sequentially captured and captured from the camera A 11a and the camera B 11b (step S21), and written in the frame memory A 13a and the frame memory B 13b in the memory 13 (step S22).
【０００５】ＣＰＵ１２は、メモリ１３のフレームメモ
リＡ １３ａとフレームメモリＢ１３ｂとにそれぞれ取
り込まれている右目用画像データと左目用画像データと
を画像合成し、３次元画像データに変換する（ステップ
Ｓ２３）。ここで、変換された前記３次元画像データ
は、仮３次元画像データとして仮決定される。The CPU 12 synthesizes the image data for the right eye and the image data for the left eye, which are respectively taken into the frame memory A 13a and the frame memory B 13b of the memory 13, and converts them into three-dimensional image data (step S23). . Here, the converted three-dimensional image data is provisionally determined as provisional three-dimensional image data.
【０００６】仮決定された前記仮３次元画像データは、
表示装置用コントローラ１４内の表示用のメモリに書き
込まれる（ステップＳ２４）。表示装置用コントローラ
１４は、表示装置用コントローラ１４内の表示用のメモ
リに書き込まれている仮３次元画像データに基づいて、
表示装置１５を点灯すべく制御信号を作成し、作成され
た制御信号と、表示すべき表示データとして表示装置用
コントローラ１４内の表示用のメモリに書き込まれてい
る前記仮３次元画像データとを表示装置１５に送信す
る。表示装置１５は、送信されてきた制御信号と、表示
データとなる前記仮３次元画像データとに基づいて、仮
３次元画像を表示する（ステップＳ２５）。The provisionally determined three-dimensional image data is
It is written in the display memory in the display device controller 14 (step S24). The display device controller 14 is based on the temporary three-dimensional image data written in the display memory in the display device controller 14,
A control signal is generated to turn on the display device 15, and the generated control signal and the temporary three-dimensional image data written in the display memory in the display device controller 14 as display data to be displayed are displayed. It is transmitted to the display device 15. The display device 15 displays the temporary three-dimensional image based on the transmitted control signal and the temporary three-dimensional image data serving as display data (step S25).
【０００７】次いで、撮像者は、表示装置１５に表示さ
れている前記仮３次元画像の表示内容が３次元画像表示
として認識可能か否かを判定することになる（ステップ
Ｓ２６）。かかる３次元画像表示の判定について、もう
少し詳細に、図８乃至図１１を用いて説明する。ここ
に、図８乃至図１１は、３次元画像表示として認識する
目と表示画像と結像位置との関係を示す模式図である。Next, the photographer determines whether the display contents of the temporary three-dimensional image displayed on the display device 15 can be recognized as a three-dimensional image display (step S26). The determination of the three-dimensional image display will be described in more detail with reference to FIGS. 8 to 11. 8 to 11 are schematic diagrams showing the relationship between the eyes recognized as a three-dimensional image display, the display image, and the image forming position.
【０００８】まず、図８において、符号３１ａ，３１ｂ
は、それぞれ撮像者の右目，左目の位置を示している。
表示装置１５に表示される前記仮３次元画像は、撮像者
の右目の位置３１ａと左目の位置３１ｂとを結ぶ線３１
ｃの垂直方向に符号ｄ1で示す距離だけ右目の位置３１
ａ，左目の位置３１ｂから離れた位置（即ち、表示装置
１５と撮像者の目の位置３１ａ，３１ｂとの間の距離ｄ
1）にある。First, in FIG. 8, reference numerals 31a and 31b are used.
Indicates the positions of the right eye and left eye of the photographer, respectively.
The temporary three-dimensional image displayed on the display device 15 is a line 31 connecting the position 31a of the right eye and the position 31b of the left eye of the photographer.
The position 31 of the right eye in the vertical direction of c by the distance indicated by the symbol d 1.
a, a position away from the position 31b of the left eye (that is, the distance d between the display device 15 and the positions 31a and 31b of the imager's eyes).
1 ).
【０００９】表示装置１５上に表示される前記仮３次元
画像データのある一つのポイントに対しては、右目用画
像は符号３２ａ1の位置に、左目用画像は符号３２ｂ1の
位置に、前記仮３次元画像として表示され、而して、該
仮３次元画像は、右目の位置３１ａと右目用画像の位置
３２ａ1とを結ぶ直線の延長線と左目の位置３１ｂと左
目用画像の位置３２ｂ1とを結ぶ直線の延長線との交点
に、それぞれの画像が合成されて結像されているように
見え、それぞれの画像の結像位置となる符号３３ｐ1の
位置に画像が存在しているように見ることができる。For one point of the provisional three-dimensional image data displayed on the display device 15, the right-eye image is at the position 32a 1 and the left-eye image is at the position 32b 1 The temporary 3D image is displayed as a temporary 3D image, and the temporary 3D image is an extension of a straight line connecting the position 31a of the right eye and the position 32a 1 of the image for the right eye, the position 31b of the left eye, and the position 32b of the image for the left eye. At the intersection with the extension of the straight line connecting 1 and 1 , it appears that the respective images are combined and imaged, and the image exists at the position 33p 1 which is the image formation position of each image. Can be seen as.
【００１０】また、表示装置１５上に表示される前記仮
３次元画像データの他のポイントに対しては、右目用画
像は符号３２ａ2の位置に、左目用画像は符号３２ｂ2の
位置に、前記仮３次元画像として表示され、而して、該
仮３次元画像は、右目の位置３１ａと右目用画像の位置
３２ａ2とを結ぶ直線の延長線と左目の位置３１ｂと左
目用画像の位置３２ｂ2とを結ぶ直線の延長線との交点
に、それぞれの画像が合成されて結像されているように
見え、それぞれの画像の結像位置となる符号３３ｐ2の
位置に存在しているように見ることができる。従って、
ある一つのポイント又は他のポイントに対して、それぞ
れ、左目用画像データと右目用画像データとの間の距離
が符号ｗ1又はｗ2という拡大された位置に表示されてい
る場合には、前記２個の画像の結像位置３３ｐ1と３３
ｐ2との両者の距離の差（即ち、２つの画像の結合位置
間の距離）が、符号ｐｄ1に示されるような奥行きを有
する３次元画像として、表示装置１５に表示されている
前記仮３次元画像を認識することができ、仮３次元画像
として撮像された右目用画像データと左目用画像データ
とを、所望の３次元画像用の右目用及び左目用の画像デ
ータとして確定させることが可能となる。With respect to the other points of the temporary three-dimensional image data displayed on the display device 15, the image for the right eye is at the position of reference numeral 32a 2 and the image for the left eye is at the position of reference numeral 32b 2 . The temporary 3D image is displayed as the temporary 3D image, and the temporary 3D image is an extension of a straight line connecting the position 31a of the right eye and the position 32a 2 of the image for the right eye, the position 31b of the left eye, and the position of the image for the left eye. It seems that the respective images are combined and imaged at the intersection with the extension line of the straight line connecting with 32b 2, and they are present at the position of the symbol 33p 2 which is the image formation position of each image. Can be seen in. Therefore,
When the distance between the image data for the left eye and the image data for the right eye is displayed at an enlarged position of reference sign w 1 or w 2 for one point or another point, respectively, Image forming positions 33p 1 and 33 of the two images
The difference between the distance between the two and p 2 (that is, the distance between the combined positions of the two images) is displayed on the display device 15 as a three-dimensional image having a depth as indicated by symbol pd 1. A three-dimensional image can be recognized, and the right-eye image data and the left-eye image data captured as a temporary three-dimensional image can be determined as desired three-dimensional image right-eye and left-eye image data. It will be possible.
【００１１】然しながら、２個のカメラの位置あるいは
視差などの個人差によっては、２つのカメラＡ １１ａ
とカメラＢ １１ｂとにより撮像された右目用画像デー
タと左目用画像データとを画像合成させて表示された画
像を、かかる奥行きがある３次元画像として認識するこ
とができない場合がある。図９は、３次元画像表示とし
て認識する目と表示画像と結像位置との関係の他の例を
示す模式図であり、２個のカメラＡ １１ａ，カメラＢ
１１ｂの位置が互いに近接していて、撮像されて画像
合成された右目用画像データと左目用画像データとの表
示位置間の距離が短くなっている場合の模式図である。However, depending on the position of the two cameras or individual differences such as parallax, the two cameras A 11a may be different.
The image displayed by combining the right-eye image data and the left-eye image data captured by the camera B 11b with each other may not be recognized as a three-dimensional image having such depth. FIG. 9 is a schematic diagram showing another example of the relationship between the eyes recognized as a three-dimensional image display, the display image, and the image formation position. Two cameras A 11a and B are provided.
11B is a schematic diagram in the case where the positions of 11b are close to each other and the distance between the display positions of the image data for the right eye and the image data for the left eye that have been imaged and image-combined is short. FIG.
【００１２】かかる場合においては、表示装置１５上に
表示される前記仮３次元画像データのある一つのポイン
トに対して、右目用画像は符号３２ａ3の位置に、左目
用画像は符号３２ｂ3の位置に、前記仮３次元画像とし
て表示され、而して、該仮３次元画像は、右目の位置３
１ａと右目用画像の位置３２ａ3とを結ぶ直線の延長線
と左目の位置３１ｂと左目用画像の位置３２ｂ3とを結
ぶ直線の延長線との交点に、それぞれの画像が合成され
て結像されているように見え、それぞれの画像の結像位
置となる符号３３ｐ3の位置に存在しているように見る
ことができる。In such a case, the right eye image is at the position of reference numeral 32a 3 and the left eye image is at the reference numeral 32b 3 with respect to one point of the temporary three-dimensional image data displayed on the display device 15. The temporary 3D image is displayed at the position, and the temporary 3D image is displayed at the position 3 of the right eye.
1a and the position 32a 3 of the image for the right eye and the extension line of the straight line connecting the position 31b of the left eye and the position 32b 3 of the image for the left eye, the respective images are combined to form an image. It can be seen that the image is formed, and it can be seen that the image is present at the position of the reference numeral 33p 3 which is the image forming position of each image.
【００１３】また、表示装置１５上に表示される前記仮
３次元画像データの他のポイントに対して、右目用画像
は符号３２ａ4の位置に、左目用画像は符号３２ｂ4の位
置に、前記仮３次元画像として表示され、而して、該仮
３次元画像は、右目の位置３１ａと右目用画像の位置３
２ａ4とを結ぶ直線の延長線と左目の位置３１ｂと左目
用画像の位置３２ｂ4とを結ぶ直線の延長線との交点
に、それぞれの画像が合成されて結像されているように
見え、それぞれの画像の結像位置となる符号３３ｐ4の
位置に存在しているように見ることができる。従って、
前記２個の画像の結像位置３３ｐ3と３３ｐ4との両者の
距離の差が、符号ｐｄ3（＜ｐｄ1）と近接して、奥行き
が少ない画像表示となり、表示装置１５に表示される前
記仮３次元画像が、３次元画像としては認識し難くな
る。Further, with respect to the other points of the temporary three-dimensional image data displayed on the display device 15, the right-eye image is at the position of reference numeral 32a 4 , the left-eye image is at the position of reference numeral 32b 4 , and The temporary 3D image is displayed as a temporary 3D image, and the temporary 3D image is displayed at the position 31a of the right eye and the position 3 of the image for the right eye.
At the intersection of the straight line connecting 2a 4 and the straight line connecting the position 31b of the left eye and the position 32b 4 of the image for the left eye, it seems that the respective images are combined to form an image. It can be seen that they are present at the position of the symbol 33p 4 , which is the image forming position of each image. Therefore,
The difference in distance between the image forming positions 33p 3 and 33p 4 of the two images is close to the code pd 3 (<pd 1 ), and an image display with a small depth is displayed on the display device 15. It becomes difficult to recognize the temporary three-dimensional image as a three-dimensional image.
【００１４】図１０は、３次元画像表示として認識する
目と表示画像と結像位置との関係の更なる他の例を示す
模式図であり、撮像者の個人差による目の位置が変わ
り、図８における場合よりも、左右の目の位置がより広
がった位置関係にあった場合の様子を示す模式図であ
る。即ち、ある一つのポイント又は他のポイントに対し
て、それぞれ、左目用画像データと右目用画像データと
の間の距離が符号ｗ5又はｗ6という近接した位置に表示
される。FIG. 10 is a schematic diagram showing still another example of the relationship between the eyes recognized as a three-dimensional image display, the display image, and the image formation position. It is a schematic diagram which shows a mode when the position of the left and right eyes has a more expanded positional relationship than the case in FIG. That is, the distance between the image data for the left eye and the image data for the right eye is displayed at a close position of reference sign w 5 or w 6 for a certain point or another point, respectively.
【００１５】図１０において、符号３１ａ1，３１ｂ
1は、それぞれ撮像者の右目、左目の位置を示してお
り、符号３１ａ1，３１ｂ1間の間隔が、符号３１ａ，３
１ｂ間の間隔よりも広くなっている。表示装置１５に表
示される前記仮３次元画像は、図８，図９の場合と同様
に、撮像者の右目の位置３１ａ1と左目の位置３１ｂ1と
を結ぶ線３１ｃの垂直方向に符号ｄ1で示す距離だけ右
目の位置３１ａ1，左目の位置３１ｂ1から離れた位置に
ある。In FIG. 10, reference numerals 31a 1 and 31b
1 indicates the positions of the right eye and the left eye of the photographer, respectively, and the intervals between the reference numerals 31a 1 and 31b 1 are the reference numerals 31a 3
It is wider than the interval between 1b. The temporary three-dimensional image displayed on the display device 15 has a code d in the vertical direction of a line 31c connecting the position 31a 1 of the right eye and the position 31b 1 of the left eye of the photographer, as in the case of FIGS. The positions indicated by 1 are separated from the position 31a 1 of the right eye and the position 31b 1 of the left eye.
【００１６】表示装置１５上に表示される前記仮３次元
画像データのある一つのポイントに対しては、右目用画
像は符号３２ａ5の位置に、左目用画像は符号３２ｂ5の
位置に、前記仮３次元画像として表示され、而して、該
仮３次元画像は、右目の位置３１ａ1と右目用画像の位
置３２ａ5とを結ぶ直線の延長線と左目の位置３１ｂ1と
左目用画像の位置３２ｂ5とを結ぶ直線の延長線との交
点に、それぞれの画像が合成されて結像されているよう
に見え、それぞれの画像の結像位置となる符号３３ｐ5
の位置に存在しているように見ることができる。For a certain point of the provisional three-dimensional image data displayed on the display device 15, the right-eye image is at the position 32a 5 and the left-eye image is at the position 32b 5 and the The temporary 3D image is displayed as a temporary 3D image, and the temporary 3D image is an extension of a straight line connecting the position 31a 1 of the right eye and the position 32a 5 of the image for the right eye and the position 31b 1 of the left eye and the image for the left eye. At the intersection with the extended line of the straight line connecting the position 32b 5 , it seems that the respective images are combined to form an image, and the reference numeral 33p 5 is the image forming position of each image.
Can be seen to exist in the position.
【００１７】また、表示装置１５上に表示される前記仮
３次元画像データの他のポイントに対しては、右目用画
像は符号３２ａ6の位置に、左目用画像は符号３２ｂ6の
位置に、前記仮３次元画像として表示され、而して、該
仮３次元画像は、右目の位置３１ａ1と右目用画像の位
置３２ａ6とを結ぶ直線の延長線と左目の位置３１ｂ1と
左目用画像の位置３２ｂ6とを結ぶ直線の延長線との交
点に、それぞれの画像が合成されて結像されているよう
に見え、それぞれの画像の結像位置となる符号３３ｐ6
の位置に存在しているように見ることができる。従っ
て、前記２個の画像の結像位置３３ｐ5と３３ｐ6との両
者の距離の差が、符号ｐｄ5（＜ｐｄ1）と近接して、奥
行きが少ない画像表示となり、表示装置１５に表示され
る前記仮３次元画像が、３次元画像としては認識し難く
なる。With respect to the other points of the temporary three-dimensional image data displayed on the display device 15, the right eye image is at the position of reference numeral 32a 6 , the left eye image is at the position of reference numeral 32b 6 , and The temporary 3D image is displayed as the temporary 3D image, and the temporary 3D image is an extension of a straight line connecting the position 31a 1 of the right eye and the position 32a 6 of the image for the right eye and the position 31b 1 of the left eye and the image for the left eye. the intersection of the position 32 b 6 an extension of a straight line connecting the are respectively image synthesis appear to be imaged, the code becomes the imaging position of each image 33p 6
Can be seen to exist in the position. Therefore, the difference in distance between the image forming positions 33p 5 and 33p 6 of the two images is close to the reference symbol pd 5 (<pd 1 ), resulting in an image display with less depth, which is displayed on the display device 15. It becomes difficult to recognize the temporary 3D image as a 3D image.
【００１８】図１１は、３次元画像表示として認識する
目と表示画像と結像位置との関係の更なる他の例を示す
模式図であり、表示装置１５の位置と目の位置との間の
距離が変わり、図８における場合よりも、該距離が短く
なった場合の様子を示す模式図である。即ち、ある一つ
のポイント又は他のポイントに対して、それぞれ、左目
用画像データと右目用画像データとの間の距離が符号ｗ
7又はｗ8という近接した位置に表示される。図１１にお
いて、符号３１ａ，３１ｂは、それぞれ撮像者の右目、
左目の位置を示しており、図８の場合と同一である。表
示装置１５に表示される前記仮３次元画像は、図８乃至
図１０の場合と異なり、撮像者の右目の位置３１ａと左
目の位置３１ｂとを結ぶ線３１ｃの垂直方向に符号ｄ2
（＜ｄ1）で示す距離だけ右目の位置３１ａ，左目の位
置３１ｂから離れた位置にある。FIG. 11 is a schematic diagram showing still another example of the relationship between the eyes recognized as a three-dimensional image display, the display image, and the image formation position, and between the position of the display device 15 and the position of the eyes. FIG. 9 is a schematic diagram showing a state in which the distance has changed and the distance has become shorter than in the case of FIG. 8. That is, the distance between the left-eye image data and the right-eye image data is a symbol w for a certain point or another point, respectively.
It is displayed at a close position of 7 or w 8 . In FIG. 11, reference numerals 31a and 31b denote the right eye of the photographer,
The position of the left eye is shown and is the same as the case of FIG. Unlike the case of FIGS. 8 to 10, the temporary three-dimensional image displayed on the display device 15 has a code d 2 in the vertical direction of a line 31c connecting the position 31a of the right eye and the position 31b of the left eye of the photographer.
The position is apart from the position 31a of the right eye and the position 31b of the left eye by the distance indicated by (<d 1 ).
【００１９】表示装置１５上に表示される前記仮３次元
画像データのある一つのポイントに対しては、右目用画
像は３２ａ7の位置に、左目用画像は３２ｂ7の位置に、
前記仮３次元画像として表示され、而して、該仮３次元
画像は、右目の位置３１ａと右目用画像の位置３２ａ7
とを結ぶ直線の延長線と左目の位置３１ｂと左目用画像
の位置３２ｂ7とを結ぶ直線の延長線との交点に、それ
ぞれの画像が合成されて結像されているように見え、そ
れぞれの画像の結像位置となる符号３３ｐ7の位置に存
在しているように見ることができる。For one point of the temporary three-dimensional image data displayed on the display device 15, the right eye image is located at the position 32a 7 , the left eye image is located at the position 32b 7 ,
The temporary 3D image is displayed as the temporary 3D image, and the temporary 3D image is displayed at the position 31a of the right eye and the position 32a 7 of the image for the right eye.
It appears that the respective images are combined to form an image at the intersection of the extended line of the straight line connecting the line and the extended line of the line connecting the position 31b of the left eye and the position 32b 7 of the image for the left eye. It can be seen that the image is present at the position 33p 7 which is the image forming position.
【００２０】また、表示装置１５上に表示される前記仮
３次元画像データの他のポイントに対しては、右目用画
像は３２ａ8の位置に、左目用画像は３２ｂ8の位置に、
前記仮３次元画像として表示され、而して、該仮３次元
画像は、右目の位置３１ａと右目用画像の位置３２ａ8
とを結ぶ直線の延長線と左目の位置３１ｂと左目用画像
の位置３２ｂ8とを結ぶ直線の延長線との交点に、それ
ぞれの画像が合成されて結像されているように見え、そ
れぞれの画像の結像位置となる符号３３ｐ8の位置に存
在しているように見ることができる。従って、前記２個
の画像の結像位置３３ｐ7と３３ｐ8との両者の距離の差
が、符号ｐｄ7（＜ｐｄ1）と近接して、奥行きが少ない
画像表示となり、表示装置１５に表示される前記仮３次
元画像が、３次元画像としては認識し難くなる。Further, with respect to the other points of the temporary three-dimensional image data displayed on the display device 15, the right eye image is located at the position 32a 8 and the left eye image is located at the position 32b 8 .
The temporary 3D image is displayed as the temporary 3D image, and the temporary 3D image is displayed at the position 31a of the right eye and the position 32a 8 of the image for the right eye.
It appears that the respective images are combined to form an image at the intersection of the extension line of the straight line connecting the line and the extension line of the line connecting the position 31b of the left eye and the position 32b 8 of the image for the left eye. It can be seen as if it were present at the position of 33p 8 which is the image forming position of the image. Therefore, the difference in distance between the image forming positions 33p 7 and 33p 8 of the two images is close to the reference sign pd 7 (<pd 1 ), resulting in an image display with less depth, which is displayed on the display device 15. It becomes difficult to recognize the temporary 3D image as a 3D image.
【００２１】図７の動作フローチャートに戻り、図９乃
至図１１のいずれかに示すごとく、表示された前記仮３
次元画像が、３次元画像として認識できない状態であれ
ば（ステップＳ２６のＮＯ）、撮像者は、２個のカメラ
の位置及び距離等の調整を行ない（ステップＳ２７）、
再度、カメラＡ １１ａ及びカメラＢ １１ｂから右目
用及び左目用画像データを順次取り込み（ステップＳ２
１）、前述と同様のステップを繰り返して、ステップＳ
２６において、表示された前記仮３次元画像が、３次元
画像として認識できるような状態になるまでは（ステッ
プＳ２６のＹＥＳ）、撮像者は、２つのカメラ位置や距
離等の調整を行ない、繰り返し、撮像を行なう。Returning to the operation flowchart of FIG. 7, as shown in any of FIGS. 9 to 11, the temporary 3 displayed is displayed.
If the three-dimensional image cannot be recognized as a three-dimensional image (NO in step S26), the photographer adjusts the positions and distances of the two cameras (step S27),
Again, the image data for the right eye and the image for the left eye are sequentially captured from the camera A 11a and the camera B 11b (step S2
1), the same steps as described above are repeated, and step S
In 26, until the displayed temporary three-dimensional image is in a state in which it can be recognized as a three-dimensional image (YES in step S26), the photographer adjusts two camera positions, distances, and the like, and repeats. , Take an image.
【００２２】一方、表示された前記仮３次元画像が、３
次元画像として認識できた場合には（ステップＳ２６の
ＹＥＳ）、仮の３次元画像データ用として取り込まれて
いた右目用及び左目用画像データの取り込み動作を、最
終的な３次元画像用の画像データとして確定（決定）す
る（ステップＳ２８）。而して、最終的に、取り込まれ
ている右目用又は左目用画像データ及び反対側の目用画
像データ（即ち、左目用又は右目用画像データ）のそれ
ぞれが、３次元画像として認識可能な確定３次元画像デ
ータとして確定（決定）される（ステップＳ２９）。On the other hand, the displayed temporary three-dimensional image is 3
If it can be recognized as a three-dimensional image (YES in step S26), the capturing operation of the right-eye and left-eye image data that has been captured for provisional three-dimensional image data is performed as the final three-dimensional image data. Is determined (determined) as (step S28). Thus, finally, each of the captured right-eye or left-eye image data and the opposite-side image data (that is, left-eye or right-eye image data) can be recognized as a three-dimensional image. It is determined (determined) as three-dimensional image data (step S29).
【００２３】[0023]
【発明が解決しようとする課題】前記図７に示す動作フ
ローチャートに基づいて説明したごとく、表示された仮
３次元画像が、３次元画像として認識できるようになる
までは、従来技術においては、撮像者は、２つのカメラ
の両者について、その位置や距離等の調整を繰り返し行
ない、２つのカメラそれぞれによる撮像を繰り返すこと
が必要となる。かかる２つのカメラ双方共に、位置や距
離等を調整してしまう結果、３次元画像として確定でき
るまでに、無駄な操作が繰り返されている可能性が大き
く、撮像者の操作時間が余計に消費されるだけではな
く、所望の３次元画像を獲得可能になるまでの撮像者の
心理的な負担も大きい。As described above with reference to the operation flowchart shown in FIG. 7, until the displayed temporary three-dimensional image can be recognized as a three-dimensional image, in the conventional technique, image pickup is performed. It is necessary for the person to repeatedly adjust the position, distance, etc. of both of the two cameras and repeat the image pickup by each of the two cameras. As a result of adjusting the position, distance, etc. of both of these two cameras, there is a high possibility that useless operations will be repeated until the three-dimensional image can be determined, and the operation time of the photographer is consumed extra. In addition to the above, the psychological burden on the imager until obtaining a desired three-dimensional image is large.
【００２４】従って、表示装置に表示された前記仮３次
元画像が、３次元画像として認識ができるまで、２つの
カメラの位置や距離等の調整と撮像とを、何回も無駄に
繰り返す行為を、できる限り避けることが重要である。Therefore, until the provisional three-dimensional image displayed on the display device can be recognized as a three-dimensional image, the adjustment of the positions and distances of the two cameras and the imaging are repeatedly performed in vain. , It is important to avoid as much as possible.
【００２５】更には、３次元画像を獲得するために、左
右の２つの目用画像を撮像する画像撮像素子として２つ
のカメラを装備することが必要であり、また、かかる２
つのカメラにより撮像された２つの画像を格納保存する
ために、高価な高速メモリ内に２つのフレームメモリを
備えることも必要となり、３次元画像表示を可能とする
表示機能付撮像装置のコストが、製造コストも含めて、
高価なものになってしまうという問題も有しており、表
示機能付撮像装置のコスト低減を図り、かつ、小型化を
図る上での障害になっている。Furthermore, in order to obtain a three-dimensional image, it is necessary to equip two cameras as image pickup devices for picking up two left and right eye images, and the above two
In order to store and save two images captured by one camera, it is also necessary to provide two frame memories in an expensive high-speed memory, and the cost of the image capturing device with a display function that enables three-dimensional image display is Including the manufacturing cost,
There is also a problem that it becomes expensive, which is an obstacle to cost reduction and miniaturization of the image pickup apparatus with a display function.
【００２６】本発明に係る表示機能付画像撮像装置及び
該表示機能付撮像装置を備えた携帯端末装置は、かかる
事情に鑑みてなされたものであり、画像撮像素子とし
て、カメラを１個のみ装備し、該カメラにより先に撮像
した右目用又は左目用画像を、３次元画像用の一方の目
用画像として確定（決定）して、確定された該一方の目
用画像を確定画像として保管し、後から撮像する反対側
の他方の目用画像のみを調整用の仮画像として扱い、先
に確定している前記確定画像と画像合成させて表示させ
た３次元画像の表示結果に基づいて、３次元画像として
の認識が可能となるまで、カメラや当該表示機能付撮像
装置の位置や角度を調整して、該仮画像である他方の目
用画像のみを逐次撮像することにより、３次元として認
識可能な３次元画像を簡単かつ迅速に撮像することを可
能にすると共に、被写体を撮像する画像撮像素子即ちカ
メラ及び高価なフレームメモリを１個のみ装備すれば良
い構成とすることにより、表示機能付撮像装置のコスト
の低減と小型化とを可能にすることを目的とする。The image pickup device with a display function and the portable terminal device equipped with the display device according to the present invention have been made in view of such circumstances, and only one camera is provided as an image pickup device. Then, the image for the right eye or the image for the left eye previously captured by the camera is determined (determined) as the image for one eye of the three-dimensional image, and the determined image for one eye is stored as the determined image. , Only the other eye image on the opposite side, which is captured later, is treated as a temporary image for adjustment, and based on the display result of the three-dimensional image that is displayed by combining the image with the previously confirmed confirmed image. Until the recognition as a three-dimensional image becomes possible, the position and angle of the camera and the image pickup apparatus with the display function are adjusted, and only the other eye image, which is the temporary image, is sequentially picked up to obtain a three-dimensional image. Recognizable three-dimensional image The image pickup device with a display function can be reduced in cost by making it possible to simply and quickly take an image and to provide only one image pickup device for taking an image of a subject, that is, a camera and an expensive frame memory. And the miniaturization.
【００２７】[0027]
【課題を解決するための手段】本発明に係る表示機能付
撮像装置及び該表示機能付撮像装置を備えた携帯端末装
置は、以下の具体的な技術手段から構成されている。An image pickup device with a display function and a portable terminal device equipped with the image pickup device with a display function according to the present invention are constituted by the following specific technical means.
【００２８】第１の技術手段は、被写体を右目用画像及
び左目用画像として撮像する画像撮像素子と、該画像撮
像素子により撮像されて取り込まれた前記右目用画像と
前記左目用画像とを３次元画像として画像変換すると共
に画像合成して表示せしめる３次元画像表示機能と、撮
像者からの指示に基づいて、前記画像撮像素子の位置や
角度あるいは当該表示機能付撮像装置の位置や角度の調
整を行なわしめ、調整された前記位置や前記角度によ
り、確定３次元画像用とするための調整用の仮画像であ
る前記右目用画像及び／又は前記左目用画像として、前
記被写体を撮像せしめる位置調整機能と、前記撮像者か
らの３次元画像としての調整完了の確定指示に基づい
て、前記位置調整機能を用いて調整された前記位置や前
記角度により撮像された仮画像である前記右目用画像及
び／又は前記左目用画像を、確定３次元画像用の前記右
目用画像及び／又は前記左目用画像として確定する画像
確定機能と、を備えている表示機能付撮像装置におい
て、前記画像撮像素子により先に撮像されて取り込まれ
た前記右目用画像又は前記左目用画像のいずれか一方の
目用画像を、確定３次元画像用の一方の目用の確定画像
として先に確定して、確定された一方の目用の該確定画
像として前記３次元画像表示機能により画像変換して画
像表示させる一方、後から撮像されて取り込まれた前記
確定画像と反対側の他方の目用画像を、確定３次元画像
用とするための調整用の仮画像として、前記３次元画像
表示機能により画像変換して前記確定画像と画像合成し
て画像表示させ、前記位置調整機能が、前記撮像者から
の指示に基づいて、前記画像撮像素子の位置や角度ある
いは当該表示機能付撮像装置の位置や角度を逐次調整し
て、前記他方の目用画像である調整用の前記仮画像を撮
像し、撮像する都度、前記３次元画像表示機能により前
記仮画像を前記確定画像と３次元画像として画像合成し
て画像表示することを可能とすると共に、前記画像確定
機能が、前記撮像者からの３次元画像としての調整完了
の確定指示に基づいて、前記仮画像を確定３次元画像用
の他方の目用画像として確定する表示機能付撮像装置と
することを特徴とするものである。[0028] The first technical means includes an image pickup device for picking up a subject as an image for the right eye and an image for the left eye, and the image for the right eye and the image for the left eye which are picked up and captured by the image pickup device. A three-dimensional image display function of converting the image as a three-dimensional image and displaying the combined image, and the position and angle of the image pickup device or the position and angle of the image pickup device with the display function are adjusted based on an instruction from the photographer. The position adjustment that causes the subject to be imaged as the right-eye image and / or the left-eye image, which is a temporary image for adjustment for the finalized three-dimensional image, based on the adjusted position and angle. Based on the function and a confirmation instruction of adjustment completion as a three-dimensional image from the photographer, the image is captured at the position and the angle adjusted using the position adjustment function. An image with a display function, which has an image confirmation function for determining the right-eye image and / or the left-eye image, which is a temporary image, as the right-eye image and / or the left-eye image for a confirmed three-dimensional image In the apparatus, one of the right-eye image and the left-eye image that has been previously captured and captured by the image-capturing element is used as the final image for one final image for the final three-dimensional image. And the image is converted and displayed by the three-dimensional image display function as the confirmed image for one of the confirmed eyes, and the other image on the opposite side of the confirmed image captured and captured later. The image for eye is used as a temporary image for adjustment for making a finalized three-dimensional image, the image is converted by the three-dimensional image display function, and the finalized image is combined with the final image, and the image is displayed. Previous Based on an instruction from the photographer, the position and angle of the image pickup device or the position and angle of the image pickup device with a display function are sequentially adjusted to pick up the temporary image for adjustment which is the other eye image. Then, each time an image is captured, the provisional image can be image-combined with the finalized image and the three-dimensional image by the three-dimensional image display function, and the image can be displayed. An image pickup apparatus with a display function for determining the temporary image as the other eye image for the finalized three-dimensional image based on a finalization instruction for adjustment completion as a three-dimensional image.
【００２９】第２の技術手段は、前記第１の技術手段に
記載の表示機能付撮像装置において、前記３次元画像表
示機能が、確定３次元画像用の一方の目用画像として先
に確定される前記確定画像と、確定３次元画像用となる
べき他方の目用画像である調整用の前記仮画像とを、画
像表示装置の表示制御を司る表示装置用コントローラ内
に設けられた画像表示用の表示メモリ上において、３次
元画像としての画像合成を行なわしめて、表示用３次元
画像として保存せしめる表示機能付撮像装置とすること
を特徴とするものである。In a second technical means, in the image pickup apparatus with a display function described in the first technical means, the three-dimensional image display function is first confirmed as one eye image for the confirmed three-dimensional image. The fixed image for display and the temporary image for adjustment which is the image for the other eye to be the fixed three-dimensional image for image display provided in the controller for the display device that controls the display of the image display device. The image-capturing device with a display function is configured to perform image composition as a three-dimensional image on the display memory and store the image as a three-dimensional image for display.
【００３０】第３の技術手段は、前記第１又は第２の技
術手段に記載の表示機能付撮像装置において、１個の画
像撮像素子を用いて、左目用画像と右目用画像とを、順
次撮像することにより、３次元画像を画像合成すること
ができる表示機能付撮像装置とすることを特徴とするも
のである。A third technical means is the image pickup apparatus with a display function described in the first or second technical means, in which one image pickup device is used to sequentially obtain a left-eye image and a right-eye image. The present invention is characterized in that it is an image pickup apparatus with a display function that can synthesize a three-dimensional image by picking up an image.
【００３１】第４の技術手段は、前記第１乃至第３の技
術手段のいずれかに記載の表示機能付撮像装置を備えて
いる携帯端末装置とすることを特徴とするものである。A fourth technical means is a mobile terminal device equipped with the image pickup device with a display function according to any one of the first to third technical means.
【００３２】（作用）従来技術のごとく、表示装置に表
示された仮３次元画像が３次元画像として認識できるま
での間、２個のカメラ双方の位置や距離等の調整と撮像
とを無駄に繰り返す手間が簡略化され、簡単に、かつ、
迅速に、３次元画像を撮像することができる。また、高
価なメモリ内に設けられているフレームメモリも１画面
分のみで対応可能であり、かつ、被写体の撮像用の画像
撮像素子即ちカメラも１個のみで対応することが可能で
あるため、コスト低減が可能となると共に、表示機能付
撮像装置の小型化が達成可能となり、可搬性に富む携帯
型表示機能付撮像装置として提供することも可能とな
る。(Operation) As in the prior art, adjustment and imaging of positions and distances of the two cameras are wasteful until the temporary three-dimensional image displayed on the display device can be recognized as a three-dimensional image. The effort to repeat is simplified, easy, and
It is possible to quickly capture a three-dimensional image. Further, since the frame memory provided in the expensive memory can handle only one screen, and the image pickup device for capturing the subject, that is, the camera can also be handled by only one. The cost can be reduced, the size of the image pickup device with a display function can be reduced, and the image pickup device with a portable display function can be provided with high portability.
【００３３】[0033]
【発明の実施の形態】以下に、本発明に係る表示機能付
撮像装置及び該表示機能付撮像装置を備えた携帯端末装
置の実施形態の一例について、図面を参照しながら説明
する。図１は、本発明に係る表示機能付撮像装置の構成
例を示すブロック構成図である。図１における本発明に
係る表示機能付撮像装置の構成例においては、表示機能
付撮像装置１０は、カメラ１と、ＣＰＵ２と、メモリ３
と、表示装置用コントローラ４と、表示装置５とから構
成されている。BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, an example of an embodiment of an image pickup apparatus with a display function and a portable terminal apparatus having the image pickup apparatus with a display function according to the present invention will be described with reference to the drawings. FIG. 1 is a block configuration diagram showing a configuration example of an image pickup apparatus with a display function according to the present invention. In the configuration example of the imaging device with a display function according to the present invention in FIG. 1, the imaging device with a display function 10 includes a camera 1, a CPU 2, and a memory 3.
And a display device controller 4 and a display device 5.
【００３４】また、図１に示すごとき構成例からなる表
示機能付撮像装置を備えた携帯端末装置としては、デジ
タルカメラ，ＶＴＲ，ノート型ＰＣ，ＰＤＡ、あるい
は、車載用電子機器などを含むのみならず、携帯電話機
やＰＨＳ電話機における画像撮像装置としても適用する
ことが可能であり、かかる場合においては、ＣＰＵ２や
メモリ３を、あるいは、場合によっては、表示装置用コ
ントローラ４や表示装置５を、携帯端末装置本体を構成
する回路部と共用させることも可能である。Further, as the portable terminal device having the image pickup device with a display function having the configuration example as shown in FIG. 1, only a digital camera, a VTR, a notebook PC, a PDA, or an on-vehicle electronic device is included. Alternatively, the present invention can be applied as an image pickup device in a mobile phone or a PHS phone. In such a case, the CPU 2 and the memory 3 or, in some cases, the display device controller 4 and the display device 5 can be carried. It is also possible to share the terminal unit body with the circuit unit.
【００３５】ここに、カメラ１は、１つのカメラのみか
らなっており、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕ
ｐｌｅｄ Ｄｅｖｉｃｅ）などからなる画像撮像素子で
あり、被写体を３次元表示する際には、左目用画像及び
右目用画像の２つの画像を順次撮像するものである。Here, the camera 1 is composed of only one camera, for example, a CCD (Charge Cou).
It is an image pickup device composed of a pled device or the like, and picks up two images of a left-eye image and a right-eye image sequentially when a subject is three-dimensionally displayed.
【００３６】ＣＰＵ２は、後述のメモリ３に格納されて
いるプログラムの動作により、順次撮像された左目用画
像及び右目用画像の２つの撮像画像を３次元画像として
画像変換すると共に画像合成して、後述の表示装置５に
表示することを制御する３次元画像表示機能２ａと、撮
像者からの指示に基づいて、画像撮像素子であるカメラ
１や当該表示機能付撮像装置自体の位置（距離等も含
む）や角度を逐次調整させて、調整された前記位置や前
記角度により、確定３次元画像用とするための調整用と
なる仮画像の前記右目用画像及び／又は前記左目用画像
として、被写体を撮像させる位置調整機能２ｂと、更
に、撮像者からの３次元画像としての調整完了の確定指
示に基づいて、前記位置調整機能２ｂにより調整された
前記位置や前記角度により撮像された前記仮画像である
前記右目用画像及び／又は前記左目用画像を、確定３次
元画像用の前記右目用画像及び／又は前記左目用画像と
して確定する画像確定機能２ｃと、を備えている。The CPU 2 converts the two picked-up images of the left-eye image and the right-eye image, which have been sequentially picked up, into a three-dimensional image and combines the images by the operation of a program stored in the memory 3 described later, Based on a three-dimensional image display function 2a for controlling display on a display device 5 to be described later, and a position (distance etc.) of the camera 1 which is an image pickup device and the image pickup device with the display function itself based on an instruction from a photographer. And the angle is sequentially adjusted, and the subject is used as the right-eye image and / or the left-eye image of the provisional image for adjustment for the fixed three-dimensional image by the adjusted position and angle. And a position adjustment function 2b for picking up the image, and further, based on a confirmation instruction of completion of adjustment as a three-dimensional image from a photographer, the position and the angle adjusted by the position adjustment function 2b are displayed. An image confirming function 2c for confirming the right-eye image and / or the left-eye image, which are the temporarily-captured images, as the right-eye image and / or the left-eye image for a confirmed three-dimensional image, ing.
【００３７】また、メモリ３は、高速ＲＯＭや高速ＲＡ
Ｍなどから構成されており、前記の３次元画像表示機能
２ａや位置調整機能２ｂや画像確定機能２ｃなどの各機
能をＣＰＵ２により実行せしめるためのプログラムや、
各種のデータを格納している。また、メモリ３には、カ
メラ１により撮像された画像データを一旦保管するため
の１つのフレームメモリ３ａも備えており、カメラ１に
より右目用画像データあるいは左目用画像データとして
順次撮像されて取り込まれてくる画像データを一旦保管
して、前記３次元画像表示機能２ａの動作により、３次
元画像としての画像処理が施されて表示装置用コントロ
ーラ４内に設けられている画像表示用の表示用メモリ４
ａに順次転送するように構成されている。The memory 3 is a high-speed ROM or high-speed RA.
And a program for causing the CPU 2 to execute the respective functions such as the three-dimensional image display function 2a, the position adjustment function 2b, and the image confirmation function 2c.
Stores various data. The memory 3 also includes one frame memory 3a for temporarily storing the image data captured by the camera 1, and the camera 1 sequentially captures and captures the image data for the right eye or the image data for the left eye. The display image memory for temporarily displaying the image data, which is provided in the display device controller 4 after temporarily storing the image data and performing the image processing as the three-dimensional image by the operation of the three-dimensional image display function 2a. Four
It is configured to sequentially transfer to a.
【００３８】また、表示装置用コントローラ４は、表示
装置５の表示制御を司るものであり、前記フレームメモ
リ３ａから転送されてくる画像データを３次元画像とし
て表示装置５に表示させるために、前記３次元画像表示
機能２ａの制御に基づいて、転送されてきた右目用画像
データと左目用画像データとを３次元画像として画像合
成させて、保存蓄積する３次元画像表示用の表示用メモ
リ４ａを備えている。即ち、表示装置用コントローラ４
は、前記３次元画像表示機能２ａの制御に基づいて、表
示用メモリ４ａ上において、３次元画像としての画像合
成を行なわせて、表示用メモリ４ａに保存蓄積せしめ、
かつ、表示用メモリ４ａに保存蓄積された３次元画像デ
ータを表示装置５に画像表示させるための制御を行な
う。Further, the display device controller 4 controls the display of the display device 5, and in order to display the image data transferred from the frame memory 3a on the display device 5 as a three-dimensional image, Under the control of the three-dimensional image display function 2a, the transferred right-eye image data and left-eye image data are combined as a three-dimensional image, and the display memory 4a for storing and storing the three-dimensional image is stored. I have it. That is, the display device controller 4
On the display memory 4a under the control of the three-dimensional image display function 2a, performs image composition as a three-dimensional image, and saves and stores it in the display memory 4a.
At the same time, control is carried out for displaying the three-dimensional image data stored and accumulated in the display memory 4a on the display device 5.
【００３９】また、表示装置５は、例えば、小型のＬＣ
Ｄ（Ｌｉｑｕｉｄ ＣｒｙｓｔａｌＤｉｓｐｌａｙ）な
どから構成されており、表示装置用コントローラ４内の
３次元画像表示用の表示用メモリ４ａに保存蓄積されて
いる３次元画像を画像表示する。The display device 5 is, for example, a small LC.
A three-dimensional image, which is made up of a D (Liquid Crystal Display) or the like and is stored and accumulated in the display memory 4a for displaying the three-dimensional image in the display device controller 4, is displayed.
【００４０】図２には、図１に示す本発明に係る表示機
能付撮像装置１０において、左右それぞれの目用画像の
取り込みから３次元画像データの決定までの動作を、動
作フローチャートとして纏めている。まず、カメラ１か
ら右目用又は左目用画像データのいずれか一方の撮像画
像データを先に取り込み、先に取り込んだ右目用又は左
目用画像データを、確定３次元画像用の一方の目用の画
像データとして確定（決定）して、確定画像データとし
て、メモリ３内のフレームメモリ３ａに書き込む（ステ
ップＳ１）。次に、ＣＰＵ２の前記３次元画像表示機能
２ａは、メモリ３のフレームメモリ３ａに先に書き込ま
れている右目用又は左目用いずれか一方の前記確定画像
データを３次元画像用データの形式にデータ変換する
（ステップＳ２）。データ変換された右目用又は左目用
いずれかの前記確定画像データは、表示装置用コントロ
ーラ４内の画像表示用の表示用メモリ４ａに書き込まれ
る（ステップＳ３）。FIG. 2 is a flow chart showing the operation of the image pickup apparatus with a display function 10 according to the present invention shown in FIG. 1 from the acquisition of left and right eye images to the determination of three-dimensional image data. . First, the captured image data of either the right-eye image data or the left-eye image data is first captured from the camera 1, and the right-eye image data or the left-eye image data captured first is used as an image for one eye of the fixed three-dimensional image. The data is finalized (determined) and written as finalized image data in the frame memory 3a in the memory 3 (step S1). Next, the 3D image display function 2a of the CPU 2 converts the confirmed image data for either the right eye or the left eye previously written in the frame memory 3a of the memory 3 into a data format for 3D image. Convert (step S2). The data-converted fixed image data for either the right eye or the left eye is written in the display memory 4a for image display in the display device controller 4 (step S3).
【００４１】次に、カメラ１は、３次元表示用の取り込
み画像データとして先に取り込まれた右目用又は左目用
いずれか一方の前記確定画像データとは反対側の他方の
目用の画像データである左目用又は右目用画像データを
撮像して取り込み、メモリ３内のフレームメモリ３ａの
前記確定画像データに上書きして後から書き込む（ステ
ップＳ４）。Next, the camera 1 uses the image data for the right eye or the left eye, which is previously captured as the captured image data for three-dimensional display, and the image data for the other eye on the opposite side. Image data for a certain left eye or right eye is picked up and captured, and the determined image data in the frame memory 3a in the memory 3 is overwritten and written later (step S4).
【００４２】ＣＰＵ２の前記３次元画像表示機能２ａ
は、メモリ３のフレームメモリ３ａに、後から上書きさ
れて、書き込まれている前記反対側の他方の目用となる
前記左目用又は右目用画像データを、他方の目用の確定
３次元画像用とするための調整用の仮画像データとして
扱うと共に、３次元画像用データの形式にデータ変換す
る（ステップＳ５）。データ変換された前記他方の目用
の前記仮画像データは、表示装置用コントローラ４内の
画像表示用の表示用メモリ４ａに書き込まれる（ステッ
プＳ６）。The three-dimensional image display function 2a of the CPU 2
Is the image data for the left eye or the right eye, which is overwritten on the frame memory 3a of the memory 3 later and written for the other eye on the opposite side, for the fixed three-dimensional image for the other eye. It is treated as temporary image data for adjustment in order to convert the data into a three-dimensional image data format (step S5). The data-converted temporary image data for the other eye is written in the display memory 4a for image display in the display device controller 4 (step S6).
【００４３】表示装置用コントローラ４は、ＣＰＵ２の
前記３次元画像表示機能２ａの制御により、当該表示装
置用コントローラ４内の表示用メモリ４ａ上において、
先に書き込まれた右目用又は左目用いずれか一方の前記
確定画像データと、後から書き込まれた前記他方の目用
の前記仮画像データとを、３次元画像データとして画像
合成させる。しかる後において、画像合成されて、表示
用メモリ４ａに書き込まれている３次元画像データ（表
示データ）を表示装置５に表示すべく、表示装置５を点
灯するための制御信号を作成し、作成された該制御信号
と共に、表示用メモリ４ａに保存されている３次元画像
データ（表示データ）を、送信３次元画像データとし
て、表示装置５に送信する。The display device controller 4 controls the display memory 4a in the display device controller 4 under the control of the three-dimensional image display function 2a of the CPU 2.
The previously written final image data for either the right eye or the left eye and the temporary image data for the other eye written later are image-synthesized as three-dimensional image data. After that, in order to display the three-dimensional image data (display data) which has been image-synthesized and written in the display memory 4a on the display device 5, a control signal for turning on the display device 5 is created and created. The three-dimensional image data (display data) stored in the display memory 4a is transmitted to the display device 5 as transmission three-dimensional image data together with the generated control signal.
【００４４】ここに、表示用メモリ４ａから送信されて
くる前記送信３次元画像データは、前記他方の目用の前
記仮画像データとして、仮に撮像されている画像データ
に基づいて画像合成されたものであり、かかる前記仮画
像データとの画像合成により生成された前記送信３次元
画像データは、必ずしも、３次元画像として認識可能な
画像であるとは限らない。表示装置５は、送信されてき
た前記制御信号と、送信されてきた前記送信３次元画像
データ（即ち、右目用又は左目用いずれか一方の前記確
定画像データと前記他方の目用の前記仮画像データとが
画像合成された３次元画像データ）とに基づいて、仮の
３次元画像を表示する（ステップＳ７）。Here, the transmitted three-dimensional image data transmitted from the display memory 4a is image-synthesized based on the image data that is temporarily taken as the temporary image data for the other eye. Therefore, the transmission three-dimensional image data generated by the image combination with the temporary image data is not necessarily an image that can be recognized as a three-dimensional image. The display device 5 transmits the control signal that has been transmitted and the transmission three-dimensional image data that has been transmitted (that is, the final image data for either the right eye or the left eye and the temporary image for the other eye). A temporary three-dimensional image is displayed based on the data and the three-dimensional image data in which the image is combined (step S7).
【００４５】この時、ステップＳ１において先に取り込
まれた右目用又は左目用いずれか一方の画像データは、
前記確定画像データとして既に確定しており、該確定画
像データを基準にして反対側の他方の目用画像データ
（即ち、左目用又は右目用画像データ）である前記仮画
像データのみに関して、撮像位置や撮像角度の調整を行
なうこととしている。即ち、先に取り込まれた右目用又
は左目用いずれか一方の画像データについては、確定３
次元画像用として確定した一方の目用画像としての表示
のみを行ない、以降の撮像位置や撮像角度の調整によ
り、再度、撮像が行なわれるようなことはしない。At this time, the image data for either the right eye or the left eye, which has been previously fetched in step S1, is
Only the temporary image data, which has already been decided as the decided image data and is the image data for the other eye (that is, left eye or right eye image data) on the opposite side with respect to the decided image data, is the imaging position. And the imaging angle will be adjusted. That is, with respect to the image data for either the right eye or the left eye that has been captured previously, the confirmation 3
Only one eye image determined for the three-dimensional image is displayed, and the subsequent imaging is not performed by adjusting the imaging position and the imaging angle.
【００４６】しかしながら、ステップＳ４にて取り込ま
れた反対側の他方の目用画像データは、仮の画像データ
即ち前記仮画像データであり、随時、撮像位置や撮像角
度を調整されたカメラ１により撮像されて、メモリ３の
フレームメモリ３ａに書き込まれ、書き込まれた該反対
側の他方の目用画像データは、随時、ＣＰＵ２にて、前
記他方の目用の前記仮画像データとして、３次元画像形
式にデータ変換されて、表示装置用コントローラ４の表
示用メモリ４ａに送られ、先に送られてきて保存されて
いる前記確定画像データと３次元画像として画像合成さ
れて、表示装置５にて、仮の３次元画像として表示され
るものである。However, the other eye image data on the opposite side fetched in step S4 is tentative image data, that is, the tentative image data, and is imaged by the camera 1 whose imaging position and imaging angle are adjusted at any time. Then, the image data for the other eye on the opposite side written in the frame memory 3a of the memory 3 is written in the three-dimensional image format as the temporary image data for the other eye by the CPU 2 at any time. Is converted into data and sent to the display memory 4a of the display device controller 4, and the finalized image data previously sent and stored is image-synthesized as a three-dimensional image. It is displayed as a temporary three-dimensional image.
【００４７】而して、撮像者は、表示装置５に表示され
ている前記仮の３次元画像の表示内容が３次元画像表示
として認識可能か否かを判定することになる（ステップ
Ｓ８）。３次元画像として認識ができない場合には（ス
テップＳ８のＮＯ）、ＣＰＵ２の前記位置調整機能２ｂ
により、カメラ１の撮像位置や撮像角度、あるいは、当
該表示機能付撮像装置の位置や角度が調整されて（ステ
ップＳ９）、調整用の仮の画像データとして撮像される
他方の目用画像データ（即ち、左目用又は右目用画像デ
ータ）である前記仮画像データを、再度撮像し直すため
に、ステップＳ４に戻る。Then, the photographer determines whether the display contents of the temporary three-dimensional image displayed on the display device 5 can be recognized as a three-dimensional image display (step S8). If the image cannot be recognized as a three-dimensional image (NO in step S8), the position adjustment function 2b of the CPU 2 is performed.
The image pickup position and the image pickup angle of the camera 1, or the position and the angle of the image pickup apparatus with a display function are adjusted (step S9), and the other image data for the eye (image data for the other eye that is imaged as temporary image data for adjustment ( That is, in order to re-capture the temporary image data, which is the left-eye or right-eye image data), the process returns to step S4.
【００４８】一方、前記仮の３次元画像の表示内容が、
３次元画像として認識できた場合には（ステップＳ８の
ＹＥＳ）、撮像者からの３次元画像としての調整完了の
確定指示に基づいて、ＣＰＵ２の前記画像確定機能２ｃ
により、仮の画像データとしてステップＳ４にて撮像さ
れていた他方の目用画像データ（即ち、左目用又は右目
用画像データ）である前記仮画像データを、確定３次元
画像用の他方の目用の画像データとして確定（決定）す
る（ステップＳ１０）。On the other hand, the display contents of the temporary three-dimensional image are
When the image can be recognized as a three-dimensional image (YES in step S8), the image confirming function 2c of the CPU 2 is executed based on the confirmation instruction of the adjustment completion as the three-dimensional image from the photographer.
Accordingly, the provisional image data, which is the image data for the other eye (that is, the image data for the left eye or the image for the right eye) captured in step S4 as the provisional image data, is used for the other eye for the fixed three-dimensional image. The image data is determined (determined) (step S10).
【００４９】而して、最終的に、先に取り込まれて３次
元画像の一方の目用画像データである右目用又は左目用
画像データ及び反対側の他方の目用画像データ（即ち、
左目用又は右目用画像データ）が３次元画像データ用と
して確定（決定）され、先に確定（決定）されて取り込
まれている右目用又は左目用画像データ即ち前記確定画
像データと、調整結果として後に確定（決定）された他
方の目用画像データ（即ち、左目用又は右目用画像デー
タ）とは、共に、３次元画像データ用として確定（決
定）されたものとして、表示装置用コントローラ４内の
表示用メモリ４ａ上において３次元画像データとして画
像合成されて保存され、所望の３次元画像として表示装
置５に表示される（ステップＳ１１）。Thus, finally, the image data for the right eye or the left eye, which is the image data for one eye of the three-dimensional image that has been previously captured and the image data for the other eye on the opposite side (that is,
(Left eye or right eye image data) is determined (determined) for three-dimensional image data, and the right eye or left eye image data that has been previously determined (determined) and captured, that is, the determined image data, and the adjustment result. The other image data for the other eye (that is, the image data for the left eye or the image for the right eye) that has been subsequently determined (determined) is both determined (determined) for three-dimensional image data in the controller 4 for the display device. The image is combined and stored as three-dimensional image data in the display memory 4a, and is displayed on the display device 5 as a desired three-dimensional image (step S11).
【００５０】即ち、撮像者は、一つのカメラ１により順
次撮像をしながら、表示装置５にて表示されてくる仮の
３次元画像をリアルタイムで確認し、先に取り込まれた
右目用又は左目用いずれか一方の目用画像は固定して、
他方の目用画像のみを、調整用の仮画像として、撮像す
る撮像位置（距離等を含む）や撮像角度をリアルタイム
で調整しつつ、ステップＳ８に示すがごとく、画像合成
されて表示された仮の３次元画像が３次元画像として認
識することができるかできないかをリアルタイムで判断
することにより、ステップＳ９に示すがごとく、カメラ
１の撮像位置や撮像角度あるいは当該表示機能付撮像装
置の位置や角度を、簡単、かつ、迅速に調整して、３次
元画像として認識可能な画像を表示させることを可能と
している。That is, the photographer confirms the temporary three-dimensional image displayed on the display device 5 in real time while sequentially picking up images with one camera 1, and then takes in the right eye or the left eye that was previously captured. Fix one of the eye images,
Only the other eye image is used as a temporary image for adjustment while adjusting the image capturing position (including distance) and the image capturing angle in real time, and the temporary image displayed as a composite image is displayed as shown in step S8. By determining in real time whether or not the three-dimensional image can be recognized as a three-dimensional image, as shown in step S9, the image capturing position and the image capturing angle of the camera 1, the position of the image capturing apparatus with the display function, and the like. The angle can be adjusted easily and quickly to display an image that can be recognized as a three-dimensional image.
【００５１】かかる３次元画像表示の判定とカメラ１の
位置又は角度、あるいは、当該表示機能付撮像装置１０
の位置又は角度の調整の一例について、以下に、図３乃
至図５の模式図を用いて説明する。ここに、図３乃至図
５は、すべて、図１に示す本発明に係る表示装置付撮像
装置１０の場合における、３次元画像表示として認識す
る目と表示画像と結像位置との関係を、従来技術に前記
した図８乃至図１１の場合と同様に、模式的に示した模
式図であり、本発明に係る表示装置付撮像装置１０のカ
メラ１の位置又は角度、あるいは、当該表示機能付撮像
装置１０の位置又は角度の調整方法を説明するための図
である。Determination of such three-dimensional image display and the position or angle of the camera 1, or the image pickup device 10 with the display function.
An example of the adjustment of the position or angle will be described below with reference to the schematic diagrams of FIGS. 3 to 5. Here, FIG. 3 to FIG. 5 all show the relationship between the eyes recognized as three-dimensional image display, the display image, and the image formation position in the case of the image pickup apparatus with a display device 10 according to the present invention shown in FIG. FIG. 12 is a schematic diagram similar to the case of FIGS. 8 to 11 described above in the related art, and shows the position or angle of the camera 1 of the image pickup apparatus with a display device 10 according to the present invention, or the display function. FIG. 6 is a diagram for explaining a method of adjusting the position or angle of the imaging device 10.
【００５２】なお、図３は、前述した従来技術におけ
る、２個のカメラの位置が近く、右目用画像データと左
目用画像データとの表示位置の距離が短くなった場合の
図９に対応しているものであり、図８に示すごとく、所
望の３次元画像を獲得することが可能となる場合に比
し、右目用画像データと左目用画像データとの表示位置
間の距離が短くなっている場合即ち互いの画像データの
表示位置が近接している場合におけるカメラ１の位置又
は角度、あるいは、当該表示機能付撮像装置１０の位置
又は角度の調整方法を説明するものである。Note that FIG. 3 corresponds to FIG. 9 in the case where the positions of the two cameras are close to each other and the distance between the display positions of the image data for the right eye and the image data for the left eye is short in the above-mentioned conventional technique. As shown in FIG. 8, the distance between the display positions of the right-eye image data and the left-eye image data is shorter than that in the case where a desired three-dimensional image can be acquired. When the display positions of the image data are close to each other, that is, the position or angle of the camera 1 or the position or angle of the imaging device with a display function 10 is adjusted.
【００５３】また、図４は、前述した従来技術におけ
る、撮像者の個人差による目の位置が変わった場合の図
１０に対応しているものであり、図８に示すごとく、所
望の３次元画像を獲得することが可能となる場合に比
し、撮像者により目の位置が異なり、左右の目の間の間
隔が広がっている場合におけるカメラ１の位置又は角
度、あるいは、当該表示機能付撮像装置１０の位置又は
角度の調整方法を説明するものである。また、図５は、
前述した従来技術における、表示装置の位置と目の位置
との間の距離が変わった場合の図１１に対応しているも
のであり、図８に示すごとく、所望の３次元画像を獲得
することが可能となる場合に比し、撮像者の目の位置と
表示装置との間の距離が異なり、短くなっている場合に
おけるカメラ１の位置又は角度、あるいは、当該表示機
能付撮像装置１０の位置又は角度の調整方法を説明する
ものである。Further, FIG. 4 corresponds to FIG. 10 in the case where the eye position is changed due to the individual difference of the imager in the above-mentioned conventional technique, and as shown in FIG. Compared with the case where it is possible to capture an image, the position or angle of the camera 1 when the eye position differs depending on the imager and the distance between the left and right eyes widens, or the image pickup with the display function. A method for adjusting the position or angle of the device 10 will be described. In addition, FIG.
This corresponds to FIG. 11 in the case where the distance between the position of the display device and the position of the eyes changes in the above-mentioned conventional technique, and as shown in FIG. 8, obtains a desired three-dimensional image. The position or angle of the camera 1 or the position of the imaging device with a display function 10 in the case where the distance between the position of the imager's eyes and the display device is different and shorter than that in the case where Alternatively, the method for adjusting the angle will be described.
【００５４】更に、図３乃至図５のいずれの場合におい
ても、図２に示す動作フローチャートのステップＳ１に
おいて、先に右目用又は左目用画像データを取り込み、
先に取り込んだ画像データを確定３次元表示用の前記確
定画像データとして決定（確定）することとする一方の
目用画像データとしては、左目用画像データである場合
を例示している。即ち、先に一旦取り込まれた一方の目
用画像データである左目用画像データは、前記確定画像
データとして既に確定しており、以降の調整段階におい
ては、調整用の前記仮画像データとして取り込まれる他
方の目用画像データである右目用画像データのみを調整
することとして説明している。Further, in any of FIGS. 3 to 5, in step S1 of the operation flowchart shown in FIG. 2, the image data for the right eye or the image for the left eye is first fetched,
The case where the first captured image data is determined (determined) as the determined image data for the determined three-dimensional display is the image data for the left eye is illustrated. That is, the image data for the left eye, which is the image data for one eye that has been previously fetched, has already been decided as the decided image data, and is fetched as the temporary image data for adjustment in the subsequent adjustment stage. It is described that only the image data for the right eye, which is the image data for the other eye, is adjusted.
【００５５】まず、図３を用いて、先に取り込まれてい
る左目用画像データに対して、後に取り込まれた仮の画
像データである右目用画像データの位置が近接して、３
次元画像が獲得可能な両者の画像間の距離であった前記
図８の符号ｗ1，ｗ2と異なり、更に近接している場合に
おけるカメラ１及び当該表示機能付撮像装置１０の調整
例について説明する。図２の動作フローチャートに示す
ように、まず、左目用画像データが取り込まれ、確定３
次元画像用の左目用画像データとして決定（確定）さ
れ、表示装置５上には、決定（確定）された確定３次元
画像用の左目用画像データのある一つのポイントに対し
て符号３２ｂ3の位置に、又、他のポイントに対して符
号３２ｂ4の位置に表示される。First, referring to FIG. 3, the position of the right-eye image data, which is temporary image data that is subsequently captured, is close to the position of the left-eye image data that has been captured first.
Different from the symbols w 1 and w 2 in FIG. 8 which are the distances between the two images in which the two-dimensional image can be obtained, an example of adjusting the camera 1 and the image pickup apparatus 10 with the display function in the case of closer proximity will be described. To do. As shown in the operation flowchart of FIG. 2, first, the image data for the left eye is captured, and the confirmation 3
The image data is determined (determined) as the left-eye image data for the three-dimensional image, and the reference numeral 32b 3 is assigned to one point of the determined (determined) left-eye image data for the determined three-dimensional image on the display device 5. It is displayed at the position and at the position of 32b 4 with respect to the other points.
【００５６】ここで、先に取り込まれている左目用画像
データの位置に対して、後に取り込まれた右目用画像デ
ータの位置が近接している場合、仮の画像データとして
取り込まれた右目用画像データは、先に決定（確定）さ
れた前記左目用画像データに対して３次元画像が獲得可
能となる右目用画像データの位置ではなく、図９におけ
る説明の場合と同様に、表示装置５上には、前記左目用
画像データに対応するある一つのポイント３２ｂ3に対
して符号３２ａ3の位置に、また、他のポイント３２ｂ4
に対して符号３２ａ4の位置に、即ち、ある一つのポイ
ント又は他のポイントに対して、それぞれ、左目用画像
データと右目用画像データとの間の距離が符号ｗ3又は
ｗ4という近接した位置に表示される。Here, when the position of the right-eye image data acquired later is close to the position of the left-eye image data acquired first, the right-eye image acquired as temporary image data. The data is not the position of the right-eye image data for which a three-dimensional image can be obtained with respect to the previously determined (fixed) left-eye image data, but the data on the display device 5 is the same as in the case of the description in FIG. At a position 32a 3 with respect to one point 32b 3 corresponding to the left-eye image data, and another point 32b 4
, The distance between the left-eye image data and the right-eye image data is close to the position of the reference numeral 32a 4 , that is, a certain point or another point, which is the reference numeral w 3 or w 4 , respectively. It is displayed at the position.
【００５７】而して、図９に示したごとく、表示される
仮３次元画像としては、前記ある一つのポイントに対し
ての右目の位置３１ａと右目用画像の位置３２ａ3とを
結ぶ直線の延長線と左目の位置３１ｂと左目用画像の位
置３２ｂ3とを結ぶ直線の延長線との交点に、それぞれ
の画像が合成されて結像されているように見え、それぞ
れの画像の結像位置となる符号３３ｐ3の位置に存在し
ているように見ることができ、一方、前記他のポイント
に対しての右目の位置３１ａと右目用画像の位置３２ａ
4とを結ぶ直線の延長線と左目の位置３１ｂと左目用画
像の位置３２ｂ4とを結ぶ直線の延長線との交点に、そ
れぞれの画像が合成されて結像されているように見え、
それぞれの画像の結像位置となる符号３３ｐ4の位置に
存在しているように見ることができる。As shown in FIG. 9, the displayed provisional three-dimensional image is a straight line connecting the position 31a of the right eye and the position 32a 3 of the image for the right eye with respect to the certain one point. At the intersection of the extension line and the extension line of the straight line connecting the position 31b of the left eye and the position 32b 3 of the image for the left eye, the respective images appear to be formed as a composite image, and the image formation positions of the respective images are formed. become present in the position of the mark 33p 3 can be seen as, on the other hand, the position 32a of the right eye position 31a and the right-eye image with respect to the other point
It appears that the respective images are combined and formed at the intersection of the extension line of the straight line connecting 4 and the extension line of the straight line connecting the position 31b of the left eye and the position 32b 4 of the image for the left eye,
It can be seen that they are present at the position of the symbol 33p 4 , which is the image forming position of each image.
【００５８】従って、前記２個の画像の結像位置３３ｐ
3と３３ｐ4との両者の距離の差が、３次元画像として認
識可能な奥行きを示す距離ｐｄ1に比し短く、符号ｐｄ3
（＜ｐｄ1）と近接して表示され、奥行きが少ない画像
表示となり、仮画像データである右目用画像データを用
いて画像合成されて、表示装置５に表示される仮３次元
画像が、３次元画像としては認識し難くなる。Therefore, the image forming position 33p of the two images
The difference between the distances of 3 and 33p 4 is shorter than the distance pd 1 indicating the depth that can be recognized as a three-dimensional image, and the symbol pd 3
The image is displayed in close proximity to (<pd 1 ) and has a small depth, and the temporary three-dimensional image displayed on the display device 5 after being image-synthesized using the right-eye image data that is temporary image data is 3 It becomes difficult to recognize as a three-dimensional image.
【００５９】そこで、表示装置５上に表示されている仮
３次元画像をリアルタイムで確認しながら、手動にてＣ
ＰＵ２の位置調整機能２ｂを制御して、カメラ１の位置
や角度又は当該表示機能付撮像装置１０自体の位置や角
度等を調整して、３次元画像として認識することが可能
となるように、調整された位置や角度により右目用画像
の撮像を行ない、撮像された右目用画像データの取り込
みを行なう。Therefore, while confirming the temporary three-dimensional image displayed on the display device 5 in real time, the C
By controlling the position adjusting function 2b of the PU 2 to adjust the position and angle of the camera 1 or the position and angle of the image pickup apparatus 10 with the display function itself, it is possible to recognize as a three-dimensional image. An image for the right eye is captured according to the adjusted position and angle, and the captured image data for the right eye is captured.
【００６０】しかる操作を経た後において、例えば、前
記図８に示す３次元画像と同等のレベルの３次元画像を
獲得した場合、即ち、前記２個の画像の前記結像位置３
３ｐ 3と３３ｐ4とが、それぞれ調整後の結合位置として
符号３３ｐ3′と３３ｐ4′の位置に移動されて見ること
ができる状態となり、調整後の２個の画像の結像位置３
３ｐ3′と３３ｐ4′との両者の距離の差が符号ｐｄ3′
となり、図８における２個の画像の結像位置の差を示す
符号ｐｄ1と等しい値となっている（即ち、調整後に表
示される３次元画像が、図８に示した３次元画像と同等
のレベルの３次元画像として認識することができる）場
合において、該右目用画像データを右目用の確定画像デ
ータとして確定（決定）する。After the appropriate operation, for example,
A three-dimensional image of the same level as the three-dimensional image shown in FIG.
If acquired, that is, the imaging position 3 of the two images
3p 3And 33pFourAnd as the binding position after adjustment
Code 33p3'And 33pFourSeeing moved to ‘position’
Image forming position 3 of the two images after adjustment.
3p3'And 33pFour′ And the difference between the two distances are pd3′
And shows the difference between the image forming positions of the two images in FIG.
Code pd1Is equal to (i.e.
The 3D image shown is equivalent to the 3D image shown in FIG.
Can be recognized as a three-dimensional image at the level of
Image data for the right eye, the image data for the right eye is set to the fixed image data for the right eye.
Data is confirmed (determined).
【００６１】かかる調整により、撮像者により３次元画
像として認識可能とされる右目用画像データが、前記あ
る一つのポイントに対しての画像位置３２ａ3又は前記
他のポイントに対しての画像位置３２ａ4の代わりに、
例えば、前記図８に示す３次元画像と同等のレベルの３
次元画像を獲得することができる場合のそれぞれの画像
位置３２ａ3′と３２ａ4′とに表示されるように調整さ
れた時点、即ち、左目用画像データと右目用画像データ
との間の距離が、図３に示すように、符号ｗ3やｗ4か
ら、それぞれ符号ｗ3′やｗ4′に調整された時点で、撮
像者からの調整完了の確定指示に基づいて、ＣＰＵ２の
前記画像確定機能２ｃは、仮３次元画像として取り込ん
でいた右目用画像データを、確定３次元画像用の他方の
目用画像データとして確定（決定）する。With this adjustment, the image data for the right eye, which can be recognized as a three-dimensional image by the photographer, is displayed at the image position 32a 3 with respect to the one point or the image position 32a with respect to the other point. Instead of 4
For example, the level of 3 is the same as that of the 3D image shown in FIG.
When the two-dimensional image can be acquired, the time point adjusted to be displayed at each image position 32a 3 ′ and 32a 4 ′, that is, the distance between the left-eye image data and the right-eye image data is As shown in FIG. 3, when the images are adjusted from the symbols w 3 and w 4 to the symbols w 3 ′ and w 4 ′, respectively, the image determination by the CPU 2 is determined based on the adjustment completion confirmation instruction from the photographer. The function 2c determines (determines) the right-eye image data captured as the temporary three-dimensional image as the other eye image data for the finalized three-dimensional image.
【００６２】次に、図４を用いて、撮像者の個人差によ
り、左右の目の位置が、３次元画像が獲得可能な距離で
あった前記図８の符号３１ａ，３１ｂと異なり、左右の
目の間の間隔がより広がっている場合におけるカメラ１
及び当該表示機能付撮像装置１０の調整例について説明
する。図２の動作フローチャートに示すように、まず、
左目用画像データが取り込まれ、確定３次元画像用の左
目用画像データとして決定（確定）され、表示装置５上
には、決定（確定）された確定３次元画像用の左目用画
像データのある一つのポイントに対して符号３２ｂ5の
位置に、又、他のポイントに対して符号３２ｂ6の位置
に表示される。Next, referring to FIG. 4, the left and right eye positions are different from the reference numerals 31a and 31b in FIG. Camera 1 when the distance between the eyes is wider
Also, an example of adjustment of the imaging device with a display function 10 will be described. As shown in the operation flowchart of FIG. 2, first,
The image data for the left eye is fetched and determined (determined) as the image data for the left eye for the determined three-dimensional image, and the determined (determined) left-eye image data for the determined three-dimensional image is present on the display device 5. It is displayed at the position 32b 5 for one point and at the position 32b 6 for the other points.
【００６３】ここで、撮像者の個人差により、図１０の
場合と同様に、左目，右目の位置が、３次元画像が獲得
可能となる左右の目の位置である、それぞれ３１ｂ，３
１ａとは異なり、両者の間隔がより広がった３１ｂ1，
３１ａ1という異なる位置関係にある場合、仮の画像デ
ータとして取り込まれた右目用画像データは、先に決定
（確定）された前記左目用画像データに対して３次元画
像が獲得可能となる右目用画像データの位置ではなく、
図１０における説明の場合と同様に、表示装置５上に
は、より近接した位置に表示され、前記左目用画像デー
タに対応するある一つのポイント３２ｂ5に対して符号
３２ａ5の位置に、また、他のポイント３２ｂ 6に対して
符号３２ａ6の位置に、即ち、ある一つのポイント又は
他のポイントに対して、それぞれ、左目用画像データと
右目用画像データとの間の距離が符号ｗ 5又はｗ6という
近接した位置に表示される。Here, depending on the individual difference of the image pickup person, as shown in FIG.
As in the case, the position of the left and right eyes is acquired as a 3D image.
31b, 3 which are the left and right eye positions that are possible, respectively.
Unlike 1a, the distance between the two is wider 31b1，
31a1, The temporary image data
The image data for the right eye captured as data is decided first.
A 3D image for the (confirmed) image data for the left eye.
Not the position of the image data for the right eye where the image can be acquired,
As in the case of the explanation in FIG.
Are displayed closer to each other, and the image data for the left eye is displayed.
One point 32b corresponding toFiveSign for
32aFiveAnd another point 32b 6Against
Reference numeral 32a6At the position of, that is, a certain point or
Left eye image data and
The distance from the image data for the right eye is sign w FiveOr w6Say
Displayed in close proximity.
【００６４】而して、図１０に示したごとく、表示され
る仮３次元画像としては、前記ある一つのポイントに対
しての右目の位置３１ａ1と右目用画像の位置３２ａ5と
を結ぶ直線の延長線と左目の位置３１ｂ1と左目用画像
の位置３２ｂ5とを結ぶ直線の延長線との交点に、それ
ぞれの画像が合成されて結像されているように見え、そ
れぞれの画像の結像位置となる符号３３ｐ5の位置に存
在しているように見ることができ、一方、前記他のポイ
ントに対しての右目の位置３１ａ1と右目用画像の位置
３２ａ6とを結ぶ直線の延長線と左目の位置３１ｂ1と左
目用画像の位置３２ｂ6とを結ぶ直線の延長線との交点
に、それぞれの画像が合成されて結像されているように
見え、それぞれの画像の結像位置となる符号３３ｐ6の
位置に存在しているように見ることができる。Thus, as shown in FIG. 10, the displayed temporary three-dimensional image is a straight line connecting the position 31a 1 of the right eye and the position 32a 5 of the image for the right eye with respect to the certain one point. It seems that the respective images are formed as a composite image at the intersection of the extension line of the line and the extension line of the straight line connecting the position 31b 1 of the left eye and the position 32b 5 of the image for the left eye, and the combination of the images is formed. can be seen to be present at the position of the code 33p 5 as the image position, whereas, the extension of the straight line connecting the position 32a 6 right eye position 31a 1 and the right-eye image with respect to the other point At the intersection of the line and the extended line of the straight line connecting the position 31b 1 of the left eye and the position 32b 6 of the image for the left eye, it seems that the respective images are combined to form an image. is present at the position of the code 33p 6 as a It can be seen in cormorants.
【００６５】従って、前記２個の画像の結像位置３３ｐ
5と３３ｐ6との両者の距離の差が、３次元画像として認
識可能な奥行きを示す距離ｐｄ1に比し短く、符号ｐｄ5
（＜ｐｄ1）と近接して表示され、奥行きが少ない画像
表示となり、仮画像データである右目用画像データを用
いて画像合成されて、表示装置５に表示される仮３次元
画像が、３次元画像としては認識し難くなる。Therefore, the image forming position 33p of the two images
The difference between the distances of 5 and 33p 6 is shorter than the distance pd 1 indicating the depth that can be recognized as a three-dimensional image, and the symbol pd 5
The image is displayed in close proximity to (<pd 1 ) and has a small depth, and the temporary three-dimensional image displayed on the display device 5 after being image-synthesized using the right-eye image data that is temporary image data is 3 It becomes difficult to recognize as a three-dimensional image.
【００６６】そこで、表示装置５上に表示されている仮
３次元画像をリアルタイムで確認しながら、手動にてＣ
ＰＵ２の位置調整機能２ｂを制御して、カメラ１の位置
や角度又は当該表示機能付撮像装置１０自体の位置や角
度等を調整して、３次元画像として認識することが可能
となるように、調整された位置や角度により右目用画像
の撮像を行ない、撮像された右目用画像データの取り込
みを行なう。Therefore, while confirming the temporary three-dimensional image displayed on the display device 5 in real time, the C
By controlling the position adjusting function 2b of the PU 2 to adjust the position and angle of the camera 1 or the position and angle of the image pickup apparatus 10 with the display function itself, it is possible to recognize as a three-dimensional image. An image for the right eye is captured according to the adjusted position and angle, and the captured image data for the right eye is captured.
【００６７】しかる操作を経た後において、例えば、前
記図８に示す３次元画像と同等のレベルの３次元画像を
獲得した場合、即ち、前記２個の画像の前記結像位置３
３ｐ 5と３３ｐ6とが、それぞれ調整後の結合位置として
符号３３ｐ5′と３３ｐ6′の位置に移動されて見ること
ができる状態となり、調整後の２個の画像の結像位置３
３ｐ5′と３３ｐ6′との両者の距離の差が符号ｐｄ5′
となり、図８における２個の画像の結像位置の差を示す
符号ｐｄ1と等しい値となっている（即ち、調整後に表
示される３次元画像が、図８に示した３次元画像と同等
のレベルの３次元画像として認識することができる）場
合において、該右目用画像データを右目用の確定画像デ
ータとして確定（決定）する。After performing the appropriate operation, for example,
A three-dimensional image of the same level as the three-dimensional image shown in FIG.
If acquired, that is, the imaging position 3 of the two images
3p FiveAnd 33p6And as the binding position after adjustment
Code 33pFive'And 33p6Seeing moved to ‘position’
Image forming position 3 of the two images after adjustment.
3pFive'And 33p6′ And the difference between the two distances are pdFive′
And shows the difference between the image forming positions of the two images in FIG.
Code pd1Is equal to (i.e.
The 3D image shown is equivalent to the 3D image shown in FIG.
Can be recognized as a three-dimensional image at the level of
Image data for the right eye, the image data for the right eye is set to the fixed image data for the right eye.
Data is confirmed (determined).
【００６８】かかる調整により、撮像者により３次元画
像として認識可能とされる右目用画像データが、前記あ
る一つのポイントに対しての画像位置３２ａ5又は前記
他のポイントに対しての画像位置３２ａ6の代わりに、
例えば、前記図８に示す３次元画像と同等のレベルの３
次元画像を獲得することができる場合のそれぞれの画像
位置３２ａ5′と３２ａ6′とに表示されるように調整さ
れた時点、即ち、左目用画像データと右目用画像データ
との間の距離が、図４に示すように、符号ｗ5やｗ6か
ら、それぞれ符号ｗ5′やｗ6′に調整された時点で、撮
像者からの調整完了の確定指示に基づいて、ＣＰＵ２の
前記画像確定機能２ｃは、仮３次元画像として取り込ん
でいた右目用画像データを、確定３次元画像用の他方の
目用画像データとして確定（決定）する。With this adjustment, the image data for the right eye, which can be recognized as a three-dimensional image by the photographer, is displayed at the image position 32a 5 with respect to the one point or the image position 32a with respect to the other point. Instead of 6
For example, the level of 3 is the same as that of the 3D image shown in FIG.
When the three-dimensional image can be acquired, the time point adjusted to be displayed at each image position 32a 5 ′ and 32a 6 ′, that is, the distance between the left-eye image data and the right-eye image data is As shown in FIG. 4, when the symbols w 5 and w 6 are adjusted to the symbols w 5 ′ and w 6 ′, respectively, the image confirmation by the CPU 2 is performed based on the adjustment completion confirmation instruction from the photographer. The function 2c determines (determines) the right-eye image data captured as the temporary three-dimensional image as the other eye image data for the finalized three-dimensional image.
【００６９】次に、図５を用いて、撮像者の目の位置と
表示装置との間の距離が、３次元画像が獲得可能な距離
であった前記図８の符号ｄ1と異なり、更に近接してい
る場合におけるカメラ１及び当該表示機能付撮像装置１
０の調整例について説明する。図２の動作フローチャー
トに示すように、まず、左目用画像データが取り込ま
れ、確定３次元画像用の左目用画像データとして決定
（確定）され、表示装置５上には、決定（確定）された
確定３次元画像用の左目用画像データのある一つのポイ
ントに対して符号３２ｂ7の位置に、又、他のポイント
に対して符号３２ｂ8の位置に表示される。Next, referring to FIG. 5, the distance between the position of the imager's eyes and the display device is different from the reference numeral d 1 in FIG. 8 which is a distance at which a three-dimensional image can be obtained. Camera 1 and image pickup apparatus with display function 1 when they are in close proximity
An adjustment example of 0 will be described. As shown in the operation flowchart of FIG. 2, first, the image data for the left eye is captured and determined (determined) as the image data for the left eye for the determined three-dimensional image, and then determined (determined) on the display device 5. It is displayed at a position of a reference numeral 32b 7 with respect to one point of the left-eye image data for the confirmed three-dimensional image and at a position of a reference numeral 32b 8 with respect to the other points.
【００７０】ここで、撮像者の目の位置と表示装置５と
の間の距離、即ち、左右の目を結ぶ線３１ｃと表示装置
５との間の距離が、図１１の場合と同様に、３次元画像
が獲得可能となる距離である符号ｄ1よりも、より近接
した位置関係の符号ｄ2にある場合、仮の画像データと
して取り込まれた右目用画像データは、先に決定（確
定）された前記左目用画像データに対して３次元画像が
獲得可能となる右目用画像データの位置ではなく、図１
１における説明の場合と同様に、表示装置５上には、よ
り近接した位置に表示され、前記左目用画像データに対
応するある一つのポイント３２ｂ7に対して符号３２ａ7
の位置に、また、他のポイント３２ｂ8に対して符号３
２ａ8の位置に、即ち、ある一つのポイント又は他のポ
イントに対して、それぞれ、左目用画像データと右目用
画像データとの間の距離が符号ｗ7又はｗ8という近接し
た位置に表示される。Here, the distance between the position of the imager's eyes and the display device 5, that is, the distance between the line 31c connecting the left and right eyes and the display device 5, is the same as in the case of FIG. When the code d 2 is closer than the code d 1, which is the distance at which the three-dimensional image can be acquired, the right-eye image data captured as the temporary image data is first determined (determined). It is not the position of the right-eye image data for which a three-dimensional image can be acquired for the left-eye image data that has been generated, but FIG.
As in the case of the explanation in 1, the reference numeral 32a 7 is displayed for one point 32b 7 displayed at a closer position on the display device 5 and corresponding to the left-eye image data.
At position 3 and with respect to other points 32b 8
2a 8 , that is, the distance between the left-eye image data and the right-eye image data is displayed at a close position of w 7 or w 8 with respect to one point or another point, respectively. It
【００７１】而して、図１１に示したごとく、表示され
る仮３次元画像としては、前記ある一つのポイントに対
しての右目の位置３１ａと右目用画像の位置３２ａ7と
を結ぶ直線の延長線と左目の位置３１ｂと左目用画像の
位置３２ｂ7とを結ぶ直線の延長線との交点に、それぞ
れの画像が合成されて結像されているように見え、それ
ぞれの画像の結像位置となる符号３３ｐ7の位置に存在
しているように見ることができ、一方、前記他のポイン
トに対しての右目の位置３１ａと右目用画像の位置３２
ａ8とを結ぶ直線の延長線と左目の位置３１ｂと左目用
画像の位置３２ｂ8とを結ぶ直線の延長線との交点に、
それぞれの画像が合成されて結像されているように見
え、それぞれの画像の結像位置となる符号３３ｐ8の位
置に存在しているように見ることができる。Thus, as shown in FIG. 11, the displayed temporary three-dimensional image is a straight line connecting the position 31a of the right eye and the position 32a 7 of the image for the right eye with respect to the certain one point. At the intersection of the extension line and the extension line of the straight line connecting the position 31b of the left eye and the position 32b 7 of the image for the left eye, it seems that the respective images are combined and imaged. become present in the position of the mark 33p 7 can be seen as, on the other hand, the position of the right eye position 31a and the right-eye image with respect to the other points 32
the intersection of the extended line of a straight line connecting the position 32 b 8 of straight extension and left position 31b and the left-eye image connecting the a 8,
It can be seen that the respective images are combined to form an image and that they are present at the position of the reference numeral 33p 8 which is the image forming position of the respective images.
【００７２】従って、前記２個の画像の結像位置３３ｐ
7と３３ｐ8との両者の距離の差が、３次元画像として認
識可能な奥行きを示す距離ｐｄ1に比し短く、符号ｐｄ7
（＜ｐｄ1）と近接して表示され、奥行きが少ない画像
表示となり、仮画像データである右目用画像データを用
いて画像合成されて、表示装置５に表示される仮３次元
画像が、３次元画像としては認識し難くなる。Therefore, the image forming position 33p of the two images
The difference between the distances of 7 and 33p 8 is shorter than the distance pd 1 indicating the depth that can be recognized as a three-dimensional image, and the symbol pd 7
The image is displayed in close proximity to (<pd 1 ) and has a small depth, and the temporary three-dimensional image displayed on the display device 5 after being image-synthesized using the right-eye image data that is temporary image data is 3 It becomes difficult to recognize as a three-dimensional image.
【００７３】そこで、表示装置５上に表示されている仮
３次元画像をリアルタイムで確認しながら、手動にてＣ
ＰＵ２の位置調整機能２ｂを制御して、カメラ１の位置
や角度又は当該表示機能付撮像装置１０自体の位置や角
度等を調整して、３次元画像として認識することが可能
となるように、調整された位置や角度により右目用画像
の撮像を行ない、撮像された右目用画像データの取り込
みを行なう。Then, while confirming the temporary three-dimensional image displayed on the display device 5 in real time, C
By controlling the position adjusting function 2b of the PU 2 to adjust the position and angle of the camera 1 or the position and angle of the image pickup apparatus 10 with the display function itself, it is possible to recognize as a three-dimensional image. An image for the right eye is captured according to the adjusted position and angle, and the captured image data for the right eye is captured.
【００７４】しかる操作を経た後において、例えば、前
記図８に示す３次元画像と同等のレベルの３次元画像を
獲得した場合、即ち、前記２個の画像の前記結像位置３
３ｐ 7と３３ｐ8とが、それぞれ調整後の結合位置として
符号３３ｐ7′と３３ｐ8′の位置に移動されて見ること
ができる状態となり、調整後の２個の画像の結像位置３
３ｐ7′と３３ｐ8′との両者の距離の差が符号ｐｄ7′
となり、図８における２個の画像の結像位置の差を示す
符号ｐｄ1と等しい値となっている（即ち、調整後に表
示される３次元画像が、図８に示した３次元画像と同等
のレベルの３次元画像として認識することができる）場
合において、該右目用画像データを右目用の確定画像デ
ータとして確定（決定）する。After the appropriate operation, for example,
A three-dimensional image of the same level as the three-dimensional image shown in FIG.
If acquired, that is, the imaging position 3 of the two images
3p 7And 33p8And as the binding position after adjustment
Code 33p7'And 33p8Seeing moved to ‘position’
Image forming position 3 of the two images after adjustment.
3p7'And 33p8′ And the difference between the two distances are pd7′
And shows the difference between the image forming positions of the two images in FIG.
Code pd1Is equal to (i.e.
The 3D image shown is equivalent to the 3D image shown in FIG.
Can be recognized as a three-dimensional image at the level of
Image data for the right eye, the image data for the right eye is set to the fixed image data for the right eye.
Data is confirmed (determined).
【００７５】かかる調整により、撮像者により３次元画
像として認識可能とされる右目用画像データが、前記あ
る一つのポイントに対しての画像位置３２ａ7又は前記
他のポイントに対しての画像位置３２ａ8の代わりに、
例えば、前記図８に示す３次元画像と同等のレベルの３
次元画像を獲得することができる場合のそれぞれの画像
位置３２ａ7′と３２ａ8′とに表示されるように調整さ
れた時点、即ち、左目用画像データと右目用画像データ
との間の距離が、図５に示すように、符号ｗ7やｗ8か
ら、それぞれ符号ｗ7′やｗ8′に調整された時点で、撮
像者からの調整完了の確定指示に基づいて、ＣＰＵ２の
前記画像確定機能２ｃは、仮３次元画像として取り込ん
でいた右目用画像データを、確定３次元画像用の他方の
目用画像データとして確定（決定）する。With this adjustment, the image data for the right eye, which can be recognized as a three-dimensional image by the photographer, is displayed at the image position 32a 7 with respect to the one point or the image position 32a with respect to the other point. Instead of 8
For example, the level of 3 is the same as that of the 3D image shown in FIG.
When the two-dimensional image can be acquired, the time point adjusted to be displayed at each image position 32a 7 ′ and 32a 8 ′, that is, the distance between the left-eye image data and the right-eye image data is As shown in FIG. 5, when the symbols w 7 and w 8 are adjusted to the symbols w 7 ′ and w 8 ′, respectively, the image confirmation of the CPU 2 is performed based on the adjustment completion confirmation instruction from the photographer. The function 2c determines (determines) the right-eye image data captured as the temporary three-dimensional image as the other eye image data for the finalized three-dimensional image.
【００７６】以上に説明したように、一つのカメラ１に
より先に撮像する右目用又は左目用画像データのいずれ
か一方の目用画像データを、確定３次元画像用の一方の
目用画像データとして確定（決定）しておいて、後から
撮像する反対側の他方の目用画像データのみを調整用の
仮画像データとして調整することにより、より簡単かつ
迅速に、３次元画像として認識可能な位置にカメラ１又
は当該表示機能付撮像装置１０の位置や角度を調整する
ことが可能である。As described above, either one of the right-eye image data or the left-eye image data which is previously captured by one camera 1 is used as the one-eye image data for the fixed three-dimensional image. A position that can be recognized as a three-dimensional image more easily and quickly by determining (determining) and adjusting only the other eye image data on the opposite side to be captured later as provisional image data for adjustment. Further, it is possible to adjust the position and angle of the camera 1 or the image pickup apparatus 10 with the display function.
【００７７】即ち、図２に示す動作フローチャートのス
テップＳ１０及びＳ１１において示したように、前記他
方の目用画像データのみに対してカメラ１又は当該表示
機能付撮像装置１０の位置や角度を調整して撮像し、該
調整の結果として撮像された前記他方の目用画像データ
と、先に撮像されて確定画像データとして確定（決定）
されていた一方の目用画像データとが３次元画像として
画像合成されて、表示装置５に表示された３次元画像デ
ータの結像画像が、３次元画像として認識することがで
きた際には、先に確定（決定）していた例えば左目用画
像データに対する反対側の仮画像データであった右目用
画像データを確定３次元画像用の確定画像データとして
確定（決定）して、それぞれの確定（決定）された左目
用及び右目用の画像データを３次元画像として画像合成
して表示させることにより、３次元表示として認識可能
な３次元画像データを、簡単かつ迅速に決定することが
可能となる。That is, as shown in steps S10 and S11 of the operation flow chart shown in FIG. 2, the position and angle of the camera 1 or the image pickup apparatus 10 with the display function are adjusted only for the other eye image data. Image data for the other eye captured as a result of the adjustment, and the image data previously captured and confirmed as the confirmed image data (determined)
When the image data for one eye that has been displayed is combined as a three-dimensional image and the formed image of the three-dimensional image data displayed on the display device 5 can be recognized as a three-dimensional image. , The right-eye image data, which was the provisional image data on the opposite side of the previously-determined (determined) left-eye image data, is determined (determined) as the determined image data for the determined three-dimensional image, and each is determined. By synthesizing and displaying the (determined) image data for the left eye and for the right eye as a three-dimensional image, it is possible to easily and quickly determine the three-dimensional image data that can be recognized as a three-dimensional display. Become.
【００７８】更には、本発明に係る表示機能付撮像装置
１０は、一つのカメラ１のみを用いて、左目用及び右目
用の画像を順次撮像するように構成しているので、ま
た、左目用及び右目用の画像を、表示装置用コントロー
ラ４に設けられた表示用メモリ４ａ上で画像合成させる
ようにして、高価なフレームメモリ３ａも１個のみ備え
れば良い構成としているので、製造コストも含めて、当
該表示機能付撮像装置１０のコスト低減が可能であり、
かつ、小型化が可能となり、携帯型の表示機能付撮像装
置を容易に実現することも可能である。Furthermore, since the image pickup device with a display function 10 according to the present invention is configured to sequentially pick up the images for the left eye and the right eye using only one camera 1, the image pickup device for the left eye is also used. The image for the right eye and the image for the right eye are combined on the display memory 4a provided in the display device controller 4 so that only one expensive frame memory 3a is required, so that the manufacturing cost is reduced. Including, it is possible to reduce the cost of the imaging device 10 with the display function,
In addition, the size can be reduced, and a portable image pickup apparatus with a display function can be easily realized.
【００７９】[0079]
【発明の効果】本発明に係る表示機能付撮像装置及び該
表示機能付撮像装置を備えた携帯端末装置によれば、以
下のごとき作用効果を齎すことが可能である。第１に、
先に撮像されて、３次元画像用の一方の目用画像として
確定された右目用又は左目用の画像データを３次元画像
形式にデータ変換して、先に、表示装置側に出力すると
同時に、後で撮像された反対側の他方の目用画像である
左目用又は右目用の画像データを、仮に撮像された調整
用の仮画像として、先に出力されている確定３次元画像
用の一方の目用画像と３次元画像として画像合成して表
示装置に表示せしめ、撮像者が撮像しながらリアルタイ
ムで表示された３次元表示を確認して、前記他方の目用
画像を撮像するための画像撮像素子あるいは当該表示機
能付撮像装置の位置や角度をリアルタイムで逐次調整し
ながら、所望の３次元画像として認識できた際に、前記
他方の目用画像も、確定３次元画像用の他方の目用画像
として確定して取り込むように構成しているので、３次
元画像を獲得するための画像撮像素子あるいは当該表示
機能付撮像装置の位置や角度などの調整が簡素化され、
３次元画像として認識できる右目用及び左目用の画像デ
ータを簡単かつ迅速に確定して取り込むことが可能とな
り、撮像者の心理的な負担を軽減することも可能であ
る。According to the image-capturing device with a display function and the portable terminal device equipped with the image-capturing device with a display function according to the present invention, the following operational effects can be brought about. First,
At the same time as converting the image data for the right eye or the left eye, which has been imaged first and fixed as the image for one eye for the three-dimensional image, into a three-dimensional image format and first output to the display device side, The image data for the left eye or the right eye, which is the image for the other eye on the opposite side captured later, is used as the temporary image for adjustment temporarily captured for one of the previously output fixed three-dimensional images. Image capturing for capturing the other eye image while confirming the three-dimensional display that is displayed in real time while the image is being captured by the imager by synthesizing the image as an eye image and a three-dimensional image on the display device. When the desired three-dimensional image can be recognized while sequentially adjusting the position or angle of the element or the image pickup apparatus with the display function in real time, the other eye image is also used for the other eye for the fixed three-dimensional image. Confirm as an image Since configured such writing, it simplifies adjustment of the position and angle of the image pickup element or the display function with an imaging device for acquiring three-dimensional images,
Image data for the right eye and the image for the left eye that can be recognized as a three-dimensional image can be determined easily and quickly, and the psychological burden on the imager can be reduced.
【００８０】また、第２に、先に撮像された右目又は左
目用の画像データと後から撮像された反対側の他方の目
用画像データとの３次元画像としての画像合成を、表示
装置に対して３次元画像の表示を行なうための表示用メ
モリとして表示装置用コントローラ内に設けられている
メモリ上で行なわしめ、画像撮像素子から取り込むフレ
ームメモリを一つのみとする構成としているので、高価
なフレームメモリを２フレーム分準備する必要がなく、
コスト低減が可能となる。Secondly, the image synthesis as a three-dimensional image of the previously imaged right eye or left eye image data and the later imaged image data for the other eye on the opposite side is performed on the display device. On the other hand, the display memory for displaying a three-dimensional image is performed on the memory provided in the controller for the display device, and only one frame memory is taken in from the image pickup device, which is expensive. It is not necessary to prepare 2 frames
Cost reduction is possible.
【００８１】更には、第３に、一つの画像撮像素子を用
いて、右目又は左目用の画像データとして順次撮像する
構成としているので、前記フレームメモリを一つとする
ことと相俟って、コスト低減が可能であると共に、小型
化も可能となり、可搬性に富む携帯型表示機能付撮像装
置を容易に実現することが可能となる。Thirdly, since one image pickup device is used to sequentially pick up the image data for the right eye or the left eye, the cost is reduced in combination with one frame memory. It is possible to reduce the size and size, and it is possible to easily realize a highly portable image pickup device with a display function.
【図１】本発明に係る表示機能付撮像装置の構成例を示
すブロック構成図である。FIG. 1 is a block configuration diagram showing a configuration example of an image pickup apparatus with a display function according to the present invention.
【図２】図１に示す本発明に係る表示機能付撮像装置に
おいて、左右それぞれの目用画像の取り込みから３次元
画像データの決定までの動作を示す動作フローチャート
である。FIG. 2 is an operation flowchart showing an operation from capturing left and right eye images to determining three-dimensional image data in the image pickup apparatus with a display function according to the present invention shown in FIG.
【図３】本発明に係る表示装置付撮像装置の場合におけ
る３次元画像表示として認識する目と表示画像と結像位
置との関係を示す模式図である。FIG. 3 is a schematic diagram showing a relationship between an eye recognized as a three-dimensional image display, a display image, and an image formation position in the case of the image pickup apparatus with a display device according to the present invention.
【図４】本発明に係る表示装置付撮像装置の場合におけ
る３次元画像表示として認識する目と表示画像と結像位
置との他の関係を示す模式図である。FIG. 4 is a schematic diagram showing another relationship between an eye recognized as a three-dimensional image display, a display image, and an imaging position in the case of the image pickup apparatus with a display device according to the present invention.
【図５】本発明に係る表示装置付撮像装置の場合におけ
る３次元画像表示として認識する目と表示画像と結像位
置との更なる他の関係を示す模式図である。FIG. 5 is a schematic diagram showing still another relationship between an eye recognized as a three-dimensional image display, a display image, and an imaging position in the case of the image pickup apparatus with a display device according to the present invention.
【図６】従来のカメラを２個使用した場合の表示機能付
撮像装置の構成例を示すブロック構成図である。FIG. 6 is a block configuration diagram showing a configuration example of an image pickup apparatus with a display function when two conventional cameras are used.
【図７】図６に示す従来の表示機能付撮像装置におい
て、左右それぞれの目用画像の取り込みから３次元画像
データの決定までの動作を示す動作フローチャートであ
る。FIG. 7 is an operation flowchart showing an operation from the acquisition of left and right eye images to the determination of three-dimensional image data in the conventional imaging device with a display function shown in FIG.
【図８】３次元画像表示として認識する目と表示画像と
結像位置との関係を示す模式図である。FIG. 8 is a schematic diagram showing a relationship between an eye recognized as a three-dimensional image display, a display image, and an image formation position.
【図９】３次元画像表示として認識する目と表示画像と
結像位置との関係の他の例を示す模式図である。FIG. 9 is a schematic diagram showing another example of the relationship between the eyes recognized as three-dimensional image display, the display image, and the image formation position.
【図１０】３次元画像表示として認識する目と表示画像
と結像位置との関係の更なる他の例を示す模式図であ
る。FIG. 10 is a schematic diagram showing still another example of the relationship between the eyes recognized as a three-dimensional image display, the display image, and the image formation position.
【図１１】３次元画像表示として認識する目と表示画像
と結像位置との関係の更なる他の例を示す模式図であ
る。FIG. 11 is a schematic diagram showing still another example of the relationship between the eyes recognized as a three-dimensional image display, the display image, and the image formation position.
【符号の説明】
１…カメラ、２…ＣＰＵ、２ａ…３次元画像表示機能、
２ｂ…位置調整機能、２ｃ…画像確定機能、３…メモ
リ、３ａ…フレームメモリ、４…表示装置用コントロー
ラ、４ａ…表示用メモリ、５…表示装置、１０…表示機
能付撮像装置、１１ａ…カメラＡ、１１ｂ…カメラＢ、
１２…ＣＰＵ、１３…メモリ、１３ａ…フレームメモリ
Ａ、１３ｂ…フレームメモリＢ、１４…表示装置用コン
トローラ、１５…表示装置、２０…表示機能付撮像装
置、３１ａ，３１ａ1…撮像者の右目の位置、３１ｂ，
３１ｂ1…撮像者の左目の位置、３１ｃ…撮像者の左右
の目の位置を結ぶ線、３２ａ1，３２ａ2，３２ａ3，３
２ａ4，３２ａ5，３２ａ6，３２ａ 7，３２ａ8…右目用
画像の位置、３２ａ3′，３２ａ4′，３２ａ5′，３２
ａ6′，３２ａ7′，３２ａ8′…調整後の右目用画像の
位置、３２ｂ1，３２ｂ2，３２ｂ3，３２ｂ4，３２
ｂ5，３２ｂ6，３２ｂ7，３２ｂ8…左目用画像の位置、
３３ｐ1，３３ｐ2，３３ｐ3，３３ｐ4，３３ｐ5，３３
ｐ6，３３ｐ7，３３ｐ8…画像の結像位置、３３ｐ3′，
３３ｐ4′，３３ｐ5′，３３ｐ6′，３３ｐ7′，３３ｐ
8′…調整後の画像の結像位置、ｄ1，ｄ2…表示装置と
目の位置との間の距離、ｐｄ1，ｐｄ3，ｐｄ5，ｐｄ7…
２つの画像の結像位置間の距離、ｐｄ3′，ｐｄ5′，ｐ
ｄ7′…調整後の２つの画像の結像位置間の距離、ｗ1，
ｗ2，ｗ3，ｗ4，ｗ5，ｗ6，ｗ7，ｗ8…左目用及び右目
用画像間の距離、ｗ3′，ｗ4′，ｗ5′，ｗ6′，
ｗ7′，ｗ8′…調整後の左目用及び右目用画像間の距
離。[Explanation of symbols]
1 ... Camera, 2 ... CPU, 2a ... 3D image display function,
2b ... Position adjustment function, 2c ... Image confirmation function, 3 ... Memo
3a ... Frame memory, 4 ... Display controller
LA, 4a ... Display memory, 5 ... Display device, 10 ... Display device
Capable imaging device, 11a ... Camera A, 11b ... Camera B,
12 ... CPU, 13 ... Memory, 13a ... Frame memory
A, 13b ... Frame memory B, 14 ... Display device controller
Tracker, 15 ... Display device, 20 ... Imaging device with display function
Placement, 31a, 31a1... the position of the right eye of the photographer, 31b,
31b1... Position of left eye of imager, 31c ... Left and right of imager
32a, a line connecting the eye positions1, 32a2, 32a3, 3
2aFour, 32aFive, 32a6, 32a 7, 32a8... for the right eye
Image position, 32a3', 32aFour', 32aFive', 32
a6', 32a7', 32a8′… Of the adjusted right eye image
Position, 32b1, 32b2, 32b3, 32bFour, 32
bFive, 32b6, 32b7, 32b8... the position of the image for the left eye,
33p1, 33p2, 33p3, 33pFour, 33pFive, 33
p6, 33p7, 33p8… Image formation position, 33p3′,
33pFour', 33pFive', 33p6', 33p7', 33p
8′ ... Image formation position of adjusted image, d1, D2... with display
Distance to eye position, pd1, Pd3, PdFive, Pd7…
Distance between image formation positions of two images, pd3′, PdFive′, P
d7′ ... the distance between the image formation positions of the two images after adjustment, w1，
w2, W3, WFour, WFive, W6, W7, W8... for left and right eyes
Distance between images, w3′, WFour′, WFive′, W6′,
w7′, W8′… Distance between the adjusted left-eye and right-eye images
Away.
Claims (4)
て撮像する画像撮像素子と、該画像撮像素子により撮像
されて取り込まれた前記右目用画像と前記左目用画像と
を３次元画像として画像変換すると共に画像合成して表
示せしめる３次元画像表示機能と、撮像者からの指示に
基づいて、前記画像撮像素子の位置や角度あるいは当該
表示機能付撮像装置の位置や角度の調整を行なわしめ、
調整された前記位置や前記角度により、確定３次元画像
用とするための調整用の仮画像である前記右目用画像及
び／又は前記左目用画像として、前記被写体を撮像せし
める位置調整機能と、前記撮像者からの３次元画像とし
ての調整完了の確定指示に基づいて、前記位置調整機能
を用いて調整された前記位置や前記角度により撮像され
た仮画像である前記右目用画像及び／又は前記左目用画
像を、確定３次元画像用の前記右目用画像及び／又は前
記左目用画像として確定する画像確定機能と、を備えて
いる表示機能付撮像装置において、前記画像撮像素子に
より先に撮像されて取り込まれた前記右目用画像又は前
記左目用画像のいずれか一方の目用画像を、確定３次元
画像用の一方の目用の確定画像として先に確定して、確
定された一方の目用の該確定画像として前記３次元画像
表示機能により画像変換して画像表示させる一方、後か
ら撮像されて取り込まれた前記確定画像と反対側の他方
の目用画像を、確定３次元画像用とするための調整用の
仮画像として、前記３次元画像表示機能により画像変換
して前記確定画像と画像合成して画像表示させ、前記位
置調整機能が、前記撮像者からの指示に基づいて、前記
画像撮像素子の位置や角度あるいは当該表示機能付撮像
装置の位置や角度を逐次調整して、前記他方の目用画像
である調整用の前記仮画像を撮像し、撮像する都度、前
記３次元画像表示機能により前記仮画像を前記確定画像
と３次元画像として画像合成して画像表示することを可
能とすると共に、前記画像確定機能が、前記撮像者から
の３次元画像としての調整完了の確定指示に基づいて、
前記仮画像を確定３次元画像用の他方の目用画像として
確定することを特徴とする表示機能付撮像装置。1. An image pickup device for picking up a subject as an image for the right eye and an image for the left eye, and image conversion of the image for the right eye and the image for the left eye captured and captured by the image pickup device as a three-dimensional image. In addition, the position and angle of the image pickup device or the position and angle of the image pickup device with the display function are adjusted based on a three-dimensional image display function of displaying images by combining images, and an instruction from a photographer.
A position adjusting function for picking up the subject as the right-eye image and / or the left-eye image, which is a temporary image for adjustment for a fixed three-dimensional image, based on the adjusted position and the angle; The right-eye image and / or the left-eye image, which is a temporary image captured at the position and the angle adjusted using the position adjustment function, based on a confirmation instruction of adjustment completion as a three-dimensional image from the imager. In the image pickup device with a display function, which has an image confirmation function for confirming the image for use as the image for the right eye and / or the image for the left eye for the confirmed three-dimensional image, the image is first captured by the image pickup device. Either one of the captured right eye image or left eye image that has been captured is first determined as a confirmed image for one of the confirmed three-dimensional images, and the confirmed one eye is determined. While the image is converted and displayed as the finalized image by the three-dimensional image display function, the other eye image on the opposite side of the finalized image captured and captured later is used as the finalized three-dimensional image. As a temporary image for adjustment, the image is converted by the three-dimensional image display function, and the finalized image is combined with the final image to display the image. The position adjusting function displays the image based on an instruction from the photographer. The position and angle of the image pickup device or the position and angle of the image pickup apparatus with the display function are sequentially adjusted to pick up the temporary image for adjustment which is the image for the other eye, and each time the image is taken, the three-dimensional image display is performed. The function allows the provisional image to be combined with the finalized image as a three-dimensional image to be displayed, and the image finalizing function is used to confirm the adjustment completion from the photographer as a three-dimensional image. On the basis of the instruction,
An image pickup apparatus with a display function, wherein the temporary image is fixed as the other eye image for the fixed three-dimensional image.
おいて、前記３次元画像表示機能が、確定３次元画像用
の一方の目用画像として先に確定される前記確定画像
と、確定３次元画像用となるべき他方の目用画像である
調整用の前記仮画像とを、画像表示装置の表示制御を司
る表示装置用コントローラ内に設けられた画像表示用の
表示メモリ上において、３次元画像としての画像合成を
行なわしめて、表示用３次元画像として保存せしめるこ
とを特徴とする表示機能付撮像装置。2. The imaging device with a display function according to claim 1, wherein the three-dimensional image display function is the one of the confirmed images which is first confirmed as one eye image for the confirmed three-dimensional image, and the confirmed three. The temporary image for adjustment, which is the image for the other eye to be used for a three-dimensional image, is displayed three-dimensionally on the display memory for image display provided in the controller for the display device that controls the display of the image display device. An image pickup apparatus with a display function, characterized in that an image is synthesized as an image and stored as a three-dimensional image for display.
装置において、１個の画像撮像素子を用いて、左目用画
像と右目用画像とを、順次撮像することにより、３次元
画像を画像合成することができることを特徴とする表示
機能付撮像装置。3. The image pickup device with a display function according to claim 1, wherein a three-dimensional image is obtained by sequentially picking up an image for the left eye and an image for the right eye using one image pickup device. An image pickup device with a display function, which is capable of synthesizing images.
機能付撮像装置を備えていることを特徴とする携帯端末
装置。4. A mobile terminal device comprising the image pickup device with a display function according to claim 1.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002058174A JP2003259394A (en) | 2002-03-05 | 2002-03-05 | Imaging apparatus with display function, and mobile terminal provided with the imaging apparatus with the display function |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002058174A JP2003259394A (en) | 2002-03-05 | 2002-03-05 | Imaging apparatus with display function, and mobile terminal provided with the imaging apparatus with the display function |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003259394A true JP2003259394A (en) | 2003-09-12 |
Family
ID=28668202
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002058174A Pending JP2003259394A (en) | 2002-03-05 | 2002-03-05 | Imaging apparatus with display function, and mobile terminal provided with the imaging apparatus with the display function |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2003259394A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006038570A1 (en) * | 2004-10-01 | 2006-04-13 | Sharp Kabushiki Kaisha | Three-dimensional image forming system |
-
2002
- 2002-03-05 JP JP2002058174A patent/JP2003259394A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006038570A1 (en) * | 2004-10-01 | 2006-04-13 | Sharp Kabushiki Kaisha | Three-dimensional image forming system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101899877B1 (en) | Apparatus and method for improving quality of enlarged image | |
| JP5036599B2 (en) | Imaging device | |
| WO2015081870A1 (en) | Image processing method, device and terminal | |
| CN102917236B (en) | A kind of solid picture-taking method based on single camera and digital camera | |
| US20110249146A1 (en) | Imaging device, display control method and program | |
| KR20140106779A (en) | Apparatus and method for processing a image in device | |
| TW201007617A (en) | Image processing device and program | |
| US9596455B2 (en) | Image processing device and method, and imaging device | |
| CN102739959A (en) | Image processing device for generating composite image having predetermined aspect ratio | |
| WO2013145820A1 (en) | Image pick-up device, method, storage medium, and program | |
| US8063956B2 (en) | Image pickup device, image pickup method and integrated circuit | |
| JP2006018384A (en) | Imaging device and image processing method | |
| JP3730450B2 (en) | Image input apparatus and image input method | |
| US8269858B2 (en) | Image pickup device, image pickup method, and integrated circuit | |
| JP2003259394A (en) | Imaging apparatus with display function, and mobile terminal provided with the imaging apparatus with the display function | |
| JP2004222025A (en) | Electronic camera | |
| JP7128347B2 (en) | Image processing device, image processing method and program, imaging device | |
| CN112738399B (en) | Image processing method and device and electronic equipment | |
| CN114979458B (en) | Image shooting method and electronic equipment | |
| US7663676B2 (en) | Image composing apparatus and method of portable terminal | |
| JP2010097449A (en) | Image composition device, image composition method and image composition program | |
| JP2004173300A (en) | Image pickup device and picked-up image working method | |
| KR20050066183A (en) | System and method for embodying panorama image | |
| JP7209305B2 (en) | Control device, control method, program | |
| CN113890984B (en) | Photographing method, image processing method and electronic equipment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040728 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060710 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060718 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060908 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060911 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070320 |