JP4698307B2 - Stereoscopic image processing method, stereoscopic image processing apparatus, program, and recording medium storing program - Google Patents

Stereoscopic image processing method, stereoscopic image processing apparatus, program, and recording medium storing program Download PDF

Info

Publication number
JP4698307B2
JP4698307B2 JP2005196460A JP2005196460A JP4698307B2 JP 4698307 B2 JP4698307 B2 JP 4698307B2 JP 2005196460 A JP2005196460 A JP 2005196460A JP 2005196460 A JP2005196460 A JP 2005196460A JP 4698307 B2 JP4698307 B2 JP 4698307B2
Authority
JP
Japan
Prior art keywords
image
stereoscopic
image processing
integrated
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005196460A
Other languages
Japanese (ja)
Other versions
JP2007018078A (en
Inventor
健 増谷
敏男 野村
端 内海
英彦 關澤
英明 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Sanyo Electric Co Ltd
Olympus Imaging Corp
Sony Corp
Original Assignee
Sharp Corp
Sanyo Electric Co Ltd
Olympus Imaging Corp
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2005196460A priority Critical patent/JP4698307B2/en
Application filed by Sharp Corp, Sanyo Electric Co Ltd, Olympus Imaging Corp, Sony Corp filed Critical Sharp Corp
Priority to EP06767812A priority patent/EP1901236A4/en
Priority to CN2006800239995A priority patent/CN101238490B/en
Priority to PCT/JP2006/313281 priority patent/WO2007004633A1/en
Priority to KR1020087000300A priority patent/KR101005998B1/en
Priority to US11/988,032 priority patent/US8217991B2/en
Priority to CN2010105415544A priority patent/CN102005063B/en
Publication of JP2007018078A publication Critical patent/JP2007018078A/en
Application granted granted Critical
Publication of JP4698307B2 publication Critical patent/JP4698307B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Processing Or Creating Images (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

この発明は、立体画像処理方法及び立体画像処理装置及びプログラム及びプログラムが格納された記録媒体に関する。   The present invention relates to a stereoscopic image processing method, a stereoscopic image processing apparatus, a program, and a recording medium storing the program.

従来より、いわゆる平行法や交差法といった手法に基づく二枚の視差画像（右視点画像と左視点画像）を横方向に並べて一枚の立体視用統合画像を生成することが行われている。ディスプレイに表示した前記立体視用統合画像、或いはプリントアウトした前記立体視用統合画像を両眼で観察することで立体視が行える（特許文献１参照）。   Conventionally, two parallax images (a right viewpoint image and a left viewpoint image) based on a method such as a so-called parallel method or intersection method are arranged in the horizontal direction to generate a single integrated image for stereoscopic viewing. Stereoscopic viewing can be performed by observing the integrated image for stereoscopic viewing displayed on the display or the integrated image for stereoscopic viewing printed out with both eyes (see Patent Document 1).

特開２００５−７８４２４号JP-A-2005-78424

ところで、前記二枚の視差画像のそれぞれが例えば４（横）：３（縦）のアスペクト比を有するとすると、立体視用統合画像におけるアスペクト比は８：３となる。このようなアスペクト比を有する立体視用統合画像を例えば４：３のプリント台紙にプリントアウトしたり、４：３のディスプレイに表示すると、立体視を行う上で不所望な画像となって表示或いはプリントアウトされることになる。   By the way, if each of the two parallax images has an aspect ratio of 4 (horizontal): 3 (vertical), for example, the aspect ratio of the stereoscopic integrated image is 8: 3. When an integrated image for stereoscopic viewing having such an aspect ratio is printed out on a 4: 3 print mount or displayed on a 4: 3 display, for example, it is displayed as an undesired image for stereoscopic viewing. It will be printed out.

具体的には、図７に示すように、プリント範囲が４：３（１．３３：１）であり、二枚の視差画像から成る立体視用統合画像の横幅が前記プリント範囲からはみ出している場合、右視点画像の領域について見ると、プリント範囲から実際にはみ出した領域（結果的にトリミングされた領域）と、プリント範囲内ではあるが左視点画像がプリント範囲から実際にはみ出したために立体視に利用できなくなった領域とが生じてしまう。同様のことは左視点画像の領域についても生じ、立体視に利用できる範囲は狭くなる。   Specifically, as shown in FIG. 7, the print range is 4: 3 (1.33: 1), and the horizontal width of the stereoscopic integrated image including two parallax images protrudes from the print range. In this case, when viewing the area of the right viewpoint image, the area that actually protrudes from the print range (as a result of the trimmed area) and the left viewpoint image that actually protrudes from the print area but within the print area are stereoscopically viewed. Will result in an area that can no longer be used. The same thing also occurs in the area of the left viewpoint image, and the range that can be used for stereoscopic viewing is narrowed.

上記立体視用統合画像を受け取る側が３Ｄ対応機器でない場合があることに鑑み、前記立体視用統合画像に任意色及び／又は任意模様のパディング領域を付加することによって前記立体視用統合画像を内包する加工画像を作成することが考えられる。しかしながら、上記立体視用統合画像を受け取る側が３Ｄ対応機器である場合には、前記パディング領域はむしろ不要な領域になってしまうことがある。また、立体視用統合画像の非中央部に３Ｄ或いは平行法といった説明文字となる別画像を重畳することによって前記立体視用統合画像内に前記別画像が内包される加工画像を作成することもあり、かかる場合も、上記説明文字となる別画像は３Ｄ対応機器ではむしろ不要な領域になってしまう。   In consideration of the fact that the receiving side of the stereoscopic integrated image may not be a 3D-compatible device, the stereoscopic integrated image is included by adding a padding area of an arbitrary color and / or arbitrary pattern to the stereoscopic integrated image. It is conceivable to create a processed image. However, if the side that receives the stereoscopic integrated image is a 3D-compatible device, the padding area may rather become an unnecessary area. Also, a processed image in which the separate image is included in the stereoscopic integrated image may be created by superimposing a separate image, such as 3D or parallel method, on the non-central portion of the stereoscopic integrated image. Yes, even in such a case, the separate image serving as the explanatory character becomes a rather unnecessary area in the 3D-compatible device.

この発明は、上記の事情に鑑み、立体視用統合画像を内包する加工画像を受け取った場合でも前記立体視用統合画像だけを取り出すことを可能にする、或いは、立体視用統合画像の非中央部に別画像を重畳することによって前記立体視用統合画像内に前記別画像が内包された加工画像を受け取った場合でも立体視用統合画像部分だけを取り出すことを可能にする立体画像処理方法及び立体画像処理装置及びプログラム及びプログラムが格納された記録媒体を提供することを目的とする。   In view of the above circumstances, the present invention makes it possible to take out only the integrated image for stereoscopic viewing even when a processed image containing the integrated image for stereoscopic viewing is received. A stereoscopic image processing method that enables only the integrated image portion for stereoscopic viewing to be taken out even when a processed image in which the separate image is included in the integrated image for stereoscopic viewing is received by superimposing another image on the portion, and It is an object to provide a stereoscopic image processing device, a program, and a recording medium storing the program.

この発明の立体画像処理方法は、上記の課題を解決するために、複数の視点画像が並んだ一枚の立体視用統合画像を生成する立体画像処理方法であって、前記立体視用統合画像に任意色及び／又は任意模様のパディング領域を付加することによって前記立体視用統合画像を内包する加工画像を生成するとともに、前記加工画像から前記立体視用統合画像を取り出すのに用いることができるロケーション情報を生成して前記加工画像に付加することを特徴とする（以下、この項において第１の方法という）。かかる方法であれば、立体視用統合画像を内包する加工画像を受け取った側は、前記ロケーション情報を活用することで前記立体視用統合画像だけを取り出すことができる。   In order to solve the above-described problem, the stereoscopic image processing method of the present invention is a stereoscopic image processing method for generating a single integrated image for stereoscopic viewing in which a plurality of viewpoint images are arranged. Can be used to generate a processed image containing the integrated image for stereoscopic viewing by adding a padding area of an arbitrary color and / or arbitrary pattern to the image, and to extract the integrated image for stereoscopic viewing from the processed image Location information is generated and added to the processed image (hereinafter referred to as a first method in this section). With this method, the side that has received the processed image containing the stereoscopic integrated image can extract only the stereoscopic integrated image by using the location information.

また、この発明の立体画像処理方法は、複数の視点画像が並んだ一枚の立体視用統合画像を生成する立体画像処理方法であって、前記立体視用統合画像の非中央部に別画像を重畳することによって前記立体視用統合画像内に前記別画像が内包される加工画像を生成するとともに、前記加工画像から前記別画像が内包されない立体視用統合画像部分を取り出すのに用いることができるロケーション情報を生成して前記加工画像に付加することを特徴とする（以下、この項において第２の方法という）。かかる方法であれば、立体視用統合画像の非中央部に別画像を重畳することによって前記立体視用統合画像内に前記別画像が内包された加工画像を受け取った側は、前記ロケーション情報を活用することで立体視用統合画像部分だけを取り出すことができる。   The stereoscopic image processing method of the present invention is a stereoscopic image processing method for generating a single integrated image for stereoscopic viewing in which a plurality of viewpoint images are arranged, and a separate image is provided at a non-central portion of the integrated image for stereoscopic viewing. Is used to generate a processed image in which the separate image is included in the integrated image for stereoscopic viewing, and to extract an integrated image portion for stereoscopic viewing in which the separate image is not included from the processed image. Location information that can be generated is generated and added to the processed image (hereinafter referred to as a second method in this section). In such a method, the side receiving the processed image in which the different image is included in the stereoscopic integrated image by superimposing another image on the non-central portion of the stereoscopic integrated image, the location information By utilizing this, only the integrated image portion for stereoscopic viewing can be taken out.

上記第２の方法において、前記別画像は、前記立体視用統合画像が立体視用画像であることを示す文字及び／又は記号からなる画像であってもよい。また、上記第２の方法において、前記別画像は、前記立体視用統合画像における立体視法を示す文字及び／又は記号からなる画像であってもよい。   In the second method, the separate image may be an image including characters and / or symbols indicating that the stereoscopic integrated image is a stereoscopic image. In the second method, the separate image may be an image made up of characters and / or symbols indicating the stereoscopic method in the stereoscopic integrated image.

上記第１の方法、第２の方法、及び第２の方法に従属する方法において、前記複数の視点画像が並んだ一枚の立体視用統合画像は、１組の右視点画像と左視点画像とが互いに横方向に並んだ一枚の立体視用統合画像であってもよい。   In the first method, the second method, and the method subordinate to the second method, a single stereoscopic integrated image in which the plurality of viewpoint images are arranged is a set of a right viewpoint image and a left viewpoint image. May be a single integrated image for stereoscopic viewing that is aligned in the horizontal direction.

また、この発明の立体画像処理装置は、複数の視点画像が並んだ一枚の立体視用統合画像を生成する立体画像処理装置であって、前記立体視用統合画像に任意色及び／又は任意模様のパディング領域を付加することによって前記立体視用統合画像を内包する加工画像を生成するとともに、前記加工画像から前記立体視用統合画像を取り出すのに用いることができるロケーション情報を生成して前記加工画像に付加する手段を備えたことを特徴とする（以下、この項において第１の構成という）。   The stereoscopic image processing apparatus according to the present invention is a stereoscopic image processing apparatus that generates a single integrated image for stereoscopic viewing in which a plurality of viewpoint images are arranged, and includes any color and / or arbitrary color for the stereoscopic integrated image. Generating a processed image containing the integrated image for stereoscopic viewing by adding a padding area of a pattern, and generating location information that can be used to extract the integrated image for stereoscopic viewing from the processed image; Means for adding to a processed image is provided (hereinafter referred to as the first configuration in this section).

また、この発明の立体画像処理装置は、複数の視点画像が並んだ一枚の立体視用統合画像を生成する立体画像処理装置であって、前記立体視用統合画像の非中央部に別画像を重畳することによって前記立体視用統合画像内に前記別画像が内包される加工画像を生成するとともに、前記加工画像から前記別画像が内包されない立体視用統合画像部分を取り出すのに用いることができるロケーション情報を生成して前記加工画像に付加することを特徴とする（以下、この項において第２の構成という）。   The stereoscopic image processing apparatus of the present invention is a stereoscopic image processing apparatus that generates a single integrated image for stereoscopic viewing in which a plurality of viewpoint images are arranged, and a separate image is provided at a non-central portion of the integrated image for stereoscopic viewing. Is used to generate a processed image in which the separate image is included in the integrated image for stereoscopic viewing, and to extract an integrated image portion for stereoscopic viewing in which the separate image is not included from the processed image. Location information that can be generated is generated and added to the processed image (hereinafter referred to as a second configuration in this section).

上記第２の構成の立体画像処理装置において、前記別画像は、前記立体視用統合画像が立体視用画像であることを示す文字及び／又は記号からなる画像であってもよい。また、上記第２の構成の立体画像処理装置において、において、前記別画像は、前記立体視用統合画像における立体視法を示す文字及び／又は記号からなる画像であってもよい。   In the stereoscopic image processing apparatus having the second configuration, the separate image may be an image including characters and / or symbols indicating that the stereoscopic integrated image is a stereoscopic image. In the stereoscopic image processing apparatus having the second configuration, the separate image may be an image including characters and / or symbols indicating a stereoscopic method in the stereoscopic integrated image.

上記第１の構成、第２の構成、及び第２の構成に従属する立体画像処理装置において、前記複数の視点画像が並んだ一枚の立体視用統合画像は、１組の右視点画像と左視点画像とが互いに横方向に並んだ一枚の立体視用統合画像であってもよい。   In the stereoscopic image processing device subordinate to the first configuration, the second configuration, and the second configuration, one stereoscopic integrated image in which the plurality of viewpoint images are arranged is a set of right viewpoint images. It may be a single integrated image for stereoscopic viewing in which the left viewpoint image is arranged in the horizontal direction.

また、この発明のプログラムは、コンピュータを、上述したいずれかの立体画像処理装置における前記手段として機能させる。また、この発明の記録媒体は、上記プログラムが記録された、コンピュータが読み取り可能な記録媒体である。   Moreover, the program of this invention makes a computer function as the said means in any one of the three-dimensional image processing apparatuses described above. The recording medium of the present invention is a computer-readable recording medium on which the program is recorded.

また、この発明の立体画像処理方法は、受け取った画像に、複数の視点画像が並んだ一枚の立体視用統合画像に任意色及び／又は任意模様のパディング領域を付加した加工画像であることを示す情報が付加されているとともに、前記加工画像から前記立体視用統合画像を取り出すのに用いることができるロケーション情報が付加されている場合に、前記ロケーション情報を用いて前記加工画像から前記立体視用統合画像を取り出すことを特徴とする（以下、この項において、第３の方法という）。   The stereoscopic image processing method of the present invention is a processed image obtained by adding a padding area of an arbitrary color and / or an arbitrary pattern to a single integrated image for stereoscopic viewing in which a plurality of viewpoint images are arranged in the received image. And the location information that can be used to extract the stereoscopic integrated image from the processed image is added to the stereoscopic image from the processed image using the location information. A visual integrated image is taken out (hereinafter referred to as a third method in this section).

また、この発明の立体画像処理方法は、受け取った画像に、複数の視点画像が並んだ一枚の立体視用統合画像の非中央部に別画像を重畳することによって前記立体視用統合画像内に前記別画像が内包される加工画像であることを示す情報が付加されているとともに、前記加工画像から前記別画像が内包されない立体視用統合画像部分を取り出すのに用いることができるロケーション情報が付加されている場合に、前記ロケーション情報を用いて前記加工画像から前記立体視用統合画像部分を取り出すことを特徴とする（以下、この項において第４の方法という）。   In the stereoscopic image processing method of the present invention, another image is superimposed on the received image at a non-central portion of a single stereoscopic integrated image in which a plurality of viewpoint images are arranged. Is added with information indicating that the processed image is included, and location information that can be used to extract from the processed image a stereoscopic integrated image portion that does not include the separate image. If added, the integrated image portion for stereoscopic viewing is extracted from the processed image using the location information (hereinafter referred to as a fourth method in this section).

上記第３の方法又は第４の方法において、前記複数の視点画像が並んだ一枚の立体視用統合画像は、１組の右視点画像と左視点画像とが互いに横方向に並んだ一枚の立体視用統合画像であってもよい。これら方法において、前記取り出した立体視用統合画像又は立体視用統合画像部分の各視点画像を用いて立体画像を生成することとしてもよい。また、これら方法法において、前記取り出した立体視用統合画像又は立体視用統合画像部分の各視点画像をそれぞれ表示又はプリントアウトすることとしてもよい。   In the third method or the fourth method, the single integrated image for stereoscopic viewing in which the plurality of viewpoint images are arranged is one sheet in which a pair of right viewpoint images and left viewpoint images are arranged in the horizontal direction. May be an integrated image for stereoscopic viewing. In these methods, a stereoscopic image may be generated using each of the viewpoint images of the extracted stereoscopic integrated image or stereoscopic integrated image portion. In these method methods, each of the viewpoint images of the extracted stereoscopic integrated image or stereoscopic integrated image portion may be displayed or printed out.

また、この発明の立体画像処理装置は、受け取った画像を処理する立体画像処理装置において、受け取った画像に、複数の視点画像が並んだ一枚の立体視用統合画像に任意色及び／又は任意模様のパディング領域を付加した加工画像であることを示す情報が付加されているとともに、前記加工画像から前記立体視用統合画像を取り出すのに用いることができるロケーション情報が付加されている場合に、前記ロケーション情報を用いて前記加工画像から前記立体視用統合画像を取り出す手段を備えたことを特徴とする（以下、この項において第３の構成という）。   The stereoscopic image processing apparatus according to the present invention is a stereoscopic image processing apparatus that processes a received image. The stereoscopic image processing apparatus according to the present invention has an arbitrary color and / or arbitrary color for a single integrated image for stereoscopic viewing in which a plurality of viewpoint images are arranged in the received image. When information indicating that it is a processed image to which a padding area of a pattern is added and location information that can be used to extract the integrated image for stereoscopic viewing from the processed image is added, The apparatus includes a unit that extracts the integrated image for stereoscopic viewing from the processed image using the location information (hereinafter, referred to as a third configuration in this section).

また、この発明の立体画像処理装置は、受け取った画像を処理する立体画像処理装置において、受け取った画像に、複数の視点画像が並んだ一枚の立体視用統合画像の非中央部に別画像を重畳することによって前記立体視用統合画像内に前記別画像が内包される加工画像であることを示す情報が付加されているとともに、前記加工画像から前記別画像が内包されない立体視用統合画像部分を取り出すのに用いることができるロケーション情報が付加されている場合に、前記ロケーション情報を用いて前記加工画像から前記立体視用統合画像部分を取り出す手段を備えたことを特徴とする（以下、この項において第４の構成という）。   Further, the stereoscopic image processing apparatus according to the present invention is a stereoscopic image processing apparatus that processes a received image. Another image is provided at a non-central portion of a single integrated image for stereoscopic viewing in which a plurality of viewpoint images are arranged in the received image. Information indicating that the other image is included in the integrated image for stereoscopic viewing by superimposing the image, and the integrated image for stereoscopic viewing in which the different image is not included from the processed image In the case where location information that can be used to extract a part is added, it is provided with means for extracting the integrated image portion for stereoscopic viewing from the processed image using the location information (hereinafter, This is referred to as the fourth configuration in this section).

上記第３構成又は第４構成の立体画像処理装置において、前記複数の視点画像が並んだ一枚の立体視用統合画像は、１組の右視点画像と左視点画像とが互いに横方向に並んだ一枚の立体視用統合画像であってもよい。これら立体画像処理装置において、前記取り出した立体視用統合画像又は立体視用統合画像部分の各視点画像を用いて立体画像を生成することとしてもよい。また、これら立体画像処理装置において、前記取り出した立体視用統合画像又は立体視用統合画像部分の各視点画像をそれぞれ表示又はプリントアウトすることとしてもよい。   In the stereoscopic image processing apparatus having the third configuration or the fourth configuration, the one set of the right viewpoint image and the left viewpoint image are arranged in the horizontal direction in the single integrated image for stereoscopic viewing in which the plurality of viewpoint images are arranged. It may be a single integrated image for stereoscopic viewing. In these stereoscopic image processing devices, a stereoscopic image may be generated using each viewpoint image of the extracted stereoscopic integrated image or stereoscopic integrated image portion. In these stereoscopic image processing apparatuses, each viewpoint image of the extracted stereoscopic integrated image or stereoscopic integrated image portion may be displayed or printed out.

また、この発明のプログラムは、コンピュータを、上述したいずれかに記載の立体画像処理装置における前記手段として機能させる。また、この発明の記録媒体は、上記プログラムが記録された、コンピュータが読み取り可能な記録媒体である。   Further, the program of the present invention causes a computer to function as the means in the stereoscopic image processing apparatus described above. The recording medium of the present invention is a computer-readable recording medium on which the program is recorded.

以上説明したように、この発明によれば、立体視用統合画像にパディング領域を付加している場合でもその受け手側でパディング領域を簡単に外すことができる。また、立体視用統合画像の非中央部に別画像を重畳することによって前記立体視用統合画像内に前記別画像が内包された加工画像に対しても、立体視用統合画像部分だけを取り出すことができる等の諸効果を奏する。   As described above, according to the present invention, even when a padding area is added to the stereoscopic integrated image, the padding area can be easily removed on the receiver side. In addition, by superimposing another image on the non-central portion of the stereoscopic integrated image, only the stereoscopic integrated image portion is extracted from the processed image in which the separate image is included in the stereoscopic integrated image. There are various effects such as being able to.

以下、この発明の実施形態を図１乃至図６に基づいて説明していく。まず、パディング領域の付加／説明画像の付加について説明し、その後に、パディング領域の除去／説明画像の除去について説明する。   Hereinafter, an embodiment of the present invention will be described with reference to FIGS. First, addition of a padding area / addition of an explanatory image will be described, and then removal of a padding area / removal of an explanatory image will be described.

［パディング領域の付加／説明画像の付加］
図１はディジタルスチルカメラ１を例示した説明図である。ディジタルスチルカメラ１におけるレンズ機構１１は、レンズ群１１ａ、絞り調節を行なう絞り部１１ｂ等を備える。撮像素子駆動回路１８は撮像素子（例えば、ＣＣＤ）１２を駆動する。撮像素子１２は、前記レンズ機構１１を経た被写体の映像光を受け、電気信号に変換して出力する。撮像素子１２のアスペクト比は例えば４：３である。信号処理回路１４は、撮像素子１２から出力されてＡＧＣ（オートゲインコントローラ）アンプ１３にて利得調整された映像信号に対して各種の信号処理を実行し、図示しないカメラモニタに出力する。また、信号処理回路１４は、図示しないシャッタが押されたタイミングでの前記映像信号を画像データに変換する。この画像データはマイクロコンピュータ１６によってメモリ１７に格納される。絞り制御回路１５は撮像素子１２が出力する信号を入力しており、撮像素子１２の映像信号レベルが所定レベルになるように絞り部１１ｂにフィードバックをかける。 [Add padding area / Add description image]
FIG. 1 is an explanatory diagram illustrating a digital still camera 1. The lens mechanism 11 in the digital still camera 1 includes a lens group 11a, a diaphragm unit 11b for adjusting a diaphragm, and the like. The image sensor driving circuit 18 drives the image sensor (for example, CCD) 12. The image sensor 12 receives the image light of the subject that has passed through the lens mechanism 11, converts it into an electrical signal, and outputs it. The aspect ratio of the image sensor 12 is, for example, 4: 3. The signal processing circuit 14 performs various types of signal processing on the video signal output from the image sensor 12 and gain-adjusted by an AGC (auto gain controller) amplifier 13, and outputs the signal to a camera monitor (not shown). The signal processing circuit 14 converts the video signal at the timing when a shutter (not shown) is pressed into image data. This image data is stored in the memory 17 by the microcomputer 16. The aperture control circuit 15 receives a signal output from the image sensor 12 and applies feedback to the aperture 11b so that the video signal level of the image sensor 12 becomes a predetermined level.

上記のディジタルスチルカメラ１を用いて立体視用統合画像を生成し記録することができる。この立体視用統合画像は、右視点画像と左視点画像を横方向に並べて一枚の画像としたものである。例えば、ユーザーはメニュー項目のなかの「３Ｄ撮影」を選択した後、所望の被写体を撮影する。この１枚目の撮影による被写体のデータは例えば左視点画像データとしてメモリ１７に格納される。ディジタルスチルカメラ１は、例えば、「カメラを右側に少し移動させて同じ被写体を撮影してください」といったメッセージをカメラモニタ上に表示する。このメッセージに促されてユーザーは同じ被写体を撮影する。この２枚目の撮影による被写体のデータは右視点画像データとしてメモリ１７に格納される。   A stereoscopic integrated image can be generated and recorded using the digital still camera 1 described above. This integrated image for stereoscopic vision is a single image obtained by arranging the right viewpoint image and the left viewpoint image in the horizontal direction. For example, the user shoots a desired subject after selecting “3D shooting” from the menu items. Data of the subject obtained by the first photographing is stored in the memory 17 as, for example, left viewpoint image data. For example, the digital still camera 1 displays a message such as “Please move the camera slightly to the right to shoot the same subject” on the camera monitor. This message prompts the user to shoot the same subject. Data of the subject obtained by the second photographing is stored in the memory 17 as right viewpoint image data.

上記処理により、図２の（ａ）に示すように、左視点画像データと右視点画像データとがメモリ１７に格納されたことになる。ここで、それぞれの画像のアスペクト比をＨ／２：Ｖとする（Ｈ／２：Ｖは例えば撮像素子１２のアスペクト比である（例えば、４：３である））。そして、これら２枚の画像データが「３Ｄ撮影」のモードで得られたものであることを認識しているマイクロコンピュータ１６は、左視点画像データと右視点画像データとを横方向に並べて一枚の画像とする。この処理により、図２の（ｂ）に示すように、オリジナルの立体視用統合画像データが得られる。このオリジナルの立体視用統合画像データのアスペクト比はＨ：Ｖとなる。なお、カメラに立体画像撮影用のアダプタを取り付けて左右画像を同時に撮影する手法によっても、図２の（ｂ）に示す統合画像を得ることができる。   With the above processing, the left viewpoint image data and the right viewpoint image data are stored in the memory 17 as shown in FIG. Here, the aspect ratio of each image is set to H / 2: V (H / 2: V is the aspect ratio of the image sensor 12, for example, 4: 3). Then, the microcomputer 16 recognizing that these two pieces of image data are obtained in the “3D shooting” mode, arranges the left viewpoint image data and the right viewpoint image data in the horizontal direction, Image. By this processing, as shown in FIG. 2B, original integrated image data for stereoscopic viewing is obtained. The aspect ratio of the original stereoscopic integrated image data is H: V. Note that an integrated image shown in FIG. 2B can also be obtained by a method of attaching left and right images simultaneously by attaching a stereoscopic image adapter to the camera.

次に、マイクロコンピュータ１６は、前記オリジナルの立体視用統合画像データの上側及び下側にパディング領域（ダミー領域）を付加する。すなわち、図２の（ｃ）に示すように、前記オリジナルの立体視用統合画像を内包する加工画像を生成する。この加工画像のアスペクト比（Ｈ１：Ｖ１）は、例えば、４：３である。更に、マイクロコンピュータ１６は前記加工画像から前記立体視用統合画像を取り出すために用いられるロケーション情報を生成して前記加工画像に付加する。なお、パディングについては無彩色（白、黒、灰色）を含む任意の色や任意の模様を用いることができる。   Next, the microcomputer 16 adds padding areas (dummy areas) to the upper side and the lower side of the original integrated image for stereoscopic viewing. That is, as shown in FIG. 2C, a processed image including the original stereoscopic integrated image is generated. The aspect ratio (H1: V1) of this processed image is, for example, 4: 3. Furthermore, the microcomputer 16 generates location information used for extracting the stereoscopic integrated image from the processed image and adds the location information to the processed image. For padding, any color or pattern including achromatic colors (white, black, gray) can be used.

上記ロケーション情報は、前記オリジナルの立体視用統合画像における水平サイズ（Remarkable Area Size X) と、垂直サイズ(Remarkable Area Size Y)と、前記加工画像の左上角を基点とした前記オリジナルの立体視用統合画像の左上角の座標情報(Remarkable Area Offset X,Remarkable Area Offset Y）である。これら情報は画素数で表現することができる。なお、図４に示すように、前記オリジナルの立体視用統合画像データの左側及び右側にパディング領域（ダミー領域）を付加することによって加工画像が生成される場合もある。   The location information includes the horizontal size (Remarkable Area Size X), the vertical size (Remarkable Area Size Y), and the original stereoscopic view based on the upper left corner of the processed image. This is coordinate information (Remarkable Area Offset X, Remarkable Area Offset Y) of the upper left corner of the integrated image. Such information can be expressed by the number of pixels. As shown in FIG. 4, a processed image may be generated by adding padding areas (dummy areas) to the left and right sides of the original stereoscopic integrated image data.

前記加工画像がＪＰＥＧデータである場合を例に、そのフォーマットの構成を図５に例示する。このフォーマット例はＥｘｉｆ規格に準拠している。Ｅｘｉｆ規格はディジタルスチルカメラ用の画像ファイルフォーマットである。ＪＰＥＧファイルフォーマットにはアプリケーションマーカセグメント（ＡＰＰ）という領域が定義されており、ここに固有の情報を格納することができる。Ｅｘｉｆファイルフォーマットは前記ＡＰＰに独自の情報（撮影条件等の情報、グローバルポジショニングシステムにより得られた情報など）を格納している。この実施形態では、ＡＰＰ１に前記ロケーション情報を格納している。０ｔｈ，１ｓｔ ＩＦＤで用いられるタグは各種存在しており、図５では、pointer to Exif IFD とpointer to GPS IFDとpointer to 3D IFD とを示している。pointer to Exif IFD は Exif IFD へのポインタであり、このpointer to Exif IFD が示す位置にExif IFDがある。この Exif IFD で用いられるタグには、例えば、絞りやシャッタースピードなどのタグが存在する。pointer to GPS IFDは GPS IFDへのポインタであり、このpointer to GPS IFDが示す位置に GPS IFDがある。このGPS IFD にグローバルポジショニングシステム（ＧＰＳ）により得られた測定情報が格納される。同様に、pointer to 3D IFD は3D IFDへのポインタであり、このpointer to 3D IFD が示す位置に 3D IFD がある。この3D IFDに前記ロケーション情報が格納される。このロケーション情報に加えて交差法か平行法かといった立体視法についての情報、画像は立体視用画像であるということを示す情報、更には視点数情報などを付加してもよい。これらの情報を付加することで、各画像が右視点画像なのか左視点画像なのかの判定、或いは、第１視点画像なのか第２視点画像なのか第３視点画像なのかといった判定を装置において容易に行えることになる。なお、複数の視点画像が並んだ一枚の立体視用統合画像に任意色及び／又は任意模様のパディング領域を付加した加工画像であることを示す情報として、特別にそのことを示す情報（専用情報）を付加してもよいが、これに限らず、例えば前記ロケーション情報を当該情報とする（当該情報を兼ねる）ことも可能である。すなわち、前述の”特にそのことを示す情報”を付加しなくても（受信側では当該情報を取得できなくても）、受信側では前記ロケーション情報（更に他の情報）を取得できたときには受け取った画像は前記加工画像であると判断するようにしてもよい。   The format configuration is exemplified in FIG. 5 by taking as an example the case where the processed image is JPEG data. This format example conforms to the Exif standard. The Exif standard is an image file format for digital still cameras. An area called an application marker segment (APP) is defined in the JPEG file format, and unique information can be stored therein. The Exif file format stores unique information (information such as photographing conditions, information obtained by a global positioning system) in the APP. In this embodiment, the location information is stored in APP1. Various tags used in the 0th and 1st IFD exist, and FIG. 5 shows a pointer to Exif IFD, a pointer to GPS IFD, and a pointer to 3D IFD. The pointer to Exif IFD is a pointer to the Exif IFD, and the Exif IFD is at the position indicated by the pointer to Exif IFD. Tags used in this Exif IFD include tags such as aperture and shutter speed, for example. The pointer to GPS IFD is a pointer to the GPS IFD, and the GPS IFD is at the position indicated by the pointer to GPS IFD. Measurement information obtained by the global positioning system (GPS) is stored in the GPS IFD. Similarly, pointer to 3D IFD is a pointer to 3D IFD, and there is 3D IFD at the position indicated by pointer to 3D IFD. The location information is stored in this 3D IFD. In addition to the location information, information about the stereoscopic method such as the intersection method or the parallel method, information indicating that the image is a stereoscopic image, and information on the number of viewpoints may be added. By adding such information, the apparatus determines whether each image is a right viewpoint image or a left viewpoint image, or whether the image is a first viewpoint image, a second viewpoint image, or a third viewpoint image. It will be easy to do. As information indicating that the processed image is obtained by adding a padding area of an arbitrary color and / or an arbitrary pattern to a single integrated image for stereoscopic viewing in which a plurality of viewpoint images are arranged, information indicating that specially (dedicated (Information) may be added, but the present invention is not limited to this. For example, the location information may be the information (also serves as the information). That is, even if the above-mentioned “particularly information indicating that” is not added (even if the receiving side cannot acquire the information), the receiving side receives the location information (and other information). It is also possible to determine that the processed image is the processed image.

上記の例では、オリジナルの立体視用統合画像データのアスペクト比の値がどのような値であろうと関係無しに加工画像のアスペクト比（Ｈ１：Ｖ１）を所定のアスペクト比とする処理を行ったが、これに限らず、オリジナルの立体視用統合画像データのアスペクト比の値が所定の値を満たさない場合に加工画像を生成する（前記所定アスペクト比とする）こととしてもよい。例えば、図３のフローチャートに示すように、まず、左視点画像データと右視点画像データとを横方向に並べてオリジナルの立体視用統合画像データを得る（ステップＳ１）。次に、オリジナルの立体視用統合画像データの水平サイズＨと垂直サイズＶを算出する（ステップＳ２）。水平サイズＨ及び垂直サイズＶの単位は画素数でよい。次に、Ｖ／Ｈ≧２／３の条件を満たすかどうかを判断する（ステップＳ３）。この条件を満たす場合には加工画像の生成は行わない。一方、上記条件を満たさない場合には、ΔＶ＝２×Ｈ／３−Ｖの演算処理を行う（ステップＳ４）。そして、前記オリジナルの立体視用統合画像データの上側及び下側にそれぞれΔＶ／２の幅でパディング領域を付加する（ステップＳ５）。更に、前記加工画像から前記立体視用統合画像を取り出すために用いられる前記ロケーション情報を生成して前記加工画像に付加する（ステップＳ６）。   In the above example, the processing is performed so that the aspect ratio (H1: V1) of the processed image is a predetermined aspect ratio regardless of the aspect ratio of the original stereoscopic integrated image data. However, the present invention is not limited to this, and the processed image may be generated (the predetermined aspect ratio is used) when the aspect ratio value of the original stereoscopic integrated image data does not satisfy the predetermined value. For example, as shown in the flowchart of FIG. 3, first, the left viewpoint image data and the right viewpoint image data are arranged in the horizontal direction to obtain original integrated image data for stereoscopic viewing (step S1). Next, the horizontal size H and vertical size V of the original stereoscopic integrated image data are calculated (step S2). The unit of the horizontal size H and the vertical size V may be the number of pixels. Next, it is determined whether or not the condition of V / H ≧ 2/3 is satisfied (step S3). When this condition is satisfied, the processed image is not generated. On the other hand, if the above condition is not satisfied, a calculation process of ΔV = 2 × H / 3−V is performed (step S4). Then, padding areas are added to the upper and lower sides of the original stereoscopic integrated image data with a width of ΔV / 2, respectively (step S5). Further, the location information used for extracting the stereoscopic integrated image from the processed image is generated and added to the processed image (step S6).

これらの処理例では、加工画像のアスペクト比が所定比率となるようにパディング領域を付加したが、これに限らず、上記所定比率に一致しなくてもパディング領域をオリジナルの立体視用統合画像データの上下に少しでも付加すればその付加した分だけ立体視用統合画像の立体視領域を増大させることに役立つ。なお、上記実施形態においては、視点数が２である場合を例にとり説明した。２視点画像の場合、ディスプレイやプリンタで出力された画像は、これを直接用いる形での利用（公知のステレオビューアー、平行法、交差法といわれる直視観察技法を用いての立体画像鑑賞）が普及しているため、本発明の課題とそれに対する効果が極めて大きいことは言うまでもないが、任意のｎ（ｎ＞２）視点画像の場合も、本発明は効果を発揮するものである。一例を示せば、ｎ視点の統合画像をそのまま出力して、その立体画像全体の撮影状況（例えば、多眼式カメラでの撮影において、撮影時に一部の視点だけ手や衣服で遮られたりしていないかなど）を確認するという利用方法を考えた場合、統合画像のアスペクト比が出力機器のそれに適合していないと、一部の視点の画像が欠落して確認不能になったりするという問題を生じること、およびこの問題に対して本発明が有効であることは明らかである。   In these processing examples, the padding area is added so that the aspect ratio of the processed image becomes a predetermined ratio. However, the present invention is not limited to this, and the padding area can be replaced with the original integrated image data for stereoscopic viewing even if it does not match the predetermined ratio. If a little is added above and below, it is useful to increase the stereoscopic region of the integrated image for stereoscopic viewing by the added amount. In the above embodiment, the case where the number of viewpoints is 2 has been described as an example. In the case of two-viewpoint images, the images output by a display or printer are used in a form that uses them directly (viewing stereoscopic images using the known direct-viewing technique called the stereo viewer, parallel method, and intersection method). Therefore, it goes without saying that the subject of the present invention and the effect on the subject are extremely large, but the present invention is also effective in the case of any n (n> 2) viewpoint images. As an example, an integrated image of n viewpoints is output as it is, and the entire stereoscopic image is captured (for example, when shooting with a multi-lens camera, only a part of the viewpoint is blocked by hands or clothes during shooting). If the aspect ratio of the integrated image is not compatible with that of the output device, some viewpoint images may be missing and cannot be confirmed. It is obvious that the present invention is effective against this problem.

上記の実施例では、ロケーション情報を付加する立体画像処理装置としてディジタルスチルカメラを例示したが、これに限るものではない。例えば、スキャナが接続されたパーソナルコンピュータが前記立体画像処理装置となる。前記パーソナルコンピュータには前記スキャナのドライバソフトウェアがインストールされている。そして、例えば、前記スキャナのソフトウェアの起動画面上に「３Ｄ」といったボタンを設けておく。ユーザーは前記「３Ｄ」ボタンを操作した後、例えば左視点画像である写真をセットしてスキャナを動作させる。この１回目の動作の後、ユーザーは右視点画像である写真をセットしてスキャナを動作させる。上記２回のスキャニングによって得られた二つの画像データは、左視点画像データ及び右視点画像データとしてパーソナルコンピュータのメモリに格納される。かかる処理により、図２の（ａ）に示すように、左視点画像データと右視点画像データとがメモリに格納されたことになり、その後に図２の（ｂ）（ｃ）に示した処理及びロケーション情報の付加をパーソナルコンピュータが行うこととしてもよい。   In the above embodiment, the digital still camera is exemplified as the stereoscopic image processing apparatus to which the location information is added. However, the present invention is not limited to this. For example, a personal computer to which a scanner is connected becomes the stereoscopic image processing apparatus. The driver software for the scanner is installed in the personal computer. For example, a button such as “3D” is provided on the startup screen of the scanner software. After the user operates the “3D” button, for example, a photograph as a left viewpoint image is set and the scanner is operated. After the first operation, the user sets a photograph as a right viewpoint image and operates the scanner. The two image data obtained by the above two scanning operations are stored in the memory of the personal computer as left viewpoint image data and right viewpoint image data. With this process, as shown in FIG. 2A, the left viewpoint image data and the right viewpoint image data are stored in the memory, and thereafter, the processes shown in FIGS. 2B and 2C. The personal computer may add the location information.

パーソナルコンピュータがネットワーク接続可能な環境におかれている場合、或るサーバー（サイト）から左視点画像データと右視点画像データとをダウンロードすることが可能である。このようなダウンロードを行うと、図２の（ａ）に示すように、左視点画像データと右視点画像データとがパーソナルコンピュータのメモリに格納されたことになり、その後に図２の（ｂ）（ｃ）に示した処理及びロケーション情報の付加をパーソナルコンピュータが行うこととしてもよい。   When the personal computer is in an environment that can be connected to a network, it is possible to download the left viewpoint image data and the right viewpoint image data from a certain server (site). When such download is performed, as shown in FIG. 2A, the left viewpoint image data and the right viewpoint image data are stored in the memory of the personal computer, and thereafter, FIG. The processing shown in (c) and the addition of location information may be performed by a personal computer.

図２の（ｂ）（ｃ）に示した処理及びロケーション情報の付加をパーソナルコンピュータが行うためのプログラム（ソフトウェア）は、ネットワークを介してダウンロードしてもよいし、或いは前記プログラムが格納されたＣＤ−ＲＯＭからパーソナルコンピュータが読み取ることとしてもよい。また、ディジタルスチルカメラがネットワーク接続機能を持つ場合（例えば、ディジタルスチルカメラ機能付きの携帯電話等）、同様に、図２の（ｂ）（ｃ）に示した処理及びロケーション情報の付加をディジタルスチルカメラが行うためのプログラム（ソフトウェア）は、ネットワークを介してダウンロードすることができる。   A program (software) for a personal computer to perform the processing and location information addition shown in FIGS. 2B and 2C may be downloaded via a network, or a CD in which the program is stored. -It is good also as a personal computer reading from ROM. If the digital still camera has a network connection function (for example, a mobile phone with a digital still camera function), the processing and location information addition shown in FIGS. A program (software) to be performed by the camera can be downloaded via a network.

図６（ａ）（ｂ）（ｃ）に加工画像の他の例を示す。この加工画像は、立体視用統合画像の非中央部（図では、下縁近傍としている）に別画像を重畳することによって前記立体視用統合画像内に前記別画像が内包されたものである。前記別画像の重畳は、当該別画像の画素値を１００％として重畳してもよいし、前記立体視用統合画像の画素値を５０％、前記別画像の画素値を５０％として重畳してもよい（後者の場合は透明的な重畳となる）。前記立体視用統合画像は、右視点画像と左視点画像を横方向に並べて一枚の画像としたものであり、例えば、カメラに立体画像撮影用のアダプタを取り付けて左右画像を同時に撮影することによって得られる。前記別画像は、前記立体視用統合画像が立体視用画像であることを示す文字及び／又は記号からなる画像（図の例では”３Ｄ”）、或いは、前記立体視用統合画像における立体視法を示す文字及び／又は記号からなる画像（図の例では”↑↑””平行法”）である。前記記号にはアイコンが含まれる。   FIGS. 6A, 6B, and 6C show other examples of processed images. This processed image is an image in which the different image is included in the integrated image for stereoscopic viewing by superimposing another image on the non-central part of the integrated image for stereoscopic viewing (in the drawing, the vicinity of the lower edge). . The different image may be superimposed by setting the pixel value of the different image as 100%, or by superimposing the pixel value of the integrated image for stereoscopic viewing as 50% and the pixel value of the different image as 50%. It is good (in the latter case, it becomes a transparent superposition). The stereoscopic integrated image is a single image obtained by arranging the right viewpoint image and the left viewpoint image in the horizontal direction. For example, a stereoscopic image capturing adapter is attached to the camera and the left and right images are simultaneously captured. Obtained by. The separate image is an image (“3D” in the example of the drawing) indicating that the stereoscopic integrated image is a stereoscopic image, or a stereoscopic image in the stereoscopic integrated image. It is an image (in the example of the figure, “↑↑” “Parallel method”) composed of characters and / or symbols indicating the method. The symbol includes an icon.

前記加工画像にもロケーション情報が先に説明した方法で付加される。前記ロケーション情報は、前記加工画像から前記別画像が内包されない立体視用統合画像部分を取り出すのに用いることができる情報であり、前記オリジナルの立体視用統合画像における水平サイズ（Remarkable Area Size X) と、前記オリジナルの立体視用統合画像における垂直サイズよりも小さい切出用垂直サイズ(Remarkable Area Size Y)と、前記加工画像の左上角を基点とした前記オリジナルの立体視用統合画像の左上角の座標情報(Remarkable Area Offset X,Remarkable Area Offset Y）である。オリジナルの垂直サイズと前記切出用垂直サイズとの差は前記別画像の垂直サイズよりも幾分大きくする。なお、立体視用統合画像の上縁近傍に別画像を重畳するのであれば、前記座標情報(Remarkable Area Offset X,Remarkable Area Offset Y）の値を適宜の値にしてもよいし、或いは、前記座標情報の基準を立体視用統合画像の左下角とする手法を採用してもよい。座標情報の基準が立体視用統合画像の左上角であるのか左下角であるのかの別を示す情報を加工画像に付加することとしてもよい。また、別画像が立体視用統合画像の右縁や左縁に存在する場合には、前記オリジナルの立体視用統合画像における水平サイズよりも切出用水平サイズは小さくなる。また、複数の視点画像が並んだ一枚の立体視用統合画像の非中央部に別画像を重畳することによって前記立体視用統合画像内に前記別画像が内包される加工画像であることを示す情報として、特別にそのことを示す情報（専用情報）を付加してもよいが、これに限らず、例えば前記ロケーション情報を当該情報とする（当該情報を兼ねる）ことも可能である。すなわち、前述の”特にそのことを示す情報”を付加しなくても（受信側では当該情報を取得できなくても）、受信側では前記ロケーション情報（更に他の情報）を取得できたときには受け取った画像は前記加工画像であると判断するようにしてもよい。   Location information is also added to the processed image by the method described above. The location information is information that can be used to extract an integrated image portion for stereoscopic viewing that does not include the separate image from the processed image, and a horizontal size (Remarkable Area Size X) in the original integrated image for stereoscopic viewing. And an extraction vertical size (Remarkable Area Size Y) smaller than a vertical size in the original stereoscopic integrated image, and an upper left corner of the original stereoscopic integrated image based on the upper left corner of the processed image Coordinate information (Remarkable Area Offset X, Remarkable Area Offset Y). The difference between the original vertical size and the cutting vertical size is somewhat larger than the vertical size of the separate image. If another image is superimposed on the vicinity of the upper edge of the stereoscopic integrated image, the value of the coordinate information (Remarkable Area Offset X, Remarkable Area Offset Y) may be an appropriate value, or You may employ | adopt the method which makes the reference | standard of coordinate information the lower left corner of the integrated image for stereoscopic vision. Information indicating whether the reference of the coordinate information is the upper left corner or the lower left corner of the stereoscopic integrated image may be added to the processed image. Further, when another image is present at the right edge or the left edge of the stereoscopic integrated image, the cutting horizontal size is smaller than the horizontal size of the original stereoscopic integrated image. Further, it is a processed image in which another image is included in the integrated image for stereoscopic viewing by superimposing another image on the non-central portion of the single integrated image for stereoscopic viewing in which a plurality of viewpoint images are arranged. As the information to be shown, information (dedicated information) indicating that may be added specially, but not limited to this, for example, the location information can be used as the information (also serves as the information). That is, even if the above-mentioned “particularly information indicating that” is not added (even if the receiving side cannot acquire the information), the receiving side receives the location information (and other information). It is also possible to determine that the processed image is the processed image.

［パディング領域／別画像の除去］
前記ロケーション情報を認識できないプリンターであれば、当該ロケーション情報を認識できずに前記加工画像をそのままプリントアウトすることになろう。また、前記ロケーション情報を認識できない３Ｄ表示機器（３Ｄ表示可能なパーソナルコンピュータ、ディジタルスチルカメラ、ディジタル放送受信装置、携帯電話等）であれば、ロケーション情報を認識できずに、前記加工画像に基づいた立体視用画像を生成することになろう。 [Pading area / removing another image]
If the printer cannot recognize the location information, the processed image will be printed out without being able to recognize the location information. If the 3D display device cannot recognize the location information (a personal computer capable of 3D display, a digital still camera, a digital broadcast receiver, a mobile phone, etc.), the location information cannot be recognized, and based on the processed image. A stereoscopic image will be generated.

一方、前記ロケーション情報を認識できるように構成されたプリンターや３Ｄ表示機器（３Ｄ表示可能なパーソナルコンピュータ、ディジタルスチルカメラ、ディジタル放送受信装置、携帯電話等）は、前記ロケーション情報に基づいて前記加工画像からオリジナルの立体視用統合画像データを抜き出すことができる。また、前記ロケーション情報に基づいて前記加工画像から前記別画像が内包されない立体視用統合画像部分を取り出すことができる。更に、この抜き出した立体視用統合画像データの水平方向中央位置で縦に二分して左視点画像と右視点画像とを生成することもできる。なお、視点数情報がなければ二分することとし、視点数情報があればその数で画像を切り分けることとしてもよい。   On the other hand, a printer or a 3D display device configured to recognize the location information (a personal computer capable of 3D display, a digital still camera, a digital broadcast receiving device, a mobile phone, etc.) may use the processed image based on the location information. The original stereoscopic integrated image data can be extracted from the image. In addition, based on the location information, an integrated image portion for stereoscopic viewing in which the separate image is not included can be extracted from the processed image. Furthermore, it is possible to generate a left viewpoint image and a right viewpoint image by vertically dividing the extracted integrated image data for stereoscopic viewing in the horizontal center position. If there is no viewpoint number information, the image may be divided into two, and if there is viewpoint number information, the number of images may be divided.

前記ロケーション情報を認識できるように構成されたプリンターであれば、前記加工画像から抜き出した各視点画像をそれぞれプリントアウトするといったことができる。前記ロケーション情報を認識できるように構成された３Ｄ表示機器であれば、前記加工画像から抜き出した各視点画像を用いて立体視画像を生成できる。例えば、立体視をバリア方式で行うのであれば（モニタ前面にパララックスバリア等が配置される）、当該パーソナルコンピュータは、例えば左視点画像と右視点画像とを空間的に交互に例えば縦ストライプ状にモニタに表示する。立体視をシャッタ眼鏡方式で行うのであれば、シャッタ眼鏡のシャッタ動作に連動して左視点画像と右視点画像とを時間的に交互にモニタに表示する。   If the printer is configured to recognize the location information, each viewpoint image extracted from the processed image can be printed out. If the 3D display device is configured to recognize the location information, a stereoscopic image can be generated using each viewpoint image extracted from the processed image. For example, if stereoscopic viewing is performed by the barrier method (a parallax barrier or the like is disposed on the front of the monitor), the personal computer, for example, spatially alternates the left viewpoint image and the right viewpoint image, for example, in the form of vertical stripes On the monitor. If stereoscopic viewing is performed using the shutter glasses method, the left viewpoint image and the right viewpoint image are alternately displayed on the monitor in time in conjunction with the shutter operation of the shutter glasses.

この発明の立体画像処理装置としてのディジタルスチルカメラを示した説明図である。It is explanatory drawing which showed the digital still camera as a stereo image processing apparatus of this invention. 立体視用統合画像の生成及び加工画像の生成の過程を示した説明図である。It is explanatory drawing which showed the process of the production | generation of the integrated image for stereoscopic vision, and the production | generation of a process image. 立体視用統合画像の生成及び加工画像の生成の過程を示したフローチャートである。It is the flowchart which showed the process of the production | generation of the integrated image for stereoscopic vision, and the production | generation of a process image. 加工画像の他の例を示した説明図である。It is explanatory drawing which showed the other example of the processed image. ロケーション情報の付加例を示した説明図である。It is explanatory drawing which showed the additional example of location information. ロケーション情報の付加例を示した説明図である。It is explanatory drawing which showed the additional example of location information. 立体視用統合画像とプリント範囲との関係を示した説明図である。It is explanatory drawing which showed the relationship between the integrated image for stereoscopic vision, and the printing range.

符号の説明Explanation of symbols

１ ディジタルスチルカメラ
１６ マイクロコンピュータ
１７ メモリ 1 Digital still camera 16 Microcomputer 17 Memory

Claims (24)

複数の視点画像が並んだ一枚の立体視用統合画像を画像処理装置により生成する立体画像処理方法であって、上記画像処理装置が記憶手段を用いて前記立体視用統合画像に任意色及び任意模様の少なくとも一つからなるパディング領域を付加することによって前記立体視用統合画像を内包する加工画像を生成するとともに、前記加工画像から前記立体視用統合画像の全体を取り出すのに用いることができるロケーション情報を生成して前記加工画像に付加することを特徴とする立体画像処理方法。 A stereoscopic image processing method for generating, by an image processing device, a single integrated image for stereoscopic viewing in which a plurality of viewpoint images are arranged, wherein the image processing device uses a storage unit to add an arbitrary color and to generate a processed image containing the integrated image for the stereoscopic by adding a padding area formed of at least one optional pattern, it is used to from the processed image retrieve the whole of the stereoscopic combined image A stereoscopic image processing method characterized in that location information that can be generated is generated and added to the processed image. 複数の視点画像が並んだ一枚の立体視用統合画像を画像処理装置により生成する立体画像処理方法であって、上記画像処理装置が記憶手段を用いて前記立体視用統合画像の非中央部に別画像を重畳することによって前記立体視用統合画像内に前記別画像が内包される加工画像を生成するとともに、前記加工画像から前記別画像が内包されない立体視用統合画像部分の全体を取り出すのに用いることができるロケーション情報を生成して前記加工画像に付加することを特徴とする立体画像処理方法。 A stereoscopic image processing method for generating a single integrated image for stereoscopic viewing in which a plurality of viewpoint images are arranged by an image processing device, wherein the image processing device uses a storage unit to store the non-central portion of the integrated image for stereoscopic viewing A processed image in which the separate image is included in the integrated image for stereoscopic viewing is generated by superimposing the separate image on the image, and the entire integrated image portion for stereoscopic viewing in which the separate image is not included is extracted from the processed image. A stereoscopic image processing method characterized by generating location information that can be used for the processing and adding the location information to the processed image. 請求項２に記載の立体画像処理方法において、前記別画像は、前記立体視用統合画像が立体視用画像であることを示す文字及び記号の少なくとも一つからなる画像であることを特徴とする立体画像処理方法。   3. The stereoscopic image processing method according to claim 2, wherein the another image is an image composed of at least one of characters and symbols indicating that the stereoscopic integrated image is a stereoscopic image. Stereoscopic image processing method. 請求項２に記載の立体画像処理方法において、前記別画像は、前記立体視用統合画像における立体視法を示す文字及び記号の少なくとも一つからなる画像であることを特徴とする立体画像処理方法。   The stereoscopic image processing method according to claim 2, wherein the another image is an image including at least one of a character and a symbol indicating a stereoscopic method in the integrated image for stereoscopic vision. . 請求項１乃至請求項４のいずれかに記載の立体画像処理方法において、前記複数の視点画像が並んだ一枚の立体視用統合画像は、１組の右視点画像と左視点画像とが互いに横方向に並んだ一枚の立体視用統合画像であることを特徴とする立体画像処理方法。   5. The stereoscopic image processing method according to claim 1, wherein one set of the right viewpoint image and the left viewpoint image of the one integrated image for stereoscopic viewing in which the plurality of viewpoint images are arranged are mutually connected. A stereoscopic image processing method, which is a single integrated image for stereoscopic viewing arranged side by side. 複数の視点画像が並んだ一枚の立体視用統合画像を生成する立体画像処理装置であって、前記立体視用統合画像に任意色及び任意模様の少なくとも一つからなるパディング領域を付加することによって前記立体視用統合画像を内包する加工画像を生成するとともに、前記加工画像から前記立体視用統合画像の全体を取り出すのに用いることができるロケーション情報を生成して前記加工画像に付加する手段を備えたことを特徴とする立体画像処理装置。 A stereoscopic image processing apparatus that generates a single integrated image for stereoscopic viewing in which a plurality of viewpoint images are arranged, and adding a padding region composed of at least one of an arbitrary color and an arbitrary pattern to the integrated image for stereoscopic viewing Generating a processed image including the integrated image for stereoscopic viewing by means of generating location information that can be used to extract the entire integrated image for stereoscopic viewing from the processed image and adding the location information to the processed image A stereoscopic image processing apparatus comprising: 複数の視点画像が並んだ一枚の立体視用統合画像を生成する立体画像処理装置であって、前記立体視用統合画像の非中央部に別画像を重畳することによって前記立体視用統合画像内に前記別画像が内包される加工画像を生成するとともに、前記加工画像から前記別画像が内包されない立体視用統合画像部分の全体を取り出すのに用いることができるロケーション情報を生成して前記加工画像に付加する手段を備えたことを特徴とする立体画像処理装置。 A stereoscopic image processing apparatus that generates a single integrated image for stereoscopic viewing in which a plurality of viewpoint images are arranged, wherein the integrated image for stereoscopic viewing is superimposed on a non-central portion of the integrated image for stereoscopic viewing. Generating a processed image in which the other image is included, and generating location information that can be used to extract the entire integrated image portion for stereoscopic viewing in which the different image is not included from the processed image A stereoscopic image processing apparatus comprising means for adding to an image. 請求項７に記載の立体画像処理装置において、前記別画像は、前記立体視用統合画像が立体視用画像であることを示す文字及び記号の少なくとも一つからなる画像であることを特徴とする立体画像処理装置。   The stereoscopic image processing apparatus according to claim 7, wherein the another image is an image including at least one of a character and a symbol indicating that the stereoscopic integrated image is a stereoscopic image. Stereoscopic image processing device. 請求項７に記載の立体画像処理装置において、前記別画像は、前記立体視用統合画像における立体視法を示す文字及び記号の少なくとも一つからなる画像であることを特徴とする立体画像処理装置。   The stereoscopic image processing apparatus according to claim 7, wherein the another image is an image including at least one of a character and a symbol indicating a stereoscopic method in the integrated image for stereoscopic viewing. . 請求項６乃至請求項９のいずれかに記載の立体画像処理装置において、前記複数の視点画像が並んだ一枚の立体視用統合画像は、１組の右視点画像と左視点画像とが互いに横方向に並んだ一枚の立体視用統合画像であることを特徴とする立体画像処理装置。   10. The stereoscopic image processing apparatus according to claim 6, wherein one set of the right viewpoint image and the left viewpoint image of the one integrated image for stereoscopic viewing in which the plurality of viewpoint images are arranged are mutually connected. A stereoscopic image processing apparatus, wherein the stereoscopic image processing apparatus is a single integrated image for stereoscopic viewing arranged in a horizontal direction. コンピュータを、請求項６乃至請求項１０に記載の立体画像処理装置における前記手段として機能させるプログラム。   A program that causes a computer to function as the means in the stereoscopic image processing apparatus according to claim 6. 請求項１１に記載のプログラムが記録された、コンピュータが読み取り可能な記録媒体。   A computer-readable recording medium on which the program according to claim 11 is recorded. 受け取った画像を画像処理装置により処理する立体画像処理方法であって、受け取った画像に、複数の視点画像が並んだ一枚の立体視用統合画像に任意色及び任意模様の少なくとも一つからなるパディング領域を付加した加工画像であることを示す情報が付加されているとともに、前記加工画像から前記立体視用統合画像の全体を取り出すのに用いることができるロケーション情報が付加されている場合に、上記画像処理装置が記憶手段を用い前記ロケーション情報を用いて前記加工画像から前記立体視用統合画像の全体を取り出すことを特徴とする立体画像処理方法。 A stereoscopic image processing method for processing a received image by an image processing apparatus, wherein the received image includes at least one of an arbitrary color and an arbitrary pattern on a single integrated image for stereoscopic viewing in which a plurality of viewpoint images are arranged. When information indicating that it is a processed image to which a padding area is added is added, and location information that can be used to extract the entire stereoscopic integrated image from the processed image is added, A stereoscopic image processing method, wherein the image processing apparatus takes out the whole of the integrated image for stereoscopic viewing from the processed image using the location information using storage means. 受け取った画像を画像処理装置により処理する立体画像処理方法であって、受け取った画像に、複数の視点画像が並んだ一枚の立体視用統合画像の非中央部に別画像を重畳することによって前記立体視用統合画像内に前記別画像が内包される加工画像であることを示す情報が付加されているとともに、前記加工画像から前記別画像が内包されない立体視用統合画像部分の全体を取り出すのに用いることができるロケーション情報が付加されている場合に、上記画像処理装置が記憶手段を用い前記ロケーション情報を用いて前記加工画像から前記立体視用統合画像部分の全体を取り出すことを特徴とする立体画像処理方法。 A stereoscopic image processing method for processing a received image by an image processing apparatus, wherein a different image is superimposed on a non-central portion of a single integrated image for stereoscopic viewing in which a plurality of viewpoint images are arranged on the received image. Information indicating that the different image is included in the stereoscopic image is added to the integrated image for stereoscopic vision, and the entire integrated image portion for stereoscopic vision in which the different image is not included is extracted from the processed image. When the location information that can be used for this is added, the image processing apparatus uses the location information to extract the entire integrated image portion for stereoscopic viewing from the processed image using the location information. 3D image processing method. 請求項１３又は請求項１４に記載の立体画像処理方法において、前記複数の視点画像が並んだ一枚の立体視用統合画像は、１組の右視点画像と左視点画像とが互いに横方向に並んだ一枚の立体視用統合画像であることを特徴とする立体画像処理方法。   15. The stereoscopic image processing method according to claim 13 or 14, wherein one set of a right viewpoint image and a left viewpoint image are arranged in a horizontal direction with respect to one integrated image for stereoscopic viewing in which the plurality of viewpoint images are arranged. A stereoscopic image processing method, characterized in that the images are a single integrated image for stereoscopic viewing. 請求項１３乃至請求項１５のいずれかに記載の立体画像処理方法において、前記取り出した立体視用統合画像又は立体視用統合画像部分の各視点画像を用いて立体画像を生成することを特徴とする立体画像処理方法。   16. The stereoscopic image processing method according to claim 13, wherein a stereoscopic image is generated using each viewpoint image of the extracted stereoscopic integrated image or stereoscopic integrated image portion. 3D image processing method. 請求項１３乃至請求項１５のいずれかに記載の立体画像処理方法において、前記取り出した立体視用統合画像又は立体視用統合画像部分の各視点画像をそれぞれ表示又はプリントアウトすることを特徴とする立体画像処理方法。   The stereoscopic image processing method according to any one of claims 13 to 15, wherein each viewpoint image of the extracted integrated image for stereoscopic viewing or the integrated image portion for stereoscopic viewing is displayed or printed out. Stereoscopic image processing method. 受け取った画像を処理する立体画像処理装置において、受け取った画像に、複数の視点画像が並んだ一枚の立体視用統合画像に任意色及び任意模様の少なくとも一つからなるパディング領域を付加した加工画像であることを示す情報が付加されているとともに、前記加工画像から前記立体視用統合画像の全体を取り出すのに用いることができるロケーション情報が付加されている場合に、前記ロケーション情報を用いて前記加工画像から前記立体視用統合画像の全体を取り出す手段を備えたことを特徴とする立体画像処理装置。 In a stereoscopic image processing apparatus that processes a received image, a process in which a padding area including at least one of an arbitrary color and an arbitrary pattern is added to a single integrated image for stereoscopic viewing in which a plurality of viewpoint images are arranged in the received image When information indicating that the image is an image and location information that can be used for extracting the entire stereoscopic image from the processed image is added, the location information is used. A stereoscopic image processing apparatus, comprising: means for extracting the entire stereoscopic integrated image from the processed image. 受け取った画像を処理する立体画像処理装置において、受け取った画像に、複数の視点画像が並んだ一枚の立体視用統合画像の非中央部に別画像を重畳することによって前記立体視用統合画像内に前記別画像が内包される加工画像であることを示す情報が付加されているとともに、前記加工画像から前記別画像が内包されない立体視用統合画像部分の全体を取り出すのに用いることができるロケーション情報が付加されている場合に、前記ロケーション情報を用いて前記加工画像から前記立体視用統合画像部分の全体を取り出す手段を備えたことを特徴とする立体画像処理装置。 In the stereoscopic image processing apparatus that processes the received image, the stereoscopic image is integrated by superimposing another image on the non-center portion of the single integrated image for stereoscopic viewing in which a plurality of viewpoint images are arranged on the received image. Information indicating that the different image is included in the processed image is added, and can be used to extract the entire stereoscopic integrated image portion in which the different image is not included from the processed image. A stereoscopic image processing apparatus comprising: means for extracting the entire integrated image portion for stereoscopic viewing from the processed image using the location information when location information is added. 請求項１８又は請求項１９に記載の立体画像処理装置において、前記複数の視点画像が並んだ一枚の立体視用統合画像は、１組の右視点画像と左視点画像とが互いに横方向に並んだ一枚の立体視用統合画像であることを特徴とする立体画像処理装置。   20. The stereoscopic image processing apparatus according to claim 18 or 19, wherein one set of the right viewpoint image and the left viewpoint image are in a horizontal direction with respect to one integrated image for stereoscopic viewing in which the plurality of viewpoint images are arranged. A stereoscopic image processing apparatus, wherein the stereoscopic image processing apparatuses are a single integrated image for stereoscopic viewing. 請求項１８乃至請求項２０のいずれかに記載の立体画像処理装置において、前記取り出した立体視用統合画像又は立体視用統合画像部分の各視点画像を用いて立体画像を生成することを特徴とする立体画像処理装置。   21. The stereoscopic image processing apparatus according to claim 18, wherein a stereoscopic image is generated by using each viewpoint image of the extracted integrated image for stereoscopic viewing or the integrated image portion for stereoscopic viewing. 3D image processing apparatus. 請求項１８乃至請求項２０のいずれかに記載の立体画像処理装置において、前記取り出した立体視用統合画像又は立体視用統合画像部分の各視点画像をそれぞれ表示又はプリントアウトすることを特徴とする立体画像処理装置。   21. The stereoscopic image processing apparatus according to claim 18, wherein each viewpoint image of the extracted stereoscopic integrated image or stereoscopic integrated image portion is displayed or printed out. Stereoscopic image processing device. コンピュータを、請求項１８乃至請求項２２のいずれかに記載の立体画像処理装置における前記手段として機能させるプログラム。   A program that causes a computer to function as the means in the stereoscopic image processing apparatus according to any one of claims 18 to 22. 請求項２３に記載のプログラムが記録された、コンピュータが読み取り可能な記録媒体。   A computer-readable recording medium on which the program according to claim 23 is recorded.
JP2005196460A 2005-07-05 2005-07-05 Stereoscopic image processing method, stereoscopic image processing apparatus, program, and recording medium storing program Expired - Fee Related JP4698307B2 (en)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2005196460A JP4698307B2 (en) 2005-07-05 2005-07-05 Stereoscopic image processing method, stereoscopic image processing apparatus, program, and recording medium storing program
CN2006800239995A CN101238490B (en) 2005-07-05 2006-07-04 Stereoscopic image processing method, stereoscopic image processor
PCT/JP2006/313281 WO2007004633A1 (en) 2005-07-05 2006-07-04 3-d image processing method and 3-d image processing device and program and program-stored recording medium
KR1020087000300A KR101005998B1 (en) 2005-07-05 2006-07-04 3-d image processing method and 3-d image processing device and program-stored recording medium
EP06767812A EP1901236A4 (en) 2005-07-05 2006-07-04 3-d image processing method and 3-d image processing device and program and program-stored recording medium
US11/988,032 US8217991B2 (en) 2005-07-05 2006-07-04 Method, device and program for processing stereoscopic images and recording medium storing the program
CN2010105415544A CN102005063B (en) 2005-07-05 2006-07-04 3-D image processing method and 3-D image processing device and program and program-stored recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005196460A JP4698307B2 (en) 2005-07-05 2005-07-05 Stereoscopic image processing method, stereoscopic image processing apparatus, program, and recording medium storing program

Publications (2)

Publication Number Publication Date
JP2007018078A JP2007018078A (en) 2007-01-25
JP4698307B2 true JP4698307B2 (en) 2011-06-08

Family

ID=37755218

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005196460A Expired - Fee Related JP4698307B2 (en) 2005-07-05 2005-07-05 Stereoscopic image processing method, stereoscopic image processing apparatus, program, and recording medium storing program

Country Status (2)

Country Link
JP (1) JP4698307B2 (en)
CN (1) CN101238490B (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2010032403A1 (en) * 2008-09-18 2012-02-02 パナソニック株式会社 Playback apparatus, playback method, and playback program for stereoscopic playback of video content
US9521395B2 (en) 2011-10-04 2016-12-13 Canon Kabushiki Kaisha Imaging apparatus and method for controlling same
CN102848786B (en) * 2012-07-20 2015-09-16 中国科学院上海光学精密机械研究所 Three-dimensional identity card and preparation method thereof

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002218501A (en) * 2001-01-18 2002-08-02 Olympus Optical Co Ltd Image pickup device
JP2004208255A (en) * 2002-09-27 2004-07-22 Sharp Corp Stereoscopic image display device, recording method, and transmission method
JP2004274253A (en) * 2003-03-06 2004-09-30 Sharp Corp Video recorder and video transmitter
JP2004343549A (en) * 2003-05-16 2004-12-02 Sharp Corp Image recorder and image recording method
JP2004356997A (en) * 2003-05-29 2004-12-16 Fuji Photo Film Co Ltd Device, method and program for managing stereoscopic view image
JP2005130313A (en) * 2003-10-24 2005-05-19 Sony Corp Stereoscopic vision image processing device
JP2005311985A (en) * 2004-04-26 2005-11-04 Olympus Corp Apparatus and method for image processing, image modification/editing, and image file reproducing
JP2006303937A (en) * 2005-04-21 2006-11-02 Matsushita Electric Ind Co Ltd Image display, image displaying method and program for executng the same

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050149819A1 (en) * 2003-12-15 2005-07-07 Daewoo Electronics Corporation Three-dimensional error correction method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002218501A (en) * 2001-01-18 2002-08-02 Olympus Optical Co Ltd Image pickup device
JP2004208255A (en) * 2002-09-27 2004-07-22 Sharp Corp Stereoscopic image display device, recording method, and transmission method
JP2004274253A (en) * 2003-03-06 2004-09-30 Sharp Corp Video recorder and video transmitter
JP2004343549A (en) * 2003-05-16 2004-12-02 Sharp Corp Image recorder and image recording method
JP2004356997A (en) * 2003-05-29 2004-12-16 Fuji Photo Film Co Ltd Device, method and program for managing stereoscopic view image
JP2005130313A (en) * 2003-10-24 2005-05-19 Sony Corp Stereoscopic vision image processing device
JP2005311985A (en) * 2004-04-26 2005-11-04 Olympus Corp Apparatus and method for image processing, image modification/editing, and image file reproducing
JP2006303937A (en) * 2005-04-21 2006-11-02 Matsushita Electric Ind Co Ltd Image display, image displaying method and program for executng the same

Also Published As

Publication number Publication date
CN101238490A (en) 2008-08-06
JP2007018078A (en) 2007-01-25
CN101238490B (en) 2011-03-23

Similar Documents

Publication Publication Date Title
KR101005998B1 (en) 3-d image processing method and 3-d image processing device and program-stored recording medium
EP2603834B1 (en) Method for forming images
US9341935B2 (en) Image capturing device
EP2285126B1 (en) 3D image display apparatus and 3D image display method
JP2007028296A (en) Image output apparatus and program
WO2011125461A1 (en) Image generation device, method, and printer
US20130162764A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable medium
JP4529556B2 (en) Electronic device for generating stereoscopic image file, electronic device for generating three-dimensional image data, image file generation method, three-dimensional image data generation method, and file structure of image file
EP2469876B1 (en) Stereoscopic image display control apparatus and operation control method of the same
JP2013055565A (en) Video signal processing apparatus and video signal processing method
JP4698307B2 (en) Stereoscopic image processing method, stereoscopic image processing apparatus, program, and recording medium storing program
JP5310638B2 (en) Electronic device, printer, image file generation method, image data reading method
JP4887461B2 (en) 3D image pickup apparatus and 3D image display method
JP4688590B2 (en) Stereoscopic image processing method, stereoscopic image processing apparatus, program, and recording medium storing program
JP2014155126A (en) Display device, display method, and program
JP2005164832A (en) Method and device for generating stereoscopic image and program
JP2012160058A (en) Image processor, stereoscopic image printing system, image processing method and program
JP2013070153A (en) Imaging apparatus
JP2018207230A (en) Information processing apparatus, control method, and program
JP5604173B2 (en) Playback device, display device, recording device, and storage medium
JP2006345134A (en) Digital camera
JP2005072674A (en) Three-dimensional image generating apparatus and three-dimensional image generating system
JP2012138669A (en) Image processing apparatus
JP2006128899A (en) Imaging apparatus
JP2019009747A (en) Image processing system, image processing method and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100817

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101124

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110301

R150 Certificate of patent or registration of utility model

Ref document number: 4698307

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees