JP2004343549A - 画像記録装置および画像記録方法 - Google Patents
画像記録装置および画像記録方法 Download PDFInfo
- Publication number
- JP2004343549A JP2004343549A JP2003139349A JP2003139349A JP2004343549A JP 2004343549 A JP2004343549 A JP 2004343549A JP 2003139349 A JP2003139349 A JP 2003139349A JP 2003139349 A JP2003139349 A JP 2003139349A JP 2004343549 A JP2004343549 A JP 2004343549A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- determining
- recording
- recording apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/139—Format conversion, e.g. of frame-rate or size
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
- Television Signal Processing For Recording (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
【課題】既存のプリンタやプリントサービスにおいて、適切に立体視できる画像データをプリントできるようにし、それ以外の画像データは利用者の意図に反してプリントされることのないように画像データを記録することのできるようにする。
【解決手段】画像形態判別部１０３により画像データの構成を示すパラメータから画像データの形態を判別し、判別結果に応じて画像変更部１０１により画像に変更を加え、さらに記録部１０６においてファイルに記録する際の拡張子を決定する。
【選択図】 図１
【解決手段】画像形態判別部１０３により画像データの構成を示すパラメータから画像データの形態を判別し、判別結果に応じて画像変更部１０１により画像に変更を加え、さらに記録部１０６においてファイルに記録する際の拡張子を決定する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、両眼視差を利用した３次元画像を撮影して記録媒体に記録する画像記録装置および画像記録方法に関するものである。
【０００２】
【従来の技術】
近年、１００万画素以上の解像度を持った、いわゆるメガピクセルのＣＣＤを備えることにより、高品質の画像データを簡単に撮影することが可能なデジタルカメラが普及している。その結果、銀塩フィルム式のカメラと同じ品質で、デジタルデータとして記録された画像データをプリントすることが可能となり、画像データから高品質な画像プリントを提供するプリントサービスが普及しつつある。
【０００３】
一方、被写体に対して視差を持った複数視点の画像を左右の眼で別々に見ることにより、撮影された被写体を立体的に見ることができることが知られている（以下、このような画像をステレオ画像と呼ぶ。またステレオ画像を構成する各視点の画像を視点画像と呼ぶ）。ステレオ画像を撮影するための手段としては、一般的な単眼カメラに視点の異なる複数の被写体像を形成するステレオアダプタを装着して１画面に視差のある複数の画像を撮影する方法や、２台以上のカメラを用いて異なる視点から被写体を撮影することで視差のある複数の画像を撮影するということが行われている。
【０００４】
図１０は、ステレオアダプタを装着した際の撮影画像を説明するための図である。図１０（ａ）はステレオアダプタを装着しない状態で撮影した画像であり、図１０（ｂ）は、画角が１／２になるタイプのステレオアダプタを装着して撮影した画像を、図１０（ｃ）は、画角は変化せず、撮影できる範囲が狭くなるタイプのステレオアダプタを装着して撮影した画像を示す。ステレオアダプタを装着した場合、一般に左側に左眼画像が、右側に右眼画像が映され、画面の大きさはステレオアダプタを装着する前と変わらない。
【０００５】
このようにして撮影された画像は、左眼画像を左眼のみで、右眼画像を右眼のみで見ることで立体視することができる。両眼視差を利用して立体視を実現する代表的な方式の１つとしてパララクスバリア方式が提案されている。図１１は、パララクスバリア方式を説明するための図である。図１１（ａ）は、視差が生じる原理を示す図である。図１１（ｂ）は、パララクスバリア方式で表示される画面の表示形式を示す図であり、左眼画像と右眼画像が水平方向１画素おきに交互にならんだ形に配置されている。
【０００６】
図１１（ａ）では、図１１（ｂ）に示すような画像を、画像表示パネル７０１に表示し、同一視点の画素の間隔よりも狭い間隔でスリットを持つパララクスバリア７０２を画像表示パネル７０１の前面に置くことにより、左眼画像は左眼７０３だけで、右眼画像は右眼７０４だけで観察することになり、立体視を行うことができる。
【０００７】
ところで、このように特別な立体視用の装置を用いなくとも、左右に隣接した画像をプリントし、左右の画像をそれぞれ別々の目で観察することで立体視することも可能である。
【０００８】
【発明が解決しようとする課題】
しかしながら、上記従来のプリントサービスは、単眼の画像が最適にプリントされるようになっており、ステレオ画像をプリントする場合が考慮されていない。したがって、プリント用紙のサイズが限定されているために、ステレオ画像の形態によっては画像データの一部分しか印刷されないという問題がある。例えば、２台のカメラを用いて被写体を撮影した２つの画像が、それぞれ図１０（ａ）に示した画像と同じサイズとなる場合、左右の画像を隣接させた画像は、図１２（ａ）に示すように水平方向のサイズが２倍となる。この画像データを単眼の画像と同じ用紙サイズでプリントした場合、図１２（ｂ）に示すように画像の一部のみが印刷される状態となる。利用者がステレオ画像をプリントすることを意図していたとすると、意図した画像からはほど遠い結果が得られ、無駄なコストを発生させてしまう。用紙を選択したり、画像を縮小して印刷することで画像データ全体を印刷することも可能であるが、プリントサービスの提供者により対応が異なったり、画像データごとにプリントサービスの利用者が指定しなければならないため煩雑である。
【０００９】
また、視点数が多い場合や、ステレオ画像の各視点画像に各視点画像単位での回転（以下、視点画像ごとの回転と呼ぶ）などの編集が施されている場合には、特別な立体視用の装置を用いなければ立体視を行うことのできない状態でプリントされてしまうため、無駄なコストが発生してしまう。
【００１０】
本発明は、上記の問題点に鑑みてなされたものであり、既存のプリンタやプリントサービスにおいて、適切に立体視できる画像データをプリントできるようにし、それ以外の画像データは利用者の意図に反してプリントされることのないように画像データを記録することのできる画像記録装置および画像記録方法を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記目的を達成するために、本発明は、Ｎ個（Ｎは自然数）の視点に対応する画像を含む画像データを記録する画像記録装置において、前記画像データの構造を示すパラメータに基づいて前記画像データの形態を判別する形態判別手段と、前記形態判別手段の判別結果に応じて前記画像データを記録するファイルの識別情報を変更する記録手段とを備えることで、上記の目的を達成する。
より好ましくは、前記形態判別手段は、前記画像データについて、裸眼による立体視が可能な形態とそれ以外の形態を判別することを特徴とする。
【００１２】
また本発明は、上記目的を達成するために、Ｎ個（Ｎは自然数）の視点に対応する画像を含む画像データを記録する画像記録装置において、前記画像データの構造を示すパラメータに基づいて前記画像データの形態を判別する形態判別手段と、前記形態判別手段の判別結果に応じて前記画像データに変更を施す画像変更手段を備えることで、上記の目的を達成する。
より好ましくは、前記形態判別手段は、前記画像データについて、前記画像データの水平方向のサイズと垂直方向のサイズの比が所定の条件を満たす形態とそれ以外の形態を判別することを特徴とする。
【００１３】
また本発明は、さらに、少なくとも前記画像データと前記パラメータを所定の形式で多重化する多重化手段を備えることで、上記の目的を達成する。
【００１４】
また本発明は、Ｎ個（Ｎは自然数）の視点に対応する画像を含む画像データを記録する画像記録装置において、前記画像データの構造を示すパラメータに基づいて前記画像データの形態を判別する形態判別手段と、前記画像データを所定の方式で符号化する符号化手段と、少なくとも前記符号化手段により符号化された符号化画像データと前記パラメータを所定の形式で多重化する多重化手段とを備え、前記多重化手段は形態判別手段の判別結果に応じて前記符号化画像データに所定の変換処理を施すことで、上記の目的を達成する。
より好ましくは、前記形態判別手段は、前記画像データについて、Ｎが２以上の形態とそれ以外の形態を判別することを特徴とする。
【００１５】
また本発明は、Ｎ個（Ｎは自然数）の視点に対応する画像を含む画像データを記録する画像記録方法において、前記画像データの構造を示すパラメータに基づいて前記画像データの形態を判別する形態判別ステップと、前記形態判別ステップの判別結果に応じて前記画像データを記録するファイルの拡張子を変更するステップとを持つことで、上記の目的を達成する。
より好ましくは、前記形態判別手段は、前記画像データについて、裸眼による立体視が可能な形態とそれ以外の形態を判別することを特徴とする。
【００１６】
また本発明は、Ｎ個（Ｎは自然数）の視点に対応する画像を含む画像データを記録する画像記録方法において、前記画像データの構造を示すパラメータに基づいて前記画像データの形態を判別する形態判別ステップと、前記判別結果に応じて前記画像データに変更を施す画像変更ステップを持つことで、上記の目的を達成する。
より好ましくは、前記形態判別手段は、前記画像データについて、前記画像データの水平方向のサイズと垂直方向のサイズの比が所定の条件を満たす形態とそれ以外の形態を判別することを特徴とする。
【００１７】
また本発明は、さらに、少なくとも前記画像データと前記パラメータを所定の形式で多重化するステップを持つことで、上記の目的を達成する。
【００１８】
また本発明は、Ｎ個（Ｎは自然数）の視点に対応する画像を含む画像データを記録する画像記録方法において、前記画像データの構造を示すパラメータに基づいて前記画像データの形態を判別する形態判別ステップと、前記画像データを所定の方式で符号化するステップと、少なくとも符号化された符号化画像データと前記パラメータを所定の形式で多重化するステップと、前記形態判別ステップの判別結果に応じて前記符号化画像データに所定の変換処理を施すステップとを持つことで、上記の目的を達成する。
より好ましくは、前記形態判別手段は、前記画像データについて、Ｎが２以上の形態とそれ以外の形態を判別することを特徴とする。
【００１９】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。図１は本発明における画像記録装置の構成例を示すブロック図である。図１において、１００は画像データとそれに付随するパラメータを入力として記録データを作成し、記録媒体に記録する画像記録装置である。
【００２０】
ここで入力される画像データは、単眼カメラにステレオアダプタを装着した場合や、複数のカメラを使用する場合など、入力系によって形態が異なるが、いずれの場合も図１０（ｂ）、図１０（ｃ）、図１２（ａ）で示したように各視点画像が隣接された状態の画像データが、デジタル形式で入力されるものとする。また、パラメータは画像データを３次元表示するために必要な情報であり、画像サイズ（画像データの水平方向の画素数および水平方向のライン数で表す）、水平方向および垂直方向の視点数、視点画像の縮小率、画像配置（各視点画像の配置の仕方を示し、水平方向に隣接させた水平配置と垂直方向に隣接させた垂直配置、格子状に隣接させた格子状配置がある）など画像の構造に関する情報を含むものとする。画像データとパラメータは１対１で対応しており、画像データの入力系が変更されれば、基本的にはパラメータも変更される。
【００２１】
図１に示すように画像記録装置１００は、画像変更部１０１、入力された画像データを格納する画像格納部１０２、画像形態判別部１０３、所定の方式で画像データを符号化して符号化データを出力する符号化部１０４、符号化データを一時的に格納する符号化データ格納部１０５、符号化データを記録するデータ記録部１０６から構成される。
【００２２】
画像形態判別部１０３は、入力されたパラメータにより、画像データをプリントした際に以下の形態Ａ、形態Ｂ、形態Ｃのいずれに当てはまるかの判別を行う。
【００２３】
形態Ａ：入力された状態で全体がプリントされ、特別な立体視用の装置を用いなくとも立体視が可能なもの
形態Ｂ：画像全体がプリントされるとは限らないが、原理的には特別な立体視用の装置を用いなくとも立体視が可能なもの
形態Ｃ：原理的に特別な立体視用の装置を用いないと立体視が不可能なもの
【００２４】
符号化部１０４は、所定の符号化方式を用いて画像データを符号化する。ここでは、静止画像の符号化方式の国際標準であるＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式を用いるものとする。
【００２５】
記録部１０６は、ＦＡＴ（Ｆｉｌｅ Ａｌｌｏｃａｔｉｏｎ Ｔａｂｌｅ）などのファイルシステムを使用して、記録データをファイルとして記録媒体に記録するものとする。
【００２６】
以上のように構成された画像記録装置１００について、図２を参照しながら、その動作を説明する。
図２は、本発明の実施の形態による画像記録装置の処理の流れを示す図である。
【００２７】
画像記録装置１００は画像データとパラメータの入力を受け付ける（ＳＴ１００）。入力された画像データは画像格納部１０２に格納され、パラメータは画像形態判別部１０３に入力される。
【００２８】
画像形態判別部１０３は、入力されたパラメータに基づいて、次の２つの判別を行う。まず、入力された画像データをプリントした際に、立体視のためのメガネ等を使用せずに裸眼による立体視が原理的に可能であるか否かを決定する（ＳＴ１０１）。ここでは、画像データの構成として視点数が２で、視点画像が水平方向に隣接されており、なおかつ視点画像ごとの回転などの編集が施されていない場合、裸眼による立体視が可能であるためプリント可とし、それ以外の場合にはプリント不可とする。すなわち入力されたパラメータのうち、水平方向の視点数が２、垂直方向の視点数が１、かつ画像結合が水平配置の場合をプリント可と決定し、それ以外の場合をプリント不可（形態Ｃである）と決定する。なお、この判別結果は、プリント可否情報として記憶部１０６に対して出力される。
【００２９】
プリント可の場合、次のステップＳＴ１０３が実行され、プリント不可の場合、ステップＳＴ１０６が実行される（ＳＴ１０２）。ステップＳＴ１０３では、画像形態判別部１０３は画像データのサイズの縦横比を算出する。ここで縦横比＝１ライン当りの画素数／ライン数である。
【００３０】
次いで、縦横比を所定の閾値と比較し、画像変更の要否を判定する（ＳＴ１０４）。ステップＳＴ１０４において、縦横比が所定の閾値よりも小さい場合には、従来の単眼画像のプリントの範囲でステレオ画像がプリント可能である（形態Ａ、画像変更の要否＝不要）ので、ステップＳＴ１０６に進む。縦横比が所定の閾値以上の場合には、図１２（ａ）に示したように原理的には裸眼による立体視が可能であるが、従来のプリントシステム等では画像全体がプリントされるとは限らない（形態Ｂ、画像変更の要否＝要）。したがって次のステップＳＴ１０５で画像データに変更を加える。ここでは、標準的に用いられているプリント用紙のサイズ比（横：縦）がほぼ４：３であることから、閾値に１．４を用いるものとする。ただし、この値は一般的に流通する用紙のサイズ比によって変更されるべきものであり、本発明はこの値を限定するものではない。また、画像変更の要否を決定する条件は上記以外でもよく、縦横比が所定の閾値よりも大きい場合に形態Ａとなるようにしてもよく、縦横比が所定の参照値と一致する場合に形態Ａとなるようにしてもよく、参照値と縦横比の差が所定の範囲内である場合に形態Ａとなるようにしてもよい。
なお、画像変更の要否が画像変更部１０１に対して出力される。
【００３１】
ステップＳＴ１０５では、画像変更部１０１は、画像形態判別部１０３から入力された画像変更の要否が要である場合に、画像格納部１０２から画像データを読み出し、上記の判定条件により形態Ａと判定されるように、画像データを変更する。ここでは元の画像データに影響を与えないようにするために、画像に所定の画像データを付け加えるものとする。以下、付け加えられる画像を付加画像、そのデータを付加画像データと呼ぶ。ここで付加画像は、所定の色による塗りつぶしや特定のパターンであってもよいし、それ以外の任意の画像であって構わない。
【００３２】
図３は、このときの変更を説明するための図である。３０１は入力された画像データであり、そのサイズが１２８０画素×４８０ライン（縦横比≒２．６７）であるとする。この画像データ３０１の上下にそれぞれ３０２および３０３で示す画像を付け加えて、全体の画像サイズを１２８０画素×９６０ライン（縦横比≒１．３３）とする。縦横比が前記閾値よりも小さくなるので、従来のプリントシステム等により画像データの全体がプリントされるようになる。変更後の画像データは、再び画像データ格納部１０２に格納される。なお、この例では、付加画像は画像の上下に付け加えられているが、画像の上のみでもよいし、画像の下のみであってもよい。
【００３３】
なお、画像の変更方法は、上記の判定条件により形態Ａと判定されるようにするならばこの他の方法でもよく、例えば画像を水平方向に縮小してもよい（例えば１２８０画素×４８０ラインを６４０画素×４８０ラインに変更する）。
【００３４】
また、画像の変更方法として次のようにしてもよい。すなわち、視点画像を垂直に２等分した分割画像を並べ替えて、プリントしたい分割画像を画像の中央に配置する。このときの変更結果を図４に示す。図４（ａ）は変更前の画像を示しており、４０１は左眼画像を２等分した左半分、４０２は同じく右半分、４０３は右眼画像を２等分した左半分、４０３は同じく右半分である。これらの分割画像を並べ替えた画像が図４（ｂ）および図４（ｃ）である。図４（ｂ）は左眼画像（４０１および４０２）が中央になるように分割画像を配置した例を示しており、プリントした際に主に左眼画像の部分が得られることを目的としている。また、図４（ｃ）は左眼画像の右半分４０２と右眼画像の右半分４０４を中央に配置した例を示しており、プリントした際に４０２と４０４で立体視できることを目的としている。
【００３５】
なお、立体視の方法には交差法と平行法があり、交差法においては向かって左側に右眼画像がプリントされ、向かって右側に左眼画像がプリントされていなければ立体視することができない。逆に平行法では交差法においては向かって左側に左眼画像がプリントされ、向かって右側に右眼画像がプリントされていなければ立体視することができない。プリントされた画像がいずれの方法により立体視可能であるかを示すために、画像データ（例えば視点画像内やその周辺の付加画像）に視点を示す情報（例えば、左眼画像にはＬの文字、右眼画像にはＲの文字）を付け加えてもよい。
【００３６】
図２のステップＳＴ１０６では、符号化部１０４は、画像データ格納部１０２から画像データを読み出して、画像データを符号化し、符号化データを符号化データ格納部１０５に出力する。
【００３７】
記録部１０６は、画像形態判別部１０３から入力されたプリント可否情報に応じて、ファイル名に付加される拡張子を決定する（ＳＴ１０７）。拡張子は一般にファイルの種別を示すために使用されるものであり、例えばＪＰＥＧ方式で符号化された画像データを記録するファイルには“ＪＰＧ”という拡張子が用いられている。既存のプリントサービス等では画像ファイルであることを示す拡張子を持つファイルを選択できるようになっているため、プリント可の場合には従来と同様“ＪＰＧ”という拡張子を付ける。一方、プリント不可のファイルには従来画像ファイルとは対応付けられていない新規の拡張子を付ける。
次いで記録部１０６は符号化データ格納部１０５から符号化データを読み出して、ファイルに記録する（ＳＴ１０８）。
【００３８】
図５はＤＣＦ（Ｄｅｓｉｇｎ ｒｕｌｅ ｆｏｒ Ｃａｍｅｒａ Ｆｉｌｅｓｙｓｔｅｍ）規格に基づく画像ファイルの管理構造の例を示す図である。５００はルートディレクトリ、５０１はＤＣＦイメージルートディレクトリ（ＤＣＩＭディレクトリ）、５０２はＤＣＦディレクトリであり、図５に示すように階層的に構成される。ＤＣＦディレクトリ５０２の直下に画像データを記録したファイルが存在する。拡張子が“ＪＰＧ”であるファイル（５０３、５０４および５０７）はＤＣＦ基本ファイルとして扱われ、従来のプリントサービスにより画像ファイルとして認識される。一方、拡張子が“ＴＤＪ”のファイルは、ＤＣＦ拡張ファイルとして扱われ、既存のプリントサービスでは画像ファイルとして認識されないため、プリントされることはない。
【００３９】
なお、記録部１０６は、プリント可否情報により拡張子を決定するようにしているが、画像データを記録するディレクトリを変更するようにしてもよい。ルートディレクトリ５００の下にＤＣＩＭディレクトリ５０１とは異なるディレクトリを作成し、そのディレクトリの下にファイルを記録することで、同様の効果が得られる。
【００４０】
または、プリント可否情報がプリント不可の場合には、画像データを各視点の画像データに分割して、それぞれ別々のファイルに記録するようにしてもよい。ＤＣＦ規格の場合には、１つの視点画像データの拡張子を“ＪＰＧ”とし、それ以外の視点画像データは“ＪＰＧ”以外の拡張子とし、ファイル名の命名規則に準じて、各視点画像データの対応関係はファイル番号で示すようにする。このときの例をに示す。図６においてファイル６１０とファイル６１１は、総視点数が２である１組のステレオ画像であり、ファイル６１０は拡張子が“ＪＰＧ”のＤＣＦ基本ファイルであり、ファイル６１１は拡張子が“ＴＤＪ”のＤＣＦ拡張ファイルであり、両者を合わせてＤＣＦオブジェクトが構成される。
【００４１】
総視点数が３以上のステレオ画像の場合には、ファイル６１２、ファイル６１３、ファイル６１４のように、１つのファイルを拡張子が“ＪＰＧ”のＤＣＦ基本ファイルとし、他のファイルを拡張子が“ＴＤＪ”のＤＣＦ拡張ファイルとし、ファイル名により視点画像間の対応関係を表すようにしてもよい。あるいは、上記の視点画像間の対応関係を表すために、拡張子を使用してもよい。例えば、３視点の場合、ＤＣＦ基本ファイルの拡張子を“ＪＰＧ”、残りの視点画像ファイルの拡張子を“ＪＰ２”、“ＪＰ３”などとしても構わない。
【００４２】
さらに、画像形態判別部１０３は、画像データの総視点数が２以上の場合にプリント不可としてもよい。上記の例では、ステレオ画像の場合には拡張子“ＪＰＧ”の代わりに拡張子“ＴＤＪ”が使用される。
【００４３】
また、上記の実施の形態においては、図２のステップＳＴ１０４において所定の閾値よりも小さい場合には、画像変更は不要であると判定している。ところが、縦横比が１よりも小さい場合、プリントシステムによってはプリント時にステレオ画像全体が９０°回転されてプリントされ、この場合のプリント結果も図１２（ｂ）に示した場合と同様に、画像の一部がプリントされない場合がある。
【００４４】
したがって、ステップＳＴ１０４における画像変更の要否の判定条件を次のように変更してもよい。すなわち、縦横比が第１の閾値よりも小さく、かつ第２の閾値よりも大きい場合に、形態Ａ（画像変更の要否＝不要）としてステップＳＴ１０６に進み、それ以外の場合には形態Ｂ（画像変更の要否＝要）として、ステップＳＴ１０５に進むようにする。ここでは、第１の閾値を１．４とし、第２の閾値を０．７とする。ただし、この値は一般的に流通する用紙のサイズ比によって変更されるべきものであり、本発明はこの値を限定するものではない。
【００４５】
このときステップＳＴ１０５では、画像変更部１０１は、画像形態判別部１０３から入力された画像変更の要否が要であれば、前述のように画像格納部１０２から画像データを読み出し、画像データの上、または下、または上下あるいは左、または右、または左右に所定の付加画像を付け加えて、上記の判定条件により形態Ａと判定されるように画像データを変更する。
【００４６】
また、画像変更の要否を決定する条件は上記以外でもよく、縦横比を１つ以上の所定の参照値と比較して、値の一致するものがある場合に形態Ａとなるようにしてもよく、縦横比の差が所定の範囲内である参照値が存在する場合に形態Ａとなるようにしてもよい。
【００４７】
または、ユーザ指定により縦横比を入力するようにして、指定された縦横比になるように入力された画像データに変更を加えるようにしてもよい。この場合、ステップＳＴ１０４における画像変更の要否の判定条件を次のように変更してもよい。すなわち、ＳＴ１０３において算出された縦横比が、ユーザ指定の縦横比と一致する場合には、形態Ａ（画像変更の要否＝不要）としてステップＳＴ１０６に進み、算出された縦横比が、ユーザ指定の縦横比と異なる場合には形態Ｂ（画像変更の要否＝要）として、ステップＳＴ１０５に進むようにする。ステップＳＴ１０５では、画像変更部１０１は、画像形態判別部１０３から入力された画像変更の要否が要であれば、前述のように画像格納部１０２から画像データを読み出し、画像データの上、または下、または上下あるいは左、または右、または左右に所定の付加画像を付け加えることで、縦横比がユーザ指定の縦横比と等しくなるように画像データを変更する。また、上記のユーザ指定による縦横比は複数指定することが可能であってもよく、例えば、画像が横長のサイズである（算出された縦横比が１より大きい）場合と、画像が縦長のサイズである（算出された縦横比が１より小さい）場合と、画像が正方形のサイズ（算出された縦横比が１）である場合と、それぞれの場合で使用される縦横比を使い分けるようにしてもよい。
【００４８】
また、上記の実施の形態はステレオ画像について適用しているが、通常の単眼画像に対して適用することも可能である。この場合には形態Ｃと判別されることはないが、パノラマ画像など画像の縦横比によっては形態Ｂと判別され、画像変更部１０１によりステレオ画像と同様に変更される。
【００４９】
以上のようにして、裸眼による立体視が原理的に可能な画像データは、既存のプリントサービス等でプリントできるように記録し、それ以外の画像データは、プリントされないように記録することで、プリントサービスの利用者が画像データごとにプリント用紙の指定をする必要をなくし、またステレオ画像を立体視できない状態でプリントするという無駄なコストを発生させなくすることが可能となる。
【００５０】
図７は本発明における画像記録装置のもう１つ別の構成例を示すブロック図である。図１と異なる点は、パラメータと符号化データとを所定のフォーマットに多重化する多重化部１０７を備える点である。
【００５１】
図８に、このときのフォーマットの例を示す。図８では、記録データは図の上から下に向かう順となるように記録されるものとする。図８に示すように、パラメータは、従来のファイル形式に用意されているヘッダ部を拡張する仕組みを用いて、既存のヘッダ部の一部として記録されるものとする。ここでは、拡張されたヘッダを拡張ヘッダと呼ぶ。例えば、符号化方式がＪＰＥＧの場合、ファイルヘッダはアプリケーションデータセグメントを指し、新たなアプリケーションデータセグメントを定義してパラメータを記録する。
【００５２】
画像データを３次元画像として表示する際に、拡張ヘッダに記録されたパラメータを参照することで画像データの形態に関する情報が得られ、前述のパララクスバリア方式のような特定の表示方式に適合するように画像データを処理することができるようになる。したがって、画像データを既存のファイル形式と互換性を保ったまま、記録した画像に汎用性を持たせることができる。
【００５３】
図９は本発明における画像記録装置のさらに別の構成例を示すブロック図である。図１との異なる点は、パラメータと符号化データとを所定のフォーマットに多重化する多重化部１０８と記録部１０９を備える点である。
【００５４】
図９において多重化部１０８は、画像形態判別部１０３から入力されたプリント可否情報がプリント不可を示す場合、既存のプリントシステムでプリントできないようにするために、符号化データを多重化する際に、符号化データに可逆的な変換を施すものである。ここで使用する変換方式は、例えばデータ圧縮方式でもよいし、データの並べ替えや置換でもよい。さらに、ファイルの拡張ヘッダにパラメータに加えてプリント可否情報（プリント不可である情報）を記録する。記録部１０９は図２のステップＳＴ１０７のような拡張子の決定処理は行わず（つまり拡張子は既存のものから変更されない）、多重化部１０８から出力された記録データを記録媒体に記録する。従来のプリントサービスにより画像ファイルは認識されるが、再生できないためにプリントされないため、前述の問題点を解決することができる。
【００５５】
なお、この構成例においても図１に示したようにプリント可否情報を記録部１０９に入力し、プリント不可の場合には拡張子を変更するようにしてもよい。または、画像形態判別部１０３は、画像データの総視点数が２以上の場合にプリント不可としてもよい。この場合、画像データがステレオ画像の場合には、符号化データの変換が行われる。
【００５６】
上記の実施の形態では、画像データが静止画像である場合について述べているが、動画像を記録する場合にも適用可能である。動画像を記録する場合には、例えば符号化方式として画像符号化方式の国際標準であるＭＰＥＧ−４が使用される。この場合、図８におけるファイルヘッダはＶｉｓｕａｌ Ｏｂｊｅｃｔ Ｓｅｑｕｅｎｃｅまたは／およびＶｉｄｅｏ Ｏｂｊｅｃｔ Ｌａｙｅｒを指し、パラメータは、これらの中にユーザデータとして記録される。なお、図７には図示していないが、音声や音楽を記録する場合は、それらのデータも多重化部１０７にて多重化される。
【００５７】
【発明の効果】
本発明によれば、画像データの形態を判別して、形態に応じた処理を施すことにより、立体視をするための特別な装置を用いなくとも立体視をすることが原理的に可能な画像データを既存のプリントサービス等でプリントできるように記録し、それ以外の画像データはプリントされないように記録することができる。このことから、プリントサービスの利用者が画像データごとにプリント用紙の指定をしなければならないといった繁雑さをなくし、またステレオ画像を立体視できない状態でプリントして無駄なコストを発生させるといったことを防ぐことができるという有利な効果が得られる。
【図面の簡単な説明】
【図１】本発明の実施の形態による画像記録装置の構成例を示すブロック図である。
【図２】本発明の実施の形態による画像記録装置の処理の流れを示す図である。
【図３】画像の変更処理の例を説明するための図である。
【図４】画像の変更処理の例を説明するための図である。
【図５】ファイルの記録例を示す図である。
【図６】ファイルの記録例を示す図である。
【図７】本発明の実施の形態による画像記録装置の構成例を示すブロック図である。
【図８】本発明における画像データのファイルへの記録形式の一例を示す図である。
【図９】本発明の実施の形態による画像記録装置の構成例を示すブロック図である。
【図１０】ステレオアダプタを装着した際の撮影画面を説明するための図である。
【図１１】パララクスバリア方式の原理を説明するための図である。
【図１２】２眼式のカメラによる撮影画像のプリント結果を説明するための図である。
【符号の説明】
１００ 画像記録装置
１０１ 画像変更部
１０２ 画像格納部
１０３ 画像形態判別部
１０４ 符号化部
１０５ 符号化データ格納部
１０６、１０９ 記録部
１０７、１０８ 多重化部
【発明の属する技術分野】
本発明は、両眼視差を利用した３次元画像を撮影して記録媒体に記録する画像記録装置および画像記録方法に関するものである。
【０００２】
【従来の技術】
近年、１００万画素以上の解像度を持った、いわゆるメガピクセルのＣＣＤを備えることにより、高品質の画像データを簡単に撮影することが可能なデジタルカメラが普及している。その結果、銀塩フィルム式のカメラと同じ品質で、デジタルデータとして記録された画像データをプリントすることが可能となり、画像データから高品質な画像プリントを提供するプリントサービスが普及しつつある。
【０００３】
一方、被写体に対して視差を持った複数視点の画像を左右の眼で別々に見ることにより、撮影された被写体を立体的に見ることができることが知られている（以下、このような画像をステレオ画像と呼ぶ。またステレオ画像を構成する各視点の画像を視点画像と呼ぶ）。ステレオ画像を撮影するための手段としては、一般的な単眼カメラに視点の異なる複数の被写体像を形成するステレオアダプタを装着して１画面に視差のある複数の画像を撮影する方法や、２台以上のカメラを用いて異なる視点から被写体を撮影することで視差のある複数の画像を撮影するということが行われている。
【０００４】
図１０は、ステレオアダプタを装着した際の撮影画像を説明するための図である。図１０（ａ）はステレオアダプタを装着しない状態で撮影した画像であり、図１０（ｂ）は、画角が１／２になるタイプのステレオアダプタを装着して撮影した画像を、図１０（ｃ）は、画角は変化せず、撮影できる範囲が狭くなるタイプのステレオアダプタを装着して撮影した画像を示す。ステレオアダプタを装着した場合、一般に左側に左眼画像が、右側に右眼画像が映され、画面の大きさはステレオアダプタを装着する前と変わらない。
【０００５】
このようにして撮影された画像は、左眼画像を左眼のみで、右眼画像を右眼のみで見ることで立体視することができる。両眼視差を利用して立体視を実現する代表的な方式の１つとしてパララクスバリア方式が提案されている。図１１は、パララクスバリア方式を説明するための図である。図１１（ａ）は、視差が生じる原理を示す図である。図１１（ｂ）は、パララクスバリア方式で表示される画面の表示形式を示す図であり、左眼画像と右眼画像が水平方向１画素おきに交互にならんだ形に配置されている。
【０００６】
図１１（ａ）では、図１１（ｂ）に示すような画像を、画像表示パネル７０１に表示し、同一視点の画素の間隔よりも狭い間隔でスリットを持つパララクスバリア７０２を画像表示パネル７０１の前面に置くことにより、左眼画像は左眼７０３だけで、右眼画像は右眼７０４だけで観察することになり、立体視を行うことができる。
【０００７】
ところで、このように特別な立体視用の装置を用いなくとも、左右に隣接した画像をプリントし、左右の画像をそれぞれ別々の目で観察することで立体視することも可能である。
【０００８】
【発明が解決しようとする課題】
しかしながら、上記従来のプリントサービスは、単眼の画像が最適にプリントされるようになっており、ステレオ画像をプリントする場合が考慮されていない。したがって、プリント用紙のサイズが限定されているために、ステレオ画像の形態によっては画像データの一部分しか印刷されないという問題がある。例えば、２台のカメラを用いて被写体を撮影した２つの画像が、それぞれ図１０（ａ）に示した画像と同じサイズとなる場合、左右の画像を隣接させた画像は、図１２（ａ）に示すように水平方向のサイズが２倍となる。この画像データを単眼の画像と同じ用紙サイズでプリントした場合、図１２（ｂ）に示すように画像の一部のみが印刷される状態となる。利用者がステレオ画像をプリントすることを意図していたとすると、意図した画像からはほど遠い結果が得られ、無駄なコストを発生させてしまう。用紙を選択したり、画像を縮小して印刷することで画像データ全体を印刷することも可能であるが、プリントサービスの提供者により対応が異なったり、画像データごとにプリントサービスの利用者が指定しなければならないため煩雑である。
【０００９】
また、視点数が多い場合や、ステレオ画像の各視点画像に各視点画像単位での回転（以下、視点画像ごとの回転と呼ぶ）などの編集が施されている場合には、特別な立体視用の装置を用いなければ立体視を行うことのできない状態でプリントされてしまうため、無駄なコストが発生してしまう。
【００１０】
本発明は、上記の問題点に鑑みてなされたものであり、既存のプリンタやプリントサービスにおいて、適切に立体視できる画像データをプリントできるようにし、それ以外の画像データは利用者の意図に反してプリントされることのないように画像データを記録することのできる画像記録装置および画像記録方法を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記目的を達成するために、本発明は、Ｎ個（Ｎは自然数）の視点に対応する画像を含む画像データを記録する画像記録装置において、前記画像データの構造を示すパラメータに基づいて前記画像データの形態を判別する形態判別手段と、前記形態判別手段の判別結果に応じて前記画像データを記録するファイルの識別情報を変更する記録手段とを備えることで、上記の目的を達成する。
より好ましくは、前記形態判別手段は、前記画像データについて、裸眼による立体視が可能な形態とそれ以外の形態を判別することを特徴とする。
【００１２】
また本発明は、上記目的を達成するために、Ｎ個（Ｎは自然数）の視点に対応する画像を含む画像データを記録する画像記録装置において、前記画像データの構造を示すパラメータに基づいて前記画像データの形態を判別する形態判別手段と、前記形態判別手段の判別結果に応じて前記画像データに変更を施す画像変更手段を備えることで、上記の目的を達成する。
より好ましくは、前記形態判別手段は、前記画像データについて、前記画像データの水平方向のサイズと垂直方向のサイズの比が所定の条件を満たす形態とそれ以外の形態を判別することを特徴とする。
【００１３】
また本発明は、さらに、少なくとも前記画像データと前記パラメータを所定の形式で多重化する多重化手段を備えることで、上記の目的を達成する。
【００１４】
また本発明は、Ｎ個（Ｎは自然数）の視点に対応する画像を含む画像データを記録する画像記録装置において、前記画像データの構造を示すパラメータに基づいて前記画像データの形態を判別する形態判別手段と、前記画像データを所定の方式で符号化する符号化手段と、少なくとも前記符号化手段により符号化された符号化画像データと前記パラメータを所定の形式で多重化する多重化手段とを備え、前記多重化手段は形態判別手段の判別結果に応じて前記符号化画像データに所定の変換処理を施すことで、上記の目的を達成する。
より好ましくは、前記形態判別手段は、前記画像データについて、Ｎが２以上の形態とそれ以外の形態を判別することを特徴とする。
【００１５】
また本発明は、Ｎ個（Ｎは自然数）の視点に対応する画像を含む画像データを記録する画像記録方法において、前記画像データの構造を示すパラメータに基づいて前記画像データの形態を判別する形態判別ステップと、前記形態判別ステップの判別結果に応じて前記画像データを記録するファイルの拡張子を変更するステップとを持つことで、上記の目的を達成する。
より好ましくは、前記形態判別手段は、前記画像データについて、裸眼による立体視が可能な形態とそれ以外の形態を判別することを特徴とする。
【００１６】
また本発明は、Ｎ個（Ｎは自然数）の視点に対応する画像を含む画像データを記録する画像記録方法において、前記画像データの構造を示すパラメータに基づいて前記画像データの形態を判別する形態判別ステップと、前記判別結果に応じて前記画像データに変更を施す画像変更ステップを持つことで、上記の目的を達成する。
より好ましくは、前記形態判別手段は、前記画像データについて、前記画像データの水平方向のサイズと垂直方向のサイズの比が所定の条件を満たす形態とそれ以外の形態を判別することを特徴とする。
【００１７】
また本発明は、さらに、少なくとも前記画像データと前記パラメータを所定の形式で多重化するステップを持つことで、上記の目的を達成する。
【００１８】
また本発明は、Ｎ個（Ｎは自然数）の視点に対応する画像を含む画像データを記録する画像記録方法において、前記画像データの構造を示すパラメータに基づいて前記画像データの形態を判別する形態判別ステップと、前記画像データを所定の方式で符号化するステップと、少なくとも符号化された符号化画像データと前記パラメータを所定の形式で多重化するステップと、前記形態判別ステップの判別結果に応じて前記符号化画像データに所定の変換処理を施すステップとを持つことで、上記の目的を達成する。
より好ましくは、前記形態判別手段は、前記画像データについて、Ｎが２以上の形態とそれ以外の形態を判別することを特徴とする。
【００１９】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。図１は本発明における画像記録装置の構成例を示すブロック図である。図１において、１００は画像データとそれに付随するパラメータを入力として記録データを作成し、記録媒体に記録する画像記録装置である。
【００２０】
ここで入力される画像データは、単眼カメラにステレオアダプタを装着した場合や、複数のカメラを使用する場合など、入力系によって形態が異なるが、いずれの場合も図１０（ｂ）、図１０（ｃ）、図１２（ａ）で示したように各視点画像が隣接された状態の画像データが、デジタル形式で入力されるものとする。また、パラメータは画像データを３次元表示するために必要な情報であり、画像サイズ（画像データの水平方向の画素数および水平方向のライン数で表す）、水平方向および垂直方向の視点数、視点画像の縮小率、画像配置（各視点画像の配置の仕方を示し、水平方向に隣接させた水平配置と垂直方向に隣接させた垂直配置、格子状に隣接させた格子状配置がある）など画像の構造に関する情報を含むものとする。画像データとパラメータは１対１で対応しており、画像データの入力系が変更されれば、基本的にはパラメータも変更される。
【００２１】
図１に示すように画像記録装置１００は、画像変更部１０１、入力された画像データを格納する画像格納部１０２、画像形態判別部１０３、所定の方式で画像データを符号化して符号化データを出力する符号化部１０４、符号化データを一時的に格納する符号化データ格納部１０５、符号化データを記録するデータ記録部１０６から構成される。
【００２２】
画像形態判別部１０３は、入力されたパラメータにより、画像データをプリントした際に以下の形態Ａ、形態Ｂ、形態Ｃのいずれに当てはまるかの判別を行う。
【００２３】
形態Ａ：入力された状態で全体がプリントされ、特別な立体視用の装置を用いなくとも立体視が可能なもの
形態Ｂ：画像全体がプリントされるとは限らないが、原理的には特別な立体視用の装置を用いなくとも立体視が可能なもの
形態Ｃ：原理的に特別な立体視用の装置を用いないと立体視が不可能なもの
【００２４】
符号化部１０４は、所定の符号化方式を用いて画像データを符号化する。ここでは、静止画像の符号化方式の国際標準であるＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式を用いるものとする。
【００２５】
記録部１０６は、ＦＡＴ（Ｆｉｌｅ Ａｌｌｏｃａｔｉｏｎ Ｔａｂｌｅ）などのファイルシステムを使用して、記録データをファイルとして記録媒体に記録するものとする。
【００２６】
以上のように構成された画像記録装置１００について、図２を参照しながら、その動作を説明する。
図２は、本発明の実施の形態による画像記録装置の処理の流れを示す図である。
【００２７】
画像記録装置１００は画像データとパラメータの入力を受け付ける（ＳＴ１００）。入力された画像データは画像格納部１０２に格納され、パラメータは画像形態判別部１０３に入力される。
【００２８】
画像形態判別部１０３は、入力されたパラメータに基づいて、次の２つの判別を行う。まず、入力された画像データをプリントした際に、立体視のためのメガネ等を使用せずに裸眼による立体視が原理的に可能であるか否かを決定する（ＳＴ１０１）。ここでは、画像データの構成として視点数が２で、視点画像が水平方向に隣接されており、なおかつ視点画像ごとの回転などの編集が施されていない場合、裸眼による立体視が可能であるためプリント可とし、それ以外の場合にはプリント不可とする。すなわち入力されたパラメータのうち、水平方向の視点数が２、垂直方向の視点数が１、かつ画像結合が水平配置の場合をプリント可と決定し、それ以外の場合をプリント不可（形態Ｃである）と決定する。なお、この判別結果は、プリント可否情報として記憶部１０６に対して出力される。
【００２９】
プリント可の場合、次のステップＳＴ１０３が実行され、プリント不可の場合、ステップＳＴ１０６が実行される（ＳＴ１０２）。ステップＳＴ１０３では、画像形態判別部１０３は画像データのサイズの縦横比を算出する。ここで縦横比＝１ライン当りの画素数／ライン数である。
【００３０】
次いで、縦横比を所定の閾値と比較し、画像変更の要否を判定する（ＳＴ１０４）。ステップＳＴ１０４において、縦横比が所定の閾値よりも小さい場合には、従来の単眼画像のプリントの範囲でステレオ画像がプリント可能である（形態Ａ、画像変更の要否＝不要）ので、ステップＳＴ１０６に進む。縦横比が所定の閾値以上の場合には、図１２（ａ）に示したように原理的には裸眼による立体視が可能であるが、従来のプリントシステム等では画像全体がプリントされるとは限らない（形態Ｂ、画像変更の要否＝要）。したがって次のステップＳＴ１０５で画像データに変更を加える。ここでは、標準的に用いられているプリント用紙のサイズ比（横：縦）がほぼ４：３であることから、閾値に１．４を用いるものとする。ただし、この値は一般的に流通する用紙のサイズ比によって変更されるべきものであり、本発明はこの値を限定するものではない。また、画像変更の要否を決定する条件は上記以外でもよく、縦横比が所定の閾値よりも大きい場合に形態Ａとなるようにしてもよく、縦横比が所定の参照値と一致する場合に形態Ａとなるようにしてもよく、参照値と縦横比の差が所定の範囲内である場合に形態Ａとなるようにしてもよい。
なお、画像変更の要否が画像変更部１０１に対して出力される。
【００３１】
ステップＳＴ１０５では、画像変更部１０１は、画像形態判別部１０３から入力された画像変更の要否が要である場合に、画像格納部１０２から画像データを読み出し、上記の判定条件により形態Ａと判定されるように、画像データを変更する。ここでは元の画像データに影響を与えないようにするために、画像に所定の画像データを付け加えるものとする。以下、付け加えられる画像を付加画像、そのデータを付加画像データと呼ぶ。ここで付加画像は、所定の色による塗りつぶしや特定のパターンであってもよいし、それ以外の任意の画像であって構わない。
【００３２】
図３は、このときの変更を説明するための図である。３０１は入力された画像データであり、そのサイズが１２８０画素×４８０ライン（縦横比≒２．６７）であるとする。この画像データ３０１の上下にそれぞれ３０２および３０３で示す画像を付け加えて、全体の画像サイズを１２８０画素×９６０ライン（縦横比≒１．３３）とする。縦横比が前記閾値よりも小さくなるので、従来のプリントシステム等により画像データの全体がプリントされるようになる。変更後の画像データは、再び画像データ格納部１０２に格納される。なお、この例では、付加画像は画像の上下に付け加えられているが、画像の上のみでもよいし、画像の下のみであってもよい。
【００３３】
なお、画像の変更方法は、上記の判定条件により形態Ａと判定されるようにするならばこの他の方法でもよく、例えば画像を水平方向に縮小してもよい（例えば１２８０画素×４８０ラインを６４０画素×４８０ラインに変更する）。
【００３４】
また、画像の変更方法として次のようにしてもよい。すなわち、視点画像を垂直に２等分した分割画像を並べ替えて、プリントしたい分割画像を画像の中央に配置する。このときの変更結果を図４に示す。図４（ａ）は変更前の画像を示しており、４０１は左眼画像を２等分した左半分、４０２は同じく右半分、４０３は右眼画像を２等分した左半分、４０３は同じく右半分である。これらの分割画像を並べ替えた画像が図４（ｂ）および図４（ｃ）である。図４（ｂ）は左眼画像（４０１および４０２）が中央になるように分割画像を配置した例を示しており、プリントした際に主に左眼画像の部分が得られることを目的としている。また、図４（ｃ）は左眼画像の右半分４０２と右眼画像の右半分４０４を中央に配置した例を示しており、プリントした際に４０２と４０４で立体視できることを目的としている。
【００３５】
なお、立体視の方法には交差法と平行法があり、交差法においては向かって左側に右眼画像がプリントされ、向かって右側に左眼画像がプリントされていなければ立体視することができない。逆に平行法では交差法においては向かって左側に左眼画像がプリントされ、向かって右側に右眼画像がプリントされていなければ立体視することができない。プリントされた画像がいずれの方法により立体視可能であるかを示すために、画像データ（例えば視点画像内やその周辺の付加画像）に視点を示す情報（例えば、左眼画像にはＬの文字、右眼画像にはＲの文字）を付け加えてもよい。
【００３６】
図２のステップＳＴ１０６では、符号化部１０４は、画像データ格納部１０２から画像データを読み出して、画像データを符号化し、符号化データを符号化データ格納部１０５に出力する。
【００３７】
記録部１０６は、画像形態判別部１０３から入力されたプリント可否情報に応じて、ファイル名に付加される拡張子を決定する（ＳＴ１０７）。拡張子は一般にファイルの種別を示すために使用されるものであり、例えばＪＰＥＧ方式で符号化された画像データを記録するファイルには“ＪＰＧ”という拡張子が用いられている。既存のプリントサービス等では画像ファイルであることを示す拡張子を持つファイルを選択できるようになっているため、プリント可の場合には従来と同様“ＪＰＧ”という拡張子を付ける。一方、プリント不可のファイルには従来画像ファイルとは対応付けられていない新規の拡張子を付ける。
次いで記録部１０６は符号化データ格納部１０５から符号化データを読み出して、ファイルに記録する（ＳＴ１０８）。
【００３８】
図５はＤＣＦ（Ｄｅｓｉｇｎ ｒｕｌｅ ｆｏｒ Ｃａｍｅｒａ Ｆｉｌｅｓｙｓｔｅｍ）規格に基づく画像ファイルの管理構造の例を示す図である。５００はルートディレクトリ、５０１はＤＣＦイメージルートディレクトリ（ＤＣＩＭディレクトリ）、５０２はＤＣＦディレクトリであり、図５に示すように階層的に構成される。ＤＣＦディレクトリ５０２の直下に画像データを記録したファイルが存在する。拡張子が“ＪＰＧ”であるファイル（５０３、５０４および５０７）はＤＣＦ基本ファイルとして扱われ、従来のプリントサービスにより画像ファイルとして認識される。一方、拡張子が“ＴＤＪ”のファイルは、ＤＣＦ拡張ファイルとして扱われ、既存のプリントサービスでは画像ファイルとして認識されないため、プリントされることはない。
【００３９】
なお、記録部１０６は、プリント可否情報により拡張子を決定するようにしているが、画像データを記録するディレクトリを変更するようにしてもよい。ルートディレクトリ５００の下にＤＣＩＭディレクトリ５０１とは異なるディレクトリを作成し、そのディレクトリの下にファイルを記録することで、同様の効果が得られる。
【００４０】
または、プリント可否情報がプリント不可の場合には、画像データを各視点の画像データに分割して、それぞれ別々のファイルに記録するようにしてもよい。ＤＣＦ規格の場合には、１つの視点画像データの拡張子を“ＪＰＧ”とし、それ以外の視点画像データは“ＪＰＧ”以外の拡張子とし、ファイル名の命名規則に準じて、各視点画像データの対応関係はファイル番号で示すようにする。このときの例をに示す。図６においてファイル６１０とファイル６１１は、総視点数が２である１組のステレオ画像であり、ファイル６１０は拡張子が“ＪＰＧ”のＤＣＦ基本ファイルであり、ファイル６１１は拡張子が“ＴＤＪ”のＤＣＦ拡張ファイルであり、両者を合わせてＤＣＦオブジェクトが構成される。
【００４１】
総視点数が３以上のステレオ画像の場合には、ファイル６１２、ファイル６１３、ファイル６１４のように、１つのファイルを拡張子が“ＪＰＧ”のＤＣＦ基本ファイルとし、他のファイルを拡張子が“ＴＤＪ”のＤＣＦ拡張ファイルとし、ファイル名により視点画像間の対応関係を表すようにしてもよい。あるいは、上記の視点画像間の対応関係を表すために、拡張子を使用してもよい。例えば、３視点の場合、ＤＣＦ基本ファイルの拡張子を“ＪＰＧ”、残りの視点画像ファイルの拡張子を“ＪＰ２”、“ＪＰ３”などとしても構わない。
【００４２】
さらに、画像形態判別部１０３は、画像データの総視点数が２以上の場合にプリント不可としてもよい。上記の例では、ステレオ画像の場合には拡張子“ＪＰＧ”の代わりに拡張子“ＴＤＪ”が使用される。
【００４３】
また、上記の実施の形態においては、図２のステップＳＴ１０４において所定の閾値よりも小さい場合には、画像変更は不要であると判定している。ところが、縦横比が１よりも小さい場合、プリントシステムによってはプリント時にステレオ画像全体が９０°回転されてプリントされ、この場合のプリント結果も図１２（ｂ）に示した場合と同様に、画像の一部がプリントされない場合がある。
【００４４】
したがって、ステップＳＴ１０４における画像変更の要否の判定条件を次のように変更してもよい。すなわち、縦横比が第１の閾値よりも小さく、かつ第２の閾値よりも大きい場合に、形態Ａ（画像変更の要否＝不要）としてステップＳＴ１０６に進み、それ以外の場合には形態Ｂ（画像変更の要否＝要）として、ステップＳＴ１０５に進むようにする。ここでは、第１の閾値を１．４とし、第２の閾値を０．７とする。ただし、この値は一般的に流通する用紙のサイズ比によって変更されるべきものであり、本発明はこの値を限定するものではない。
【００４５】
このときステップＳＴ１０５では、画像変更部１０１は、画像形態判別部１０３から入力された画像変更の要否が要であれば、前述のように画像格納部１０２から画像データを読み出し、画像データの上、または下、または上下あるいは左、または右、または左右に所定の付加画像を付け加えて、上記の判定条件により形態Ａと判定されるように画像データを変更する。
【００４６】
また、画像変更の要否を決定する条件は上記以外でもよく、縦横比を１つ以上の所定の参照値と比較して、値の一致するものがある場合に形態Ａとなるようにしてもよく、縦横比の差が所定の範囲内である参照値が存在する場合に形態Ａとなるようにしてもよい。
【００４７】
または、ユーザ指定により縦横比を入力するようにして、指定された縦横比になるように入力された画像データに変更を加えるようにしてもよい。この場合、ステップＳＴ１０４における画像変更の要否の判定条件を次のように変更してもよい。すなわち、ＳＴ１０３において算出された縦横比が、ユーザ指定の縦横比と一致する場合には、形態Ａ（画像変更の要否＝不要）としてステップＳＴ１０６に進み、算出された縦横比が、ユーザ指定の縦横比と異なる場合には形態Ｂ（画像変更の要否＝要）として、ステップＳＴ１０５に進むようにする。ステップＳＴ１０５では、画像変更部１０１は、画像形態判別部１０３から入力された画像変更の要否が要であれば、前述のように画像格納部１０２から画像データを読み出し、画像データの上、または下、または上下あるいは左、または右、または左右に所定の付加画像を付け加えることで、縦横比がユーザ指定の縦横比と等しくなるように画像データを変更する。また、上記のユーザ指定による縦横比は複数指定することが可能であってもよく、例えば、画像が横長のサイズである（算出された縦横比が１より大きい）場合と、画像が縦長のサイズである（算出された縦横比が１より小さい）場合と、画像が正方形のサイズ（算出された縦横比が１）である場合と、それぞれの場合で使用される縦横比を使い分けるようにしてもよい。
【００４８】
また、上記の実施の形態はステレオ画像について適用しているが、通常の単眼画像に対して適用することも可能である。この場合には形態Ｃと判別されることはないが、パノラマ画像など画像の縦横比によっては形態Ｂと判別され、画像変更部１０１によりステレオ画像と同様に変更される。
【００４９】
以上のようにして、裸眼による立体視が原理的に可能な画像データは、既存のプリントサービス等でプリントできるように記録し、それ以外の画像データは、プリントされないように記録することで、プリントサービスの利用者が画像データごとにプリント用紙の指定をする必要をなくし、またステレオ画像を立体視できない状態でプリントするという無駄なコストを発生させなくすることが可能となる。
【００５０】
図７は本発明における画像記録装置のもう１つ別の構成例を示すブロック図である。図１と異なる点は、パラメータと符号化データとを所定のフォーマットに多重化する多重化部１０７を備える点である。
【００５１】
図８に、このときのフォーマットの例を示す。図８では、記録データは図の上から下に向かう順となるように記録されるものとする。図８に示すように、パラメータは、従来のファイル形式に用意されているヘッダ部を拡張する仕組みを用いて、既存のヘッダ部の一部として記録されるものとする。ここでは、拡張されたヘッダを拡張ヘッダと呼ぶ。例えば、符号化方式がＪＰＥＧの場合、ファイルヘッダはアプリケーションデータセグメントを指し、新たなアプリケーションデータセグメントを定義してパラメータを記録する。
【００５２】
画像データを３次元画像として表示する際に、拡張ヘッダに記録されたパラメータを参照することで画像データの形態に関する情報が得られ、前述のパララクスバリア方式のような特定の表示方式に適合するように画像データを処理することができるようになる。したがって、画像データを既存のファイル形式と互換性を保ったまま、記録した画像に汎用性を持たせることができる。
【００５３】
図９は本発明における画像記録装置のさらに別の構成例を示すブロック図である。図１との異なる点は、パラメータと符号化データとを所定のフォーマットに多重化する多重化部１０８と記録部１０９を備える点である。
【００５４】
図９において多重化部１０８は、画像形態判別部１０３から入力されたプリント可否情報がプリント不可を示す場合、既存のプリントシステムでプリントできないようにするために、符号化データを多重化する際に、符号化データに可逆的な変換を施すものである。ここで使用する変換方式は、例えばデータ圧縮方式でもよいし、データの並べ替えや置換でもよい。さらに、ファイルの拡張ヘッダにパラメータに加えてプリント可否情報（プリント不可である情報）を記録する。記録部１０９は図２のステップＳＴ１０７のような拡張子の決定処理は行わず（つまり拡張子は既存のものから変更されない）、多重化部１０８から出力された記録データを記録媒体に記録する。従来のプリントサービスにより画像ファイルは認識されるが、再生できないためにプリントされないため、前述の問題点を解決することができる。
【００５５】
なお、この構成例においても図１に示したようにプリント可否情報を記録部１０９に入力し、プリント不可の場合には拡張子を変更するようにしてもよい。または、画像形態判別部１０３は、画像データの総視点数が２以上の場合にプリント不可としてもよい。この場合、画像データがステレオ画像の場合には、符号化データの変換が行われる。
【００５６】
上記の実施の形態では、画像データが静止画像である場合について述べているが、動画像を記録する場合にも適用可能である。動画像を記録する場合には、例えば符号化方式として画像符号化方式の国際標準であるＭＰＥＧ−４が使用される。この場合、図８におけるファイルヘッダはＶｉｓｕａｌ Ｏｂｊｅｃｔ Ｓｅｑｕｅｎｃｅまたは／およびＶｉｄｅｏ Ｏｂｊｅｃｔ Ｌａｙｅｒを指し、パラメータは、これらの中にユーザデータとして記録される。なお、図７には図示していないが、音声や音楽を記録する場合は、それらのデータも多重化部１０７にて多重化される。
【００５７】
【発明の効果】
本発明によれば、画像データの形態を判別して、形態に応じた処理を施すことにより、立体視をするための特別な装置を用いなくとも立体視をすることが原理的に可能な画像データを既存のプリントサービス等でプリントできるように記録し、それ以外の画像データはプリントされないように記録することができる。このことから、プリントサービスの利用者が画像データごとにプリント用紙の指定をしなければならないといった繁雑さをなくし、またステレオ画像を立体視できない状態でプリントして無駄なコストを発生させるといったことを防ぐことができるという有利な効果が得られる。
【図面の簡単な説明】
【図１】本発明の実施の形態による画像記録装置の構成例を示すブロック図である。
【図２】本発明の実施の形態による画像記録装置の処理の流れを示す図である。
【図３】画像の変更処理の例を説明するための図である。
【図４】画像の変更処理の例を説明するための図である。
【図５】ファイルの記録例を示す図である。
【図６】ファイルの記録例を示す図である。
【図７】本発明の実施の形態による画像記録装置の構成例を示すブロック図である。
【図８】本発明における画像データのファイルへの記録形式の一例を示す図である。
【図９】本発明の実施の形態による画像記録装置の構成例を示すブロック図である。
【図１０】ステレオアダプタを装着した際の撮影画面を説明するための図である。
【図１１】パララクスバリア方式の原理を説明するための図である。
【図１２】２眼式のカメラによる撮影画像のプリント結果を説明するための図である。
【符号の説明】
１００ 画像記録装置
１０１ 画像変更部
１０２ 画像格納部
１０３ 画像形態判別部
１０４ 符号化部
１０５ 符号化データ格納部
１０６、１０９ 記録部
１０７、１０８ 多重化部
Claims (14)
- Ｎ個（Ｎは自然数）の視点に対応する画像を含む画像データを記録する画像記録装置において、
前記画像データの構造を示すパラメータに基づいて前記画像データの形態を判別する形態判別手段と、
前記形態判別手段の判別結果に応じて前記画像データを記録するファイルの識別情報を変更する記録手段とを備えることを特徴とする画像記録装置。 - 前記形態判別手段は、前記画像データについて、裸眼による立体視が可能な形態とそれ以外の形態を判別することを特徴とする請求項１に記載の画像記録装置。
- Ｎ個（Ｎは自然数）の視点に対応する画像を含む画像データを記録する画像記録装置において、
前記画像データの構造を示すパラメータに基づいて前記画像データの形態を判別する形態判別手段と、
前記形態判別手段の判別結果に応じて前記画像データに変更を施す画像変更手段を備えることを特徴とする画像記録装置。 - 前記形態判別手段は、前記画像データについて、前記画像データの水平方向のサイズと垂直方向のサイズの比が所定の条件を満たす形態とそれ以外の形態を判別することを特徴とする請求項３に記載の画像記録装置。
- さらに、少なくとも前記画像データと前記パラメータを所定の形式で多重化する多重化手段を備えることを特徴とする請求項１または３に記載の画像記録装置。
- Ｎ個（Ｎは自然数）の視点に対応する画像を含む画像データを記録する画像記録装置において、
前記画像データの構造を示すパラメータに基づいて前記画像データの形態を判別する形態判別手段と、
前記画像データを所定の方式で符号化する符号化手段と、
少なくとも前記符号化手段により符号化された符号化画像データと前記パラメータを所定の形式で多重化する多重化手段とを備え、
前記多重化手段は形態判別手段の判別結果に応じて前記符号化画像データに所定の変換処理を施すことを特徴とする画像記録装置。 - 前記形態判別手段は、前記画像データについて、Ｎが２以上の形態とそれ以外の形態を判別することを特徴とする請求項１、３、または６に記載の画像記録装置。
- Ｎ個（Ｎは自然数）の視点に対応する画像を含む画像データを記録する画像記録方法において、
前記画像データの構造を示すパラメータに基づいて前記画像データの形態を判別する形態判別ステップと、
前記形態判別ステップの判別結果に応じて前記画像データを記録するファイルの識別情報を変更するステップとを持つことを特徴とする画像記録方法。 - 前記形態判別ステップは、前記画像データについて、裸眼による立体視が可能な形態とそれ以外の形態を判別することを特徴とする請求項８に記載の画像記録方法。
- Ｎ個（Ｎは自然数）の視点に対応する画像を含む画像データを記録する画像記録方法において、
前記画像データの構造を示すパラメータに基づいて前記画像データの形態を判別する形態判別ステップと、
前記判別結果に応じて前記画像データに変更を施す画像変更ステップを持つことを特徴とする画像記録方法。 - 前記形態判別ステップは、前記画像データについて、前記画像データの水平方向のサイズと垂直方向のサイズの比が所定の条件を満たす形態とそれ以外の形態を判別することを特徴とする請求項１０に記載の画像記録方法。
- さらに、少なくとも前記画像データと前記パラメータを所定の形式で多重化するステップを持つことを特徴とする請求項８または１０に記載の画像記録方法。
- Ｎ個（Ｎは自然数）の視点に対応する画像を含む画像データを記録する画像記録方法において、
前記画像データの構造を示すパラメータに基づいて前記画像データの形態を判別する形態判別ステップと、
前記画像データを所定の方式で符号化するステップと、
少なくとも符号化された符号化画像データと前記パラメータを所定の形式で多重化するステップと、
前記形態判別ステップの判別結果に応じて前記符号化画像データに所定の変換処理を施すステップとを持つことを特徴とする画像記録方法。 - 前記形態判別ステップは、前記画像データについて、Ｎが２以上の形態とそれ以外の形態を判別することを特徴とする請求項８、１０、または１３に記載の画像記録方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003139349A JP4133573B2 (ja) | 2003-05-16 | 2003-05-16 | 画像記録装置および画像記録方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003139349A JP4133573B2 (ja) | 2003-05-16 | 2003-05-16 | 画像記録装置および画像記録方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004343549A true JP2004343549A (ja) | 2004-12-02 |
| JP4133573B2 JP4133573B2 (ja) | 2008-08-13 |
Family
ID=33528467
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003139349A Expired - Fee Related JP4133573B2 (ja) | 2003-05-16 | 2003-05-16 | 画像記録装置および画像記録方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4133573B2 (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007001055A1 (ja) | 2005-06-29 | 2007-01-04 | Sony Corporation | ステレオ画像再生装置及び再生方法、並びにステレオ画像再生用プログラム及びプログラムを記録した記録媒体 |
| WO2007001056A1 (ja) | 2005-06-29 | 2007-01-04 | Sony Corporation | ステレオ画像処理装置及び処理方法、並びにステレオ画像処理用プログラム及びプログラムを記録した記録媒体 |
| WO2007004633A1 (ja) * | 2005-07-05 | 2007-01-11 | Sanyo Electric Co., Ltd. | 立体画像処理方法及び立体画像処理装置及びプログラム及びプログラムが格納された記録媒体 |
| JP2007019629A (ja) * | 2005-07-05 | 2007-01-25 | Sanyo Electric Co Ltd | 立体画像処理方法及び立体画像処理装置及びプログラム及びプログラムが格納された記録媒体 |
| JP2007018078A (ja) * | 2005-07-05 | 2007-01-25 | Sanyo Electric Co Ltd | 立体画像処理方法及び立体画像処理装置及びプログラム及びプログラムが格納された記録媒体 |
| WO2011004861A1 (ja) * | 2009-07-08 | 2011-01-13 | シャープ株式会社 | 画像表示制御装置、画像表示制御装置に関する制御方法及びプログラム |
| US7929027B2 (en) | 2006-12-27 | 2011-04-19 | Fujifilm Corporation | Image management method |
| JP2012243042A (ja) * | 2011-05-18 | 2012-12-10 | Nintendo Co Ltd | 情報処理システム、情報処理装置、情報処理プログラムおよび情報処理方法 |
| US8339415B2 (en) | 2005-06-29 | 2012-12-25 | Sony Corporation | Apparatus, method, and medium for encoding and displaying composite images |
-
2003
- 2003-05-16 JP JP2003139349A patent/JP4133573B2/ja not_active Expired - Fee Related
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1906677A4 (en) * | 2005-06-29 | 2009-09-02 | Sony Corp | STEREOSCOPIC IMAGE RECORDING DEVICE AND METHOD, STEREOSCOPIC IMAGE PROGRAM AND RECORDING MEDIUM ON WHICH THE PROGRAM IS RECORDED |
| WO2007001056A1 (ja) | 2005-06-29 | 2007-01-04 | Sony Corporation | ステレオ画像処理装置及び処理方法、並びにステレオ画像処理用プログラム及びプログラムを記録した記録媒体 |
| US8358329B2 (en) | 2005-06-29 | 2013-01-22 | Sony Corporation | Stereo image reproducing apparatus, stereo image reproduction method, stereo image reproduction program, and recording medium having such program recorded therein |
| US8339415B2 (en) | 2005-06-29 | 2012-12-25 | Sony Corporation | Apparatus, method, and medium for encoding and displaying composite images |
| WO2007001055A1 (ja) | 2005-06-29 | 2007-01-04 | Sony Corporation | ステレオ画像再生装置及び再生方法、並びにステレオ画像再生用プログラム及びプログラムを記録した記録媒体 |
| EP1906678A1 (en) * | 2005-06-29 | 2008-04-02 | Sony Corporation | Stereoscopic image processing device and method, stereoscopic image processing program, and recording medium having the program recorded therein |
| EP1906677A1 (en) * | 2005-06-29 | 2008-04-02 | Sony Corporation | Stereoscopic image reproducing device and method, stereoscopic image reproducing program, and recording medium having the program recorded therein |
| EP1906678A4 (en) * | 2005-06-29 | 2009-09-02 | Sony Corp | STEREOSCOPIC IMAGE PROCESSING DEVICE AND METHOD, STEREOSCOPIC IMAGE PROCESSING PROGRAM, AND RECORDING MEDIUM ON WHICH THE PROGRAM IS RECORDED |
| JP2007018078A (ja) * | 2005-07-05 | 2007-01-25 | Sanyo Electric Co Ltd | 立体画像処理方法及び立体画像処理装置及びプログラム及びプログラムが格納された記録媒体 |
| KR101005998B1 (ko) * | 2005-07-05 | 2011-01-05 | 산요덴키가부시키가이샤 | 입체 화상 처리 방법 및 입체 화상 처리 장치 및 프로그램이 저장된 기록 매체 |
| JP4688590B2 (ja) * | 2005-07-05 | 2011-05-25 | 三洋電機株式会社 | 立体画像処理方法及び立体画像処理装置及びプログラム及びプログラムが格納された記録媒体 |
| JP4698307B2 (ja) * | 2005-07-05 | 2011-06-08 | 三洋電機株式会社 | 立体画像処理方法及び立体画像処理装置及びプログラム及びプログラムが格納された記録媒体 |
| US8217991B2 (en) | 2005-07-05 | 2012-07-10 | Sanyo Electric Co., Ltd. | Method, device and program for processing stereoscopic images and recording medium storing the program |
| JP2007019629A (ja) * | 2005-07-05 | 2007-01-25 | Sanyo Electric Co Ltd | 立体画像処理方法及び立体画像処理装置及びプログラム及びプログラムが格納された記録媒体 |
| WO2007004633A1 (ja) * | 2005-07-05 | 2007-01-11 | Sanyo Electric Co., Ltd. | 立体画像処理方法及び立体画像処理装置及びプログラム及びプログラムが格納された記録媒体 |
| US7929027B2 (en) | 2006-12-27 | 2011-04-19 | Fujifilm Corporation | Image management method |
| US8400524B2 (en) | 2006-12-27 | 2013-03-19 | Fujifilm Corporation | Image management method |
| WO2011004861A1 (ja) * | 2009-07-08 | 2011-01-13 | シャープ株式会社 | 画像表示制御装置、画像表示制御装置に関する制御方法及びプログラム |
| JP2012243042A (ja) * | 2011-05-18 | 2012-12-10 | Nintendo Co Ltd | 情報処理システム、情報処理装置、情報処理プログラムおよび情報処理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4133573B2 (ja) | 2008-08-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4630149B2 (ja) | 画像処理装置 | |
| JP4630150B2 (ja) | 立体画像記録装置及びプログラム | |
| JP4324435B2 (ja) | 立体視用映像提供方法及び立体映像表示装置 | |
| EP1501316A1 (en) | Multimedia information generation method and multimedia information reproduction device | |
| US6084978A (en) | Hierarchical storage and display of digital images used in constructing three-dimensional image hard copy | |
| JP4259884B2 (ja) | 画像データ作成装置およびそのデータを再生する画像データ再生装置 | |
| JP4251864B2 (ja) | 画像データ作成装置およびそのデータを再生する画像データ再生装置 | |
| EP2262273A2 (en) | Image data creation device, image data reproduction device, and image data recording medium | |
| US20060192776A1 (en) | 3-Dimensional image creation device, 3-dimensional image reproduction device, 3-dimensional image processing device, 3-dimensional image processing program, and recording medium containing the program | |
| JP2003111101A (ja) | 立体画像処理方法、装置、およびシステム | |
| JP4252105B2 (ja) | 画像データ作成装置及び画像データ再生装置 | |
| WO2012111755A1 (ja) | 画像処理装置および画像処理方法 | |
| JP2004274091A (ja) | 画像データ作成装置、画像データ再生装置、画像データ記録方式および画像データ記録媒体 | |
| JP4133573B2 (ja) | 画像記録装置および画像記録方法 | |
| US20110193937A1 (en) | Image processing apparatus and method, and image producing apparatus, method and program | |
| JP2005184377A (ja) | 画像変換装置及びそれを用いた画像記録装置 | |
| JP4255753B2 (ja) | 立体視画像管理装置および方法並びにプログラム | |
| JP5604173B2 (ja) | 再生装置、表示装置、記録装置及び格納媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050810 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080215 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080304 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080422 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080520 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080602 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110606 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120606 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120606 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130606 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |