JP2019066806A - 投影装置およびその制御方法、プログラム並びに記憶媒体 - Google Patents

Abstract

【課題】画像のアスペクト比を拡大倍率に応じて変換して投影する場合に、拡大倍率にかかわらず解像感を改善する。【解決手段】投影装置は、光源から照射される光を入力画像に応じて変調する画像表示手段と、前記画像表示手段により変調された光を投影画像として投影する投影手段と、前記投影画像の画素をずらす画素ずらし手段と、前記投影画像の所定方向の拡大倍率を変換する変換手段と、を有し、前記画素ずらし手段は、前記投影画像の画素を所定の数に分割し、分割した画素に基づいて前記投影画像の画素をずらす画素ずらし制御を行い、前記所定の数が前記変換手段における拡大倍率に応じて設定される。【選択図】図３

Description

本発明は、画像のアスペクト比を変換して投影する技術に関する。

デジタルカメラに搭載されるイメージセンサは高画素化が進み、例えばビデオカメラでは８Ｋ（７６８０×４３２０）、スチルカメラでは８Ｋの数倍の解像度で撮像できるものが開発されている。また、このような高画素のイメージセンサを用いて撮像した超高解像度の画像の一部を切り出して、プロジェクタ等によりスクリーンに投影することも想定される。このような超高解像度の画像を、被写体の形状やサイズに応じて切り出す場合、切り出された画像は、横長、縦長など、様々なアスペクト比になりうる。

画像のアスペクト比が横長の場合、アナモフィックレンズを用いて光学的に投影画像を横長に拡大して投影する技術が知られている（特許文献１）。また、アナモフィックレンズで横長に拡大して投影する場合、投影画像の解像感が低下するため、画素ずらしと呼ばれる方法を用いて疑似的に解像感を改善する技術がある（特許文献２）。画素ずらしは、時分割で投影画像の画素位置をずらす制御である。

特開平１１−３１６４１６号公報 特開２０１１−１７０００８号公報

しかしながら、上記従来技術のように、アナモフィックレンズを用いて光学的に投影画像を拡大して投影する場合、拡大倍率によっては画素ずらし制御を行っても解像感が十分に改善しないことがある。このような傾向は、拡大倍率が１．５倍等、小数点以下に端数が発生する場合に顕著となる。

本発明は、上記課題に鑑みてなされ、その目的は、画像のアスペクト比を拡大倍率に応じて変換して投影する場合に、拡大倍率にかかわらず解像感を改善することができる技術を実現することである。

上記課題を解決し、目的を達成するために、本発明の投影装置は、光源から照射される光を入力画像に応じて変調する画像表示手段と、前記画像表示手段により変調された光を投影画像として投影する投影手段と、前記投影画像の画素をずらす画素ずらし手段と、前記投影画像の所定方向の拡大倍率を変換する変換手段と、を有し、前記画素ずらし手段は、前記投影画像の画素を所定の数に分割し、分割した画素に基づいて前記投影画像の画素をずらす画素ずらし制御を行い、前記所定の数が前記変換手段における拡大倍率に応じて設定される。

本発明によれば、画像のアスペクト比を拡大倍率に応じて変換して投影する場合に、拡大倍率にかかわらず解像感を改善することができる。

本実施形態のシステム構成図。 本実施形態の画像の一部を切り出す方法を説明する図。 本実施形態の画像投影装置の構成を例示するブロック図。 本実施形態の画素ずらし制御における拡大倍率とパラメータの関係を例示する図。 本実施形態の画像投影装置において間引き画像を生成する方法を説明する図。 本実施形態の画素ずらし制御によって疑似的に画素を生成し投影する方法を説明する図。 実施形態２の画像投影装置の構成を例示するブロック図。 実施形態２の画素ずらし部の構成の一例を示す図。 実施形態２の画像投影装置において間引き画像を生成する方法を説明する図。 実施形態２の画素ずらし制御によって疑似的に画素を生成し投影する方法を説明する図。 実施形態２の画像投影装置において間引き画像を生成する方法を説明する図。 実施形態３の画素ずらし制御によって疑似的に画素を生成し投影する方法を説明する図。 実施形態３の画像投影装置の構成を例示するブロック図。 実施形態３の画像投影装置におけるアスペクト比変換部の構成を例示する図。 実施形態３の横方向と縦方向の拡大処理における、入力画像解像度と画素ずらし制御における拡大倍率とパラメータの関係を例示する図。

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。

なお、本実施形態において説明される各機能ブロックは必ずしも個別のハードウェアである必要はない。すなわち、例えばいくつかの機能ブロックの機能は、１つのハードウェアにより実行されてもよい。また、いくつかのハードウェアの連係動作により１つの機能ブロックの機能または、複数の機能ブロックの機能が実行されてもよい。また、各機能ブロックの機能は、ＣＰＵがメモリ上に展開したコンピュータプログラムにより実行されてもよい。

［実施形態１］以下、実施形態１の画像投影システムについて説明する。

図１は、本実施形態の画像投影システム１０１の構成の一例を示すブロック図である。

図１において、本実施形態の画像投影システム１０１は、画像編集装置１０２と画像投影装置１１１とを有する。画像投影システム１０１には、高画素のイメージセンサを有するデジタルカメラなどの撮像装置において撮像された高解像度の撮像画像１００が入力される。撮像画像１００は、例えば、８Ｋよりも解像度が高い１６Ｋの画像であるものとする。

画像編集装置１０２は、不図示のプロセッサ等の演算処理装置やハードディスク等の記憶装置を有する。画像編集装置１０２は、撮像装置やＰＣ等の外部装置から入力された撮像画像１００に対して、画像処理装置が画像の選別、つなぎ合わせ、文字合成、輝度調整、色調整といったポストプロダクション処理を行い、記憶装置が処理済みの画像を記憶する。また、画像編集装置１０２は、上記ポストプロダクション処理に加えて、主要被写体の形状やサイズに応じた切り出し処理を行う。画像編集装置１０２において切り出し処理された画像は入力画像１１０として画像投影装置１１１に入力され、スクリーンや壁面へ投影画像１１２として投影される。本実施形態の画像投影システム１０１は、例えば広告の製作・展示を行う企業、仮想的に美術品を展示するイベンター等をユーザとして想定している。エンドユーザは、投影画像を鑑賞する人々である。

本実施形態では、画像編集装置１０２において切り出し処理された入力画像１１０の解像度に応じて画像投影装置１１１において後述する画素ずらし制御を行うことによって、投影画像の拡大倍率にかかわらず投影画像１１２の解像感を改善することができる。

ここで、図２を参照して、本実施形態の画像編集装置１０２における入力画像１１０の切り出し方法について説明する。図２において、撮像画像１００は横方向１６Ｋ、縦方向１０Ｋの高解像度の画像である。例えば、広角レンズや魚眼レンズを用いて、撮像画像１００には主要被写体を含む広範囲な領域が撮像されている。ここで、ユーザ（画像編集者）の意図（ユーザ設定）に従い、横方向６Ｋ、縦方向２Ｋの横長画像が入力画像１１０として切り出されるとする。この場合、縦横のアスペクト比は３：１となる。入力画像１１０の解像度、アスペクト比は撮像画像１００の撮影内容およびユーザの意図に応じて、適宜変更されるものとする。本実施形態では、入力画像１１０はフレーム周波数６０Ｈｚの動画であるとする。

＜装置構成＞
図３は、本実施形態の画像投影装置１１１の構成および機能の一例を示すブロック図である。

本実施形態の画像投影装置１１１は、不図示のＣＰＵやＭＰＵ等のプロセッサおよびソフトウェアが記憶されたＲＯＭ、ワークエリアとして使用されるＲＡＭ等のメモリを備える。そして、プロセッサがＲＯＭに格納されたプログラムを実行することで画像投影装置１１１の機能を実現する。

図３において、画像投影装置１１１は、画像処理部１２０、光源制御部１２１、光源部１２２、画像表示パネル部１２３、間引き部１２４、拡大倍率設定部１２５、画素ずらし制御部１２６、画素ずらし部１２７、投影光学部１２８を有する。また、画像投影装置１１１は、アダプタユニット１３０として投影光学部１２８のレンズ部に外付けされるアスペクト比変換部１２９を有する。本実施形態ではアスペクト比変換部１２９はアナモフィックレンズ等の光学素子を備える。

画像投影装置１１１には、入力画像１１０とユーザ設定１５０が入力される。入力画像１１０は画像投影装置１１１の画像処理部１２０に入力され、画像解析処理と高画質化処理が行われる。例えば、画像解析処理では統計量の計算、顔認識等が行われる。高画質化処理では輝度、色、ガンマカーブの調整、ノイズリダクション処理等が行われる。高画質化処理は画像解析の結果と、画像投影装置１１１の表示性能（画素数）に応じて適応的に処理される。

画像処理部１２０において高画質化処理された入力画像信号１５１は間引き部１２４へ入力される。また、画像処理部１２０における輝度統計量の計算結果に応じた光源制御信号１５２が画像処理部１２０から光源制御部１２１へ入力される。光源制御信号１５２は、例えば、入力画像１１０が暗い領域が多い画像である場合は光源の輝度を下げ、明るい領域が多い場合は光源の輝度を上げるような変調制御を行うための制御信号である。

光源制御部１２１は、光源制御信号１５２に応じた点灯制御信号１５３に基づいて光源部１２２を点灯制御し、画像表示パネル部１２３へ光１５４を照射する。画素ずらし部１２７には画像表示パネル部１２３から４Ｋの解像度で輝度変調された光１５７が入射され、投影光学部１２８には画素ずらし部１２７で画素をずらした光１５９が入射される。投影光学系１２８から出力される投影画像１６０は、アスペクト比変換部１２９において所定方向に光学的に拡大された投影画像１１２となる。

光源部１２２は超高圧水銀ランプ、半導体レーザなどが用いられる。画像表示パネル部１２３は投影方式がＤＬＰ（Ｄｉｇｉｔａｌ Ｌｉｇｈｔ Ｐｒｏｃｅｓｓｉｎｇ）方式の場合はＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｃｒｏｍｉｒｒｏｒ Ｄｅｖｉｃｅ）が用いられる。また、画像表示パネル部１２３は投影方式がＬＣＯＳ方式の場合は反射型液晶素子（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｏｎ Ｓｉｌｉｃｏｎ）からなる表示パネルが用いられる。

ユーザ設定１５０は、例えばメニュー画面においてユーザが各種設定項目に対応するＧＵＩを操作することによって入力される。ここでは、拡大倍率設定部１２５に拡大倍率に関するユーザ設定１５０が入力される。拡大倍率とは、画像投影装置１１１にアダプタユニット１３０として取り付けられるアスペクト比変換部１２９において投影画像１６０を所定方向に光学的に拡大して投影するときの倍率であり、整数ではない値（１．５倍、２．５倍）を含む。画像表示パネル部１２３の解像度が横方向４Ｋ、縦方向２Ｋのアスペクト比２：１であり、入力画像１１０が横方向６Ｋ、縦方向２Ｋのアスペクト比３：１である場合、横方向に拡大倍率１．５倍のアスペクト比変換部１２９を取り付ける。そして、ユーザ設定１５０として横方向に１．５倍を入力する。拡大倍率設定部１２５は、ユーザ設定１５０に応じた倍率設定情報１５６を間引き部１２４と画素ずらし制御部１２６に出力する。倍率設定情報１５６は、ユーザ設定１５０で入力された倍率である。

図３における画素ずらし制御部１２６、画素ずらし部１２７、投影光学部１２８およびアスペクト比変換部１２９の処理については、図４から図６を用いて後述するので、ここでは概要を説明する。

間引き部１２４は倍率設定情報１５６に応じて入力画像信号１５１の間引き処理を行い、間引き処理を行った画像信号１５５を画像表示パネル部１２３に出力する。画素ずらし制御部１２６は倍率設定情報１５６に応じた画素ずらし制御パラメータ１５８を用いて、画素ずらし部１２７を制御する。画像表示パネル部１２３の表示と画素ずらし部１２７の制御は同期して行われる。光源部１２２の光１５４は画像表示パネル部１２３、画素ずらし部１２７で輝度変調され、投影光学部１２８とアスペクト比変換部１２９を通じて投影画像１１２として投影される。

次に、図４から図６を参照して、本実施形態の画像投影装置１１１における拡大倍率に応じた画素ずらし制御について説明する。

図４は、本実施形態の画素ずらし制御における拡大倍率とパラメータの関係を例示する図である。

図４において、画素ずらし制御パラメータはアスペクト比変換部１２９の拡大倍率ごとに表示繰り返し数、分割数および周波数を含む。各パラメータの詳細は後述する。拡大倍率が１．０倍は、画素ずらし制御が行われない場合に相当する。このときの周波数は、入力画像１１０のフレーム周波数６０Ｈｚと同じである。拡大倍率が１．５倍は、画素ずらし制御の表示繰り返し数が２、分割数は３、周波数は１８０Ｈｚになる。以下では、本実施形態の画素ずらし制御におけるパラメータについて説明する。

図５は、画素ずらし制御を行う場合において間引き部１２４で間引き画像１５５を生成する処理を説明するための模式図である。図５において横軸方向は画素値の順序に対応する。

図５（ａ）は入力画像信号１５１の所定フレームの画素値と順序を示している。ただし、横方向６Ｋの入力画像信号１５１の一部を抜き出して簡略化して表している。入力画像信号１５１は横方向６Ｋ、縦方向２Ｋの解像度を持つが、これを横方向６画素（１０００分の１）、縦方向１画素（２０００分の１）だけ抜き出して表している。ここでは、画素値は横方向にＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆの６つの画素値であるとする。画像表示パネル部１２３は横方向４Ｋ、縦方向２Ｋの解像度を持つが、簡略的には横方向４画素、縦方向１画素で表される。

図５（ａ）の入力画像信号１５１に対して、図５（ｂ）に示すように、画素ずらし制御パラメータの表示繰り返し数で指定された数（本例では２）だけ同一画素値で画素数を２倍に増やした画像信号を生成する処理２００を行う。具体的には、Ａ、Ａ、Ｂ、Ｂ、Ｃ、Ｃ、…と同一画素値で２回ずつ繰り返す。次に、画素ずらし制御パラメータの分割数（本例では３）で図５（ｂ）の画像信号を分割して間引き処理後のサブフレームを生成する。具体的には、図５（ｂ）の先頭の画素から順に１、２、３、１、２、３、…と、サブフレームの番号を割り当てて、サブフレーム１用の間引き処理２０１、サブフレーム２用の間引き処理２０２、サブフレーム３用の間引き処理２０３を行う。このようにして、図５（ｃ１）、図５（ｃ２）、図５（ｃ３）の３枚のサブフレーム１〜３を生成する。ここでは、画像表示パネル部１２３の解像度に合わせて、各々４画素になるよう間引きされる。

図６は、画素ずらし制御によって疑似的に画素を生成し投影する処理を説明するための模式図である。図６において横軸方向は画素の表示位置と大きさに対応する。

図６（ｃ１）、図６（ｃ２）、図６（ｃ３）は、図５（ｃ１）、図５（ｃ２）、図５（ｃ３）で生成されたサブフレーム１〜３を、時分割で表示画素位置をずらしたものである。図６（ｃ１）でサブフレーム１を表示し、図６（ｃ２）で画素位置ずらし２１０を行ってサブフレーム２を表示し、図６（ｃ３）で画素位置ずらし２１１を行ってサブフレーム３を表示する。各サブフレームで表示される画素は略正方形である。画素位置ずらし２１０、画素位置ずらし２１１のずらし量はそれぞれ１画素を３等分した１つに対応する。３分割の場合、画素ずらし制御でサブフレームを切り替える周波数は、入力画像１１０の周波数６０Ｈｚの３倍速となる１８０Ｈｚになる。

図６（ｄ）は、画素ずらし制御によって疑似的に生成される画素を示す模式図である。例えば、疑似生成画素２１２は３枚のサブフレームの平均で表示（視覚）され、図６（ｄ）では３つの画素値（Ａ、Ａ、Ｘ）の平均値Ａ’で表示される。Ｘは図示されていない任意の画素値である。平均値Ａ’は概ね画素値Ａに近似する。次の疑似生成画素も同様に平均値Ａ’で表示され、以降、Ｂ’、Ｂ’、Ｃ’、Ｃ’、…と順に並ぶ。これらの疑似生成画素は横方向の大きさが１／３の縦長画素になる。

図６（ｅ）はアスペクト比変換部１２９で横方向１．５倍に拡大処理２１３を行った後の画素を例示している。横方向の大きさが１／３の縦長画素Ａ’、Ａ’、Ｂ’、Ｂ’、Ｃ’、Ｃ’、…に対して１．５倍で拡大すると、Ａ’、Ｂ’、Ｃ’、…の正方形画素が並ぶことになり、図５（ａ）で示した入力画像信号１５１を疑似的に投影できていることが分かる。つまり、画像表示パネル部１２３の解像度よりも解像感が改善している。

次に、図４に示した画素ずらし制御パラメータの計算方法について説明する。以下に画素ずらし制御パラメータを計算するプログラムコードの一例を示している。プログラムコードはＣ言語で記述されている。拡大倍率ａが入力されると、拡大倍率ａで割り切れる値になるよう、画素ずらし分割数ｂを決定する。画素ずらし表示くり返し回数は、画素ずらし分割数ｂを拡大倍率ａで割ったときの商である。

以上説明したように、本実施形態の画素ずらし制御を適用することで、アスペクト比変換部で所定方向に拡大して投影する場合に、拡大倍率にかかわらず画素ずらし制御によって解像感を改善することができる。

＜パラメータ計算プログラム＞
／＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊／
＃ｉｎｃｌｕｄｅ ＜ｓｔｄｉｏ．ｈ＞

ｉｎｔ ｍａｉｎ（ｖｏｉｄ）
｛
ｆｌｏａｔ ａ； ／／拡大倍率
ｆｌｏａｔ ｂ； ／／画素ずらし分割数
ｉｎｔ ｎ； ／／画素ずらし表示繰り返し回数

／＊ 拡大倍率を入力する ＊／
ｐｒｉｎｔｆ（”拡大倍率を入力して下さい￥ｎ”）；
ｓｃａｎｆ（”％ｆ”， ＆ａ）；

／＊ 画素ずらし分割数を算出 ＊／
ｆｏｒ （ｎ＝１； ｎ＜＝１０； ｎ＋＋） ｛ ／／表示繰り返し回数の上限は１０回とする
ｂ ＝ ａ ＊ ｎ；
ｉｆ（！（ｂ−（ｉｎｔ）ｂ））｛ ／／分割数ｂは拡大倍率ａで割り切れる値に決定する
ｂｒｅａｋ；
｝
｝

／＊ 結果を表示 ＊／
ｐｒｉｎｔｆ（”拡大倍率が ％ｆ のとき￥ｎ”， ａ）；
ｐｒｉｎｔｆ（”画素ずらし分割数は ％ｄ￥ｎ”， （ｉｎｔ）ｂ）；
ｐｒｉｎｔｆ（”画素ずらし繰り返し回数は ％ｄ￥ｎ”， ｎ）；
ｒｅｔｕｒｎ ０；
｝
／＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊／
［実施形態２］
実施形態１は、ユーザ設定１５０で拡大倍率を入力する構成について説明した。本実施形態では、より柔軟に拡大倍率を変更可能とし、自動的に画素ずらし制御を切り替える構成を説明する。例えば、撮像画像１００が動画であり、シーンが切り替わるタイミングで拡大倍率を動的に変更するような使い方が考えられる。

図７は、本実施形態の画像投影装置１１１の構成および機能の一例を示すブロック図である。

本実施形態の画像投影装置１１１は、図３の拡大倍率設定部１２５に代えて拡大倍率判定部２２５、アダプタユニット１３０としてのアスペクト比変換部１２９に代えて可変アスペクト比変換部２２９を有する。可変アスペクト比変換部２２９は画像投影装置１１１に内蔵されている。その他の構成や機能は、図３と同様であるので、同様の構成には同一の符号を付して説明は省略する。

図７において、拡大倍率判定部２２５は、入力画像１１０の解像度に応じて自動的に拡大倍率を設定する。例えば、入力画像１１０の解像度が横方向８Ｋ、縦方向２Ｋのアスペクト比４：１である場合、画像表示パネル部１２３の解像度（横方向４Ｋ、縦方向２Ｋ）に対して拡大倍率を横方向に２．０倍と設定する。具体的には、入力画像１１０の横方向解像度８Ｋを画像表示パネル部１２３の横方向解像度４Ｋで除算して、拡大倍率として２．０倍が算出される。例えば、入力画像１１０の解像度が横方向１０Ｋ、縦方向２Ｋのアスペクト比５：１である場合、画像表示パネル部１２３の解像度（横方向４Ｋ、縦方向２Ｋ）に対して拡大倍率を横方向に２．５倍と設定する。

倍率設定情報１５６は拡大倍率判定部２２５で算出され、設定される。倍率設定情報１５６は、間引き部１２４と画素ずらし制御部１２６に加えて、可変アスペクト比変換部２２９に入力される。可変アスペクト比変換部２２９は複数のプリズム素子を備え、アスペクト比（拡大倍率）はプリズム素子間の配置角度を調整することで変更される。

画素ずらし制御部１２６は、倍率設定情報１５６に応じた画素ずらし制御パラメータ１５８を用いて、画素ずらし部１２７を制御する。具体的には、実施形態１の図４に示した画素ずらし制御パラメータにおける分割数を動的に変更して制御する。

図８は実施形態２の画素ずらし部１２７の構成の一例を示す模式図である。画素ずらし部１２７は液晶パネル５００と複屈折素子５０１を貼り合わせて構成される。液晶パネル５００には画像表示パネル部１２３から４Ｋの解像度で輝度変調された光１５７が入射され、液晶制御信号５０２に基づき光１５７の直線偏光方向が切り替えられる。複屈折素子５０１は、光１５７の直線偏光方向に応じて出射光１５９を空間的にずらすこと（画素位置をずらすこと）ができる。複屈折素子５０１には制御電圧５０３が印加され、制御電圧５０３に応じて複屈折素子５０１の屈折率が変わるポッケルス効果を利用して、画素ずらし制御における分割数を変更できる。

以下では、拡大倍率が２．０倍と２．５倍の場合における間引き画像の生成と画素ずらし制御について説明する。

まず図９および図１０を参照して、拡大倍率が２．０倍の場合における画素ずらし制御を説明する。図４に示したように、拡大倍率が２．０倍の場合は、表示繰り返し数が１、分割数は２、周波数は１２０Ｈｚで画素ずらし制御を行う。

図９は、画素ずらし制御を行う場合において間引き部１２４で間引き画像１５５を生成する処理を説明するための模式図である。図９において横軸方向は画素値の順序に対応する。

図９（ａ）は入力画像信号１５１の所定フレームの画素値と順序を示している。ただし、横方向８Ｋの入力画像信号１５１の一部を抜き出して簡略化して表している。入力画像信号１５１は横方向８Ｋ、縦方向２Ｋの解像度を持つが、これを横方向８画素（１０００分の１）、縦方向１画素（２０００分の１）だけ抜き出して表している。ここでは、画素値は横方向にＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈの８つの画素値であるとする。画像表示パネル部１２３は横方向４Ｋ、縦方向２Ｋの解像度を持つが、簡略的には横方向４画素、縦方向１画素で表される。

図９（ａ）の入力画像信号１５１に対して、図９（ｂ）に示すように、画素ずらし制御パラメータの表示繰り返し数で指定された数（本例では１）だけ同一画素値で画素数を増やした画像信号を生成する処理３００を行う。本例では表示繰り返し数が１であるので図９（ａ）と図９（ｂ）の画素数は変わらない。次に、画素ずらし制御パラメータの分割数（本例では２）で図９（ｂ）の画像信号を分割して間引き処理後のサブフレームを生成する。具体的には、図９（ｂ）の先頭の画素から順に１、２、１、２、１、２…と、サブフレームの番号を割り当てて、サブフレーム１用の間引き処理３０１、サブフレーム２用の間引き処理３０２を行う。このようにして、図９（ｃ１）、図９（ｃ２）の２枚のサブフレーム１〜２を生成する。ここでは、画像表示パネル部１２３の解像度に合わせて、各々４画素になるよう間引きされる。

図１０は、画素ずらし制御によって疑似的に画素を生成し投影する処理を説明するための模式図である。図６において横軸方向は画素の表示位置と大きさに対応する。

図１０（ｃ１）、図１０（ｃ２）は、図９（ｃ１）、図９（ｃ２）で生成されたサブフレーム１〜３を、時分割で表示画素位置をずらしたものである。図１０（ｃ１）でサブフレーム１を表示し、図１０（ｃ２）で画素位置ずらし３１０を行ってサブフレーム２を表示する。各サブフレームで表示される画素は略正方形である。画素位置ずらし３１０、画素位置ずらし３１１のずらし量はそれぞれ１画素を２等分した１つに対応する。２分割の場合、画素ずらし制御でサブフレームを切り替える周波数は、入力画像１１０の周波数６０Ｈｚの２倍速となる１２０Ｈｚになる。

図１０（ｄ）は、画素ずらし制御によって疑似的に生成される画素を示す模式図である。例えば、疑似生成画素３１１は２枚のサブフレームの平均で表示（視覚）され、図６（ｄ）では２つの画素値（Ａ、Ｘ）の平均値Ａ’で表示される。Ｘは図示されていない任意の画素値である。平均値Ａ’は概ね画素値Ａに近似する。画素値Ａと画素値Ｘの値が離れている場合には近似性が低くなるが、多くの自然画では隣接する画素同士は近い値を取る。同様の考え方で、次の疑似生成画素は２つの画素値（Ａ、Ｂ）の平均値Ｂ’で表示される。以降、Ｃ’、Ｄ’、Ｅ’、Ｆ’、…と順に並ぶ。これらの疑似生成画素は横方向の大きさが１／２の縦長画素になる。

図１０（ｅ）は可変アスペクト比変換部２２９で横方向２．０倍に拡大処理３１２を行った後の画素を例示している。横方向の大きさが１／２の縦長画素Ａ’、Ｂ’、Ｃ’、Ｄ’、Ｅ’、Ｆ’、…に対して２．０倍で拡大すると、Ａ’、Ｂ’、Ｃ’、Ｄ’、Ｅ’、Ｆ’、…の正方形画素が並ぶことになり、図９（ａ）で示した入力画像信号１５１を疑似的に投影できていることが分かる。つまり、画像表示パネル部１２３の解像度よりも解像感が改善している。

次に図１１および図１２を参照して、拡大倍率が２．５倍の場合における画素ずらし制御を説明する。図４に示したように、拡大倍率が２．５倍の場合は、表示繰り返し数が２、分割数は５、周波数は３００Ｈｚで画素ずらし制御を行う。このように周波数が高い画素ずらし制御を行う場合は、画像表示パネル部１２３には高速表示が可能なＤＭＤパネルを用いることが好適である。

図１１は、画素ずらし制御を行う場合において間引き部１２４で間引き画像１５５を生成する処理を説明するための模式図である。図１１において横軸方向は画素値の順序に対応する。

図１１（ａ）は入力画像信号１５１の所定フレームの画素値と順序を示している。ただし、横方向１０Ｋの入力画像信号１５１の一部を抜き出して簡略化して表している。入力画像信号１５１は横方向１０Ｋ、縦方向２Ｋの解像度を持つが、これを横方向１０画素（１０００分の１）、縦方向１画素（２０００分の１）だけ抜き出して表している。ここでは、画素値は横方向にＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈ、Ｉ、Ｊの１０個の画素値であるとする。画像表示パネル部１２３は横方向４Ｋ、縦方向２Ｋの解像度を持つが、簡略的には横方向４画素、縦方向１画素で表される。

図１１（ａ）の入力画像信号１５１に対して、図１１（ｂ）に示すように、画素ずらし制御パラメータの表示繰り返し数で指定された数（本例では２）だけ同一画素値で画素数を２倍に増やした画像信号を生成する処理４００を行う。具体的には、Ａ、Ａ、Ｂ、Ｂ、Ｃ、Ｃ、…と同一画素値で２回ずつ繰り返す。次に、画素ずらし制御パラメータの分割数（本例では５）で図１１（ｂ）の画像信号を分割して間引き処理後のサブフレームを生成する。具体的には、図１１（ｂ）の先頭の画素から順に１、２、３、４、５、１、２、３、４、５、１、２、３、４、５、…と、サブフレームの番号を割り当てて、サブフレーム１用の間引き処理４０１、サブフレーム２用の間引き処理４０２、サブフレーム３用の間引き処理４０３、サブフレーム４用の間引き処理４０４、サブフレーム５用の間引き処理４０５を行う。このようにして、図１１（ｃ１）、図１１（ｃ２）、図１１（ｃ３）、図１１（ｃ４）、図１１（ｃ５）の５枚のサブフレームを生成する。ここでは、画像表示パネル部１２３の解像度に合わせて、各々４画素になるよう間引きされる。

図１２は、画素ずらし制御によって疑似的に画素を生成し投影する処理を説明するための模式図である。図１２において横軸方向は画素の表示位置と大きさに対応する。

図１２（ｃ１）、図１２（ｃ２）、図１２（ｃ３）、図１２（ｃ４）、図１２（ｃ５）は、図１１（ｃ１）、図１１（ｃ２）、図１１（ｃ３）、図１１（ｃ４）、図１１（ｃ５）で生成されたサブフレーム１〜５を、時分割で表示画素位置をずらしたものである。図１２（ｃ１）でサブフレーム１を表示し、図１２（ｃ２）で画素位置ずらし４１０を行ってサブフレーム２を表示する。以降は同様に、画素位置ずらし４１１〜４１３を行って、サブフレーム３〜５を表示する。各サブフレームで表示される画素は略正方形である。画素位置ずらし４１０〜４１３はそれぞれ１画素を５等分した１つに対応する。５分割の場合、画素ずらし制御でサブフレームを切り替える周波数は、入力画像１１０の周波数６０Ｈｚの５倍速となる３００Ｈｚになる。

図１２（ｄ）は、画素ずらし制御によって疑似的に生成される画素を示す模式図である。例えば、疑似生成画素４１４は５枚のサブフレームの平均で表示（視覚）され、図１２（ｄ）では５つの画素値（Ａ、Ａ、Ｂ、Ｘ、Ｘ）の平均値Ａ’で表示される。Ｘは図示されていない任意の画素値である。平均値Ａ’は概ね画素値Ａに近似する。画素値Ａと画素値Ｘの値が離れている場合には近似性が低くなるが、多くの自然画では隣接する画素同士は近い値を取る。同様の考え方で、次の疑似生成画素は５つの画素値（Ａ、Ａ、Ｂ、Ｂ、Ｘ）の平均値Ｂ’で表示される。以降、Ｂ’、Ｂ’、Ｃ’、Ｃ’、Ｄ’、Ｄ’、…と順に並ぶ。これらの疑似生成画素は横方向の大きさが１／５の縦長画素になる。

図１２（ｅ）は可変アスペクト比変換部２２９で横方向２．５倍に拡大処理４１５を行った後の画素を例示している。横方向の大きさが１／５の縦長画素Ａ’、Ａ’、Ｂ’、Ｂ’、Ｃ’、Ｃ’、…に対して２．５倍で拡大すると、Ａ’、Ｂ’、Ｃ’、…の正方形画素が並ぶことになり、図１１（ａ）で示した入力画像信号１５１を疑似的に投影できていることが分かる。つまり、画像表示パネル部１２３の解像度よりも解像感が改善している。

以上説明したように、拡大倍率に応じて自動的に画素ずらし制御を切り替えることで、可変アスペクト比変換部で所定方向に拡大して投影する場合に、拡大倍率にかかわらず画素ずらし制御によって解像感を改善することができる。

［実施形態３］
本実施形態では、画素ずらし部とアスペクト比変換部をまとめて交換可能なユニットとし、投影光学部を交換可能なユニットとした構成を説明する。

図１３は、本実施形態の画像投影装置１１１の構成および機能の一例を示すブロック図である。

本実施形態の画像投影装置１１１は、図３の拡大倍率設定部１２５や図７の拡大倍率判定部２２５が省略されている。また、本実施形態の画像投影装置１１１は、交換ユニット６３０としての画素ずらし部６２７およびアスペクト比変換部６２９と、交換ユニット６３１としての投影光学部６２８を有する。交換ユニット６３０、６３１は、用途に応じてユーザが選択し画像投影装置１１１に対して着脱可能である。その他の構成や機能は、図３や図５と同様であるので、同様の構成には同一の符号を付して説明は省略する。

交換ユニット６３０は、画素ずらし部６２７、アスペクト比変換部６２９、ＲＯＭ６７０を含む。交換ユニット６３０は、画像投影装置１１１に装着されると、画素ずらし部６２７が不図示の電気接点を介して画素ずらし制御部１２６に接続され、ＲＯＭ６７０が不図示の電気接点を介して間引き部１２４と画素ずらし制御部１２６に接続される。

画素ずらし部６２７とアスペクト比変換部６２９をまとめて１つの交換ユニット６３０にすることで、画素ずらし部６２７での画素ずらし制御と、アスペクト比変換部６２９での拡大処理が１つのユニット内で行われることになる。交換ユニット６３０は、例えば、ユーザが使用したい拡大倍率の範囲に応じて、拡大倍率が１．０〜２．０倍のレンズ、２．０倍〜３．０倍のレンズのように交換することができる。また、ＲＯＭ６７０には、アスペクト比変換部６２９で現在設定されている倍率設定情報６５６が書き込まれている。ＲＯＭ６７０に書き込まれた倍率設定情報６５６は、不図示の電気接点を介して間引き部１２４および画素ずらし制御部１２６により読み出されて各処理に利用される。

上述した実施形態１、２では横方向にのみ拡大処理を行ったが、本実施形態では横方向と縦方向に拡大処理を行うアスペクト比変換部を有する交換ユニットを適用することもできる。図１４は、本実施形態の画素ずらし部とアスペクト比変換部の構成を例示している。画像表示パネル部１２３において４Ｋの解像度で輝度変調された光１５７は、交換ユニット６３０の画素ずらし部６２７に入射され、横（Ｈ）方向と縦（Ｖ）方向に画素をずらした光６５９となり、アスペクト比変換部６２９において横（Ｈ）方向と縦（Ｖ）方向に光学的に拡大された投影画像６６０となり、交換ユニット６３１の投影光学部６２８から投影画像１１２が出力される。

図１５は、本実施形態のアスペクト比変換部による横方向と縦方向の拡大処理における、入力画像の解像度と画素ずらし制御における拡大倍率とパラメータの関係を例示する図である。入力画像の解像度が４Ｋ２Ｋの場合は、横方向と縦方向の拡大倍率はそれぞれ１．０倍であり、画素ずらし制御は行わない。入力画像解像度が６Ｋ４Ｋの場合は、横方向の拡大倍率が１．５倍、縦方向の拡大倍率が２．０倍になる。横方向と縦方向の各拡大倍率における画素ずらし制御パラメータは、実施形態１のパラメータ計算プログラムを用いて求めることができる。横方向と縦方向に拡大可能になることで、例えばプロジェクションマッピングや、壁面への広告表示など、アスペクト比に柔軟さが求められる用途に好適となる。

図１３に戻り、交換ユニット６３１は投影光学部６２８を含む。例えば、投射されるスクリーン、物体との距離に応じて、短焦点レンズやズームレンズ等を備える投影光学系を含む交換ユニットを選択することができる。

以上説明したように、画素ずらし部６２７とアスペクト比変換部６２９を交換可能なユニット６３０とすることで、ユーザが使用したい拡大倍率の範囲に応じたユニットに交換できる。また、アスペクト比変換部６２９で所定方向に拡大して投影する場合に、拡大倍率にかかわらず画素ずらし制御によって解像感を改善することができる。

上述した各実施形態では画像投影装置１１１にアスペクト比変換部１２９、２２９、６２９を設けたが、これを撮像画像１００を生成する撮像装置に適用することも可能である。アナモフィックレンズ等を用いて撮像することで、光学的にアスペクト比を変換（圧縮）した画像が撮像される。本実施形態では、画像編集装置１０２において切り出された入力画像１１０の解像度等に応じて画素ずらし制御を行っているが、画像撮像時の光学的な圧縮倍率を考慮して画素ずらし制御を行う構成も考えられる。例えば、画像撮像時に１．５倍圧縮するアナモフィックレンズを用いた場合に、同じく１．５倍拡大する画素ずらし制御を行うようにしてもよい。

また、上述した各実施形態では画像投影装置１１１において画素ずらし制御パラメータを計算し画素ずらし制御を実行しているが、画像編集装置１０２や他の外部装置から画像投影装置１１１へ画素ずらし制御パラメータを含む制御コマンドを送信し、制御コマンドに基づいて画像投影装置１１１が画素ずらし制御を行うようにしてもよい。

［他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０２…画像編集装置、１１１…画像投影装置、１２３…画像表示パネル部、１２６…画素ずらし制御部、１２７、６２７…画素ずらし部、１２８、６２８…投影光学部、１２９、６２９…アスペクト比変換部、２２９可変アスペクト比変換部

Claims (18)

1. 光源から照射される光を入力画像に応じて変調する画像表示手段と、
   前記画像表示手段により変調された光を投影画像として投影する投影手段と、
   前記投影画像の画素をずらす画素ずらし手段と、
   前記投影画像の所定方向の拡大倍率を変換する変換手段と、を有し、
   前記画素ずらし手段は、前記投影画像の画素を所定の数に分割し、分割した画素に基づいて前記投影画像の画素をずらす画素ずらし制御を行い、
   前記所定の数が前記変換手段における拡大倍率に応じて設定されることを特徴とする投影装置。
2. 前記所定の数に応じて前記入力画像に対して間引き処理を行う間引き手段をさらに有し、
   前記画素ずらし手段は、前記間引き処理を行った画像に対して前記画素ずらし制御を行うことを特徴とする請求項１に記載の投影装置。
3. 前記所定の数は前記拡大倍率で割り切れる値であることを特徴とする請求項１または２に記載の投影装置。
4. 前記拡大倍率は整数ではない値を含むことを特徴とする請求項３に記載の投影装置。
5. 前記所定の数に基づいて前記画素ずらし手段を制御する制御手段をさらに有することを特徴とする請求項１から４のいずれか１項に記載の投影装置。
6. 前記制御手段は、前記変換手段における拡大倍率に応じて、前記画素ずらし手段により画素ずらし制御が行われた投影画像を切り替える周波数を設定することを特徴とする請求項５に記載の投影装置。
7. 前記画素ずらし手段は、外部装置から送信される前記所定の数を含む制御コマンドに基づいて前記画素ずらし制御を行うことを特徴とする請求項１から６のいずれか１項に記載の投影装置。
8. 前記画素ずらし手段は、前記変換手段が投影画像を拡大する前記所定方向と同じ方向に前記画素ずらし制御を行うことを特徴とする請求項１から７のいずれか１項に記載の投影装置。
9. 前記変換手段は、前記投影画像における前記所定方向と異なる方向の拡大倍率を変換することを特徴とする請求項８に記載の投影装置。
10. 前記画素ずらし手段は、前記画像表示手段により変調された光を屈折させて出射する方向をずらす素子を備え、
    前記素子の屈折率を制御することで前記所定の数を変更することを特徴とする請求項１から９のいずれか１項に記載の投影装置。
11. 前記画素ずらし手段と前記変換手段は１つの交換可能なユニットとして構成されることを特徴とする請求項１から１０のいずれか１項に記載の投影装置。
12. 前記交換可能なユニットは、前記変換手段の拡大倍率に関する情報を記憶する記憶手段を含むことを特徴とする請求項１１に記載の投影装置。
13. 前記投影手段が交換可能なユニットとして構成されることを特徴とする請求項１１または１２に記載の投影装置。
14. 前記変換手段の拡大倍率はユーザ設定に応じて設定されることを特徴とする請求項１から１３のいずれか１項に記載の投影装置。
15. 前記変換手段の拡大倍率が可変であり、
    前記拡大倍率は入力画像の解像度に基づいて設定されることを特徴とする請求項１から１３のいずれか１項に記載の投影装置。
16. 光源から照射される光を入力画像に応じて変調する画像表示手段と、前記画像表示手段により変調された光を投影画像として投影する投影手段とを有する投影装置の制御方法であって、
    前記投影画像の画素をずらす画素ずらしステップと、
    前記投影画像の所定方向の拡大倍率を変換する変換ステップと、を有し、
    前記画素ずらしステップでは、前記投影画像の画素を所定の数に分割し、分割した画素に基づいて前記投影画像の画素をずらす画素ずらし制御を行い、
    前記所定の数が前記変換ステップにおける拡大倍率に応じて設定されることを特徴とする制御方法。
17. 請求項１から１５のいずれか１項に記載された投影装置を制御するプログラムであって、
    コンピュータに、前記画素ずらし制御を実行させるためのプログラム。
18. 請求項１７に記載されたプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images