JP7343760B2 - 画像処理プログラム、画像処理方法および画像処理装置 - Google Patents

画像処理プログラム、画像処理方法および画像処理装置 Download PDF

Info

Publication number
JP7343760B2
JP7343760B2 JP2019146727A JP2019146727A JP7343760B2 JP 7343760 B2 JP7343760 B2 JP 7343760B2 JP 2019146727 A JP2019146727 A JP 2019146727A JP 2019146727 A JP2019146727 A JP 2019146727A JP 7343760 B2 JP7343760 B2 JP 7343760B2
Authority
JP
Japan
Prior art keywords
image
person
pixel
display
photographed image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019146727A
Other languages
English (en)
Other versions
JP2021027559A (ja
Inventor
史陽 冨安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2019146727A priority Critical patent/JP7343760B2/ja
Publication of JP2021027559A publication Critical patent/JP2021027559A/ja
Application granted granted Critical
Publication of JP7343760B2 publication Critical patent/JP7343760B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、画像処理プログラム、画像処理方法および画像処理装置に関する。
衣料品の購入前には、通常、試着が行われる。このとき、試着者は例えば、試着室等の空間において購入予定の衣料品に着替え、試着姿を鏡に映し出して購入予定の衣料品の確認を行う。
一方、近年では、試着者をカメラで撮影し、撮影した試着姿をディスプレイに表示させるシステムが開発されている。例えば、利用者の全身を映すハーフミラーの背面に設けられた表示装置でハーフミラーとは異なる向きから利用者を撮像し、利用者の鏡像と重ならないように撮像画像を表示して、利用者の複数の向きの姿を視認可能にした技術が提案されている。さらに、試着姿を撮影して試着姿映像を記憶し、記憶されている試着姿映像の選択表示を可能にした技術が提案されている。
また、関連技術としては、ユーザと表示画面との距離に応じて、図形画像と文字画像の表示の大きさを変化させる技術が提案されている。
特開2010-87569号公報 特開2001-157201号公報 特開2008-96776号公報
しかし、上述したような、試着姿をカメラで撮影してディスプレイに表示するシステムでは、試着者から見える自分自身の像の上下方向に対する比率が不均等になる場合がある。例えば、試着者と同等の高さの像が表示されている場合、試着者からはその像における上半身より下半身の方が小さく見える。このような見え方の不均等性は試着者とディスプレイとの距離が近いほど顕著になり、見えている像と実物との違いが大きくなる。見えている像が実物と違うと、試着者は例えば、試着した服の丈を正しく判断することが困難になってしまう。
1つの側面では、本発明は、自分自身が撮影された画像を近くで見たときの自分自身の見え方を実物に近づける画像処理プログラム、画像処理方法および画像処理装置を提供することを目的とする。
上記課題を解決するために、画像処理プログラムが提供される。画像処理プログラムは、コンピュータに、カメラで人物を撮影した撮影画像を人物が視認する表示装置に表示させる際に、人物の眼の高さと、人物と表示装置の表示面との距離と、にもとづいて撮影画像の画素ごとに算出される拡縮率を取得し、撮影画像の各画素を拡縮率にもとづいて拡縮して拡縮画像を生成し、拡縮画像を表示装置に表示させ、表示面の高さ方向に距離を均等分割したときの撮影画像の画素の第1の大きさと、表示面に対して眼を中心として表示面の高さ方向に角度を均等分割したときの撮影画像の画素の第2の大きさとにもとづいて、拡縮率を算出する処理を実行させる。
また、上記課題を解決するために、上記画像処理プログラムを用いた処理と同様の処理をコンピュータが実行する画像処理方法が提供される。
さらに、上記課題を解決するために、上記画像処理プログラムを用いた処理と同様の処理を実行する画像処理装置が提供される。
1側面によれば、自分自身が撮影された画像を近くで見たときの自分自身の見え方を実物に近づけることが可能になる。
第1の実施の形態の画像処理装置の一例を説明するための図である。 第2の実施の形態の画像処理システムの構成の一例を示す図である。 試着姿の見え方の違いの一例を示す図である。 距離座標系から角度座標系への変換の一例を示す図である。 表示画像と角度との対応関係を示す図である。 画像処理装置のハードウェア構成の一例を示す図である。 画像処理装置の機能ブロックの一例を示す図である。 表示面のy軸方向に対する距離均等分割の一例を示す図である。 表示面のy軸方向に対する角度均等分割の一例を示す図である。 ディスプレイの下端から画素の上端までの距離の算出を説明するための図である(θ≦90°)。 ディスプレイの下端から画素の上端までの距離の算出を説明するための図である(θ≦90°)。 ディスプレイの下端から画素の上端までの距離の算出を説明するための図である(90°<θ)。 ディスプレイの下端から画素の上端までの距離の算出を説明するための図である(90°<θ)。 拡縮画像の生成例を示す図である。 画像表示および試着者から見た像の例を示す図である。 第1の拡縮率算出の動作の一例を示すフローチャートである。 第1の拡縮率算出にもとづく画像処理の動作の一例を示す図である。 つま先画素位置および頭頂部画素位置とパラメータ情報との対応関係を示すテーブルの一例を示す図である。 第2の拡縮率算出にもとづく画像処理の動作の一例を示すフローチャートである。 つま先画素位置の算出処理の一例を示すフローチャートである。 頭頂部画素位置の算出処理の一例を示すフローチャートである。 第2の拡縮率算出にもとづく画像処理の動作の一例を示す図である。 第3の拡縮率算出にもとづく画像処理の動作の一例を示すフローチャートである。 第3の拡縮率算出にもとづく画像処理の動作の一例を示す図である。
以下、本実施の形態について図面を参照して説明する。
[第1の実施の形態]
図1は、第1の実施の形態の画像処理装置の一例を説明するための図である。画像処理装置1は、受信部1aおよび制御部1bを備える。また、画像処理装置1には、カメラ2および表示装置3が接続されている。
この画像処理装置1は、カメラ2によって人物4を撮影した撮影画像を表示装置3に表示させ、表示された撮影画像を人物4自身が視認する状況において、表示装置3に表示された人物4の像をその人物4が見たときの見え方を実物に近づけるようにするものである。特に、人物4と表示装置3の表示面との距離が近い場合、人物4から見える人物4自身の像の上下方向に対する比率が不均等になってしまう。そこで、画像処理装置1は、人物4から見た人物4自身の像の上下方向に対する比率が実物に近くなるように、撮影画像の表示状態を変化させる。
受信部1aは、例えば、通信インタフェースとして実現される。受信部1aは、カメラ2によって人物4を撮影した撮影画像を受信する。
制御部1bは、例えば、プロセッサとして実現される。制御部1bは、上記のように撮影画像の表示状態を変化させるために、撮影画像の画素ごとの拡縮率を取得する。拡縮率は、より具体的には、撮影画像における垂直方向に並列する画素ごとに取得される。このような画素ごとの拡縮率は、人物4の眼4aの高さH1と、人物4と表示装置3の表示面との距離D1とにもとづいて算出される。
なお、拡縮率は、例えば、高さH1と距離D1との組み合わせごとに図示しない記憶装置に記憶され、制御部1bから読み出されてもよい。あるいは、拡縮率は、制御部1bによって計算されてもよい。
制御部1bは、撮影画像の各画素を拡縮率にもとづいて拡縮して拡縮画像を生成し、生成した拡縮画像を表示装置3に表示させる。
人物4から見える人物4自身の像の上下方向に対する比率は、人物4の眼4aと表示装置3の表示面との相対的な位置関係によって変化する。例えば、人物4と表示装置3の表示面との距離D1が近いほど、人物4から見える人物4自身の像の上下方向に対する比率は大きく不均等になる。また、距離D1が同じとき、表示面上の人物4の像は、人物4からは眼4aから近くなるほど上下方向に拡大されて見え、眼4aから遠くなるほど上下方向に縮小されて見える。
制御部1bは上記のように、高さH1と距離D1にもとづいて、撮影画像の画素ごとに算出される拡縮率を用いて、撮影画像の各画素を拡縮し、拡縮によって得られた拡縮画像を表示装置3に表示させる。これにより、高さH1および距離D1にかかわらず、人物4から見える人物4自身の像の上下方向に対する比率を実物に近づけることができる。したがって、人物4が撮影された画像を近くで見たときに人物4自身の見え方を実物に近づけることができる。
図1の下側には、人物4の像が表示装置3に等身大で表示される場合の画像と、人物4から画像を見たときの像の例を示している。このとき、表示装置3上の人物4の眼4aの高さは、実物の眼4aと同様にH1となる。この状態で人物4が写った撮影画像5aを表示装置3にそのまま表示した場合、人物4から視認される像6aにおいては、人物4の下半身より上半身の比率の方が実際の比率より大きく見える。上半身の比率は、距離D1が短いほど相対的に大きくなる。
一方、撮影画像5aから拡縮率にもとづいて生成される拡縮画像5bでは、眼4aの高さ以下の領域において、上半身より下半身の比率の方が大きくなるように拡縮される。このような拡縮画像5bが表示装置3に表示されたとき、人物4から視認される像6bでは上半身と下半身との比率が実物と同等に見えるようになる。
[第2の実施の形態]
次に、カメラで試着者を撮影して試着姿をディスプレイに表示させるシステムに図1の画像処理装置1の機能を適用した第2の実施の形態について説明する。
図2は、第2の実施の形態の画像処理システムの構成の一例を示す図である。画像処理システム1-1は、カメラ20、ディスプレイ30および画像処理装置10を備える。カメラ20およびディスプレイ30は、試着室40の内部に設置される。ディスプレイ30は、試着室40の底面に対して垂直に設置されるものとする。
カメラ20は、試着室40内の試着者を撮影する。画像処理装置10は、試着者の上半身と下半身との比率が実物に近い比率になるように、カメラ20から送信された撮影画像の画像処理を行う。ディスプレイ30は、画像処理装置10によって画像処理が施された試着姿の画像を表示する。なお、ディスプレイ30としては、例えば、液晶ディスプレイや有機EL(Electroluminescence)ディスプレイを用いることができる。
次に、第2の実施の形態の画像処理システム1-1の詳細を説明する前に、カメラと試着者との距離に応じて試着者から見た試着姿の見え方の違いについて、図3を用いて説明する。なお、図3では、カメラ20によって試着者が撮影された画像が大きさの比率を変えることなくそのままディスプレイ30に表示されたとする。
図3は、試着姿の見え方の違いの一例を示す図である。図3の上側では、ディスプレイ30の表示面に対して垂直な方向にx軸をとり、高さ方向にy軸をとっている。また、ディスプレイ30の表示面と試着室40の底面(地面)との交点を座標系の原点とする。さらに、試着者像R0は、撮影画像をそのままディスプレイ30に表示した場合の試着者Rの像を、模式的に示したものである。
図3の上側に示すように、x軸上に2点をとり、ディスプレイ30と試着者Rが立つ位置との距離が近い方の点をxa、ディスプレイ30と試着者Rが立つ位置との距離が遠い方の点をxbとする。
試着者Rが位置xaに存在する場合、試着者Rの撮影画像にもとづくディスプレイ30による表示画像は、試着者Rからは画像g1のように見える。このとき、画像g1には試着者像R0がほぼ等身大で映っている。しかし、画像g1では、試着者像R0の上半身の比率が下半身の比率よりも大きく、実物に対して双方の比率が不均等になっている。この場合、試着者Rにとって、試着姿の上半身は実物より大きく見え、下半身は実物よりも小さく見える。
一方、試着者がより遠い位置xbに存在する場合、試着者Rの撮影画像にもとづくディスプレイ30による表示画像は、試着者Rからは画像g2のように見える。画像g2では、上半身の比率と下半身の比率は実物と略同じであるが、全身像が小さくなっている。この場合、試着者Rにとって、上半身と下半身の服のバランスは実物と同様に見えても画像全体が小さく見える。
このように、撮影画像をそのままディスプレイ30に表示した場合、試着者Rがディスプレイ30に近づくほど、上半身と下半身の比率が不均等になって、試着者Rには実物と比べて上半身の比率が下半身の比率より大きく見えてしまう。よって、試着者Rは、上半身と下半身の服のバランス等の試着状態を正しく判断することが困難となる。
一方、試着者Rがディスプレイ30から遠ざかるほど、上半身と下半身の比率は実物の比率に近づいていくが、ディスプレイ30には全身の試着姿が小さく表示されてしまう。したがって、試着者Rが上半身と下半身の比率を実物と同じように見たい場合、ディスプレイ30から離れた位置に立つことになるが、全身像が小さく表示されてしまうため、この場合も試着状態を正しく判断することが困難である。
さらに、撮影画像から試着者Rを含む領域を切り出し、切り出した領域をディスプレイ30に表示することで、試着者Rがディスプレイ30から離れてもディスプレイ30上の試着者像R0を一定の大きさに維持することができる。しかし、このような処理を行ったとしても、試着者Rがディスプレイ30から離れるほど試着者Rが視認する試着者像R0の大きさが小さくなることに変わりない。
次に、ディスプレイ30と試着者との距離に応じて試着者から見た試着姿の見え方が異なることの理由について、図4、図5を用いて説明する。ディスプレイ30上の試着者像R0は、距離で表現される距離座標系において表示される。一方試着者Rは、試着者Rの眼を中心とした角度で表現される角度座標系において試着者像R0を視認する。ディスプレイ30と試着者Rとの距離に応じて上半身と下半身の比率が変化するのは、試着者像R0が表示されてから試着者Rに視認される過程でこのような座標系の変換が行われるからである。
図4は、距離座標系から角度座標系への変換の一例を示す図である。図4では例として、ディスプレイ30に試着者像R0が等身大で表示されている場合を示す。このとき、試着者Rの高さと試着者像R0の高さは等しい。
地面のy座標をyとし、試着者Rの頭頂部(head)のy座標をy、試着者Rの眼(eye)のy座標をy、試着者Rの身長の半分の位置のy座標をyとする。また、yからyまでの距離をyとし、yからyまでの距離をyとする(y=y)。
ここで、試着者像R0の頭頂部から試着者Rの眼に入射する光線B1と、試着者像R0における身長の半分の位置から試着者Rの眼に入射する光線B2とのなす鋭角側の角度をθとする。また、光線B2と、試着者像R0の足元から試着者Rの眼に入射する光線B3とのなす鋭角側の角度をθとする。このとき、試着者像R0がディスプレイ30に表示され、表示された試着者像R0を試着者Rが見た場合、距離yは角度θに変換され、距離ybは角度θに変換される。
図5は、表示画像と角度との対応関係を示す図である。図5に示す画像g3は、図4のようにディスプレイ30に表示された撮影画像を試着者Rが見たときに試着者Rの眼に映る像を示す。画像g3においては、距離yに対応する上半身は角度θに変換され、距離yに対応する下半身は角度θに変換される。ディスプレイ30と試着者Rとの距離が近いほど角度θは角度θより相対的に大きくなり、試着者Rには、図5のように上半身の方が下半身より高さ方向に大きな比率で見えてしまう。このため、試着者Rは服の丈等を正しく判断することが困難となる。
本実施の形態はこのような点に鑑みてなされたものであり、カメラ20で撮影した試着者Rの試着姿をディスプレイ30に表示する場合、ディスプレイ30と試着者Rとの距離に依存せずに、試着者Rの上半身と下半身とが実物と同等の比率で見えるように変換して表示させるものである。図4、図5より、ディスプレイ30の表示面上の画素についてのy軸方向の大きさは、試着者Rの眼を中心とした角度座標系での大きさに変換される際に、試着者Rの眼の高さに近いほど拡大される方向に変換され、眼の高さから遠いほど縮小される方向に変換される。そこで、画像処理装置10は、ディスプレイ30に表示される撮影画像の各画素についての垂直方向の大きさを、上記の変換率とは逆になる変換率で拡縮し、拡縮後の撮影画像をディスプレイ30に表示させる。また、画像処理装置10は、ディスプレイ30の表示面と試着者Rとの距離と、試着者Rの眼の高さとに応じて、拡縮率を決定する。
図6は、画像処理装置のハードウェア構成の一例を示す図である。画像処理装置10は、プロセッサ(コンピュータ)100によって装置全体が制御されている。プロセッサ100は、マルチプロセッサであってもよい。プロセッサ100は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、またはPLD(Programmable Logic Device)である。またプロセッサ100は、CPU、MPU、DSP、ASIC、PLDのうちの2以上の要素の組み合わせであってもよい。
プロセッサ100には、バス103を介して、メモリ101および複数の周辺機器が接続されている。
メモリ101は、画像処理装置10の主記憶装置として使用される。メモリ101には、プロセッサ100に実行させるOS(Operating System)のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、メモリ101には、プロセッサ100による処理に要する各種データが格納される。また、メモリ101は、画像処理装置10の補助記憶装置としても使用され、OSのプログラム、アプリケーションプログラム、および各種データが格納される。なお、画像処理装置10は、補助記憶装置として、フラッシュメモリやSSD(Solid State Drive)等の半導体記憶装置やHDD(Hard Disk Drive)等の磁気記録媒体を備えていてもよい。
バス103に接続されている周辺機器としては、入出力インタフェース102およびネットワークインタフェース104がある。
入出力インタフェース102には、カメラ20およびディスプレイ30が接続される。入出力インタフェース102は、カメラ20によって撮影された画像のデータを受信して、プロセッサ100に送信する。また、入出力インタフェース102は、プロセッサ100からの命令にしたがって画像をディスプレイ30に表示させる。さらに、入出力インタフェース102は、キーボードやマウス等の情報入力装置を接続可能であって、情報入力装置から送られてくる信号をプロセッサ100に送信する。
また、入出力インタフェース102は、周辺機器を接続するための通信インタフェースとしても機能する。例えば、入出力インタフェース102は、レーザ光等を利用して、光ディスクに記録されたデータの読み取りを行う光学ドライブ装置を接続することができる。光ディスクには、CD(Compact Disc)、DVD(Digital Versatile Disc)、ブルーレイディスク(Blu-ray Disc:BD、登録商標)等がある。
また、入出力インタフェース102は、メモリ装置やメモリリーダライタを接続することができる。メモリ装置は、入出力インタフェース102との通信機能を搭載した記録媒体である。メモリリーダライタは、メモリカードへのデータの書き込み、またはメモリカードからのデータの読み出しを行う装置である。メモリカードは、カード型の記録媒体である。
ネットワークインタフェース104は、ネットワークと接続してネットワークインタフェース制御を行う。ネットワークインタフェース104は、ネットワークとプロセッサ100との間でデータを送受信する。ネットワークインタフェース104としては、例えば、NIC(Network Interface Card)、無線LAN(Local Area Network)カード等を使用することができる。
以上のようなハードウェア構成によって、画像処理装置10の処理機能を実現することができる。
図7は、画像処理装置の機能ブロックの一例を示す図である。画像処理装置10は、制御部11、記憶部12およびインタフェース部13を備える。制御部11は、拡縮率算出部11aおよび画像拡縮部11bを含む。
拡縮率算出部11aは、ディスプレイ30の表示面をy軸方向に距離均等分割したときの画素のy方向の大きさi1と、この表示面を試着者の眼を中心としてy軸方向に角度均等分割したときの画素のy方向の大きさi2とから、拡縮率を算出する。拡縮率は、y軸上で(すなわち、ディスプレイ30の表示面の垂直方向に対して)等距離の箇所を、試着者の視野においても等距離の箇所に見えるように、撮影画像の各画素のy軸方向の大きさを拡大または縮小するための係数である。
「距離均等分割」とは、表示面をy軸方向に等距離で分割することを示す。この距離均等分割では、表示面は撮影画像のy軸方向の画素数分だけ分割される。このため、分割された各分割領域は撮影画像を表示面に描画した状態において撮影画像のy軸方向に並列する各画素に対応し、大きさi1は撮影画像上のn番目の画素が描画される領域のy軸方向の大きさを示す。
なお、距離均等分割での分割数は、ディスプレイ30に入力される前の撮影画像(ソース画像)におけるy軸方向の画素数であるものとする。このため、距離均等分割での分割数はディスプレイ30におけるy軸方向の画素数と同一であるとは限らない。
「角度均等分割」とは、試着者の眼から表示面に対するy軸方向の視野角を同一角度で分割したときに、その分割線によって表示面を分割することを示す。「角度均等分割したときの画素」(あるいは「角度均等分割による画素」)とは、上記の視野角を同一角度で分割したときに表示面に投影される各分割領域を示す。
角度均等分割での分割数は距離均等分割での分割数と同一である。そして、表示面を距離均等分割したときのn番目の画素は、表示面を角度均等分割したときのn番目の画素と対応付けられ、n番目の両方の画素の大きさi1,i2を用いて撮影画像におけるn番目の画素についての拡縮率が求められる。したがって、拡縮率は撮影画像においてy方向に並列する画素ごとに算出される。
また、拡縮率算出部11aは、角度均等分割による画素の大きさi2を求める場合、ディスプレイ30と試着者との距離(第1のパラメータ)と、試着者の眼の高さ(第2のパラメータ)とにもとづいて、画素の大きさi2を算出する。このとき、拡縮率算出部11aは、第1、第2のパラメータを含むパラメータ情報の取得方法に応じた第1、第2、第3の拡縮率算出の少なくとも1つによる、拡縮率を得ることができる。
第1の拡縮率算出では、固定値のパラメータ情報を使用して拡縮率を算出する。第2の拡縮率算出では、試着者のつま先画素位置および頭頂部画素位置をキーにして検索したパラメータ情報を使用して拡縮率を算出する。第3の拡縮率算出では、実測した試着者の眼の3次元(3D:3 dimensions)位置からパラメータ情報を取得して拡縮率を算出する。なお、第1、第2、第3の拡縮率算出の詳細については、図16から図24で後述する。
画像拡縮部11bは、カメラ20で撮影された試着者の撮影画像に拡縮率を乗算して拡縮画像を生成し、拡縮画像をディスプレイ30に表示させる。記憶部12は、カメラ20で撮影された撮影画像および拡縮率の算出に要する情報(パラメータ情報)等を記憶する。
インタフェース部13は、画像処理装置10に接続される機器とのインタフェース制御を行う。例えば、カメラ20で撮影された撮影画像の受信処理および拡縮画像のディスプレイ30への転送処理を行う。
なお、制御部11は、例えば図6のプロセッサ100により実現される。この場合、制御部11の処理は、プロセッサ100がプログラムを実行することで実現される。また、記憶部12は、例えば図6のメモリ101により実現される。インタフェース部13は、例えば図6の入出力インタフェース102により実現される。
次に、画像処理装置10における拡縮率の算出処理について、図8から図13を用いて詳しく説明する。なお、以降ではy軸に設置されるカメラ20の図示を省略する。
図8は、表示面のy軸方向に対する距離均等分割の一例を示す図である。ここでは、撮影画像の垂直方向(y軸方向)の画素数をI[pixel]とし、ディスプレイ30の表示面をy軸方向に対してI個に距離均等分割したときの、各分割領域(各画素)のy軸方向の大きさを求める。これは、撮影画像をその画素数を維持したままディスプレイ30の表示面に仮想的に描画した場合における、撮影画像の各画素のy軸方向の大きさを求めることと同じである。なお、ディスプレイ30の表示面の下端は地面の高さであるとする。
距離均等分割により、表示面はI個の画素p(1≦n≦I)に均等分割される。このとき、画素pのy軸方向の大きさi1[mm/pixel]は、ディスプレイ30の表示面の高さをy[mm]とすると、以下の式(1)で算出される。距離均等分割であるため、すべての画素p、・・・、p、・・・、pの大きさは同じ値となる。
Figure 0007343760000001
次に、試着者Rのy軸方向の視野角においてディスプレイ30の表示面が占める領域を考える。まず、角度変換としてradianからdegreeへの単位の変換式を以下の式(2a)に示し、degreeからradianへの単位の変換式を以下の式(2b)に示す。
Figure 0007343760000002
ディスプレイ30の表示面の上端から試着者Rの眼に入る光線b1と、表示面の下端から試着者Rの眼に入る光線b2とのなす角度のうち小さい方の角度(視野角)をΘとする。また、光線b1と、試着者Rの眼から地面に下した垂直ラインhaとのなす鋭角側の角度をΘとし、光線b2と、垂直ラインhaとのなす鋭角側の角度をΘとする。ディスプレイ30の表示面と試着者Rとの距離をxとし、この距離xと試着者Rの眼の高さyとを用いて、角度Θ、Θ、Θは、以下の式(3)、(4)、(5)で算出される。
Figure 0007343760000003
Figure 0007343760000004
Figure 0007343760000005
図9は、表示面のy軸方向に対する角度均等分割の一例を示す図である。ディスプレイ30の表示面を、画素(分割領域)p(1≦n≦I)の上端および下端と、試着者Rの眼との成す角度が均一になるような角度で均等分割するものとする。これは、表示面に対する試着者Rのy軸方向の視野角を均等にI個に分割することを意味する。また、表示面の下端から画素pの上端までの距離をy(第1の上端距離)、表示面の下端から画素pn-1の上端(すなわち画素pの下端)までの距離をyn-1(第2の上端距離)とする。
画素pの上端から試着者Rの眼に入る光線b11と、画素pn-1の上端から試着者Rの眼に入る光線b12とのなす鋭角側の角度をθとする。なお、光線b11と、垂直ラインhaとのなす鋭角側の角度をθaとする。このとき、角度θは、図8に示した視野角ΘをI個に均等分割した1つの角度であるから、画素pに対するθは、以下の式(6)で算出される。角度均等分割であるため、すべての角度(θ、・・・、θ、・・・、θ)の大きさは同じ値(θとする)となる。
Figure 0007343760000006
図9に示すように、角度均等分割による各画素のy軸上の大きさ(距離座標系での大きさ)は画素ごとに異なるが、試着者Rからは同じ大きさに見える。このため、距離均等分割による画素pの大きさi1を角度均等分割による画素pの大きさi2に拡縮することで、距離均等分割による各画素(すなわち、撮影画像の各画素)のy軸方向の大きさを試着者Rに同じ大きさに見せることができる。
まず、角度均等分割による画素pの大きさi2は、以下の式(7)で算出される。
Figure 0007343760000007
また、式(7)における画素pの上端の高さyは、以下の式(8a)、(8b)により算出される。画素pn-1の上端の高さyn-1も同様にして式(8a)、(8b)から求められる。
Figure 0007343760000008
したがって、画素pについて拡縮率rは、以下の式(9)のように、角度均等分割による画素pの大きさi2を、距離均等分割による画素pの大きさi1で除算することにより算出される。
Figure 0007343760000009
ここで、上記の式(8a)について、図10から図13を用いて説明する。図10、図11は、ディスプレイの下端から画素の上端までの距離の算出を説明するための図である。図10、図11では、角度θが90°以下の場合を示している。
図10において、まず、制御部11は、ディスプレイ30の表示面に対する試着者Rの視野角Θを均等に分割した均等分割角度θeを算出する(式(6))。制御部11は、画素p(第1の画素)の上端から試着者Rの眼に入射する光線b11と、垂直ラインhaとのなす鋭角側の角度θ1(第1の角度)を均等分割角度θe(=θ)にもとづいて算出する。この算出処理では、式(8b)を用いて、画素pのnを代入して求めたθをθ1とする。角度θ1は90°以下である。この場合、制御部11は、90°から角度θ1を減算して、角度(90°-θ1)(第2の角度)を求める。
一方、試着者Rの眼Aと、ディスプレイ30における眼Aの高さyの位置の点Bと、ディスプレイ30における画素pの上端の点Cとを結ぶと、三角形ABC(点Bの内角が直角)が形成される。制御部11は、三角形ABCにおける、角度(90°-θ1)の正接(tangent)に、ディスプレイ30と試着者Rとの距離x(第1のパラメータ)を乗算して、距離d1(第1の距離)を算出する。そして、制御部11は、試着者Rの眼の高さy(第2のパラメータ)から距離d1を減算して、画素pの上端の高さyを算出する(式(8a)のθ≦90°のとき)。
図11において、同様にして、制御部11は、画素pn-1の上端から試着者Rの眼に入射する光線b12と、垂直ラインhaとのなす鋭角側の角度θ2(第3の角度)を均等分割角度θe(=θn-1)にもとづいて算出する。この算出処理では、式(8b)を用いて、画素pn-1の(n-1)を代入して求めたθをθ2とする。角度θ2は90°以下である。この場合、制御部11は、90°から角度θ2を減算して、角度(90°-θ2)(第4の角度)を求める。
一方、試着者Rの眼Aと、ディスプレイ30における眼Aの高さyの位置の点Bと、ディスプレイ30における画素pn-1の上端の点Dとを結ぶと、三角形ABD(点Bの内角が直角)が形成される。制御部11は、三角形ABDにおける、角度(90°-θ2)の正接(tangent)に、ディスプレイ30と試着者Rとの距離で距離x(第1のパラメータ)を乗算して、距離d2(第2の距離)を算出する。そして、制御部11は、試着者Rの眼の高さy(第2のパラメータ)から距離d2を減算して、画素pn-1の上端の高さyn-1を算出する(式(8a)のθ≦90°のとき)。
このようにして、θ≦90°の場合における、角度均等分割による画素pの大きさi2を、式(7)を用いて算出できるようになる。
図12、図13は、ディスプレイの下端から画素の上端までの距離の算出を説明するための図である。図12、図13では、角度θが90°を超える場合を示している。
図12において、まず、制御部11は、ディスプレイ30の表示面に対する試着者Rの視野角Θを均等に分割した均等分割角度θeを算出する(式(6))。制御部11は、画素p(第1の画素)の上端から試着者Rの眼に入射する光線b13と、垂直ラインhaとのなす鈍角側の角度θ3(第5の角度)を均等分割角度θe(=θ)にもとづいて算出する。この算出処理では、式(8b)を用いて、画素pのnを代入して求めたθをθ3とする。角度θ3は90°を超える。この場合、制御部11は、角度θ3から90°を減算して、角度(θ3-90°)(第6の角度)を求める。
一方、試着者Rの眼Aと、ディスプレイ30における眼Aの高さyの位置の点Bと、ディスプレイ30における画素pの上端の点Eとを結ぶと、三角形ABE(点Bの内角が直角)が形成される。制御部11は、三角形ABEにおける、角度(θ3-90°)の正接(tangent)に、ディスプレイ30と試着者Rとの距離x(第1のパラメータ)を乗算して、距離d3(第3の距離)を算出する。そして、制御部11は、試着者Rの眼の高さy(第2のパラメータ)に距離d3を加算して、画素pの上端の高さyを算出する(式(8a)の90°<θのとき)。
図13において、同様にして、制御部11は、画素pn-1の上端から試着者Rの眼に入射する光線b14と、垂直ラインhaとのなす鈍角側の角度θ4(第7の角度)を均等分割角度θe(=θn-1)にもとづいて算出する。この算出処理では、式(8b)を用いて画素pn-1の(n-1)を代入して求めたθをθ4とする。角度θ4は90°を超える。この場合、制御部11は、角度θ4から90°を減算して、角度(θ4-90°)(第8の角度)を求める。
一方、試着者Rの眼Aと、ディスプレイ30における眼Aの高さyの位置の点Bと、ディスプレイ30における画素pn-1の上端の点Fとを結ぶと、三角形ABF(点Bの内角が直角)が形成される。制御部11は、三角形ABFにおける、角度(θ4-90°)の正接(tangent)に、ディスプレイ30と試着者Rとの距離x(第1のパラメータ)を乗算して、距離d4(第3の距離)を算出する。そして、制御部11は、試着者Rの眼の高さy(第2のパラメータ)に距離d4を加算して、画素pn-1の上端の高さyn-1を算出する(式(8a)の90°<θのとき)。
このようにして、90°<θの場合における、角度均等分割による画素pの大きさi2を、式(7)を用いて算出できるようになる。
図14は、拡縮画像の生成例を示す図である。撮影画像g10の各画素に対して対応する拡縮率が適用されることで、拡縮画像g20が生成される。この処理では、まず、撮影画像の画素pの垂直方向に対する大きさiに拡縮率rを乗算することによって、撮影画像の各画素の垂直方向に対する大きさが拡縮される。拡縮後の画素pの大きさi3は、以下の式(10)で算出される。ただし、画素の大きさi、i3は、ディスプレイ30や試着者Rが存在する実世界の座標系でなく、画像座標系における大きさである。
Figure 0007343760000010
図14に示すように、撮影画像g10の各画素が拡縮されることで、拡縮後の画素による変換画像g10aが生成される。そして、変換画像g10aの各画素の画素値を補間演算して、変換画像g10aを撮影画像g10と同じ画素数の画像に変換することで、拡縮画像g20が生成される。拡縮画像g20はディスプレイ30に入力され、ディスプレイ30に表示される。
図15は、画像表示および試着者から見た像の例を示す図である。図15に例示した撮影画像g10を仮にディスプレイ30に表示した場合、表示された撮影画像g10には試着者がほぼ等身大で写っている。この場合、表示された撮影画像g10における試着者の眼の高さは、実際の試着者の眼の高さとほぼ等しくなっている。また、この撮影画像g10では、試着者の上半身と下半身は実物とほぼ同じ比率で写っている。しかし、この撮影画像g10が表示されたディスプレイ30を試着者が見た場合、試着者には図5の例のように上半身が垂直方向に拡大され、下半身が垂直方向に縮小された状態で見える。
一方、この撮影画像g10を拡縮することで得られた拡縮画像g20では、試着者の眼の位置に近い領域では画像が垂直方向に縮小され、試着者の眼の位置から遠い領域(例えば画像下側領域)では画像が垂直方向に拡大される。その結果、拡縮画像g20に写っている試着者の像においては、元の撮影画像g10と比較して上半身は小さく写り、下半身は大きく写っている。このような拡縮画像g20が表示されたディスプレイ30を試着者が見たとき、画像g20aに示すように試着者の上半身と下半身は、元の撮影画像g10と同様に実物とほぼ同じ比率で見えるようになる。
また、拡縮画像g20では、ディスプレイ30と試着者との距離が近いほど、上半身の縮小率が大きくなり、下半身の拡大率が大きくなる。一方、拡縮画像g20では、ディスプレイ30と試着者との距離が遠いほど、上半身の縮小率が小さくなり、下半身の拡大率も小さくなって、上半身と下半身との比率が実物に近づいていく。しかし、拡縮画像g20が表示されたディスプレイ30を試着者が見たときには、ディスプレイ30と試着者との距離に関係なく、上半身と下半身が実物に近い比率で見えるようになる。
次に、制御部11の拡縮率算出部11aによる第1の拡縮率算出について、図16、図17を用いて説明する。第1の拡縮率算出は、ディスプレイ30と試着者との距離xおよび試着者の眼の高さyを固定値としてあらかじめ用意しておき、固定値のパラメータ情報にもとづいて拡縮率を算出するものである。
例えば、ディスプレイ30と試着者との距離xは、試着室の床面積の平均的なサイズ(約90cm×約90cm)にもとづいて設定される。記憶部12には、このような試着室における奥行き方向(ディスプレイ30の表示面と垂直な方向)についての3分の2のサイズ(約60cm)が、距離xの固定値としてあらかじめ記憶される。また、記憶部12には、日本人の男性の平均身長(171cm)と女性の平均身長(158cm)の中間値(164cm)が、眼の高さyの固定としてあらかじめ記憶される。
さらに、ディスプレイ30の表示面の高さyは、画像処理装置10の使用開始時に記憶部12に初期設定される。このようにして、記憶部12にはパラメータ情報として、ディスプレイ30と試着者との距離x、試着者の眼の高さy、ディスプレイ30の表示面の高さをyがあらかじめ記憶される。
図16は、第1の拡縮率算出の動作の一例を示すフローチャートである。
〔ステップS11〕拡縮率算出部11aは、カメラ20で撮影された撮影画像を取得する。なお、拡縮率算出部11aはこのとき、撮影画像に対し、垂直方向に対するカメラ20のレンズの歪みを除去するための処理を施して、撮影画像における像の垂直方向の比率が実際の比率に近づくように補正することが望ましい。
〔ステップS12〕拡縮率算出部11aは、拡縮率を算出するためのパラメータ情報を記憶部12から取得する。パラメータ情報として、ディスプレイ30と試着者との距離x、試着者の眼の高さy、ディスプレイ30の表示面の高さyが取得される。また、拡縮率算出部11aは、取得された撮影画像の垂直方向の画素数Iを認識する。
〔ステップS13〕拡縮率算出部11aは、取得したパラメータ情報と認識した画素数Iとにもとづいて、画素ごとの拡縮率を算出する。
〔ステップS14〕画像拡縮部11bは、算出した拡縮率を撮影画像に乗算して拡縮画像を生成する。
〔ステップS15〕制御部11は、拡縮画像をディスプレイ30に転送する。
図17は、第1の拡縮率算出にもとづく画像処理の動作の一例を示す図である。
〔ステップS21〕カメラ20は、試着者を撮影し、撮影画像g10が制御部11に転送される。
〔ステップS22〕拡縮率算出部11aは、記憶部12からパラメータ情報を抽出する。また、拡縮率算出部11aは、取得された撮影画像の垂直方向の画素数Iを認識する。
〔ステップS23〕拡縮率算出部11aは、パラメータ情報と画素数Iにもとづいて拡縮率を算出する。
なお、画素数Iおよびディスプレイ30の表示面の高さyも固定値である場合、記憶部12には、固定値である距離x、高さy、画素数Iおよび高さyにもとづいて算出された拡縮率があらかじめ記憶されていてもよい。この場合、ステップS22、S23では、拡縮率が記憶部12から取得される。
〔ステップS24〕画像拡縮部11bは、撮影画像g10に拡縮率を乗算して拡縮画像g20を生成する。
〔ステップS25〕制御部11は、拡縮画像g20をディスプレイ30に転送する。
〔ステップS26〕ディスプレイ30は、拡縮画像g20を表示する。
次に、拡縮率算出部11aの第2の拡縮率算出について、図19から図22を用いて説明する。第2の拡縮率算出では、パラメータ情報のうち、ディスプレイ30と試着者との距離xおよび試着者の眼の高さyを、撮影画像中の試着者の像におけるつま先画素位置および頭頂部画素位置から求めて拡縮率を算出するものである。
ここでは例として、つま先画素位置および頭頂部画素位置の複数の組み合わせに対応する距離xおよび高さyの値が記憶部12にあらかじめ記憶されているものとする。また、説明を簡単にするために、撮影画像の垂直方向の画素数Iは固定値であり、パラメータ情報として記憶部12にあらかじめ記憶されるものとする。
図18は、つま先画素位置および頭頂部画素位置とパラメータ情報との対応関係を示すテーブルの一例を示す図である。図18に示すテーブル12a、12bは、記憶部12に格納され、第2の拡縮率算出が行われるときに使用される。
テーブル12aには、つま先画素位置P1についての複数の値に対して、ディスプレイ30と試着者との距離xが対応付けて登録されている。つま先画素位置P1は、撮影画像に写った試着者のつま先についての垂直方向の画素番号として検出される。カメラ20の位置と方向があらかじめ決められていれば、つま先画素位置P1から距離xが推定される。ディスプレイ30と試着者との距離xは、検出されたつま先画素位置P1をキーにしてテーブル12aから読み出される。
テーブル12bには、つま先画素位置P1と頭頂部画素位置P2の組み合わせごとに、試着者の眼の高さyが対応付けて登録されている。頭頂部画素位置P2は、撮影画像に写った試着者の頭頂部についての垂直方向の画素番号として検出される。カメラ20の位置と方向があらかじめ決められていれば、つま先画素位置P1と頭頂部画素位置P2の組み合わせから、平均的な試着者の顔の位置や大きさが推定され、それらを基に高さyが推定される。試着者の眼の高さyは、検出されたつま先画素位置P1および頭頂部画素位置P2をキーにしてテーブル12bから読み出される。
図19は、第2の拡縮率算出にもとづく画像処理の動作の一例を示すフローチャートである。
〔ステップS31〕制御部11は、カメラ20で撮影された撮影画像を取得する。なお、上記のステップS11と同様に、制御部11はこのとき、撮影画像に対し、垂直方向に対するカメラ20のレンズの歪みを除去するための処理を施すことが望ましい。
〔ステップS32〕拡縮率算出部11aは、撮影画像から試着者のつま先を検出し、つま先画素位置P1を算出する。
〔ステップS33〕拡縮率算出部11aは、撮影画像から試着者の頭頂部を検出し、頭頂部画素位置P2を算出する。
〔ステップS34〕拡縮率算出部11aは、記憶部12に格納されているパラメータ情報(ディスプレイと試着者との距離xおよび試着者の眼の高さy)を、算出されたつま先画素位置P1および頭頂部画素位置P2をキーにして読み出して取得する。すなわち、つま先画素位置P1をキーにして距離xがテーブル12aから取得され、つま先画素位置P1および頭頂部画素位置P2をキーにして高さyがテーブル12bから取得される。また、拡縮率算出部11aは、他のパラメータ情報として、撮影画像の垂直方向の画素数Iと、ディスプレイ30の表示面の高さyを記憶部12から取得する。
〔ステップS35〕拡縮率算出部11aは、取得したパラメータ情報にもとづいて拡縮率を算出する。
〔ステップS36〕画像拡縮部11bは、算出した拡縮率を撮影画像に乗算して拡縮画像を生成する。
〔ステップS37〕制御部11は、拡縮画像をディスプレイ30に転送する。
図20は、つま先画素位置の算出処理の一例を示すフローチャートである。図20の処理は、図19のステップS32の処理に対応する。
〔ステップS41〕拡縮率算出部11aは、エッジ強調フィルタを用いて、撮影画像の輝度値に対してy軸方向(垂直方向)にエッジ強調処理を施す。
〔ステップS42〕拡縮率算出部11aは、撮影画像における下端のライン(水平方向の画素列)を、つま先位置の探索対象として選択する。
〔ステップS43〕拡縮率算出部11aは、エッジ強調後の撮影画像における探索対象のラインについて、左端から右端に向かって輝度値が閾値以上となる画素を探索する。
〔ステップS44〕拡縮率算出部11aは、輝度値が閾値以上の画素が検出されたか否かを判定する。該当する画素が検出された場合、拡縮率算出部11aは、現在の探索対象のラインの垂直方向に対する画素番号をつま先画素位置P1として決定し、処理を終了する。一方、該当する画素が検出されなかった場合、ステップS45の処理に進む。
〔ステップS45〕拡縮率算出部11aは、探索対象のラインを1列分(1画素分)上側に移動する。
〔ステップS46〕拡縮率算出部11aは、移動した探索対象のラインが撮影画像の最上端のラインか否かを判定する。移動した探索対象のラインが最上端のラインでない場合は、ステップS43に処理が戻る。一方、移動した探索対象のラインが最上端のラインである場合、つま先画素の検出が不可でありエラーとみなして処理を終了する。
なお、拡縮率算出部11aは、つま先画素位置の算出においてエラーとなった場合、例えば、記憶部12にあらかじめ格納している固定値のパラメータ情報にもとづく第1の拡縮率算出に移行することができる。
図21は、頭頂部画素位置の算出処理の一例を示すフローチャートである。図21の処理は、図19のステップS33の処理に対応する。
〔ステップS51〕拡縮率算出部11aは、図20のステップS42でエッジ強調処理が施された撮影画像を取得する。
〔ステップS52〕拡縮率算出部11aは、撮影画像における上端のライン(水平方向の画素列)を、頭頂部位置の探索対象として選択する。
〔ステップS53〕拡縮率算出部11aは、エッジ強調後の撮影画像における探索対象のラインについて、左端から右端に向かって輝度値が閾値以上となる画素を探索する。
〔ステップS54〕拡縮率算出部11aは、輝度値が閾値以上の画素が検出されたか否かを判定する。該当する画素が検出された場合、拡縮率算出部11aは、現在の探索対象のラインの垂直方向に対する画素番号を頭頂部画素位置P2として決定し、処理を終了する。一方、該当する画素が検出されなかった場合、ステップS55の処理に進む。
〔ステップS55〕拡縮率算出部11aは、探索対象のラインを1列分(1画素分)下側に移動する。
〔ステップS56〕拡縮率算出部11aは、移動した探索対象のラインが撮影画像の最下端のラインか否かを判定する。移動した探索対象のラインが最下端のラインでない場合は、ステップS53に処理が戻る。一方、移動した探索対象のラインが最下端のラインである場合、頭頂部画素の検出が不可でありエラーとみなして処理を終了する。
なお、拡縮率算出部11aは、頭頂部画素位置の算出においてエラーとなった場合、例えば、記憶部12にあらかじめ格納している固定値のパラメータ情報にもとづく第1の拡縮率算出に移行することができる。
上記の図20の処理では、エッジ強調後の撮影画像における試着者の下端位置がつま先位置として検出される。また、図21の処理では、エッジ強調後の撮影画像における試着者の上端位置が頭頂部の位置として検出される。このような処理により、複数のカメラ20を用いたり、専用の距離センサを用いたりすることなく、簡易な処理でつま先画素位置および頭頂部画素位置を推定できる。
図22は、第2の拡縮率算出にもとづく画像処理の動作の一例を示す図である。
〔ステップS61〕カメラ20は、試着者を撮影し、撮影画像を制御部11に転送する。
〔ステップS62〕拡縮率算出部11aは、撮影画像g10からつま先画素位置を算出する。
〔ステップS63〕拡縮率算出部11aは、撮影画像g10から頭頂部画素位置を算出する。
〔ステップS64〕拡縮率算出部11aは、つま先画素位置をキーにしてパラメータ情報のうちのディスプレイと試着者との距離xをテーブル12aから抽出する。また、拡縮率算出部11aは、つま先画素位置および頭頂部画素位置をキーにしてパラメータ情報のうちの試着者の眼の高さyをテーブル12bから抽出する。さらに、拡縮率算出部11aは、他のパラメータ情報として、撮影画像の垂直方向の画素数Iと、ディスプレイ30の表示面の高さyを記憶部12から取得する。
〔ステップS65〕拡縮率算出部11aは、パラメータ情報にもとづいて、拡縮率を算出する。
〔ステップS66〕画像拡縮部11bは、撮影画像g10に拡縮率を乗算して拡縮画像g20を生成する。
〔ステップS67〕制御部11は、拡縮画像g20をディスプレイ30に転送する。
〔ステップS68〕ディスプレイ30は、拡縮画像g20を表示する。
次に、第3の拡縮率算出について、図23、図24を用いて説明する。第3の拡縮率算出では、パラメータ情報のうちのディスプレイと試着者との距離xおよび試着者の眼の高さyを実測し、それらの実測値にもとづいて拡縮率を算出するものである。以下の説明では、例として、2つのカメラ(ステレオカメラ)を用いて試着者の眼の3D位置を測定するが、他の例としてデプスセンサを用いて試着者の眼の3D位置を計測してもよい。
図23は、第3の拡縮率算出にもとづく画像処理の動作の一例を示すフローチャートである。
〔ステップS71〕カメラ20a、20b(図24参照)は、試着者を撮影し、撮影画像を制御部11に転送する。なお、上記のステップS11と同様に、制御部11はこのとき、各撮影画像に対し、垂直方向に対するカメラ20のレンズの歪みを除去するための処理を施すことが望ましい。
〔ステップS72〕拡縮率算出部11aは、各撮影画像から試着者と背景との差分を算出して試着者の領域(人物領域)を抽出する。
〔ステップS73〕拡縮率算出部11aは、人物領域の中から円形状検出を行って試着者の頭部領域を検出する。
〔ステップS74〕拡縮率算出部11aは、頭部領域の中から円形状検出を行って試着者の眼領域を検出する。
〔ステップS75〕拡縮率算出部11aは、撮影画像のそれぞれから、2つの眼領域の中心座標を検出する。拡縮率算出部11aは、各撮影画像から検出された中心座標を基に、三角測量を使用して眼の3D位置(3D座標位置)を測定する。これにより、ディスプレイ30と試着者との距離xおよび試着者の眼の高さyが求められる。
〔ステップS76〕拡縮率算出部11aは、残りのパラメータ情報(撮影画像の垂直方向の画素数Iおよびディスプレイ30の表示面の高さy)を記憶部12から取得する。
〔ステップS77〕拡縮率算出部11aは、ステップS75で求められたディスプレイ30と試着者との距離xおよび試着者の眼の高さyと、ステップS76で取得したパラメータ情報とにもとづいて、拡縮率を算出する。
〔ステップS78〕画像拡縮部11bは、算出した拡縮率を撮影画像に乗算して拡縮画像を生成する。
〔ステップS79〕制御部11は、拡縮画像をディスプレイ30に転送する。
図24は、第3の拡縮率算出にもとづく画像処理の動作の一例を示す図である。
〔ステップS81〕カメラ20a、20bは、試着者を撮影し、撮影画像g11、g12を制御部11に転送する。
〔ステップS82〕拡縮率算出部11aは、撮影画像g11、g12から人物領域を抽出して、人物領域画像g11-1、g12-1を生成する。
〔ステップS83〕拡縮率算出部11aは、人物領域画像g11-1、g12-1から頭部領域を抽出して、頭部領域g11-2、g12-2を生成する。
〔ステップS84〕拡縮率算出部11aは、頭部領域g11-2、g12-2から眼領域を抽出して、眼領域画像g11-3、g12-3を生成する。
〔ステップS85〕拡縮率算出部11aは、2枚の眼領域画像g11-3、g12-3の眼の中心座標から、三角測量により試着者の眼の3D位置を測定する。
〔ステップS86〕拡縮率算出部11aは、眼の3D位置から、パラメータ情報のうちのディスプレイと試着者との距離xおよび試着者の眼の高さyを取得する。また、拡縮率算出部11aは、残りのパラメータ情報(撮影画像の垂直方向の画素数Iおよびディスプレイ30の表示面の高さy)を記憶部12から取得する。
〔ステップS87〕拡縮率算出部11aは、パラメータ情報にもとづいて、拡縮率を算出する。
〔ステップS88〕画像拡縮部11bは、撮影画像g11(または撮影画像g12)に拡縮率を乗算して拡縮画像g20を生成する。
〔ステップS89〕制御部11は、拡縮画像g20をディスプレイ30に転送する。
〔ステップS90〕ディスプレイ30は、拡縮画像g20を表示する。
以上説明したように、第2の実施の形態では、ディスプレイ30の表示面をy軸方向に距離均等分割したときの画素のy方向の大きさi1と、表示面を試着者の眼を中心としてy軸方向に角度均等分割したときの画素のy方向の大きさi2とから、拡縮率が算出される。そして、撮影画像に拡縮率を適用することで、ディスプレイ30を通じて試着者が見たときに、試着者の像における上半身と下半身とが実物に近い比率で見えるように補正された拡縮画像が生成され、ディスプレイ30に表示される。これにより、試着者は、ディスプレイ30に近づいた場合でも実物に近い状態で試着者の試着姿を確認できるようになり、サービス性の向上を図ることができる。
なお、上記で説明した本発明の画像処理装置1、10の処理機能は、コンピュータによって実現することができる。この場合、画像処理装置1、10が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。
処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、半導体メモリ等がある。磁気記憶装置には、ハードディスク装置(HDD)、磁気テープ等がある。光ディスクには、CD、DVD、ブルーレイディスク等がある。
プログラムを流通させる場合、例えば、そのプログラムが記録されたCD等の可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、ネットワークを介して接続されたサーバコンピュータからプログラムが転送される毎に、逐次、受け取ったプログラムに従った処理を実行することもできる。
1 画像処理装置
1a 受信部
1b 制御部
2 カメラ
3 表示装置
4 人物
4a 眼
5a 撮影画像
5b 拡縮画像
6a、6b 像

Claims (7)

  1. コンピュータに、
    カメラで人物を撮影した撮影画像を前記人物が視認する表示装置に表示させる際に、
    前記人物の眼の高さと、前記人物と前記表示装置の表示面との距離と、にもとづいて前記撮影画像の画素ごとに算出される拡縮率を取得し、
    前記撮影画像の各画素を前記拡縮率にもとづいて拡縮して拡縮画像を生成し、前記拡縮画像を前記表示装置に表示させ、
    前記表示面の高さ方向に距離を均等分割したときの前記撮影画像の画素の第1の大きさと、前記表示面に対して前記眼を中心として前記表示面の高さ方向に角度を均等分割したときの前記撮影画像の画素の第2の大きさとにもとづいて、前記拡縮率を算出する、
    処理を実行させる画像処理プログラム。
  2. 前記撮影画像における画素ごとの前記拡縮率は、
    前記距離が短いほど、前記撮影画像を前記表示面に描画したときの垂直方向の位置が前記眼の高さに近い画素に対する、前記位置が前記眼の高さから遠い画素についての垂直方向の幅が大きくなるように算出される、
    請求項1記載の画像処理プログラム。
  3. 前記拡縮率は、
    前記撮影画像を前記表示面に描画したときの、前記撮影画像の各画素の垂直方向に対する前記第1の大きさと、
    前記高さと前記距離とにもとづく位置に存在する前記眼からの前記表示面に対する視野角を同一角度で分割したときに、前記表示面に投影される各分割領域の垂直方向に対する前記第2の大きさと、
    にもとづいて算出される、
    請求項1または2記載の画像処理プログラム。
  4. 前記撮影画像において垂直方向に並列する各画素と、前記表示面において垂直方向に並列する前記各分割領域とを同一方向に1つずつ選択していったときに、前記撮影画像から選択された画素についての前記第1の大きさと、前記選択された画素に対応する前記分割領域についての前記第2の大きさとの比率にもとづいて、前記選択された画素についての前記拡縮率が算出される、
    請求項3記載の画像処理プログラム。
  5. 前記拡縮率の取得では、前記撮影画像における前記人物の上端および下端の位置にもとづいて前記高さと前記距離を算出し、算出された前記高さおよび前記距離にもとづいて前記拡縮率を算出する、
    請求項1乃至4のいずれか1項に記載の画像処理プログラム。
  6. コンピュータが、
    カメラで人物を撮影した撮影画像を前記人物が視認する表示装置に表示させる際に、
    前記人物の眼の高さと、前記人物と前記表示装置の表示面との距離と、にもとづいて前記撮影画像の画素ごとに算出される拡縮率を取得し、
    前記撮影画像の各画素を前記拡縮率にもとづいて拡縮して拡縮画像を生成し、前記拡縮画像を前記表示装置に表示させ、
    前記表示面の高さ方向に距離を均等分割したときの前記撮影画像の画素の第1の大きさと、前記表示面に対して前記眼を中心として前記表示面の高さ方向に角度を均等分割したときの前記撮影画像の画素の第2の大きさとにもとづいて、前記拡縮率を算出する、
    画像処理方法。
  7. カメラによって人物を撮影した撮影画像を受信する受信部と、
    前記撮影画像を前記人物が視認する表示装置に表示させる際に、前記人物の眼の高さと、前記人物と前記表示装置の表示面との距離と、にもとづいて前記撮影画像の画素ごとに算出される拡縮率を取得し、前記撮影画像の各画素を前記拡縮率にもとづいて拡縮して拡縮画像を生成し、前記拡縮画像を前記表示装置に表示させる制御部と、を備え、
    前記制御部は、前記表示面の高さ方向に距離を均等分割したときの前記撮影画像の画素の第1の大きさと、前記表示面に対して前記眼を中心として前記表示面の高さ方向に角度を均等分割したときの前記撮影画像の画素の第2の大きさとにもとづいて、前記拡縮率を算出する、
    像処理装置。
JP2019146727A 2019-08-08 2019-08-08 画像処理プログラム、画像処理方法および画像処理装置 Active JP7343760B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019146727A JP7343760B2 (ja) 2019-08-08 2019-08-08 画像処理プログラム、画像処理方法および画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019146727A JP7343760B2 (ja) 2019-08-08 2019-08-08 画像処理プログラム、画像処理方法および画像処理装置

Publications (2)

Publication Number Publication Date
JP2021027559A JP2021027559A (ja) 2021-02-22
JP7343760B2 true JP7343760B2 (ja) 2023-09-13

Family

ID=74663200

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019146727A Active JP7343760B2 (ja) 2019-08-08 2019-08-08 画像処理プログラム、画像処理方法および画像処理装置

Country Status (1)

Country Link
JP (1) JP7343760B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010244089A (ja) 2009-03-31 2010-10-28 Sogo Keibi Hosho Co Ltd 人物検出装置、人物検出方法、及び人物検出プログラム
JP2013162451A (ja) 2012-02-08 2013-08-19 Tatsumi Denshi Kogyo Kk 遊戯用撮影装置、遊戯用撮影方法およびプログラム
JP2016509683A (ja) 2012-12-18 2016-03-31 ヴィルコフスキー,ニッシ 外観を撮像及び表示する装置、システム及び方法
WO2018225518A1 (ja) 2017-06-07 2018-12-13 ソニー株式会社 画像処理装置、画像処理方法、プログラム、およびテレコミュニケーションシステム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010244089A (ja) 2009-03-31 2010-10-28 Sogo Keibi Hosho Co Ltd 人物検出装置、人物検出方法、及び人物検出プログラム
JP2013162451A (ja) 2012-02-08 2013-08-19 Tatsumi Denshi Kogyo Kk 遊戯用撮影装置、遊戯用撮影方法およびプログラム
JP2016509683A (ja) 2012-12-18 2016-03-31 ヴィルコフスキー,ニッシ 外観を撮像及び表示する装置、システム及び方法
WO2018225518A1 (ja) 2017-06-07 2018-12-13 ソニー株式会社 画像処理装置、画像処理方法、プログラム、およびテレコミュニケーションシステム

Also Published As

Publication number Publication date
JP2021027559A (ja) 2021-02-22

Similar Documents

Publication Publication Date Title
US20230195215A1 (en) Virtual object display interface between a wearable device and a mobile device
US12014461B2 (en) Method for constructing three-dimensional model of target object and related apparatus
CN109146965A (zh) 信息处理装置和计算机程序
US11436742B2 (en) Systems and methods for reducing a search area for identifying correspondences between images
US10863077B2 (en) Image photographing method, apparatus, and terminal
JP2009278456A (ja) 映像表示装置
US12028626B2 (en) Visual-inertial tracking using rolling shutter cameras
KR20200003719A (ko) 화상 처리장치, 화상 처리방법, 및 기억매체
US11568555B2 (en) Dense depth computations aided by sparse feature matching
US11915441B2 (en) Systems and methods for low compute depth map generation
US12020448B2 (en) Systems and methods for updating continuous image alignment of separate cameras
JP2021034897A (ja) 画像処理装置、画像通信システム、画像処理方法、及びプログラム
US11450014B2 (en) Systems and methods for continuous image alignment of separate cameras
JP7343760B2 (ja) 画像処理プログラム、画像処理方法および画像処理装置
US11430086B2 (en) Upsampling low temporal resolution depth maps
TWI745955B (zh) 擴增實境系統與其錨定顯示方法
JP5805013B2 (ja) 撮像画像表示装置、撮像画像表示方法、プログラム
JP5448952B2 (ja) 同一人判定装置、同一人判定方法および同一人判定プログラム
US11488318B2 (en) Systems and methods for temporally consistent depth map generation
CN111586328B (zh) 信息处理装置、信息处理方法和记录介质
JP2018032144A (ja) 画像処理装置、画像処理方法およびプログラム。
CN113703161B (zh) 扩增实境***与其锚定显示方法
JP6514386B1 (ja) プログラム、記録媒体及び画像生成方法
JP5245156B2 (ja) カメラシステム、そのための画像情報再生手段、画像情報再生手段
KR20220074543A (ko) 실감형 3차원 디스플레이의 사용자 인터페이스 제공 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220407

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230814

R150 Certificate of patent or registration of utility model

Ref document number: 7343760

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150