JP7343760B2 - 画像処理プログラム、画像処理方法および画像処理装置 - Google Patents
画像処理プログラム、画像処理方法および画像処理装置 Download PDFInfo
- Publication number
- JP7343760B2 JP7343760B2 JP2019146727A JP2019146727A JP7343760B2 JP 7343760 B2 JP7343760 B2 JP 7343760B2 JP 2019146727 A JP2019146727 A JP 2019146727A JP 2019146727 A JP2019146727 A JP 2019146727A JP 7343760 B2 JP7343760 B2 JP 7343760B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- person
- pixel
- display
- photographed image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 75
- 238000003672 processing method Methods 0.000 title claims description 5
- 230000008602 contraction Effects 0.000 claims description 33
- 238000010586 diagram Methods 0.000 description 34
- 238000000034 method Methods 0.000 description 31
- 210000003128 head Anatomy 0.000 description 21
- 230000015654 memory Effects 0.000 description 10
- 238000012546 transfer Methods 0.000 description 10
- 230000001154 acute effect Effects 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000001936 parietal effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Controls And Circuits For Display Device (AREA)
Description
さらに、上記課題を解決するために、上記画像処理プログラムを用いた処理と同様の処理を実行する画像処理装置が提供される。
[第1の実施の形態]
図1は、第1の実施の形態の画像処理装置の一例を説明するための図である。画像処理装置1は、受信部1aおよび制御部1bを備える。また、画像処理装置1には、カメラ2および表示装置3が接続されている。
制御部1bは、例えば、プロセッサとして実現される。制御部1bは、上記のように撮影画像の表示状態を変化させるために、撮影画像の画素ごとの拡縮率を取得する。拡縮率は、より具体的には、撮影画像における垂直方向に並列する画素ごとに取得される。このような画素ごとの拡縮率は、人物4の眼4aの高さH1と、人物4と表示装置3の表示面との距離D1とにもとづいて算出される。
人物4から見える人物4自身の像の上下方向に対する比率は、人物4の眼4aと表示装置3の表示面との相対的な位置関係によって変化する。例えば、人物4と表示装置3の表示面との距離D1が近いほど、人物4から見える人物4自身の像の上下方向に対する比率は大きく不均等になる。また、距離D1が同じとき、表示面上の人物4の像は、人物4からは眼4aから近くなるほど上下方向に拡大されて見え、眼4aから遠くなるほど上下方向に縮小されて見える。
次に、カメラで試着者を撮影して試着姿をディスプレイに表示させるシステムに図1の画像処理装置1の機能を適用した第2の実施の形態について説明する。
メモリ101は、画像処理装置10の主記憶装置として使用される。メモリ101には、プロセッサ100に実行させるOS(Operating System)のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、メモリ101には、プロセッサ100による処理に要する各種データが格納される。また、メモリ101は、画像処理装置10の補助記憶装置としても使用され、OSのプログラム、アプリケーションプログラム、および各種データが格納される。なお、画像処理装置10は、補助記憶装置として、フラッシュメモリやSSD(Solid State Drive)等の半導体記憶装置やHDD(Hard Disk Drive)等の磁気記録媒体を備えていてもよい。
入出力インタフェース102には、カメラ20およびディスプレイ30が接続される。入出力インタフェース102は、カメラ20によって撮影された画像のデータを受信して、プロセッサ100に送信する。また、入出力インタフェース102は、プロセッサ100からの命令にしたがって画像をディスプレイ30に表示させる。さらに、入出力インタフェース102は、キーボードやマウス等の情報入力装置を接続可能であって、情報入力装置から送られてくる信号をプロセッサ100に送信する。
図7は、画像処理装置の機能ブロックの一例を示す図である。画像処理装置10は、制御部11、記憶部12およびインタフェース部13を備える。制御部11は、拡縮率算出部11aおよび画像拡縮部11bを含む。
図8は、表示面のy軸方向に対する距離均等分割の一例を示す図である。ここでは、撮影画像の垂直方向(y軸方向)の画素数をI[pixel]とし、ディスプレイ30の表示面をy軸方向に対してI個に距離均等分割したときの、各分割領域(各画素)のy軸方向の大きさを求める。これは、撮影画像をその画素数を維持したままディスプレイ30の表示面に仮想的に描画した場合における、撮影画像の各画素のy軸方向の大きさを求めることと同じである。なお、ディスプレイ30の表示面の下端は地面の高さであるとする。
図12、図13は、ディスプレイの下端から画素の上端までの距離の算出を説明するための図である。図12、図13では、角度θaが90°を超える場合を示している。
図14は、拡縮画像の生成例を示す図である。撮影画像g10の各画素に対して対応する拡縮率が適用されることで、拡縮画像g20が生成される。この処理では、まず、撮影画像の画素pnの垂直方向に対する大きさinに拡縮率rnを乗算することによって、撮影画像の各画素の垂直方向に対する大きさが拡縮される。拡縮後の画素pnの大きさin3は、以下の式(10)で算出される。ただし、画素の大きさin、in3は、ディスプレイ30や試着者Rが存在する実世界の座標系でなく、画像座標系における大きさである。
〔ステップS11〕拡縮率算出部11aは、カメラ20で撮影された撮影画像を取得する。なお、拡縮率算出部11aはこのとき、撮影画像に対し、垂直方向に対するカメラ20のレンズの歪みを除去するための処理を施して、撮影画像における像の垂直方向の比率が実際の比率に近づくように補正することが望ましい。
〔ステップS14〕画像拡縮部11bは、算出した拡縮率を撮影画像に乗算して拡縮画像を生成する。
図17は、第1の拡縮率算出にもとづく画像処理の動作の一例を示す図である。
〔ステップS21〕カメラ20は、試着者を撮影し、撮影画像g10が制御部11に転送される。
〔ステップS23〕拡縮率算出部11aは、パラメータ情報と画素数Iにもとづいて拡縮率を算出する。
〔ステップS25〕制御部11は、拡縮画像g20をディスプレイ30に転送する。
次に、拡縮率算出部11aの第2の拡縮率算出について、図19から図22を用いて説明する。第2の拡縮率算出では、パラメータ情報のうち、ディスプレイ30と試着者との距離xrおよび試着者の眼の高さyeを、撮影画像中の試着者の像におけるつま先画素位置および頭頂部画素位置から求めて拡縮率を算出するものである。
〔ステップS31〕制御部11は、カメラ20で撮影された撮影画像を取得する。なお、上記のステップS11と同様に、制御部11はこのとき、撮影画像に対し、垂直方向に対するカメラ20のレンズの歪みを除去するための処理を施すことが望ましい。
〔ステップS33〕拡縮率算出部11aは、撮影画像から試着者の頭頂部を検出し、頭頂部画素位置P2を算出する。
〔ステップS36〕画像拡縮部11bは、算出した拡縮率を撮影画像に乗算して拡縮画像を生成する。
図20は、つま先画素位置の算出処理の一例を示すフローチャートである。図20の処理は、図19のステップS32の処理に対応する。
〔ステップS42〕拡縮率算出部11aは、撮影画像における下端のライン(水平方向の画素列)を、つま先位置の探索対象として選択する。
〔ステップS44〕拡縮率算出部11aは、輝度値が閾値以上の画素が検出されたか否かを判定する。該当する画素が検出された場合、拡縮率算出部11aは、現在の探索対象のラインの垂直方向に対する画素番号をつま先画素位置P1として決定し、処理を終了する。一方、該当する画素が検出されなかった場合、ステップS45の処理に進む。
〔ステップS46〕拡縮率算出部11aは、移動した探索対象のラインが撮影画像の最上端のラインか否かを判定する。移動した探索対象のラインが最上端のラインでない場合は、ステップS43に処理が戻る。一方、移動した探索対象のラインが最上端のラインである場合、つま先画素の検出が不可でありエラーとみなして処理を終了する。
〔ステップS51〕拡縮率算出部11aは、図20のステップS42でエッジ強調処理が施された撮影画像を取得する。
〔ステップS53〕拡縮率算出部11aは、エッジ強調後の撮影画像における探索対象のラインについて、左端から右端に向かって輝度値が閾値以上となる画素を探索する。
〔ステップS56〕拡縮率算出部11aは、移動した探索対象のラインが撮影画像の最下端のラインか否かを判定する。移動した探索対象のラインが最下端のラインでない場合は、ステップS53に処理が戻る。一方、移動した探索対象のラインが最下端のラインである場合、頭頂部画素の検出が不可でありエラーとみなして処理を終了する。
〔ステップS61〕カメラ20は、試着者を撮影し、撮影画像を制御部11に転送する。
〔ステップS63〕拡縮率算出部11aは、撮影画像g10から頭頂部画素位置を算出する。
〔ステップS66〕画像拡縮部11bは、撮影画像g10に拡縮率を乗算して拡縮画像g20を生成する。
〔ステップS68〕ディスプレイ30は、拡縮画像g20を表示する。
次に、第3の拡縮率算出について、図23、図24を用いて説明する。第3の拡縮率算出では、パラメータ情報のうちのディスプレイと試着者との距離xrおよび試着者の眼の高さyeを実測し、それらの実測値にもとづいて拡縮率を算出するものである。以下の説明では、例として、2つのカメラ(ステレオカメラ)を用いて試着者の眼の3D位置を測定するが、他の例としてデプスセンサを用いて試着者の眼の3D位置を計測してもよい。
〔ステップS71〕カメラ20a、20b(図24参照)は、試着者を撮影し、撮影画像を制御部11に転送する。なお、上記のステップS11と同様に、制御部11はこのとき、各撮影画像に対し、垂直方向に対するカメラ20のレンズの歪みを除去するための処理を施すことが望ましい。
〔ステップS73〕拡縮率算出部11aは、人物領域の中から円形状検出を行って試着者の頭部領域を検出する。
〔ステップS75〕拡縮率算出部11aは、撮影画像のそれぞれから、2つの眼領域の中心座標を検出する。拡縮率算出部11aは、各撮影画像から検出された中心座標を基に、三角測量を使用して眼の3D位置(3D座標位置)を測定する。これにより、ディスプレイ30と試着者との距離xrおよび試着者の眼の高さyeが求められる。
〔ステップS77〕拡縮率算出部11aは、ステップS75で求められたディスプレイ30と試着者との距離xrおよび試着者の眼の高さyeと、ステップS76で取得したパラメータ情報とにもとづいて、拡縮率を算出する。
〔ステップS79〕制御部11は、拡縮画像をディスプレイ30に転送する。
〔ステップS81〕カメラ20a、20bは、試着者を撮影し、撮影画像g11、g12を制御部11に転送する。
〔ステップS83〕拡縮率算出部11aは、人物領域画像g11-1、g12-1から頭部領域を抽出して、頭部領域g11-2、g12-2を生成する。
〔ステップS85〕拡縮率算出部11aは、2枚の眼領域画像g11-3、g12-3の眼の中心座標から、三角測量により試着者の眼の3D位置を測定する。
〔ステップS88〕画像拡縮部11bは、撮影画像g11(または撮影画像g12)に拡縮率を乗算して拡縮画像g20を生成する。
〔ステップS90〕ディスプレイ30は、拡縮画像g20を表示する。
以上説明したように、第2の実施の形態では、ディスプレイ30の表示面をy軸方向に距離均等分割したときの画素のy方向の大きさin1と、表示面を試着者の眼を中心としてy軸方向に角度均等分割したときの画素のy方向の大きさin2とから、拡縮率が算出される。そして、撮影画像に拡縮率を適用することで、ディスプレイ30を通じて試着者が見たときに、試着者の像における上半身と下半身とが実物に近い比率で見えるように補正された拡縮画像が生成され、ディスプレイ30に表示される。これにより、試着者は、ディスプレイ30に近づいた場合でも実物に近い状態で試着者の試着姿を確認できるようになり、サービス性の向上を図ることができる。
1a 受信部
1b 制御部
2 カメラ
3 表示装置
4 人物
4a 眼
5a 撮影画像
5b 拡縮画像
6a、6b 像
Claims (7)
- コンピュータに、
カメラで人物を撮影した撮影画像を前記人物が視認する表示装置に表示させる際に、
前記人物の眼の高さと、前記人物と前記表示装置の表示面との距離と、にもとづいて前記撮影画像の画素ごとに算出される拡縮率を取得し、
前記撮影画像の各画素を前記拡縮率にもとづいて拡縮して拡縮画像を生成し、前記拡縮画像を前記表示装置に表示させ、
前記表示面の高さ方向に距離を均等分割したときの前記撮影画像の画素の第1の大きさと、前記表示面に対して前記眼を中心として前記表示面の高さ方向に角度を均等分割したときの前記撮影画像の画素の第2の大きさとにもとづいて、前記拡縮率を算出する、
処理を実行させる画像処理プログラム。 - 前記撮影画像における画素ごとの前記拡縮率は、
前記距離が短いほど、前記撮影画像を前記表示面に描画したときの垂直方向の位置が前記眼の高さに近い画素に対する、前記位置が前記眼の高さから遠い画素についての垂直方向の幅が大きくなるように算出される、
請求項1記載の画像処理プログラム。 - 前記拡縮率は、
前記撮影画像を前記表示面に描画したときの、前記撮影画像の各画素の垂直方向に対する前記第1の大きさと、
前記高さと前記距離とにもとづく位置に存在する前記眼からの前記表示面に対する視野角を同一角度で分割したときに、前記表示面に投影される各分割領域の垂直方向に対する前記第2の大きさと、
にもとづいて算出される、
請求項1または2記載の画像処理プログラム。 - 前記撮影画像において垂直方向に並列する各画素と、前記表示面において垂直方向に並列する前記各分割領域とを同一方向に1つずつ選択していったときに、前記撮影画像から選択された画素についての前記第1の大きさと、前記選択された画素に対応する前記分割領域についての前記第2の大きさとの比率にもとづいて、前記選択された画素についての前記拡縮率が算出される、
請求項3記載の画像処理プログラム。 - 前記拡縮率の取得では、前記撮影画像における前記人物の上端および下端の位置にもとづいて前記高さと前記距離を算出し、算出された前記高さおよび前記距離にもとづいて前記拡縮率を算出する、
請求項1乃至4のいずれか1項に記載の画像処理プログラム。 - コンピュータが、
カメラで人物を撮影した撮影画像を前記人物が視認する表示装置に表示させる際に、
前記人物の眼の高さと、前記人物と前記表示装置の表示面との距離と、にもとづいて前記撮影画像の画素ごとに算出される拡縮率を取得し、
前記撮影画像の各画素を前記拡縮率にもとづいて拡縮して拡縮画像を生成し、前記拡縮画像を前記表示装置に表示させ、
前記表示面の高さ方向に距離を均等分割したときの前記撮影画像の画素の第1の大きさと、前記表示面に対して前記眼を中心として前記表示面の高さ方向に角度を均等分割したときの前記撮影画像の画素の第2の大きさとにもとづいて、前記拡縮率を算出する、
画像処理方法。 - カメラによって人物を撮影した撮影画像を受信する受信部と、
前記撮影画像を前記人物が視認する表示装置に表示させる際に、前記人物の眼の高さと、前記人物と前記表示装置の表示面との距離と、にもとづいて前記撮影画像の画素ごとに算出される拡縮率を取得し、前記撮影画像の各画素を前記拡縮率にもとづいて拡縮して拡縮画像を生成し、前記拡縮画像を前記表示装置に表示させる制御部と、を備え、
前記制御部は、前記表示面の高さ方向に距離を均等分割したときの前記撮影画像の画素の第1の大きさと、前記表示面に対して前記眼を中心として前記表示面の高さ方向に角度を均等分割したときの前記撮影画像の画素の第2の大きさとにもとづいて、前記拡縮率を算出する、
画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019146727A JP7343760B2 (ja) | 2019-08-08 | 2019-08-08 | 画像処理プログラム、画像処理方法および画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019146727A JP7343760B2 (ja) | 2019-08-08 | 2019-08-08 | 画像処理プログラム、画像処理方法および画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021027559A JP2021027559A (ja) | 2021-02-22 |
JP7343760B2 true JP7343760B2 (ja) | 2023-09-13 |
Family
ID=74663200
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019146727A Active JP7343760B2 (ja) | 2019-08-08 | 2019-08-08 | 画像処理プログラム、画像処理方法および画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7343760B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010244089A (ja) | 2009-03-31 | 2010-10-28 | Sogo Keibi Hosho Co Ltd | 人物検出装置、人物検出方法、及び人物検出プログラム |
JP2013162451A (ja) | 2012-02-08 | 2013-08-19 | Tatsumi Denshi Kogyo Kk | 遊戯用撮影装置、遊戯用撮影方法およびプログラム |
JP2016509683A (ja) | 2012-12-18 | 2016-03-31 | ヴィルコフスキー,ニッシ | 外観を撮像及び表示する装置、システム及び方法 |
WO2018225518A1 (ja) | 2017-06-07 | 2018-12-13 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、およびテレコミュニケーションシステム |
-
2019
- 2019-08-08 JP JP2019146727A patent/JP7343760B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010244089A (ja) | 2009-03-31 | 2010-10-28 | Sogo Keibi Hosho Co Ltd | 人物検出装置、人物検出方法、及び人物検出プログラム |
JP2013162451A (ja) | 2012-02-08 | 2013-08-19 | Tatsumi Denshi Kogyo Kk | 遊戯用撮影装置、遊戯用撮影方法およびプログラム |
JP2016509683A (ja) | 2012-12-18 | 2016-03-31 | ヴィルコフスキー,ニッシ | 外観を撮像及び表示する装置、システム及び方法 |
WO2018225518A1 (ja) | 2017-06-07 | 2018-12-13 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、およびテレコミュニケーションシステム |
Also Published As
Publication number | Publication date |
---|---|
JP2021027559A (ja) | 2021-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230195215A1 (en) | Virtual object display interface between a wearable device and a mobile device | |
US12014461B2 (en) | Method for constructing three-dimensional model of target object and related apparatus | |
CN109146965A (zh) | 信息处理装置和计算机程序 | |
US11436742B2 (en) | Systems and methods for reducing a search area for identifying correspondences between images | |
US10863077B2 (en) | Image photographing method, apparatus, and terminal | |
JP2009278456A (ja) | 映像表示装置 | |
US12028626B2 (en) | Visual-inertial tracking using rolling shutter cameras | |
KR20200003719A (ko) | 화상 처리장치, 화상 처리방법, 및 기억매체 | |
US11568555B2 (en) | Dense depth computations aided by sparse feature matching | |
US11915441B2 (en) | Systems and methods for low compute depth map generation | |
US12020448B2 (en) | Systems and methods for updating continuous image alignment of separate cameras | |
JP2021034897A (ja) | 画像処理装置、画像通信システム、画像処理方法、及びプログラム | |
US11450014B2 (en) | Systems and methods for continuous image alignment of separate cameras | |
JP7343760B2 (ja) | 画像処理プログラム、画像処理方法および画像処理装置 | |
US11430086B2 (en) | Upsampling low temporal resolution depth maps | |
TWI745955B (zh) | 擴增實境系統與其錨定顯示方法 | |
JP5805013B2 (ja) | 撮像画像表示装置、撮像画像表示方法、プログラム | |
JP5448952B2 (ja) | 同一人判定装置、同一人判定方法および同一人判定プログラム | |
US11488318B2 (en) | Systems and methods for temporally consistent depth map generation | |
CN111586328B (zh) | 信息处理装置、信息处理方法和记录介质 | |
JP2018032144A (ja) | 画像処理装置、画像処理方法およびプログラム。 | |
CN113703161B (zh) | 扩增实境***与其锚定显示方法 | |
JP6514386B1 (ja) | プログラム、記録媒体及び画像生成方法 | |
JP5245156B2 (ja) | カメラシステム、そのための画像情報再生手段、画像情報再生手段 | |
KR20220074543A (ko) | 실감형 3차원 디스플레이의 사용자 인터페이스 제공 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220407 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230417 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230801 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230814 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7343760 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |