JP2020091745A - 画像撮像支援装置及び画像撮像支援方法 - Google Patents
画像撮像支援装置及び画像撮像支援方法 Download PDFInfo
- Publication number
- JP2020091745A JP2020091745A JP2018229370A JP2018229370A JP2020091745A JP 2020091745 A JP2020091745 A JP 2020091745A JP 2018229370 A JP2018229370 A JP 2018229370A JP 2018229370 A JP2018229370 A JP 2018229370A JP 2020091745 A JP2020091745 A JP 2020091745A
- Authority
- JP
- Japan
- Prior art keywords
- silhouette
- image
- image data
- target object
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 27
- 238000003384 imaging method Methods 0.000 title abstract description 28
- 238000000605 extraction Methods 0.000 claims abstract description 33
- 238000000926 separation method Methods 0.000 claims abstract description 6
- 238000005259 measurement Methods 0.000 claims description 22
- 239000000284 extract Substances 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
Description
このため、各視点における画像(撮像画像データである視点画像)を用いて世界座標系における対象物体の3次元形状モデルを復元する際、2つ以上の異なる視点画像間において、世界座標系における3次元座標点の座標点に対応する視点画像それぞれの対応画素を検出する処理が行なわれる。
そのため、ユーザが対象物体を過不足なく撮像できるように、撮像のガイド表示を行なうことで、対象物体の多視点画像を効率良く撮像することを支援する支援装置がある(例えば、特許文献1、特許文献2参照)。
上述した表示のみの場合、対象物体が撮像された撮像画像データ(視点画像)の各々において、余りにも撮像画像データにおける対象物体の画像の大きさが異なったり、撮像される撮像画像データ内における対象物体の画像の位置が大きく異なったりすると、撮像画像データ間の対応画素を効率的に抽出することができない。
このため、対象物体の撮像画像データの取り直しを行なう必要があり、3次元対象モデルの復元に対して、ユーザに負荷が掛かることになる。
図1において、撮像システム1は、画像撮像支援装置100、撮像部200、プレビュー画像表示制御部300及び画像表示部400の各々を備えている。撮像システム1は、例えばスマートフォンであり、画像撮像支援装置100の機能のアプリケーションをインストールして、後述する多視点画像の撮像を支援している。本実施形態においては、一例として、多視点画像の撮像画像データとして、静止画の撮像を支援する構成を説明するが、動画でも処理自体は同様である。
撮像部200は、例えば、スマートフォンに内蔵されている撮像素子を有するカメラ機能部である。
画像表示部400は、上記プレビュー画面を表示する表示装置であり、例えば液晶ディスプレイを備えている。
また、シルエット抽出部102は、例えば、上記第1撮像画像データの後の第n(≧2)撮像画像データにおける対象物体の画像領域の第nシルエットを抽出する。
また、シルエット抽出を行なう際、撮像画像データの解像度を低下させて(画素数を圧縮して)行なうことにより、処理の負荷を低減させることができ、シルエットの抽出処理を高速化することができる。
このとき、支援情報通知部105は、表示画面410において第1シルエットのシルエット画像411と重ならない位置に、「このシルエットと同じ大きさになるように撮影を続けてね」などの文字画像412を支援情報として表示して通知してもよい。
後述するように、計測対象判定部104は、第1撮像画像データにおける対象物体の第1シルエットと、第n撮像画像データにおける対象物体の第nシルエットとの各々のシルエット画像の類似性の判定を行なう。
また、第1シルエットと第nシルエットとが類似していない場合、表示画面410において第1シルエットのシルエット画像411と重ならない位置に、「このシルエットと同じ大きさになるように撮影してね」などの警告を示す文字画像416を支援情報として表示して通知される。
また、支援情報通知部105は、画像表示部400に対して支援情報を表示するのではなく、スピーカにより音声情報として通知するように構成しても良い。
ステップS101:ユーザが3次元形状モデルを復元しようとする対象物体を含む第1撮像画像データの撮像を行なう(図2(a)参照)。
これにより、画像データ入力部101は、撮像部200から第1撮像画像データを入力し、シルエット抽出部102に出力する。また、画像データ入力部101は、第1撮像画像データに対してタイムスタンプ(撮像順番を示すシリアル番号など)を付与して、記憶部107に対して書き込んで記憶させる。
シルエット表示制御部103は、画像表示部400の表示画面において、対象物体のシルエット画像をプレビュー画像に重畳して表示する(図2(b)参照)。
また、支援情報通知部105は、画像表示部400の表示画面において、支援情報の文字列をシルエット画像411と重ならないようにプレビュー画像に重畳して表示しても良い。
このとき、ユーザは、プレビュー画像における対象物体の画像が第1シルエットのシルエット画像内に含まれているとした場合、処理をステップS105へ進める。
一方、ユーザは、プレビュー画像における対象物体の画像が第1シルエットのシルエット画像内に含まれていないとした場合、処理をステップS103へ進める。
このとき、画像データ入力部101は、ユーザがシャッターを押下したことを検出した場合、撮像部200からユーザが撮像した第n撮像画像データを入力する。
そして、画像データ入力部101は、入力した第n撮像画像データを、シルエット抽出部102に対して出力する。
このとき、シルエット抽出部102は、抽出した第nシルエットのデータをシルエット表示制御部103に対して出力する構成としてもよい。この構成の場合、シルエット表示制御部103は、画像表示部400の表示画面410において、第1シルエット画像とともに、第nシルエットの画像である第nシルエット画像を表示する。これにより、ユーザは、撮像した第n撮像画像データにおける対象物体の画像が第1シルエットに入っているか否かの判定を容易にビジュアル的に行なうことができる。
一方、計測対象判定部104は、含有比率αが予め設定された含有比率閾値未満、あるいは面積比率βが予め設定された面積比率範囲に含まれていない場合、また、含有比率αが予め設定された含有比率閾値未満、かつ面積比率βが予め設定された面積比率範囲に含まれていない場合、第1シルエットと第nシルエットとが類似していないと判定する。
このとき、画像データ入力部101は、終了ボタンが押下された場合、多視点画像の撮像処理を終了する(あるいはアプリケーションの終了)。
一方、画像データ入力部101は、終了ボタンが押下されない場合、多視点画像の撮像処理を継続するため、処理をステップS103へ進める。
しかしながら、リセットボタンを押下する構成ではなく、例えば、撮像システムがスマートフォンの場合、スマートフォンを振る(加速度センサにより所定の加速度が検出される程度の強さで振る)ことにより、第1シルエットのシルエット画像のデータを削除するように構成しても良い。
また、第1シルエットのシルエット画像の位置と全く異なる位置に、対象物体のシルエットが存在する第n撮像画像データが所定の回数撮像された場合、ユーザが意図的にアラートを出していると判定し、この第1シルエットのシルエット画像のデータを削除するようにしても良い。
これにより、ユーザ編集入力部106は、対象物体の画像領域の位置情報を、シルエット抽出部102に出力する。
そして、シルエット抽出部102は、ユーザが選択した上記画像領域を、GrabCut法のアルゴリズムを用いて、前景(対象物体の画像)の抽出処理を行なう。
そして、シルエット抽出部102は、ユーザが選択した対象物体の画像領域の輪郭情報に基づいて、第1撮像画像データにおける対象物体の画像領域を示すシルエットの抽出処理を行なう。
これにより、ユーザ編集入力部106は、編集処理した第1シルエットを、新たな第1シルエットとして、シルエット表示制御部103に出力する。
これにより、ユーザ編集入力部106は、編集処理した第1シルエットを、新たな第1シルエットとして、シルエット表示制御部103に出力する。
しかしながら、撮像システムを、例えば、デジタルカメラ(クライアント)と画像撮像支援装置(サーバ)とを備えるサーバクライアントシステムとして構築しても良い。この場合、サーバには、シルエット抽出部102及び計測対象判定部104の各々の計算負荷が大きくなる処理を行なう構成を持たせるのが望ましい。その他の画像データ入力部101、シルエット表示制御部103、支援情報通知部105及びユーザ編集入力部106の各々は、アプリケーションとして、デジタルカメラにインストールしておく。
また、所定の時間同一の撮像位置及び撮像方向でユーザが撮像装置を停止させて撮像することで、この静止した状態の撮像画像データを、第1撮像画像データとして、静止画に換えて、第1シルエットを生成する構成としても良い。
100…画像撮像支援装置
101…画像データ入力部
102…シルエット抽出部
103…シルエット表示制御部
104…計測対象判定部
105…支援情報通知部
106…ユーザ編集入力部
107…記憶部
200…撮像部
300…プレビュー画像表示制御部
400…画像表示部
411…シルエット画像
Claims (7)
- 対象物体の3次元形状モデルを復元するために用いる多視点画像の撮像を支援する画像撮像支援装置であり、
撮像画像データに対して背景分離を行ない、当該撮像画像データにおける前記対象物体の画像領域のシルエットを抽出するシルエット抽出部と、
前記シルエットを撮像装置のプレビュー画面におけるプレビュー画像に重畳させて表示させるシルエット表示制御部と
を備えることを特徴とする画像撮像支援装置。 - 前記シルエット抽出部が、
前記対象物体の撮像を開始した第1番目の第1撮像画像データにおける前記画像領域の前記シルエットを抽出する
ことを特徴とする請求項1に記載の画像撮像支援装置。 - 前記第1撮像画像データにおける前記画像領域の前記シルエットと、n(≧2)番目の第n撮像画像データにおける前記対象物体の画像領域の第nシルエットとの形状及び面積の各々を比較し、類似度が所定の閾値未満の場合、警告を通知する計測対象判定部をさらに備え、
前記シルエット抽出部が、前記第1撮像画像データの後に撮像されたn番目の撮像画像データから、前記第nシルエットを抽出する
ことを特徴とする請求項2に記載の画像撮像支援装置。 - 前記シルエット表示制御部が、前記第nシルエットの前記類似度が前記所定の閾値以上の場合、前記プレビュー画面における前記プレビュー画像に重畳させて表示させる
ことを特徴とする請求項3に記載の画像撮像支援装置。 - 前記シルエット抽出部が、前記背景分離をグラフカット法あるいはセマンティックセグメンテーションで行なう
ことを特徴とする請求項1から請求項4のいずれか一項に記載の画像撮像支援装置。 - ユーザ操作により、前記画像領域の指定及び前記シルエットの修正を行なうユーザ編集入力部をさらに備える
ことを特徴とする請求項1から請求項5のいずれか一項に記載の画像撮像支援装置。 - 対象物体の3次元形状モデルを復元するために用いる多視点画像の撮像を支援する画像撮像支援方法であり、
シルエット抽出部が、撮像画像データに対して背景分離を行ない、当該撮像画像データにおける前記対象物体の画像領域のシルエットを抽出するシルエット抽出過程と、
シルエット表示制御部が、前記シルエットを撮像装置のプレビュー画面におけるプレビュー画像に重畳させて表示させるシルエット表示制御過程と
を含むことを特徴とする画像撮像支援方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018229370A JP7275552B2 (ja) | 2018-12-06 | 2018-12-06 | 画像撮像支援装置及び画像撮像支援方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018229370A JP7275552B2 (ja) | 2018-12-06 | 2018-12-06 | 画像撮像支援装置及び画像撮像支援方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020091745A true JP2020091745A (ja) | 2020-06-11 |
JP7275552B2 JP7275552B2 (ja) | 2023-05-18 |
Family
ID=71013813
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018229370A Active JP7275552B2 (ja) | 2018-12-06 | 2018-12-06 | 画像撮像支援装置及び画像撮像支援方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7275552B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210117073A1 (en) * | 2019-10-17 | 2021-04-22 | Samsung Electronics Co., Ltd. | Electronic device and method for operating screen capturing by electronic device |
CN112866564A (zh) * | 2020-12-31 | 2021-05-28 | 努比亚技术有限公司 | 拍照方法、终端以及计算机可读介质 |
JP6959422B1 (ja) * | 2020-10-22 | 2021-11-02 | ヤフー株式会社 | 送信プログラム、端末装置および送信方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003196644A (ja) * | 2001-12-21 | 2003-07-11 | Minolta Co Ltd | 撮影支援方法およびシステム並びにコンピュータプログラム |
JP2009128969A (ja) * | 2007-11-20 | 2009-06-11 | Fujifilm Corp | 撮像装置および方法並びにプログラム |
JP2013196308A (ja) * | 2012-03-19 | 2013-09-30 | Ricoh Co Ltd | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
-
2018
- 2018-12-06 JP JP2018229370A patent/JP7275552B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003196644A (ja) * | 2001-12-21 | 2003-07-11 | Minolta Co Ltd | 撮影支援方法およびシステム並びにコンピュータプログラム |
JP2009128969A (ja) * | 2007-11-20 | 2009-06-11 | Fujifilm Corp | 撮像装置および方法並びにプログラム |
JP2013196308A (ja) * | 2012-03-19 | 2013-09-30 | Ricoh Co Ltd | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210117073A1 (en) * | 2019-10-17 | 2021-04-22 | Samsung Electronics Co., Ltd. | Electronic device and method for operating screen capturing by electronic device |
US11842039B2 (en) * | 2019-10-17 | 2023-12-12 | Samsung Electronics Co., Ltd. | Electronic device and method for operating screen capturing by electronic device |
JP6959422B1 (ja) * | 2020-10-22 | 2021-11-02 | ヤフー株式会社 | 送信プログラム、端末装置および送信方法 |
JP2022068471A (ja) * | 2020-10-22 | 2022-05-10 | ヤフー株式会社 | 送信プログラム、端末装置および送信方法 |
CN112866564A (zh) * | 2020-12-31 | 2021-05-28 | 努比亚技术有限公司 | 拍照方法、终端以及计算机可读介质 |
CN112866564B (zh) * | 2020-12-31 | 2024-03-22 | 努比亚技术有限公司 | 拍照方法、终端以及计算机可读介质 |
Also Published As
Publication number | Publication date |
---|---|
JP7275552B2 (ja) | 2023-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107251101B (zh) | 针对使用具有参数的标记的增强现实的场景修改 | |
KR101841668B1 (ko) | 입체 모델 생성 장치 및 방법 | |
KR102000536B1 (ko) | 합성 이미지를 촬영하는 촬영 장치 및 그 방법 | |
US10915998B2 (en) | Image processing method and device | |
JP2005122320A (ja) | 撮影装置、その画像処理方法及びプログラム | |
WO2022105415A1 (zh) | 关键帧图像的采集方法、装置、***和三维重建方法 | |
JP2020091745A (ja) | 画像撮像支援装置及び画像撮像支援方法 | |
US11620730B2 (en) | Method for merging multiple images and post-processing of panorama | |
CN105701828A (zh) | 一种图像处理方法和装置 | |
CN105607825B (zh) | 用于图像处理的方法和设备 | |
US9995905B2 (en) | Method for creating a camera capture effect from user space in a camera capture system | |
CN111201773A (zh) | 拍摄方法及装置、移动终端及计算机可读存储介质 | |
US20170310920A1 (en) | Method and system for rendering documents with depth camera for telepresence | |
KR101518696B1 (ko) | 증강현실 컨텐츠의 생성 및 재생 시스템과, 이를 이용한 방법 | |
KR102204721B1 (ko) | 증강현실 기록물 서비스 제공 방법 및 사용자 단말 | |
CN112887611A (zh) | 图像处理方法、装置、设备和存储介质 | |
JP5563390B2 (ja) | 画像処理装置およびその制御方法、及びプログラム | |
JP2020091718A (ja) | 撮像画像分類装置及び撮像画像分類方法 | |
CN114363521B (zh) | 图像处理方法、装置及电子设备 | |
JP6679430B2 (ja) | 撮像装置、撮像装置の制御方法及びプログラム | |
JP2020187557A (ja) | 温度画像表示装置、温度画像表示システムおよび温度画像表示プログラム | |
WO2021176877A1 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP7286968B2 (ja) | 画像撮像支援装置及び画像撮像支援方法 | |
EP3417608B1 (en) | System and method for video processing | |
JP5925007B2 (ja) | 画像処理装置、画像処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211124 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230313 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230404 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230417 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7275552 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |