JP6888810B2 - Spherical camera and voice processing method - Google Patents
Spherical camera and voice processing method Download PDFInfo
- Publication number
- JP6888810B2 JP6888810B2 JP2017079461A JP2017079461A JP6888810B2 JP 6888810 B2 JP6888810 B2 JP 6888810B2 JP 2017079461 A JP2017079461 A JP 2017079461A JP 2017079461 A JP2017079461 A JP 2017079461A JP 6888810 B2 JP6888810 B2 JP 6888810B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- image
- angular velocity
- gravity
- acceleration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 6
- 230000001133 acceleration Effects 0.000 claims description 48
- 238000004364 calculation method Methods 0.000 claims description 32
- 238000012545 processing Methods 0.000 claims description 30
- 230000005484 gravity Effects 0.000 claims description 26
- 230000003287 optical effect Effects 0.000 claims description 24
- 238000000034 method Methods 0.000 claims description 9
- 238000012937 correction Methods 0.000 description 38
- 238000011156 evaluation Methods 0.000 description 19
- 238000003702 image correction Methods 0.000 description 10
- 239000013598 vector Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 235000019646 color tone Nutrition 0.000 description 4
- 230000002194 synthesizing effect Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 235000019615 sensations Nutrition 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Images
Landscapes
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
- Circuit For Audible Band Transducer (AREA)
- Studio Devices (AREA)
- Stereophonic Arrangements (AREA)
- Details Of Audible-Bandwidth Transducers (AREA)
Description
本開示は、全天球カメラ及び音声処理方法に関し、特に、デジタルカメラの音場補正に関する。 The present disclosure relates to spherical cameras and audio processing methods, and more particularly to sound field correction of digital cameras.
特許文献1のように、デジタルカメラにおいて、デジタルカメラの傾きに応じて全天球画像を補正する技術が知られている。 As in Patent Document 1, in a digital camera, a technique for correcting a spherical image according to the tilt of the digital camera is known.
特許文献2のように、デジタルカメラにおいて、デジタルカメラの傾きに応じて音の指向性を補正する技術が知られている。 As in Patent Document 2, in a digital camera, a technique for correcting the directivity of sound according to the inclination of the digital camera is known.
全天球画像を取得する全天球カメラにおいては、基準となる鉛直方向を検出して、その鉛直方向からのカメラの傾きに応じて、取得した画像を補正して、違和感なく全天球画像を視認できるようにした技術が特許文献1などで知られている。全天球画像の臨場感を高めるために、カメラにマイクを設けて、三次元音場を収音することが考えられる。しかし単に収音した場合には、カメラの傾きが考慮されていないため、全天球画像と三次元音場とがずれる。そのため視聴者は、そのずれに違和感を覚える可能性がある。 In the omnidirectional camera that acquires the omnidirectional image, the reference vertical direction is detected, and the acquired image is corrected according to the tilt of the camera from the vertical direction, so that the omnidirectional image does not feel strange. Is known in Patent Document 1 and the like. In order to enhance the realistic sensation of the spherical image, it is conceivable to provide a microphone in the camera to collect the three-dimensional sound field. However, when the sound is simply picked up, the spherical image and the three-dimensional sound field deviate from each other because the tilt of the camera is not taken into consideration. Therefore, the viewer may feel uncomfortable with the deviation.
例えば、撮影者が全天球カメラを頭部に装着し移動しながら撮影する場合を考える。撮影者が頭の傾きや向きを変えるのに従い、画像を補正することによって、正面を向いているのと同様の画像を得ることができる。この場合に音場を補正しないままだと、音場は、頭の傾きや向きに応じて変化するので、画像と音場とが一致せず、視聴者は違和感を覚える。 For example, consider a case where a photographer wears a spherical camera on his head and shoots while moving. By correcting the image as the photographer changes the tilt and orientation of his head, it is possible to obtain an image similar to that of facing the front. In this case, if the sound field is not corrected, the sound field changes according to the inclination and orientation of the head, so that the image and the sound field do not match, and the viewer feels uncomfortable.
光学系と、光学系を通して入射する画像を画像データとして出力する素子と、前記画像データを処理する画像処理回路と、音場を構成する音声を受け取り、受け取られた音声を表す音声データを出力する複数のマイクと、前記音声データを処理する音声処理回路と、3軸方向の加速度を表す信号を検出する加速度センサと、3軸方向の角速度を表す信号を検出する角速度センサと、を備える全天球カメラであって、前回のカメラの姿勢状態から重力方向を算出し、該重力方向と前記加速度センサからの加速度信号から重力方向の誤差を算出し、該重力方向の誤差に基づいて、前記角速度センサからの角速度信号を補正し、現在のカメラの姿勢状態を算出するカメラ姿勢算出部と、前記画像処理回路は、前記カメラ姿勢算出部で得た現在のカメラの姿勢状態に基づいて、前記画像の傾きを補正し、前記音声処理回路は、前記カメラ姿勢算出部で得た現在のカメラの姿勢状態に基づいて、前記音場の傾きを補正する。 An optical system, an element for outputting an image incident thereon through the optical system as image data, an image processing circuit for processing the pre-Symbol image data, receives the audio constituting a sound field, outputting audio data representing speech received A total of a plurality of microphones, an audio processing circuit for processing the audio data, an acceleration sensor for detecting a signal representing acceleration in the three-axis direction, and an angular velocity sensor for detecting a signal representing an angular velocity in the three-axis direction. In a celestial sphere camera, the gravity direction is calculated from the posture state of the previous camera, the error in the gravity direction is calculated from the gravity direction and the acceleration signal from the acceleration sensor, and the error in the gravity direction is calculated based on the error in the gravity direction. The camera posture calculation unit that corrects the angular speed signal from the angular speed sensor and calculates the current camera posture state, and the image processing circuit are said to be based on the current camera posture state obtained by the camera posture calculation unit. The tilt of the image is corrected, and the sound processing circuit corrects the tilt of the sound field based on the current posture state of the camera obtained by the camera posture calculation unit.
光学系と、光学系を通して入射する画像を画像データとして出力する素子と、3軸方向の加速度を表す信号を出力する加速度センサと、3軸方向の角速度を表す信号を検出する角速度センサと、音場を構成する音声を受け取り、受け取られた音声を表す音声データを出力する複数のマイクと、を備える全天球カメラにおいて、前記音声データに対する音声処理方法であって、前回のカメラの姿勢状態から重力方向を算出し、該重力方向と前記加速度センサからの加速度信号から重力方向の誤差を算出し、該重力方向の誤差に基づいて、前記角速度センサからの角速度信号を補正し、現在のカメラの姿勢状態を算出して、前記現在のカメラの姿勢状態に基づいて、前記音場の傾きを補正することを含む音声処理方法。An optical system, an element that outputs an image incident through the optical system as image data, an acceleration sensor that outputs a signal indicating acceleration in the three-axis direction, an angular velocity sensor that detects a signal indicating an angular velocity in the three-axis direction, and sound. This is a voice processing method for the voice data in an all-sky camera including a plurality of microphones that receive the voices constituting the field and output voice data representing the received voices, from the posture state of the previous camera. The direction of gravity is calculated, the error in the direction of gravity is calculated from the direction of gravity and the acceleration signal from the acceleration sensor, and the angular velocity signal from the angular velocity sensor is corrected based on the error in the direction of gravity to correct the angular velocity signal of the current camera. A sound processing method including calculating an attitude state and correcting the inclination of the sound field based on the current attitude state of the camera.
同一の加速度センサの情報に基づいて、全天球画像の補正と、三次元音場の補正とを行うことによって、全天球画像と三次元音場とのずれを防止又は低減することができる。 By correcting the spherical image and the three-dimensional sound field based on the information of the same acceleration sensor, it is possible to prevent or reduce the deviation between the spherical image and the three-dimensional sound field. ..
以下の説明において同じ参照番号は同一の構成要素を示す。 In the following description, the same reference numbers refer to the same components.
システムの全体構成
図1は、本開示の例示的実施形態による全天球カメラ100の概略図である。全天球カメラ100は、例えば、実質的に全天球の撮像を行う。全天球カメラ100は、典型的には撮影者が手で持って撮影できる形状及び大きさを有する筐体110を備える。筐体110の平行な2つの主平面のそれぞれの上には、光学系120が設けられる。図1では光学系120は、1つしか見えないが、筐体110の反対側に光学系120に対応するもう一つの光学系122(図1では図示されないが、図2を参照して後述する)が存在する。筐体110には、典型的には銘板130が設けられる。本明細書では銘板130が設けられる面を表(おもて)面という。
Overall Configuration of the System FIG. 1 is a schematic view of the
筐体110上には、4個のマイク151〜154が設けられる。マイクの個数は複数であれば任意の個数であるが、好ましくは4個である。マイクは、5個以上であってもよい。マイク151〜154は、後面開放型の指向性マイクである。マイク151,153,154の感度の最も高い向き(指向性の向き)は、矢印で図示される。マイク152の指向性の向きは、紙面奥から手前に向かう向きである。マイク151及び152は、指向性の向きが光学系120の光軸に交差する、XY方式で配置される。マイク153及び154も、指向性の向きが光学系120の裏側に設けられた光学系122の光軸に交差する、XY方式で配置される。マイク151〜154の指向性の向きと、位置とは、図1に示されるものには限定されない。例えば、マイク151〜154は、XY方式とは反対のAB
方式であってもよい。
Four
It may be a method.
図2は、全天球カメラ100を上から見たときの断面図である。光学系120及び122は、典型的には全天球の実質的に半分であり、互いに実質的に重複しない領域の画像を、それぞれ撮像素子220及び222上で結像させる。すなわち、光学系120及び撮像素子220の組合せ、及び光学系122及び撮像素子222の組合せによって得られる画像の画角は、それぞれ実質的に180°である。例えば、撮像素子220は、筐体110の上から見た角度θが0°〜180°の半球を撮像し、撮像素子222は、筐体110の上から見た角度θが180°〜360°の半球を撮像する。撮像素子220及び222によって撮像された画像を合成すれば全天球の画像が得られる。光学系120及び撮像素子220の組合せ、及び光学系122及び撮像素子222の組合せによって得られる画像の領域は、全天球の半分より、微小量、大きくても小さくてもよい。光学系120及び撮像素子220の組合せ、及び光学系122及び撮像素子222の組合せによって得られる画像の領域を全天球の半分より、微小量、大きくすれば、得られた2つの領域の画像を合成する(つなぎ合わせる、スティッチするともいう)ときに有利であり得る。撮像素子220及び222は、例えばCMOS(相補型金属酸化膜半導体)センサ又はCCD(電荷結合素子)のようなエリア型の蓄積型光電変換素子である。
FIG. 2 is a cross-sectional view of the
ハードウェア
図3は、全天球カメラ100のハードウェアの構造を示すブロック図である。全天球カメラ100は、CPU(central processing unit)310、ROM(read-only memory
)312、RAM(random access memory)314、外部メモリ316、図4を参照して後述する加速度センサ430、角速度センサ440を備え、これらの要素は、バス318を介して動作可能に接続される。
Hardware FIG. 3 is a block diagram showing the hardware structure of the
) 312, a RAM (random access memory) 314, an
信号処理回路320は、撮像素子220によって出力された画像信号Aを受け取る。信号処理回路320は、受け取られた画像信号Aに必要な画像補正を行い、評価回路330に転送する。評価回路330は、自動露出及び自動ホワイトバランスのうちの少なくとも1つを行うための、画像信号Aについての評価Aを生成し、CPU310に転送する。
The
信号処理回路322は、撮像素子222によって出力された画像信号Bを受け取る。信号処理回路322は、受け取られた画像信号Bに必要な画像補正を行い、評価回路332に転送する。評価回路332は、自動露出及び自動ホワイトバランスのうちの少なくとも1つを行うための、画像信号Bについての評価Bを生成し、CPU310に転送する。
The
CPU310は、評価Aに基づいて画像信号Aの画像補正のためのパラメータAを生成し、評価Bに基づいて画像信号Bの画像補正のためのパラメータBを生成する。
The
信号処理回路320は、パラメータAを受け取り、パラメータAに基づいてレベルを補正する。信号処理回路322は、パラメータBを受け取り、パラメータBに基づいてレベルを補正する。
The
合成処理回路350は、補正された画像信号A及びBを受け取り、一つの画像に合成し、合成された画像を例えば外部メモリ316に出力する。すなわち画像信号A及びBのレベルは、必要に応じて調整されてから合成処理がなされる。
The
評価回路330は、画像を評価領域に分割し、その明るさ(自動露出の場合)又は色調(自動ホワイトバランスの場合)を評価する。評価回路は、画像を評価領域に分割し、その明るさ(自動露出の場合)又は色調(自動ホワイトバランスの場合)を評価する。
The
明るさの評価としては、順光及び逆光がある。例えば領域のうち、画像中央領域の明るさと、画像上部領域の明るさとがほぼ等しいときには、順光であると判断できる。逆に、例えば領域のうち、画像中央領域の明るさに対して、画像上部領域の明るさが大幅に大きいときには、例えば空に対応する領域に太陽があるとみなして、逆光であると判断できる。色調の評価としては、太陽光、白熱電球光、蛍光灯光等のうちどの種類の光であるかに基づいて、撮影モードを変更できる。これらの明るさ又は色調についての評価は、評価回路330及び332が同様に行うことができる。
The evaluation of brightness includes forward light and backlight. For example, when the brightness of the central region of the image and the brightness of the upper region of the image are substantially equal to each other, it can be determined that the light is normal. On the contrary, for example, when the brightness of the upper part of the image is significantly larger than the brightness of the central part of the image in the area, it can be determined that the sun is in the area corresponding to the sky, for example, and it is backlit. .. As for the evaluation of the color tone, the shooting mode can be changed based on which type of light is sunlight, incandescent light bulb light, fluorescent light, or the like. The
評価A、B及びパラメータA、Bは、上述の例に限定されず、任意の適切な評価及びパラメータであり得る。 Evaluations A and B and parameters A and B are not limited to the above examples and can be any suitable evaluation and parameters.
マイク151〜154は、それぞれアナログ−デジタル変換器(A/D)351〜354を介してバス318に結合される。マイク151〜154は、それぞれが受け取った音声を表すアナログ信号を出力する。A/D351〜354は、マイク151〜154が出力したアナログ信号をデジタル信号に変換し、バス318に出力する。CPU310は、マイク151〜154が受け取った音声によって構成される音場を、全天球カメラ100の傾きに応じて補正する。具体的には図8を用いて後述する音声処理によって、カメラの傾きに起因する音場の傾きを補正する。
The
図4は、全天球カメラ100の機能ブロック図である。図4のイメージセンサ420及びイメージセンサ422は、図2の撮像素子220及び222にそれぞれ対応する。以下の記載で「カメラ」とは、より具体的には全天球カメラを指し、全天球カメラ100の一例である。画像合成部426は、イメージセンサ420及びイメージセンサ422からの出力を合成することによって、全天球の画像を出力する。画像合成部426は、合成処理回路350によって実現され得る。
FIG. 4 is a functional block diagram of the
音声処理回路480は、マイク151〜154から出力された音声信号によって構成される音場を補正する。より具体的には、音声処理回路480は、カメラ姿勢算出部450の出力(全天球カメラ100の傾きを表す)に応じて音声信号を補正することによって、全天球カメラ100の傾きによって生じる音場の傾きが低減するようにし、ステレオ信号482として出力する。これにより全天球カメラ100の傾きに応じて、全天球画像が補正されると共に、マイク151〜154で収音された音場も補正される。
The
全天球カメラ100は、姿勢算出部450、姿勢補正量算出部460、及び姿勢補正量記録部470を有する。姿勢算出部450、姿勢補正量算出部460、姿勢補正量記録部470、及び音声処理回路480は、典型的にはCPU310と、ソフトウェアとの組み合わせによって実現され得るが、これには限定されずハードウェアだけで実現してもよい。
The
角速度センサ430は、x,y,z軸の周りの角速度gx, gy, gz [rad/sec]を出力する。加速度センサ440は、x,y,z軸方向の加速度ax, ay, az [G](1[G]≒9.8[m/s2]
)を出力する。角速度センサ430及び加速度センサ440は、筐体110内に設けられる。
The
) Is output. The
全天球カメラ100が静止している状態では、加速度センサ440は、重力加速度を各軸方向に分解した成分を出力する。これによって全天球カメラ100の姿勢を正確に推定することができる。
When the
これに対して全天球カメラ100が、カメラが重力方向を中心に回転した場合、加速度センサの出力は変化しない。その結果、加速度センサ440の出力だけを用いても、正確
に全天球カメラ100の姿勢を推定することができない。これを補うために重力方向を中心に回転したときの姿勢検出を角速度センサ430の出力に基づいて行う。
On the other hand, when the
図5は、姿勢算出部450の機能ブロック図である。姿勢算出部450は、重力方向誤差算出部550、加算要素560、姿勢クオータニオン算出部570を有する。姿勢算出部450は、上述の場合においても、角速度センサ430の出力と、加速度センサ440の出力とを併用することによって全天球カメラ100の姿勢を推定する。
FIG. 5 is a functional block diagram of the
具体的には、加速度センサ440の出力に基づいて大局的な姿勢推定を行う。重力方向を中心とする回転による全天球カメラ100姿勢変化は、角速度センサ430の出力を積算することで推定する。各センサ出力を併用するために、角速度センサ430による姿勢推定の積算誤差を、加速度センサ440の出力とカメラ姿勢算出結果を重力方向誤差算出部550で比較することによって補正する。
Specifically, the overall attitude is estimated based on the output of the
アルゴリズム
図6は、姿勢算出部450の処理600を示すフロー図である。
Algorithm FIG. 6 is a flow chart showing a
630において、前回のカメラ姿勢を表すクオータニオンから重力方向を算出する。クオータニオンをq=[q0,q1,q2,q3]Tで表すと、重力方向ベクトルv=[vx,vy,vz]Tは、次式で
算出できる。
At 630, the direction of gravity is calculated from the quaternion representing the previous camera posture. When the quotation is expressed by q = [q0, q1, q2, q3] T, the gravity direction vector v = [vx, vy, vz] T can be calculated by the following equation.
640において、クオータニオンから算出された重力方向ベクトルvと、加速度センサ
出力のベクトルa=[ax,ay,az]Tの誤差を算出する。誤差ベクトルe=[ex,ey,ez]Tは、ベクトルの外積を用いてe=a×vによって求められる。ここで、誤差ベクトルeの成分は、ベクト
ルa及びvがなす角度成分を表す。
At 640, the error between the gravity direction vector v calculated from the quarterion and the vector a = [ax, ay, az] T of the acceleration sensor output is calculated. The error vector e = [ex, ey, ez] T is obtained by e = a × v using the outer product of the vectors. Here, the component of the error vector e represents the angle component formed by the vectors a and v.
650において、数2によって、誤差成分に基づいて角速度センサ430の出力を補正する。
At 650, the output of the
ここで、Δt [sec]は角速度センサ430のサンプリング周期であり、kは補正係数である。補正係数kは、誤差に対してどの程度補正を行うかを表す。例えば補正係数k=0.001等の値が用いられ得る。
Here, Δt [sec] is the sampling period of the
660において、数3によって、時刻tにおけるクオータニオンをq(t)、角速度センサ
のサンプリング周期をΔt [sec]として、時刻(t+Δt)のカメラ姿勢クオータニオンを算出し、得られた姿勢量を姿勢補正量算出部460に出力する。
In 660, the camera posture quaternion at the time (t + Δt) is calculated by the equation 3 with the quaternion at the time t as q (t) and the sampling period of the angular velocity sensor as Δt [sec], and the obtained posture amount is used as the posture. It is output to the correction
姿勢補正量算出部460は、算出された姿勢量から、全天球カメラ100の傾きに基づく画像の傾きを実際に補正する量を算出する。
The posture correction
姿勢補正量記録部470は、例えば全天球カメラ100に有線又は無線によって結合された外部デバイスに、全天球画像と併せて、姿勢補正量を記録する。これによりユーザは、姿勢補正量が適用された全天球画像をビューワーソフトウェア等で鑑賞することができる。
The attitude correction
画像補正
図7は、角速度センサ430が出力するx,y,z軸の周りの角速度gx, gy, gz [rad/sec]と、加速度センサ440が出力するx,y,z軸方向の加速度ax, ay, az [G]と、重力加速度との関係を示す図である。
Image correction FIG. 7 shows the angular velocity gx, gy, gz [rad / sec] around the x, y, z axes output by the
姿勢算出部450は、加速度に基づいて画像の傾きを補正し、x,y,z軸周りの角速度に基づいて重力方向周りの回転角を補正することができる。
The
上述のようにある実施形態によれば、手振れのような短い期間における画像補正は、角速度に基づき行い、手振れの補正誤差が蓄積されるような長い期間における画像補正は、加速度に基づき行う。 According to the above-described embodiment, the image correction in a short period such as camera shake is performed based on the angular velocity, and the image correction in a long period such that the correction error of camera shake is accumulated is performed based on acceleration.
具体的には、姿勢補正量算出部460は、加速度センサ440が出力する加速度に基づいてカメラの傾きに起因する画像の傾きを補正する。代替として、姿勢補正量算出部460は、角速度センサ430が出力する角速度に基づいてカメラの回転に起因する画像の傾き又は回転を補正する。好ましくは、姿勢補正量算出部460は、加速度センサ440が出力する加速度と、角速度センサ430が出力する角速度との両方に基づいてカメラの回転に起因する画像の傾き又は回転を補正する。
Specifically, the posture correction
音場補正
全天球画像の撮影時にマイク151〜154によって収音される音場の補正を以下に説明する。
Sound field correction The correction of the sound field picked up by the
図8は、音声処理回路480のアルゴリズムを示す。810において、カメラ姿勢算出部450から数3によって示されるカメラ姿勢クオータニオンを得る。820において、マイク151〜154で規定される三次元空間の音場を、カメラ姿勢量によって補正する。具体的には、カメラの傾きがある場合には、それを打ち消すための、三次元空間での回転を4つの音声データに施す。
FIG. 8 shows the algorithm of the
820のカメラ姿勢クオータニオンに基づく補正においては、典型的には一次アンビソニック基本式が用いられる。830において、三次元空間の音場がステレオに変換され出力される。音声処理回路480は、例えば、CPU310によって実行されるソフトウェアや、DSP(デジタル信号処理装置)のような専用チップで実現され得る。
In the correction based on the camera attitude quaternion of 820, the first-order ambisonic basic equation is typically used. At 830, the sound field in the three-dimensional space is converted into stereo and output. The
上述のように、カメラの傾きによって生じる全天球画像の傾きは、加速度センサ440からの加速度を示す信号に基づいて、補正され、カメラの傾き又は回転によって生じる全天球画像の傾きは、角速度センサ430からの角速度を示す信号に基づいて、補正される。この画像の傾き補正と同様に、音像の傾き補正も行われる。すなわち、音場の傾き補正によって、音場の傾き又は回転も、全天球画像の傾きと同様に低減される。その結果、カメラが傾いたために本来の音像からずれた位置に定位する音像が、実空間の位置を正しく反映するように定位する。
As described above, the tilt of the global image caused by the tilt of the camera is corrected based on the signal indicating the acceleration from the
例えば頭上にカメラを固定してスポーツ観戦している状況で、撮影者が手元を見るために頭を下に向ける、又は選手を追いかけて頭を左右に振る、という状況を想定する。角速度センサ430から出力された角速度と、加速度センサ440から出力された加速度とによって、画像と音場との両方が補正される。その結果、視聴者は画像と音場との両方について、画像と音場とが一致した状態で、視聴できる。
For example, in a situation where the camera is fixed overhead and watching sports, the photographer turns his head down to see his hand, or chases the player and shakes his head from side to side. Both the image and the sound field are corrected by the angular velocity output from the
具体的には、角速度センサ430によって得られる角速度によって音場の傾き又は回転を補正することができ、加速度センサ440によって得られる加速度によって音場の傾きを補正することができる。音場補正のためには、加速度及び角速度のうちのいずれか一つに基づいて、カメラの回転に起因する傾き又は回転を補正することで効果が得られる。好ましくは加速度及び角速度の両方に基づいてカメラの回転に起因する音場の傾き又は回転を補正することによって、さらなる効果を得られる。
Specifically, the inclination or rotation of the sound field can be corrected by the angular velocity obtained by the
ある例示的実施形態によれば、画像補正と、音場補正とが、同じ加速度センサからの出力と、カメラ姿勢クオータニオンとに基づいて行われる。それにより全天球画像の傾き補正と一致する、音像の傾き補正が得られる。その結果、視聴者にとって、全天球画像と一貫性を有する、違和感のない音場の傾きの補正が提供できる。 According to one exemplary embodiment, image correction and sound field correction are performed based on the output from the same accelerometer and the camera attitude quaternion. As a result, the tilt correction of the sound image, which matches the tilt correction of the spherical image, can be obtained. As a result, it is possible to provide the viewer with a correction of the inclination of the sound field that is consistent with the spherical image and does not give a sense of discomfort.
他の例示的実施形態によれば、画像補正と、音場補正とが、同じ角速度センサからの出力と、カメラ姿勢クオータニオンとに基づいて行われる。それにより全天球画像の傾き又は回転の補正と一致する、音像の傾き又は回転の補正が得られる。その結果、視聴者にとって、全天球画像と一貫性を有する、違和感のない音場の傾き又は回転の補正が提供できる。 According to another exemplary embodiment, image correction and sound field correction are performed based on the output from the same angular velocity sensor and the camera attitude quaternion. As a result, the correction of the tilt or rotation of the sound image, which is consistent with the correction of the tilt or rotation of the spherical image, can be obtained. As a result, it is possible to provide the viewer with a sound field tilt or rotation correction that is consistent with the spherical image and does not give a sense of discomfort.
好ましくは、画像補正及び音場補正について、上記加速度による補正と、角速度による補正とが併用される。 Preferably, for the image correction and the sound field correction, the correction by the acceleration and the correction by the angular velocity are used together.
本発明(またはその任意の部分(群)または機能(群))は、ハードウェア、ソフトウェア、またはそれらの組み合わせを用いて実現され得て、1つ以上のコンピュータシステムまたは他の処理システムにおいて実現され得る。 The present invention (or any part (s) or function (s) thereof) may be realized using hardware, software, or a combination thereof, and may be realized in one or more computer systems or other processing systems. obtain.
上に説明されてきたものには、本発明のさまざまな例が含まれる。本発明を記載する目的では、要素や手順の考えられるあらゆる組み合わせを記載することは当然のことながら不可能であるが、当業者なら本発明の多くのさらなる組み合わせおよび順列が可能であることがわかるだろう。したがって本発明は、特許請求の範囲の精神および範囲に入るそのような改変、変更および変形例を全て含むよう意図される。 Those described above include various examples of the present invention. For the purposes of describing the invention, it is of course impossible to describe any possible combination of elements or procedures, but one of ordinary skill in the art will find that many additional combinations and permutations of the invention are possible. right. The invention is therefore intended to include all such modifications, modifications and variations that fall within the spirit and scope of the claims.
151〜154 マイク
420 イメージセンサ1
422 イメージセンサ2
430 角速度センサ
432 加速度センサ
450 姿勢算出部
460 姿勢補正量算出部
470 姿勢補正量記録部
480 音声処理回路
482 ステレオ出力
151-154
422 image sensor 2
430 Angular velocity sensor 432
Claims (2)
光学系を通して入射する画像を画像データとして出力する素子と、
前記画像データを処理する画像処理回路と、
音場を構成する音声を受け取り、受け取られた音声を表す音声データを出力する複数のマイクと、
前記音声データを処理する音声処理回路と、
3軸方向の加速度を表す信号を検出する加速度センサと、
3軸方向の角速度を表す信号を検出する角速度センサと、
を備える全天球カメラであって、
前回のカメラの姿勢状態から重力方向を算出し、該重力方向と前記加速度センサからの加速度信号から重力方向の誤差を算出し、該重力方向の誤差に基づいて、前記角速度センサからの角速度信号を補正し、現在のカメラの姿勢状態を算出するカメラ姿勢算出部と、
前記画像処理回路は、前記カメラ姿勢算出部で得た現在のカメラの姿勢状態に基づいて、前記画像の傾きを補正し、
前記音声処理回路は、前記カメラ姿勢算出部で得た現在のカメラの姿勢状態に基づいて、前記音場の傾きを補正する
全天球カメラ。 Optical system and
An element that outputs an image incident through the optical system as image data,
An image processing circuit for processing the pre-Symbol image data,
Multiple microphones that receive the sound that makes up the sound field and output sound data that represents the received sound,
A voice processing circuit that processes the voice data and
An accelerometer that detects signals representing acceleration in the three axial directions,
An angular velocity sensor that detects a signal indicating the angular velocity in the three axial directions,
It is a spherical camera equipped with
The direction of gravity is calculated from the posture state of the previous camera, the error in the direction of gravity is calculated from the direction of gravity and the acceleration signal from the acceleration sensor, and the angular velocity signal from the angular velocity sensor is calculated based on the error in the direction of gravity. A camera attitude calculation unit that corrects and calculates the current attitude state of the camera,
The image processing circuit corrects the inclination of the image based on the current posture state of the camera obtained by the camera posture calculation unit.
The voice processing circuit is an omnidirectional camera that corrects the inclination of the sound field based on the current posture state of the camera obtained by the camera posture calculation unit.
光学系を通して入射する画像を画像データとして出力する素子と、
3軸方向の加速度を表す信号を出力する加速度センサと、
3軸方向の角速度を表す信号を検出する角速度センサと、
音場を構成する音声を受け取り、受け取られた音声を表す音声データを出力する複数のマイクと、
を備える全天球カメラにおいて、前記音声データに対する音声処理方法であって、
前回のカメラの姿勢状態から重力方向を算出し、該重力方向と前記加速度センサからの加速度信号から重力方向の誤差を算出し、該重力方向の誤差に基づいて、前記角速度センサからの角速度信号を補正し、現在のカメラの姿勢状態を算出して、
前記現在のカメラの姿勢状態に基づいて、前記音場の傾きを補正すること
を含む音声処理方法。 Optical system and
An element that outputs an image incident through the optical system as image data,
An accelerometer that outputs a signal indicating acceleration in the three axial directions,
An angular velocity sensor that detects a signal indicating the angular velocity in the three axial directions,
Multiple microphones that receive the sound that makes up the sound field and output sound data that represents the received sound,
This is a voice processing method for the voice data in the spherical camera provided with the above.
The direction of gravity is calculated from the posture state of the previous camera, the error in the direction of gravity is calculated from the direction of gravity and the acceleration signal from the acceleration sensor, and the angular velocity signal from the angular velocity sensor is calculated based on the error in the direction of gravity. Correct and calculate the current camera attitude,
A voice processing method including correcting the inclination of the sound field based on the current posture state of the camera.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017079461A JP6888810B2 (en) | 2017-04-13 | 2017-04-13 | Spherical camera and voice processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017079461A JP6888810B2 (en) | 2017-04-13 | 2017-04-13 | Spherical camera and voice processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018182528A JP2018182528A (en) | 2018-11-15 |
JP6888810B2 true JP6888810B2 (en) | 2021-06-16 |
Family
ID=64277283
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017079461A Active JP6888810B2 (en) | 2017-04-13 | 2017-04-13 | Spherical camera and voice processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6888810B2 (en) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9930225B2 (en) * | 2011-02-10 | 2018-03-27 | Villmer Llc | Omni-directional camera and related viewing software |
CN108028894B (en) * | 2015-09-09 | 2020-07-10 | 株式会社理光 | Control system, imaging apparatus, and computer-readable medium |
JP7196399B2 (en) * | 2017-03-14 | 2022-12-27 | 株式会社リコー | Sound device, sound system, method and program |
-
2017
- 2017-04-13 JP JP2017079461A patent/JP6888810B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018182528A (en) | 2018-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6927382B2 (en) | Imaging systems, methods, programs, video display devices and image processing devices. | |
JP6645245B2 (en) | Spherical shooting system | |
KR20180091122A (en) | Imaging system, imaging apparatus, computer program, and system | |
JP7133789B2 (en) | Sound collection device, sound collection system, sound collection method, program, and calibration method | |
JP6721550B2 (en) | Information processing apparatus and position information acquisition method | |
JP6771435B2 (en) | Information processing device and location information acquisition method | |
KR20220128585A (en) | Wearable image pickup apparatus, portable device and calibrator that communicate with image pickup apparatus, control methods therefor, and storage media storing control programs therefor | |
JP2023026477A (en) | Imaging device, and imaging system | |
JP7031280B2 (en) | Image processing equipment, image processing systems and programs | |
JP2018152846A (en) | Acoustic recording device, acoustic system, acoustic recording method, program, and data structure | |
JP6888810B2 (en) | Spherical camera and voice processing method | |
JP7487464B2 (en) | IMAGE PROCESSING APPARATUS, IMAGING APPARATUS, VIDEO PLAYBACK SYSTEM, METHOD, AND PROGRAM | |
JP6725106B2 (en) | Imaging device | |
JP7025042B2 (en) | Spherical image generation method, spherical image generation and display method, spherical image generation system program, and spherical image generation and display system program | |
JP6834556B2 (en) | Shooting equipment, shooting method and program | |
JP7395953B2 (en) | Imaging device | |
JP2019168999A (en) | Imaging device, imaging method and program | |
US11122202B2 (en) | Imaging device, image processing system, and image processing method | |
US20200412928A1 (en) | Imaging device, imaging system, and imaging method | |
US10757387B2 (en) | Image processing apparatus, image processing method, and non-transitory computer readable recording medium | |
WO2022201825A1 (en) | Information processing device, information processing method, and information processing system | |
JP2021004894A (en) | Information processing device and position information acquisition method | |
JP2020136850A (en) | Imaging apparatus, imaging method, program, and imaging system | |
JP2020078065A (en) | Imaging apparatus, information processing apparatus, correction amount setting method, and program | |
JP2022030485A (en) | Camera device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200226 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201008 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201013 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210420 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210513 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6888810 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |