KR20060047204A - 정보 처리 장치, 이미지 처리 장치, 정보 처리 방법 및프로그램 - Google Patents

Abstract

정보 처리 장치는 영상 신호에 관련한 복수 채널의 음성 신호를 처리하는 기능을 구비한다. 정보 처리 장치는 영상 신호에 관련한 촬영 조건의 정보에 따라 규정된 조정용 파라미터에 따라 복수 채널의 음성 신호들의 레벨을 변환하여 복수의 음성 신호들을 생성하기 위한 음성 변환부를 포함한다.

캠코더, 영상 신호, 음성 신호, 정보 처리 장치, 전방 성분

Description

정보 처리 장치, 이미지 처리 장치, 정보 처리 방법 및 프로그램{INFORMATION PROCESSING APPARATUS, IMAGING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM}

도 1은 본 발명의 일 실시예에 따른 이미지 시스템 및 기록 시스템의 구성의 일례를 나타낸 블럭도.

도 2는 본 발명의 일 실시예에 따른 신호 처리 시스템의 일례를 나타낸 블럭도.

도 3은 캠코더의 외관의 일례를 나타낸 사시도.

도 4는 캠코더와 정보 처리 장치를 포함하는 시스템 구성의 일례를 도시하는 블럭도.

도 5는 4채널 사운드에 대하여 설명하기 위한 개략도.

도 6은 5.1 채널 사운드에 대하여 설명하기 위한 개략도.

도 7은 4채널로부터 5.1 채널로의 음향 변환의 기본 예를 도시한 개략도.

도 8은 줌잉의 배율에 대한 음량 조정 파라미터를 도시한 그래프.

<도면의 주요 부분에 대한 부호의 설명>

10 : 정보 처리 장치

12 : 음성 신호 처리기

18 : 정보 처리 장치

본 발명은 일본 특허청에 2004년 4월 20일자로 제출된 일본 특허 출원 JP 2004-124450호에 관련한 과제를 포함하며, 그 전체 내용은 본 명세서에 참조로서 결합된다.

본 발명은, 복수 채널의 음성을 변환하여 서라운드 음성을 생성하는 경우에, 비디오 촬영 시의 줌 정보 등을 음성 변환에 반영시킴으로써 현장감의 재현에 유효한 음성 변환 처리를 실현하기 위한 기술에 관한 것이다.

복수 채널의 오디오 신호와 영상 신호를 동시에 하나의 기록 매체에 기록하거나, 혹은 기록된 각 신호의 재생이 가능한 장치(예를 들면, 캠코더 등)이 알려져 있다.

비디오 촬영에 의해서 취득되는 영상 신호에 대하여 스테레오 음성(2 채널)밖에 기록 또는 재생을 행할 수 없는 경우에는, 충분한 현장감을 얻기 어렵고, 대화면에서의 영상 표시에 대하여 박력이 있는 음향 효과를 얻는 것이 어렵다. 따라서, 좌우 및 중앙의 스피커에 대하여 다른 위치에 설치되는 서브 스피커를 조합한 서라운드시스템에서, 스테레오 음성 및 프론트 센터의 음성 외에 서라운드 음성(2 채널)이나 저주파수 성분을 포함시킨 5.1 채널의 오디오 신호를 영상 신호와 함께 자기 테이프에 기록하거나 또는 재생 할 수 있는 장치가 이용된다(예를 들면, 일본 무심사 특허출원 제2003-18543호 공보 참조).

그런데, 복수 채널의 음성 신호에 기초하는 서라운드 음성의 재생 환경에서, 영상 신호에 따른 촬영 조건을 무시하여 음향 효과를 향상시기 어렵다.

예를 들면, 캠코더에 의한 촬영 시에, 특정한 사람 등을 대상으로 하여 줌잉 조작(줌인)을 행하여 그 영상을 음성과 함께 기록하고 있는 상황에서는, 주로 카메라 전방의 중앙으로부터의 음성을, 카메라 배후로부터의 음성보다도 강조하는 것이 더 바람직하다. 그러나, 종래의 장치에서는, 채널마다의 마이크로폰으로 취득한 음성 신호를 기록하고, 그 기록된 신호를 재생하기만 한다. 따라서, 비디오 촬영 시의 촬영 조건 등을 고려한 음성 처리는 행해지지 않거나, 혹은 촬영자나 편집자가 사후에 음성 레벨을 조정하여 가공 처리를 실시하고 있을 정도이다. 비록 홈 시어터 등에서 서라운드 시스템이 일반 유저에도 보급되기 시작하고 있지만, 영상을 보면서 음성 데이터의 가공이나 편집 등을 행하는 것은 번거로운 작업으로서, 편리성의 면에서 문제가 있다.

비디오 촬영 시에, 그 촬영 조건에 관한 데이터를 영상 신호나 음성 신호에 부속하는 데이터(추가 정보)로서 해당 신호와 함께 디스크형 기록 매체나 테이프 형상 기록 매체에 기록할 수 있도록 구성하면, 음성 신호의 재생 시에 해당 데이터에 기초하여 신호 레벨을 조정할 수 있으므로, 보다 현장감에 넘치는 음향 효과를 얻는 것이 가능하게 된다.

따라서, 본 발명은, 영상 신호에 관련한 복수 채널의 음성 신호를 처리하는 경우에, 해당 영상 신호에 따른 촬영 조건에 따라 음성 신호의 레벨 조정을 행하여, 영상에 적합한 현실성이 있는 음향 효과를 얻는 것을 과제로 한다.

본 발명의 정보 처리 장치는, 상기한 과제를 해결하기 위해, 영상 신호에 따른 촬영 조건을 나타내는 정보에 따라 규정되는 조정용 파라미터에 따라, 복수 채널의 음성 신호의 레벨을 각각 변환하는 음성 변환 수단을 포함하는 것이다.

본 발명의 다른 실시예에 따르면, 영상 신호에 관련한 복수의 음성 신호를 처리하는 기능을 구비한 정보 처리 장치에 이용하기 위한 프로그램은, 영상 신호에 따른 촬영 조건을 나타내는 정보에 따라 음량의 조정용 파라미터를 변경함과 함께, 해당 조정용 파라미터에 따라, 복수 채널의 음성 신호의 레벨을 각각 변환하여 복수의 음성 신호를 생성하는 단계를 갖는다.

본 발명의 실시예에서, 영상 신호에 따른 촬영 조건에 따른 조정용 파라미터에 따라서 각 음성 신호의 음량 조정이 행하여진다.

본 발명의 일 실시예에 따르면, 영상 신호에 관련한 촬영 조건의 관점에서 음성 신호에 대한 레벨 조정을 수행하여 영상에 적합한 현실성이 있는 음향 효과를 얻을 수 있다.

음량 밸런스에 대한 조정 파라미터가 줌잉 조작의 배율에 의해 규정되는 구성 형태에서, 줌-인 모드에서, 후방 성분보다 전방 성분을 상대적으로 강조함으로써, 전방로부터의 음향이 강조되어, 줌(원근감) 효과가 생성될 수 있다.

또한, 줌잉 조작의 배율이 큰 경우, 전방 성분을 포함하는 음향 신호에서, 좌우 성분보다 전방 성분을 상대적으로 강조함으로써, 음향 줌 효과가 향상될 수 있다.

영상 신호에 관련한 촬영 조건의 정보에 관련하여, 기록 매체상에, 영상 신호 및 음향 신호를 기록함으로써, 그리고 재생 모드에서, 영상 신호 및 음향 신호와 함께 기록 매체로부터 정보를 추출함으로써 영상 기록시 취득된 영상 및 음향에 대한 추가 정보로서 정보를 쉽게 다룰 수 있다.

도 1은 본 발명의 일 실시예에 관련한 이미지 시스템 및 기록 시스템의 구성예를 도시한다.

이미지 처리 장치(1)는 촬상 기능과, 촬영에 의해서 얻어지는 영상 신호나 멀티 채널(예를 들면, 4 채널)의 음성 신호를 소정의 기록 매체, DVD(Digital Versatile Disk) 등의 디스크형 기록 매체나, 자기 테이프 등의 테이프 형상 기록 매체에 기록하는 기능을 구비하고 있다. 예를 들면, 캠코더, 카메라 기능을 갖는 컴퓨터나 PDA(개인 휴대 단말기), 각종 영상 기기를 들 수 있다.

정보 처리 장치(1)를 구성하는 카메라 시스템은 줌 렌즈를 포함하는 가변배율 광학 시스템(2)와, 고체 촬상 소자(예를 들면, CCD형, CMOS형 등의 에후방 이미지 센서)나 촬상관 등을 이용한 촬상 수단(3)을 구비하고 있다. 그리고, 촬상 수단(3)에 의해서 얻어진 신호가 촬상 프로세서(4)에 송출되어 처리된다. 여기서는, 예를 들면, 아날로그- 디지털(A/D) 변환 등이 행해져, 촬상 프로세서(4)의 출력 신호는 기록 및 출력 프로세서(8)에 보내여진다.

카메라 제어기(5)는, 줌잉 제어나 포커스 제어 등을 포함하는 렌즈 시스템의 서보 제어나, 촬상 수단(3)의 전자 셔터 제어 등을 담당하고 있으며, 카메라 시스템의 촬상 조건에 관한 데이터를 관리하고 있다. 영상 신호에 대한 촬영 조건을 나타내는 정보, 예를 들면, 화면 사이즈나 화면 각도, 줌잉의 배율에 관한 정보, 혹은 측광 정보, 촬영 시의 밝기나 주위조도 등의 정보가 기록 및 출력 프로세서(8)에 보내여진다.

복수의 마이크로폰(6)은, 채널마다의 음성 신호를 취득하기 위한 음성 입력 수단을 구성하고 있다. 각 마이크로폰에 의한 음성 신호는 음성 신호 프로세서(7)에 보내여지고, 앰프 등으로 증폭됨과 함께, 아날로그-디지털(A/D) 변환 등이 행해진 후에 기록 및 출력 프로세서(8)에 보내여진다.

기록 및 출력 프로세서(8)는, 영상 신호나 음성 신호를 처리하여 기억 장치(9)에 기록하거나, 혹은, 영상 신호나 음성 신호를 외부 장치에 대하여 출력하는 기능을 갖는다.

예를 들면, 「(VIDEO)」로 나타내는 영상 신호와, 「(AUDIO)」로 나타내는 음성 신호, 그리고, 「(Subcode)」로 나타내는 서브 코드 데이터를 기록 및 출력 프로세서(8)에서 처리하여, 기억 장치(9)에 기록하거나 또는 외부 장치에 출력한다.

서브 코드 데이터에는, 카메라 제어기(5)로부터의 촬영 조건에 관한 데이터 등, 영상 신호나 음성 신호에 부수하는 데이터가 포함되어 있다.

기억 장치(9)로서는, 광 자기 디스크 등의 광학식 기록 매체를 이용한 드라이브 장치나, 자기 디스크나, DV 테이프 등의 자기식 기록 매체를 이용한 장치 등 이 이용되지만, 본 발명의 적용에서 기록 형태의 여하에 막론하고, 불휘발성의 반도체 메모리 등을 이용한 각종 형태에서의 실시가 가능하다. 또한, 기억 장치(9)는 기록 및 출력 프로세서(8)와 동시에 기록 재생 수단을 구성하고 있어, 영상 신호에 따른 촬영 조건을 나타내는 데이터를 영상 신호 및 음성 신호와 함께 기록 매체에 기록하고, 또는 해당 데이터를 기록 매체로부터 영상 신호 및 음성 신호와 함께 재생한다.

도 2는, 신호 처리 시스템의 구성예를 도시한 것이다.

정보 처리 장치(10)는, 영상 신호 및 해당 영상 신호에 관련한 복수 채널의 음성 신호를 처리하는 기능을 구비하고 있고, 영상 신호 처리 수단(11)과 음성 신호 처리기(12)을 갖는다.

도면에서 「(VIDEO) in」으로 나타내는 영상 입력 신호는 영상 신호 처리 수단(11)에 송출되어 필요한 처리를 실시된 후, 영상 출력 신호 「(VIDEO) out」로서 후단 회로에 공급된다. 예를 들면, 액정 표시 디바이스(LCD)나 음극관(CRT) 등을 이용한 표시 수단이나 프로젝터 장치 등에 송출되어 영상 표시가 행하여진다.

또한, 도면에서 「(AUDIO_CHj)in」(j=1, 2, …, n)으로 나타내는 각 채널의 음성 입력 신호는 음성 신호 처리기(12)에 송출되어 처리된다. 그리고, 음성 신호 처리기(12)에 의해 얻어진, 복수의 음성 출력 신호「(AUDIOi)out」(i=1, 2, …, m)는, 음성 출력 장치(서라운드 시스템을 구성하는 스피커군)에 송출된다. 예를 들면, 4 채널의 음성 신호를 5.1 채널의 음성 신호로 변환하는 구성에의 적용에서, 프론트 성분(좌우 및 중앙의 3 성분), 저주파수 성분, 후방 성분(좌우의 2 성분) 중, 프론트 성분이나 후방 성분에 대하여 음성의 조정을 행할 수 있다.

카메라 시스템의 촬영 조건을 나타내는 데이터는, 영상 신호 처리 수단(11)이나 음성 신호 처리기(12)에 보내여져 참조된다. 예를 들면, 촬영 시의 줌 정보에 따라, 프론트 성분과 후방 성분의 음량 조정에 관한 밸런스를 변경함으로써, 보다 현장감있는 음향 효과를 얻을 수 있다(그 구체적인 방법에 대해서는 후술함). 혹은, 촬영 시의 주위 조도 등의 정보에 따라, 예를 들면, 주위 조도가 낮게 된 경우에 전체의 음량 레벨을 내리거나, 프론트 성분에 대하여 배경음의 레벨을 상대적으로 높이는 등의 연출적 효과를 얻는 것이 가능하다. 즉, 음성 신호 처리기(12)은, 영상 신호에 따른 촬영 조건을 나타내는 정보에 따라 규정되는 조정용 파라미터를 갖고 있고, 복수 채널의 음성 신호의 레벨을 각각 조정하여 출력한다.

또한, 본 발명의 적용에 있어서 영상 신호 처리 수단(11)에 의한 영상의 가공 처리 등의 여하에 막론하고, 카메라 시스템의 촬영 조건을 나타내는 데이터에 따른 각종의 화상 처리나 편집, 가공을 채용하는 것이 가능하다.

또한, 도 1나 도 2에 도시하는 구성의 적용 형태로서는, 하기에 도시하는 사례를 들 수 있다.

도 1의 구성을 갖는 장치와, 도 2의 구성을 갖는 장치를 별개에 설치하여 양자를 접속한 구성 형태와 도 1에 도시하는 구성의 전부 혹은 그 일부 및 도 2의 구성을 하나의 장치 내에서 구비하는 구성 형태.

도 3 및 도 4는, 본 발명의 적용예를 도시한 것으로, 도 3은 캠코더의 외관예를 나타내고, 도 4는 캠코더에 의해서 촬영된 영상 데이터를 음성 데이터와 동시 에 DVD 등에 기록할 수 있는 정보 처리 장치를 포함하는 시스템의 구성을 예시한 것이다.

도 3에 도시하는 캠코더(13)는, 프론트의 좌우 2 채널 및 후방의 좌우 2 채널을 포함하는 4 채널의 음성 신호를 기록하여 재생할 수 있다.

본 예에서, 캠코더(13)의 본체부를 구성하는 케이스(14)의 상부에는, 집음 장치(15)에 대한 부착부가 설치되어 있고, 해당 부착부에 집음 장치(15)의 지지부가 착탈 가능하게 부착된다.

집음 장치(15)는 4개의 마이크로폰(15FR, 15FL, 15RR, 15RL)을 구비하고 있다. 마이크로폰(15FR, 15FL)은 캠코더(13)의 전방(촬영 방향)을 향하여 설치되고, 15FR이 촬상 방향에 관하여 우측에 지향성을 갖는 마이크로폰, 15FL이 촬상 방향에 관하여 좌측에 지향성을 갖는 마이크로폰이다. 또한, 마이크로폰(15RR, 15RL)은 캠코더(13)의 후방을 향하여 설치되고, 15RR이 촬상 방향에 관하여 우측에 지향성을 갖는 마이크로폰, 15RL이 촬상 방향에 관하여 좌측에 지향성을 갖는 마이크로폰이다.

또한, 캠코더(13)에는 촬영 렌즈(16)나 모니터부(17)가 설치되어 있다. 본 예에서는, 카메라 본체부에 집음 장치(15)를 부설하는 구성을 채용하고 있지만, 이것은 장치 내부에서 발생하는 음향 노이즈의 영향을 충분히 저감하기 때문이다. 따라서, 노이즈 등의 영향을 충분히 고려하여 각 마이크로폰을 본체부에 부설한 형태(15FR, 15FL을 케이스(14)의 전방부에 부설하고, 15RR, 15RL을 케이스(14)의 후방부에 부설함)라도 물론 상관없다.

촬영한 영상 데이터나 각 마이크로폰에 의해서 수집된 음성 데이터는, 디지털화된 형태로, 예를 들면, 자기 테이프(DV 테이프 등)에 기록된다. 즉, 캠코더(13)의 기록 프로세서에서 영상 신호는 소정의 변조 처리(주파수 변조)를 받은 후, 헬리칼 스캔 방식의 자기 기록 재생부를 구성하는 자기 헤드에 의해 자기 테이프에 기록된다. 또한, 기록 프레임을 구성하는 트랙에는 영상 기록 영역이나 음성 기록 영역 외에, 타이틀이나 TOC(Tables Of Contents) 등의 정보를 저장하기 위한 서브 코드 영역이 설치되어 있어, 해당 서브 코드 영역에 관리 정보(카메라 촬영 시의 줌 정보 등을 포함함)가 기입된다. 예를 들면, NTSC의 DV 포맷에서는, 1 프레임분의 데이터에 관하여, 비디오 데이터로서는 76 바이트의 데이터를 포함하는 138 데이터 블록이 준비되고, 오디오 데이터로서는 76 바이트의 데이터를 포함하는 9 데이터 블록이 준비된다. 그리고, 5 바이트의 데이터를 포함하는 12 데이터 블록이 서브 코드 데이터의 기록에 이용된다.

정보 처리 장치(18(도 4 참조)에는, 예를 들면, DVD 에의 기록 기능을 갖는 컴퓨터 기기(퍼스널 컴퓨터나 CE 기기 등)이 이용된다. 정보 처리 장치(18)는, 케이블 등을 이용하여 캠코더(13)에 접속되거나, 혹은 무선 통신을 이용하여 연결될 수 있으며, 캠코더(13)로부터 송출되어 오는 데이터를 취득하고, 필요에 따라 데이터 변환을 행하여, 영상 데이터 및 음성 데이터를 DVD에 기록하는 수단을 구비하고 있다. 멀티 채널의 음성 데이터를 DVD에 기록할 수 있으므로, 현장감 넘치는 오디오 환경에서 DVD를 작성할 수 있다.

DVD 작성 예에 대한 전체적인 흐름은, 하기에 도시한 바와 같다.

(단계 1) 캠코더로부터의 영상 데이터 및 음성 데이터(4ch 음성)의 취득

(단계 2) 편집, 가공 처리(컷트 편집, 서라운드 음성의 파라미터 조정 등)

(단계 3) 음성 변환 처리

(단계 4) 허가 처리(메뉴 작성 처리나, 동화상 및 음성을 DVD-Video용으로 변환하는 처리 등)

(단계 5) DVD의 작성(동화상 및 음성 등의 기록).

본 시스템에서, 우선, 멀티 채널 음성 기록(본 예에서는 4ch 음성 기록)의 캠코더로 촬영을 행하여, 4ch(채널)분의 음성 데이터를 영상 데이터와 동시에 테이프에 기록한다.

그리고, 캠코더(13)와 정보 처리 장치(18)를 접속한다. 예를 들면, 양자를 IEEE1394 케이블 등으로 접속한다.

이에 의해, 정보 처리 장치(18)가 캠코더(13)로부터 데이터, 즉, 촬영한 영상 데이터 및 4ch 음성 데이터를 취득할 수 있다. 이 때의 취득 처리가, 캠코더(13)의 재생 속도(1 배속)로만 행할 수 없는 경우에, 고속의 정보 처리 장치의 사용이 가능한 경우에는, 데이터 취득과 함께 4ch의 PCM(펄스 코드 변조) 음성으로부터 5.1ch의 PCM 음성에의 변환을 행하거나(5.1ch의 PCM 음성으로부터 5.1ch의 AC-3 음성에의 변환에 대해서는 처리 시간을 고려하여 나중에 행함), 혹은 4ch의 PCM 음성으로부터 5.1ch의 AC-3 음성에의 변환을 동시에 행함으로써, 처리 시간을 단축할 수 있다. 또한, 「AC-3」이란, 미국 돌비-연구소 개발의 디지털 멀티 채널 음성 신호의 고능률 부호화 방식으로서, 5.1ch의 서라운드 음성 재생 출력이 가능하게 된다(프론트 좌우 및 중앙의 각 1ch 및 후방 좌우의 각 1ch와, 저역 채널(0.1ch)을 포함함).

이 때, 촬상 후에 소리 부여를 하는 후기록의 음성(2ch+2ch)과, 4ch 음성을 서브 코드의 관리 정보에 기초하여 자동적으로 판별함으로써, 후기록의 경우에는 「주음성」, 「부음성」, 「주음성+부음성」의, 3개의 음성 채널로서 DVD에 음성 데이터를 기록하는 처리를 행하도록 구성해도 된다.

정보 처리 장치(18)에의 데이터에 취득에서는, 그 영상 신호 처리 수단이나 음성 변환 수단에서, 필요에 따라 하기와 같은 편집 조작을 행할 수 있다.

영상의 컷트 편집(불필요한 신(scene)의 삭제); 및

서라운드 음성 재생 장치에서의 음량 밸런스의 모니터링이나, 프론트 및 후방, 센터의 각 성분, LFE(Low-Frequency Effects : 저음역의 우퍼 성분) 등의 저주파수 성분에 대한 비율 조정(게인 조정).

음성 데이터에 대해서는, 예를 들면, 5.1chAC-3(돌비 AC3) 및 멀티 채널 리니어 PCM 등의 데이터로 변환된다.

도 5 및 도 6은 4ch 음성 및 5.1ch 음성에 대하여 설명하기 위한 개략도이고, 좌측에 캠코더(13)의 마이크 배치를 나타내고, 우측에는 서라운드 재생 환경에서의 스피커 배치를 나타내고 있다.

도 5 및 도 6에 나타난 기호의 의미는, 이하와 같다.

(입력 음성)

·Front Left(FL) = 카메라 전방의 좌측 음성

·Front Right(FR) = 카메라 전방의 우측 음성

·Rear Left(RL) = 카메라 후방의 좌측 음성

·Rear Right(RR) = 카메라 후방의 우측 음성.

(출력 음성)

·Left(L) = 전방 좌측 음성

·Right(R)= 전방우측 음성

·Center(C)= 전방 중앙 음성

·LFE= 저역 음성

·Left Surround(Ls) = 후방 좌측 음성

·Right Surround(Rs) = 후방 우측 음성

4ch로부터 5.1ch에의 음성 변환처리에서, 프론트 성분(R/L/C)을, 약간 강하게 조정하면, 보다 자연스러운 느낌으로 서라운드 음성을 마무리할 수 있다. 이것은 카메라로서는 전방의 피사체를 촬영하고 있어, 그 소리에 대해서도 마찬가지로 전방으로부터 들려오는 경우가 많은 것이나, 인간의 귀에는 뒤보다도 전방으로부터 소리가 더 들리기쉬운 구조로 되어 있기 때문이다.

전방의 화자를 촬영하는 경우 등에서는 센터 성분(C)을 강화하는 쪽이 좋고, 그것 이외의 경우는 센터 성분을 조심스럽게 하는 것이 바람직하다(소리의 좌우 방향의 정위가 흔들리기 때문에, 재생 시의 소리의 질이 내려감). 일반적으로는, 강연회 등으로 사람이 앞에서 이야기하고 있는 것 같은 신(scene)의 경우, 서라운드 방식으로서 DVD를 작성하는 것보다도, 종래의 스테레오 방식으로 작성하는 쪽이 적 합하다. 따라서, 정보 처리 장치(18)에서의 DVD 작성 시에는, 5.1ch 또는 스테레오의 어느 쪽에서 DVD에 음성 기록을 행하는 것에 대하여 유저가 선택할 수 있도록 구성하는 것이 바람직하다. 또한, 서라운드 방식으로 DVD에 음성 기록을 행하는 경우에는, 센터 성분을 되도록이면 낮게 조정하는 것이 바람직하다(경우에 따라서는 제로로 하는 등).

캠코더(13)로 촬영했을 때의 줌 정보를, 관리 정보에 포함시켜 서브 코드 영역에 기록해 두고, 정보 처리 장치(18 내에서 해당 관리 정보로부터 줌 정보를 추출함으로써, 촬영 상황을 반영한 소리만들기가 가능하게 된다. 예를 들면, 줌인인 경우(보다 전방향에 주목한 경우)에는, 프론트 성분의 음량을 보다 크게 함으로써, 마치 실제로 줌인을 행한 것 같은 음향적인 인상을 청시자에게 부여할 수 있다.

도 7은 상기 단계 3에 관하여, 4ch로부터 5.1ch에 음성을 변환하는 방법에 대하여 기본예를 설명하기 위한 도면이다.

우선, 하기에 도시한 바와 같이 FL(Front Left), FR(Front Right), RL(Rear Left), RR(Rear Right)의 각 입력 음성을 L, R, Ls, Rs의 각 출력 음성에 할당한다.

·프론트 좌측 음성(FL) → 전방 좌측 음성(L)

·프론트 우측 음성(FR) → 전방 우측 음성(R)

·후방 좌측 음성(RL) → 후방 좌측 음성(Ls)

·후방 우측 음성(RR) → 후방 우측 음성(Rs).

그리고, 프론트 센터 성분(C)에 대해서는, 상기 FL과 FR의 일부를 사용하여 생성한다. 또한, 상기 음성(FL, FR, RL, RR)의 각저주파 성분을 추출하여, LFE를 생성한다.

이러한 변환에 의해 5.1ch 음성이 얻어지지만, 본 발명에서는, 줌 정보를 포함하는 촬영 조건 데이터에 의해서 규정되는 조정용 파라미터에 따라, 복수 채널의 음성 신호의 레벨이 각각 변환된다.

이하에서는, 줌 정보를 이용한 음성 변환 처리에 대하여 설명한다. 예를 들면, 줌인시에는, 프론트 성분(L, R, C)를 후방 성분(Ls, Rs)보다도 강화함으로써, 대상에 근접한 느낌을 낼 수 있다.

처리 수순은, 하기에 도시한 바와 같다.

(1) LFE 성분의 생성

(2) 프론트 성분(L/C/R)의 생성

(3) 후방 성분(Ls/Rs)의 생성.

우선, 상기(1)에서는, 상기 FL, FR, RL, RR 로부터 저주파 성분을 각각 추출함으로써, LFE 성분을 생성한다. 구체적으로 설명하면, 저역 통과 필터(LPF)를 이용하여, 예를 들면, 120㎐ 이하의 주파수 성분을 추출한 음성 신호에 기초하여 저음 성분을 얻을 수 있다.

또한, FL, FR, RL, RR 로부터 LFE 용의 저주파 성분을 뺀 것을, 각각에 소문자화하여 fl, fr, rl, rr 로 기입하기로 한다.

상기 전방(L, C, R) 성분을 생성하는 단계 (2)에서는, fl, fr 의 각 성분으로부터 프론트 성분을 작성한다.

이하에서는, 프론트의 좌우 성분과, 후방의 좌우 성분 사이의 비를 조정하기 위한 조정용 파라미터를 "α"라고 나타내고, 해당 파라미터가 줌잉 조작의 배율에 의해 규정되는 것으로 한다. 파라미터α의 값에 대해서는, 예를 들면, 줌 아웃 시에「α= 1」라고 되고, 줌인 시에는 1을 초과하는 소정값(α>1)로 되도록 설정되어 있다.

도 8은 횡축에 배율을 취하고, 종축에 α를 취하여 양자의 관계를 예시한 그래프이다.

본 예에서는, 그래프선 G에 도시한 바와 같이줌잉의 배율에 따라 α값이 1차 함수적으로 증가해 가는 모습을 나타내고 있다. 경우에 따라서는 α값의 변화에서 포화 특성 등을 가지게 하기 위해, 곡선적인 변화도 허용된다.

배율에 의해 결정되는 줌 계수의 파라미터α를 이용한 경우, 프론트의 좌우 성분에 관한 변환 법칙은, 하기에 기재한 바와 같다.

·fl2= "fl" 또는 "fl×α";

·fr2= "fr" 또는 "fr×α".

여기서, "fl2" 및 "fr2"는 변환 후의 좌우 성분을 각각 나타내고 있다.

각 음성에 대해서는, 1 이상의 값을 나타내는 파라미터 α를 승산하는 것에 의해서, 음성 데이터의 레벨(음량)이 상한값을 초과하는 가능성이 있는 것을 고려하여야한다. 즉, fl 또는 fr가 상한을 초과하지 않는 음량 범위에서는, fl×α나 fr×α의 변환이 허용되지만, 상한을 초과할 가능성이 있는 경우에는, "fl2= fl" 또는 "fr2= fr"에 규정하거나, 혹은 상한을 초과하지 않도록 α 값을 조정하는 등 의 처리를 행할 필요가 있다.

프론트의 센터 성분에 대해서는, fl, fr의 성분의 일부를 추출하여 생성하는 방법에서, 후술한 바와 같이, 줌인 시에 좌우 성분보다도 강조하는 방법을 들 수 있다.

상기 (3)에서는, 후방(Ls, Rs) 성분 및 좌우 성분을 생성한다.

α를 이용한 변환 법칙은, 하기에 기재한 바와 같다.

·Ls= rl/α

·Rs= rr/α.

즉, α 값의 증가에 수반하여 후방 성분의 레벨이 저하한다.

상기한 바와 같이, 배율이 커짐 에 따라서, 주로 프론트 성분을 포함하는 음성 신호 레벨이, 주로 후방 성분을 포함하는 음성 신호 레벨에 대하여 상대적으로 강조된다.

또한, 이러한 관계에 대해서는, 하기에 도시하는 각종 양태를 들 수 있다.

프론트 성분을 강화하는 것에 의해, 후방 성분보다도 강조하는 형태

프론트 성분에 대하여 후방 성분을 약하게 하는 것에 의해, 프론트 성분을 강조하는 형태

프론트 성분을 강화하고, 또한 후방 성분을 약하게 하는 것에 의해, 프론트 성분을 강조하는 형태.

예를 들면, 후방 성분의 생성에 관하여, 상기α 값 자체가 아니고, α 값과 상관성을 갖는 다른 파라미터를 이용하여, rl이나 rr에서 Ls나 Rs를 각각 도출하는 것이 가능하다.

상기 전방(L, C, R) 성분을 생성하는 단계 (2)에서의 전방 성분에 대해서는, 하기와 같이, 줌인 시에 센터 성분(C)의 강조 처리를 더 추가할 수 있다.

·L=(1-β)×fl2;

·R=(1-β)×fr2; 및

·C=β×(fl2+fr2).

여기서 파라미터 β는, 프론트의 좌우 성분에 대한 센터 성분의 비율을 규정하는 것이고, 예를 들면, 서라운드감을 높이고 싶은 경우에는 β 값을 작게 하고 (0∼0.2 정도), 반대로, 서라운드감을 내고 싶지 않은 경우(예를 들면, 강연회 등에서의 촬영)에는 β 값을 크케(0.3∼0.8 정도) 하면 된다.

또한, 줌 효과를 높게한 경우에는, 상기 식을 일반화한 하기 식을 이용할 수 있다.

·L=(1-f(α)×β)×fl2;

·R=(1-f(α)×β)×fr2; 및

·C= f(α)×β×(fl2+fr2).

「f(α)」는, 상기 파라미터 α에 관한 임의의 함수이고, 상기한 센터 성분 비율의 파라미터β의 값에 대하여, α와 상관을 갖은 f(α)의 값을 더 곱함으로써, 줌인 시에 센터 성분을 더 강화할 수 있다.

또한, f(α)로서는, 예를 들면, 상수「γ」를 이용하여 「f(α)=γ×α」로 해도 되거나, 혹은 마이크로폰과 촬상 시스템의 줌 특성과의 관계로부터 계측이나 시뮬레이션 등으로 구하는 함수식을 이용해도 된다.

어떻든간에, 음량 조정용의 파라미터가 줌잉 조작의 배율에 의해 규정되는 경우에, 해당 배율이 큰 경우에는, 프론트의 센터 성분을 포함하는 음성 신호 레벨이, 프론트의 좌우 성분을 포함하는 음성 신호 레벨에 대하여 상대적으로 강조되도록 변환된다.

이상의 설명에서는, 쥼밍 조작에 따라서 α 등의 파라미터가 연속적으로 변화하는 예로 들었지만, 본 발명의 적용에 있어서는 이러한 예에 한하지 않고, 예를 들면, 쥼밍 조작에 따라서 각 파라미터가 단계적으로 변화하거나, 혹은, 소정 범위에서는 파라미터가 연속적으로 변화하여, 다른 범위에서는 파라미터가 단계적으로 변화한다고 한, 각종 형태에서의 실시가 가능하다. 또한, 조정용 파라미터에 대해서는, 줌 정보에 한하지 않고, 해당 정보에 대하여 또 다른 정보(예를 들면, 촬영 모드의 설정 정보나 유저의 조작 정보 등)을 가미하는 방법을 들 수 있다.

상기한 음량 조정에 대해서는, 캠코더(13)로부터의 촬영 조건 데이터에 기초하여 정보 처리 장치(18로 자동적으로 행해지지만, 다른 기능으로서, 캠코더(13)로부터 취득한 데이터를 재생할 때에, 유저가 음성 데이터의 모니터링을 행하면서, 프론트 성분과 후방 성분, 센터 성분의 비율 조정을 행할 수 있으면 편리하다.

또한, LFE의 조정에 관하여, 마이크로폰의 위치에 의해서는, 캠코더가 기계적인 노이즈 등의 영향을 받기 쉬운 것이 문제이다. 즉, LFE 성분은 지향성이 낮기 때문에, LFE의 생성에 있어서는, 보다 노이즈를 받기 어려운 측의 마이크로폰(노이즈원에서 떨어진 위치에 있는 것)의 기여분을 높이는 것이 바람직하다(보다 노 이즈가 적은 소리를 기록할 수 있음). 그 때문에, 복수의 마이크로폰 중, 어느 것이 노이즈의 영향을 받기 쉽고 또는 받기 어려운지를 나타내는 정보나, 어떤 마이크로폰의 성분의 기여분을 높이는 것 등을 나타내는 정보를, 캠코더의 기종마다 데이터베이스화하여 보유해 두고, 해당 정보를 관리 정보에 포함시키거나, 혹은, 장치간으로 확립되는 통신 경로로 정보를 교환하도록 구성하는 것이 바람직하다.

상기 단계 4의 허가 처리(예를 들면, 메뉴 생성 및 영상 및 음성을 DVD-영상 폼으로의 변환) 후, (S5)로서는 상기의 처리를 행하여 생성한 음성 데이터 등이 DVD에 기록된다. 그리고, DVD를 이용한, 홈 시어터 세트 등의 서라운드 재생 환경에서 영상 및 음성을 재생함으로써, 현장감넘치는 영상표시 및 음향 효과를 즐길 수 있다. 또한, 상기 파라미터α, β 등의 값을 코드화하여 음성 데이터와 동시에 DVD 등의 기록 매체에 기록해 두는 것도 가능하다. 예를 들면, 변환전의 음성 데이터에 복귀하려는 경우나, 파라미터값에 기초하여 음성 데이터를 더 가공하려는 경우 등에 유효하다.

상기한 처리는, 예를 들면, 정보 처리 장치(18 내의 CPU(중앙 처리 장치) 및 해당 CPU에 의해 해석되어 실행되는 프로그램을 이용하여 실현된다. 즉, 해당 프로그램은 영상 신호에 따른 촬영 조건을 나타내는 정보에 따라 음량의 조정용 파라미터를 변경함과 함께, 해당 조정용 파라미터에 따라서 복수 채널의 음성 신호의 레벨을 각각 변환하여 복수의 음성 신호를 생성하는 처리 단계를 갖고, 또한 줌잉 조작의 배율에 따라 해당 조정용 파라미터를 규정하는 경우에, 하기에 도시하는 단계가 포함된다.

·줌잉 조작의 배율이 큰 경우에, 주로 프론트 성분을 포함하는 음성 신호 레벨이, 주로 후방 성분을 포함하는 음성 신호 레벨보다 상대적으로 강조되도록 변환하는 단계

·줌잉 조작의 변율이 큰 경우에, 프론트 센터 성분을 포함하는 음성 신호 레벨이, 프론트 좌우 성분을 포함하는 음성 신호 레벨보다 상대적으로 강조되도록 변환하는 단계.

또한, 상기의 예에서는, 4ch 음성 기록 캠코더(4개의 마이크로폰을 구비하고, 전방 좌측, 전방 우측, 후방 좌측, 후방 우측의 각 방향의 음성을 기록할 수 있음)와, 해당 캠코더로부터 데이터를 취득할 수 있는 정보 처리 장치(본 예에서는, DVD의 기록 재생용 드라이브 장치를 가짐)를, 각각 별개의 장치로서 양자를 연결한 시스템에서, 무비의 4ch 음성 신호를 5.1ch로 변환하고, DVD에 5.1ch 음성으로 기록하는 예에 대하여 설명했지만, 이것에 한하지 않고, 양자의 기능을 구비한 장치(카메라 기능을 갖는 DVD 레코더) 등에의 적용이 가능하다. 또한, 본 발명의 적용에서는, 5.1ch의 서라운드 시스템에 한하지 않고, 예를 들면, 후방 센터에 스피커를 증설한 6.1ch 시스템이나, 또한 스피커 수를 늘린 7.1ch 시스템 등에의 적용이 가능하다. 또한, 음성 출력의 수를 변경하고 레벨을 변화시키지 않고도 전후방 음성 출력 레벨을 상대적으로 조정하는 유일한 프로세싱이 수행될 수 있다

캠코더 등의 촬영 상황에 따라서, 각 음성의 조정 밸런스를 변경하는 것에 의해, 현장감을 높일 수 있다. 예를 들면, 줌인 시에는, 프론트 성분의 비율을 높 이는 것에 의해서, 영상뿐만아니라, 음향에서도 줌인하여 대상에 가까이 온 것같은 효과를 낼 수 있다.

본 분야의 숙련된 자라면 다양한 변경, 조합, 부분 조합 및 변형이 첨부된 청구항들 또는 그 등가물의 범위내에 있는 한 설계 요구조건 등의 요소에 따라 이루어질 수 있다는 것을 알 수 있을 것이다.

Claims (13)

1. 영상 신호에 관련한 복수 채널의 음성 신호를 처리하는 기능을 구비한 정보 처리 장치에 있어서,

   상기 영상 신호에 관련한 촬영 조건의 정보에 따라서 규정되는 조정용 파라미터에 따라서, 상기 복수 채널의 음성 신호의 레벨을 각각 변환하여 복수의 음성 신호를 생성하는 음성 변환 수단을 포함하는 것을 특징으로 하는 정보 처리 장치.
2. 제1항에 있어서,

   상기 조정용 파라미터가 줌잉 조작(zooming operation)의 배율(magnification power)에 의해 규정되는 경우, 상기 음성 변환 수단은 상기 복수 채널의 음성 신호의 레벨 중, 주로 프론트 성분을 포함하는 음성 신호 레벨이, 주로 후방 성분을 포함하는 음성 신호 레벨보다 상대적으로 강조되도록 변환되는 것을 특징으로 하는 정보 처리 장치.
3. 제1항에 있어서,

   상기 조정용 파라미터가 줌잉 조작의 배율에 의해서 규정되는 경우, 상기 음성 변환 수단은 상기 복수 채널의 음성 신호의 레벨 중, 주로 프론트 성분을 포함하는 음성 신호에 관하여, 센터 성분을 주로 포함하는 음성 신호 레벨이, 좌우 성분을 포함하는 음성 신호 레벨보다 상대적으로 강조되도록 변환되는 것을 특징으로 하는 정보 처리 장치.
4. 제2항에 있어서,

   상기 음성 변환 수단은 상기 복수 채널의 음성 신호의 레벨 중, 주로 프론트 성분을 포함하는 음성 신호에 관하여, 센터 성분을 포함하는 음성 신호 레벨이, 좌우 성분을 포함하는 음성 신호 레벨보다 상대적으로 강조되도록 변환되는 것을 특징으로 하는 정보 처리 장치.
5. 이미지 처리 장치에 있어서,

   사물의 촬영된 이미지에 따라 영상 신호를 출력하기 위한 촬영 수단;

   상기 촬영 수단에 의한 촬영시 촬영 조건의 정보를 생성하기 위한 촬영 조건 생성 수단; 및

   복수의 채널들에 대해 음성 신호를 취득하기 위한 음성 신호 입력 수단을 포함하는 것을 특징으로 하는 이미지 처리 장치.
6. 제5항에 있어서, 상기 음성 신호 및 영상 데이와 함께 기록 매체에 상기 촬영 조건의 정보를 기록하기 위한 기록 수단을 더 포함하는 것을 특징으로 하는 이미지 처리 장치.
7. 제5항에 있어서, 상기 촬영 조건의 정보에 따라 복수의 채널들에 대해 상기 음성 신호의 레벨을 변환하기 위한 음성 변환 수단을 더 포함하는 것을 특징으로 하는 이미지 처리 장치.
8. 영상 신호에 관련한 복수 채널의 음성 신호를 처리하는 기능을 구비한 정보 처리 장치에 이용하기 위한 프로그램에 있어서,

   상기 영상 신호에 관련한 촬영 조건의 정보에 따라서 음량 조정용 파라미터를 변경하고, 상기 조정용 파라미터에 따라서 상기 복수 채널의 음성 신호의 레벨을 변환하여 복수의 음성 신호를 생성하는 단계를 포함하는 것을 특징으로 하는 프로그램.
9. 제8항에 있어서,

   상기 복수 채널의 음성 신호의 레벨 중, 주로 프론트 성분을 포함하는 음성 신호 레벨이, 주로 후방 성분을 포함하는 음성 신호 레벨보다 상대적으로 강조되도록 상기 영상 신호에 관련한 촬영 조건의 정보에 따라 변환을 수행하는 단계를 더 포함하는 것을 특징으로 하는 프로그램.
10. 제6항에 있어서,

    줌잉 조작의 배율이 큰 경우에, 상기 복수 채널의 음성 신호의 레벨 중, 주로 프론트 성분을 포함하는 음성 신호에 관하여, 센터 성분을 주로 포함하는 음성 신호 레벨이, 좌우 성분을 포함하는 음성 신호 레벨보다 상대적으로 강조되도록 변 환하는 단계를 더 포함하는 것을 특징으로 하는 프로그램.
11. 정보 처리 방법에 있어서,

    영상 신호에 관련한 촬영 조건의 정보에 따라 음량 조정용 파라미터를 변경하는 단계; 및

    상기 조정용 파라미터에 따라 복수 채널의 음성 신호들의 레벨을 변환하여 복수의 음성 신호들을 생성하는 단계를 포함하는 것을 특징으로 하는 정보 처리 방법.
12. 영상 신호에 관련한 복수 채널의 음성 신호를 처리하는 기능을 구비한 정보 처리 장치에 있어서,

    상기 영상 신호에 관련한 촬영 정보의 정보에 따라 규정된 조정용 파라미터에 따라 복수 채널의 음성 신호들의 레벨을 변환하여 복수의 음성 신호들을 생성하는 음성 변환기를 포함하는 것을 특징으로 하는 정보 처리 장치.
13. 이미지 처리 장치에 있어서,

    사물의 촬영된 이미지에 따라 영상 신호를 출력하기 위한 촬영부;

    상기 촬영부에 의한 촬영시 촬영 조건의 정보를 생성하기 위한 촬영 조건 생성기; 및

    복수의 채널들에 대해 음성 신호를 취득하기 위한 음성 신호 입력부를 포함 하는 것을 특징으로 하는 이미지 처리 장치.

Images