Libspatialaudio：开源的Ambisonic编码解码和双耳化渲染库

libspatialaudio

Libspatialaudio简介

Libspatialaudio是一个开源的跨平台C++库,专门用于Ambisonic音频的编码、解码、过滤和双耳化渲染。它的主要目标是在多种环境下(从耳机到传统扬声器)渲染高阶Ambisonic(HOA)和VR/3D音频样本。这个库不仅可以用于处理Ambisonic输入,还可以用于经典的5.1/7.1空间声道的双耳化渲染。

Libspatialaudio最初是从Aristotel Digenis的ambisonic-lib项目分叉而来的。当前版本进行了进一步开发,以支持更高阶的Ambisonic(HOA),并遵循Google空间音频规范和IETF codec Ambisonic规范来支持ACN/SN3D Ambisonic音频流。

主要功能

Libspatialaudio提供了丰富的功能,使其成为处理空间音频的强大工具:

编码与解码: 支持高达3阶3D的Ambisonic音频流的编码、解码、旋转和缩放。
输出灵活性: 可以输出到标准和自定义的扬声器阵列。
双耳化渲染: 通过应用HRTF(头部相关传递函数)来实现空间双耳渲染效果。支持使用SOFA文件或内置的MIT HRTF。
多通道支持: 双耳化功能还可用于渲染多通道流(如5.1、7.1等)。
距离模拟: 提供带距离的编码器,可以模拟声源距离感。
心理声学优化: 实现了用于2D和3D播放的心理声学优化架子滤波器。
灵活的处理器: 支持对声场进行偏航/横滚/俯仰操作。
缩放功能: 可以控制1阶3D前后主导性。

核心组件

Libspatialaudio的核心是CBFormat对象,它作为B格式的缓冲区。此外,库中还有几个其他对象,每个对象都有特定的任务,如编码、解码和Ambisonic处理。所有这些对象在某些时候都会处理CBFormat对象。

1. 编码器(CAmbisonicEncoder)

简单编码器支持高达3阶3D,不包含任何距离提示。

2. 带距离的编码器(CAmbisonicEncoderDist)

在简单编码器的基础上,增加了以下功能:

距离级别模拟
分数延迟线
内部效果(W-Panning)

3. 解码器(CAmbisonicDecoder)

简单解码器支持高达3阶3D,具有以下特点:

预设和自定义扬声器阵列
改进5.1扬声器设置渲染的解码器

4. 处理器(CAmbisonicProcessor)

支持高达3阶3D的声场偏航/横滚/俯仰操作
实现高达3阶的心理声学优化架子滤波器,用于2D和3D播放

5. 双耳化器(CAmbisonicBinauralizer)

支持高达3阶3D解码到耳机
可选的对称头部解码器,用于减少卷积次数

6. 缩放器(CAmbisonicZoomer)

支持高达1阶3D的声场前后主导性控制

实现算法概述

Libspatialaudio实现了几种先进的算法来处理空间音频:

心理声学优化架子滤波器

这些滤波器被实现为线性相位FIR架子滤波器,分别确保在低频和高频范围内的基本和最大rE解码。滤波器的过渡频率取决于被解码的阶数,随着Ambisonic阶数的增加而增加。

频率由以下公式给出:

f_lim = speedofsound*M / (4*R*(M+1)*sin(PI / (2*M+2)))

其中,speedofsound = 343 m/s, R = 0.09 m (大约是人头的半径), M = Ambisonic阶数。

双耳解码

双耳解码器根据阶数使用两种不同的虚拟扬声器阵列:

1阶: 立方体扬声器阵列
2阶和3阶: 十二面体

为了将卷积次数保持在最小,HRTF被分解为球谐函数。这为每个Ambisonic通道提供了一对HRTF滤波器。这种方法的优点是卷积次数限制在Ambisonic通道的数量,而与使用的虚拟扬声器数量无关。

对称头部双耳解码器

双耳解码器可以将双耳解码所需的卷积次数减少一半。

Ambisonic输入通道与左耳对应的HRTF通道进行卷积。左耳信号是这些卷积通道的总和。为了生成右耳信号,通过将几个卷积通道乘以-1来反射左右声场。然后将这些相加以产生右耳信号。

使用示例

以下示例代码展示了如何将正弦波编码为Ambisonic声场,然后通过四声道扬声器设置解码该声场:

// 生成单声道测试信号
float sinewave[512];
for(int ni = 0; ni < 512; ni++)
    sinewave[ni] = (float)sin((ni / 128.f) * (M_PI * 2));

// CBFormat作为1阶3D,512个样本
CBFormat myBFormat;

// Ambisonic编码器,3阶3D
CAmbisonicEncoder myEncoder;
myEncoder.Configure(1, true, 0);

// 设置测试信号在声场中的位置
PolarPoint position;
position.fAzimuth = 0;
position.fElevation = 0;
position.fDistance = 5;
myEncoder.SetPosition(position);
myEncoder.Refresh();

// 将测试信号编码到BFormat缓冲区
myEncoder.Process(sinewave, 512, &myBFormat);

// Ambisonic解码器,1阶3D,用于5.0设置
CAmbisonicDecoder myDecoder;
myDecoder.Configure(1, true, kAmblib_50, 5);

// 为扬声器馈送分配缓冲区
float** ppfSpeakerFeeds = new float*[5];
for(int niSpeaker = 0; niSpeaker < 5; niSpeaker++)
    ppfSpeakerFeeds[niSpeaker] = new float[512];

// 解码以获取扬声器馈送
myDecoder.Process(&myBFormat, 512, ppfSpeakerFeeds);

// 释放扬声器馈送缓冲区
for(int niSpeaker = 0; niSpeaker < 5; niSpeaker++)
    delete [] ppfSpeakerFeeds[niSpeaker];
delete [] ppfSpeakerFeeds;

总结

Libspatialaudio为开发者提供了一个强大而灵活的工具,用于处理Ambisonic和空间音频。无论是VR/AR应用、游戏音频,还是沉浸式音频体验,这个库都能提供所需的功能。通过支持高阶Ambisonic、双耳化渲染和各种优化算法,Libspatialaudio为创建丰富的3D音频环境提供了坚实的基础。

对于那些希望深入了解空间音频处理的开发者来说,Libspatialaudio的GitHub仓库提供了详细的文档和示例代码。随着VR和3D音频技术的不断发展,Libspatialaudio无疑将在未来的音频处理领域扮演越来越重要的角色。