Tone.js

Tone.js

创建交互式Web音频应用的JavaScript框架

Tone.js是一个开源的JavaScript Web音频框架,用于在浏览器中创建交互式音乐应用。它提供了类似数字音频工作站的功能,包括全局传输、预置合成器和效果器。开发者可以使用Tone.js构建自定义合成器、音频效果和复杂的控制信号。该框架支持精确的音频调度、多种虚拟乐器和采样器,以及灵活的音频效果链。Tone.js的特点是提供了信号级别的参数控制,使其适用于各种Web音频应用的开发。

Tone.jsWeb Audio音频合成JavaScript交互音乐Github开源项目

Tone.js

codecov

Tone.js 是一个用于在浏览器中创建交互式音乐的 Web Audio 框架。Tone.js 的架构旨在让音乐家和音频程序员在创建基于 Web 的音频应用时都感到熟悉。在高层次上,Tone 提供了常见的数字音频工作站(DAW)功能,如用于同步和调度事件的全局传输控制,以及预构建的合成器和效果器。此外,Tone 还提供了高性能的构建块,用于创建您自己的合成器、效果器和复杂的控制信号。

安装

有两种方法可以将 Tone.js 集成到项目中。首先,可以使用 npm 将其本地安装到项目中:

npm install tone // 安装最新稳定版本 npm install tone@next // 或者,使用 'next' 版本

使用 JavaScript 的 import 语法将 Tone.js 添加到项目中:

import * as Tone from "tone";

Tone.js 也托管在 unpkg.com 上。它可以直接添加到 HTML 文档中,只需确保它位于任何项目脚本之前。点击此处查看示例以获取更多详细信息。

<script src="http://unpkg.com/tone"></script>

Tone 入门

// 创建一个合成器并将其连接到主输出(您的扬声器) const synth = new Tone.Synth().toDestination(); // 播放一个中音"C",持续时间为八分音符 synth.triggerAttackRelease("C4", "8n");

Tone.Synth

Tone.Synth 是一个基本的合成器,具有单个振荡器和 ADSR 包络。

triggerAttack / triggerRelease

triggerAttack 开始音符(振幅上升),而 triggerRelease 是振幅回到 0 的时候(即音符结束)。

const synth = new Tone.Synth().toDestination(); const now = Tone.now(); // 立即触发攻击 synth.triggerAttack("C4", now); // 等待一秒后触发释放 synth.triggerRelease(now + 1);

triggerAttackRelease

triggerAttackReleasetriggerAttacktriggerRelease 的组合

第一个参数是音符,可以是赫兹频率(如 440)或"音高-八度"表示法(如 "D#2")。

第二个参数是音符持续的时间。这个值可以是秒,也可以是与速度相关的值

triggerAttackRelease 的第三个(可选)参数是音符应该在 AudioContext 时间轴上的何时播放。它可以用来安排未来的事件。

const synth = new Tone.Synth().toDestination(); const now = Tone.now(); synth.triggerAttackRelease("C4", "8n", now); synth.triggerAttackRelease("E4", "8n", now + 0.5); synth.triggerAttackRelease("G4", "8n", now + 1);

时间

Web Audio 具有先进的、精确到样本的调度能力。AudioContext 时间是 Web Audio API 用来调度事件的,从页面加载时开始计时,以为单位递增。

Tone.now() 获取 AudioContext 的当前时间。

setInterval(() => console.log(Tone.now()), 100);

Tone.js 抽象了 AudioContext 时间。所有接受时间作为参数的方法不仅可以接受秒数,还可以接受字符串。例如,"4n" 是四分音符,"8t" 是八分音符三连音,"1m" 是一小节。

阅读有关时间编码的更多信息

开始音频

重要提示:浏览器在用户点击某些东西(如播放按钮)之前不会播放任何音频。只有在从用户操作(如"点击"或"按键")触发的事件监听器中调用 Tone.start() 后,才能运行您的 Tone.js 代码。

Tone.start() 返回一个 promise,只有在该 promise 解决后,音频才会准备就绪。在 AudioContext 运行之前调度或播放音频将导致静音或不正确的调度。

// 为播放按钮添加点击监听器 document.querySelector("button")?.addEventListener("click", async () => { await Tone.start(); console.log("音频已就绪"); });

调度

Transport

Tone.getTransport() 返回主时间控制器。与 AudioContext 时钟不同,它可以启动、停止、循环和实时调整。您可以将其视为数字音频工作站中的编排视图。

多个事件和部分可以沿着 Transport 进行安排和同步。Tone.Loop 是一种创建可以调度启动和停止的循环回调的简单方法。

// 创建两个单音合成器 const synthA = new Tone.FMSynth().toDestination(); const synthB = new Tone.AMSynth().toDestination(); // 每个四分音符播放一个音符 const loopA = new Tone.Loop((time) => { synthA.triggerAttackRelease("C2", "8n", time); }, "4n").start(0); // 在每个间隔的四分音符上播放另一个音符,从"8n"开始 const loopB = new Tone.Loop((time) => { synthB.triggerAttackRelease("C4", "8n", time); }, "4n").start("8n"); // 当 Transport 启动时,所有循环开始 Tone.getTransport().start(); // 在 10 秒内将速度逐渐提高到 800 bpm Tone.getTransport().bpm.rampTo(800, 10);

由于 JavaScript 回调的定时不精确,事件的精确到样本的时间被传递到回调函数中。使用这个时间值来调度事件

乐器

有众多合成器可供选择,包括 Tone.FMSynthTone.AMSynthTone.NoiseSynth

所有这些乐器都是单音(单声部)的,这意味着它们一次只能播放一个音符。

要创建多音合成器,请使用 Tone.PolySynth,它接受一个单音合成器作为第一个参数,并自动处理音符分配,因此您可以传入多个音符。API 与单音合成器类似,只是 triggerRelease 必须给定一个音符或音符数组。

const synth = new Tone.PolySynth(Tone.Synth).toDestination(); const now = Tone.now(); synth.triggerAttack("D4", now); synth.triggerAttack("F4", now + 0.5); synth.triggerAttack("A4", now + 1); synth.triggerAttack("C5", now + 1.5); synth.triggerAttack("E5", now + 2); synth.triggerRelease(["D4", "F4", "A4", "C5", "E5"], now + 4);

采样

声音生成不仅限于合成声音。您还可以加载采样并以多种方式播放。Tone.Player 是加载和播放音频文件的一种方式。

const player = new Tone.Player( "https://tonejs.github.io/audio/berklee/gong_1.mp3" ).toDestination(); Tone.loaded().then(() => { player.start(); });

Tone.loaded() 返回一个 promise,当所有音频文件加载完成时解决。这是一个有用的快捷方式,避免了等待每个单独音频缓冲区的 onload 事件解决。

Tone.Sampler

多个采样也可以组合成一个乐器。如果你有按音符组织的音频文件,Tone.Sampler会对采样进行音高转换以填补音符之间的空缺。例如,如果你只有钢琴上每隔3个音符的采样,你可以将其转换为完整的钢琴采样。

与其他合成器不同,Tone.Sampler是多音的,所以不需要传递给Tone.PolySynth

const sampler = new Tone.Sampler({ urls: { C4: "C4.mp3", "D#4": "Ds4.mp3", "F#4": "Fs4.mp3", A4: "A4.mp3", }, release: 1, baseUrl: "https://tonejs.github.io/audio/salamander/", }).toDestination(); Tone.loaded().then(() => { sampler.triggerAttackRelease(["Eb4", "G4", "Bb4"], 4); });

效果器

在上面的例子中,音源总是直接连接到Destination,但合成器的输出也可以在到达扬声器之前通过一个(或多个)效果器。

const player = new Tone.Player({ url: "https://tonejs.github.io/audio/berklee/gurgling_theremin_1.mp3", loop: true, autostart: true, }); //创建一个失真效果 const distortion = new Tone.Distortion(0.4).toDestination(); //将播放器连接到失真效果 player.connect(distortion);

连接路由是灵活的,连接可以串行或并行。

const player = new Tone.Player({ url: "https://tonejs.github.io/audio/drum-samples/loops/ominous.mp3", autostart: true, }); const filter = new Tone.Filter(400, "lowpass").toDestination(); const feedbackDelay = new Tone.FeedbackDelay(0.125, 0.5).toDestination(); // 将播放器并行连接到反馈延迟和滤波器 player.connect(filter); player.connect(feedbackDelay);

多个节点可以连接到同一个输入,使音源能够共享效果。Tone.Gain是用于创建复杂路由的有用工具节点。

信号

与底层的Web Audio API一样,Tone.js几乎在所有方面都建立在音频速率信号控制之上。这是一个强大的功能,允许对参数进行样本精确的同步和调度。

Signal属性有一些内置方法用于创建自动化曲线。

例如,Oscillator上的frequency参数是一个Signal,所以你可以创建一个从一个频率到另一个频率的平滑变化。

const osc = new Tone.Oscillator().toDestination(); // 从"C4"开始 osc.frequency.value = "C4"; // 在2秒内渐变到"C2" osc.frequency.rampTo("C2", 2); // 启动振荡器持续2秒 osc.start().stop("+3");

AudioContext

Tone.js在加载时创建一个AudioContext,并使用standardized-audio-context来增强其浏览器兼容性。可以通过Tone.getContext访问AudioContext。或者使用Tone.setContext(audioContext)设置你自己的AudioContext。

MIDI

要使用MIDI文件,你首先需要使用Midi将它们转换为Tone.js可以理解的JSON格式。

性能

Tone.js广泛使用原生Web Audio节点(如GainNode和WaveShaperNode)进行所有信号处理,这使得Tone.js在桌面和移动浏览器上都能很好地工作。

这篇wiki文章提供了一些与性能相关的最佳实践建议。

测试

Tone.js使用mochachai运行广泛的测试套件,覆盖率接近100%。'dev'分支上的通过构建会在npm上发布为tone@next

贡献

有很多方式可以为Tone.js做出贡献。如果你感兴趣,请查看这个wiki

参考和灵感

编辑推荐精选

Trae

Trae

字节跳动发布的AI编程神器IDE

Trae是一种自适应的集成开发环境(IDE),通过自动化和多元协作改变开发流程。利用Trae,团队能够更快速、精确地编写和部署代码,从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能,是提升开发效率的理想工具。

AI工具TraeAI IDE协作生产力转型热门
问小白

问小白

全能AI智能助手,随时解答生活与工作的多样问题

问小白,由元石科技研发的AI智能助手,快速准确地解答各种生活和工作问题,包括但不限于搜索、规划和社交互动,帮助用户在日常生活中提高效率,轻松管理个人事务。

热门AI助手AI对话AI工具聊天机器人
Transly

Transly

实时语音翻译/同声传译工具

Transly是一个多场景的AI大语言模型驱动的同声传译、专业翻译助手,它拥有超精准的音频识别翻译能力,几乎零延迟的使用体验和支持多国语言可以让你带它走遍全球,无论你是留学生、商务人士、韩剧美剧爱好者,还是出国游玩、多国会议、跨国追星等等,都可以满足你所有需要同传的场景需求,线上线下通用,扫除语言障碍,让全世界的语言交流不再有国界。

讯飞智文

讯飞智文

一键生成PPT和Word,让学习生活更轻松

讯飞智文是一个利用 AI 技术的项目,能够帮助用户生成 PPT 以及各类文档。无论是商业领域的市场分析报告、年度目标制定,还是学生群体的职业生涯规划、实习避坑指南,亦或是活动策划、旅游攻略等内容,它都能提供支持,帮助用户精准表达,轻松呈现各种信息。

AI办公办公工具AI工具讯飞智文AI在线生成PPTAI撰写助手多语种文档生成AI自动配图热门
讯飞星火

讯飞星火

深度推理能力全新升级,全面对标OpenAI o1

科大讯飞的星火大模型,支持语言理解、知识问答和文本创作等多功能,适用于多种文件和业务场景,提升办公和日常生活的效率。讯飞星火是一个提供丰富智能服务的平台,涵盖科技资讯、图像创作、写作辅助、编程解答、科研文献解读等功能,能为不同需求的用户提供便捷高效的帮助,助力用户轻松获取信息、解决问题,满足多样化使用场景。

热门AI开发模型训练AI工具讯飞星火大模型智能问答内容创作多语种支持智慧生活
Spark-TTS

Spark-TTS

一种基于大语言模型的高效单流解耦语音令牌文本到语音合成模型

Spark-TTS 是一个基于 PyTorch 的开源文本到语音合成项目,由多个知名机构联合参与。该项目提供了高效的 LLM(大语言模型)驱动的语音合成方案,支持语音克隆和语音创建功能,可通过命令行界面(CLI)和 Web UI 两种方式使用。用户可以根据需求调整语音的性别、音高、速度等参数,生成高质量的语音。该项目适用于多种场景,如有声读物制作、智能语音助手开发等。

咔片PPT

咔片PPT

AI助力,做PPT更简单!

咔片是一款轻量化在线演示设计工具,借助 AI 技术,实现从内容生成到智能设计的一站式 PPT 制作服务。支持多种文档格式导入生成 PPT,提供海量模板、智能美化、素材替换等功能,适用于销售、教师、学生等各类人群,能高效制作出高品质 PPT,满足不同场景演示需求。

讯飞绘文

讯飞绘文

选题、配图、成文,一站式创作,让内容运营更高效

讯飞绘文,一个AI集成平台,支持写作、选题、配图、排版和发布。高效生成适用于各类媒体的定制内容,加速品牌传播,提升内容营销效果。

热门AI辅助写作AI工具讯飞绘文内容运营AI创作个性化文章多平台分发AI助手
材料星

材料星

专业的AI公文写作平台,公文写作神器

AI 材料星,专业的 AI 公文写作辅助平台,为体制内工作人员提供高效的公文写作解决方案。拥有海量公文文库、9 大核心 AI 功能,支持 30 + 文稿类型生成,助力快速完成领导讲话、工作总结、述职报告等材料,提升办公效率,是体制打工人的得力写作神器。

openai-agents-python

openai-agents-python

OpenAI Agents SDK,助力开发者便捷使用 OpenAI 相关功能。

openai-agents-python 是 OpenAI 推出的一款强大 Python SDK,它为开发者提供了与 OpenAI 模型交互的高效工具,支持工具调用、结果处理、追踪等功能,涵盖多种应用场景,如研究助手、财务研究等,能显著提升开发效率,让开发者更轻松地利用 OpenAI 的技术优势。

下拉加载更多