情境智能平台

构建状态

情境智能平台（简称\psi，发音如希腊字母）是一个开放、可扩展的框架，用于多模态、集成式人工智能系统的开发和研究。例如多模态交互系统，如社交机器人和具身会话代理、混合现实系统、环境智能或智能空间应用等。本质上，任何处理流式传输、传感器数据（如音频、视频、深度等），结合多种人工智能技术，并在延迟约束下运行的应用都可以从该框架提供的便利中受益。

该框架提供：

用于处理多模态、时间流数据的现代高性能基础设施
一套用于多模态数据可视化、注释和处理的工具
各种传感器、处理技术和执行器的组件生态系统

<br>

Psi概览

关于该框架的高级概述可在这篇博文中找到。包含简短介绍和如何使用\psi编程的教程的网络研讨会可在此在线视频中观看。关于该框架的深入描述可在这份技术报告中找到。

入门

\psi核心基础设施构建在.NET Standard上，因此可以在Windows和Linux上运行。一些组件和工具更具体，仅在其中一个操作系统上可用。您可以通过利用\psi NuGet包或克隆并构建源代码来构建\psi应用程序。 简介。 要了解更多关于 \psi 及如何用它构建应用程序，我们建议您从简介教程开始，它将带您了解一些主要概念。它展示了如何创建一个简单的程序，描述了流的核心概念，并解释了如何转换、同步、可视化、持久化和从磁盘重放流。

视频网络研讨会。 如果您更喜欢通过观看关于框架的演示来入门，这个视频网络研讨会提供了30分钟的框架高级概述，随后是30分钟的实践编码环节，展示如何编写第一个简单的应用程序。或者，您可以观看这个演示，它是我们作为Tech Minutes系列的一部分，提供了一个较短（约13分钟）的高级概述。

示例。 如果您想直接从示例代码开始，我们提供了许多小型示例应用程序，其中几个有详细说明，解释了示例的构建方式并指向额外的文档。我们建议您从以下示例开始，按复杂度递增排列：

名称	描述	跨平台	要求
HelloWorld <br>	这个示例提供了创建\psi应用程序最简单的起点：它演示了如何创建和运行一个包含单个流的简单\psi管道。	是	无
SimpleVoiceActivityDetector <br>	这个示例从麦克风捕获音频并执行语音活动检测，即计算一个布尔信号，指示音频是否包含有声语音。	是	麦克风
WebcamWithAudio for Windows 或 Linux <br>	这个示例展示了如何显示来自摄像头的图像和来自麦克风的音频能量水平，并说明了流同步的基础知识。	是	网络摄像头和麦克风
WhatIsThat <br>	这个示例实现了一个简单的应用程序，使用Azure Kinect传感器检测人指向的物体。	仅Windows	Azure Kinect + 认知服务
HoloLensSample <br>	这个示例演示了如何为HoloLens 2开发混合现实\psi应用程序。	UWP	HoloLens 2

文档。 \psi的文档可在GitHub项目wiki中找到。它包含许多额外资源，包括[教程](https://github.com/microsoft/psi/blob/master/ https://github.com/microsoft/psi/wiki/Tutorials)、其他[专门主题](https://github.com/microsoft/psi/blob/master/ https://github.com/microsoft/psi/wiki/Other-Topics)，以及完整的[API参考](https://microsoft.github.io/psi/api/Microsoft.Psi.html)，可以帮助您更多地了解该框架。

获取帮助

如果您发现了bug或想要请求新功能或额外文档，请在GitHub上提交问题。使用bug标签提交代表代码缺陷的问题，并提供足够的信息以重现该bug。使用feature request标签请求新功能，使用documentation标签请求额外文档。

请也使用讨论来提出一般问题，分享关于您可能感兴趣的新功能或应用程序的想法，展示您用\psi构建的精彩项目，并与其他社区成员互动。

贡献

我们期待与社区合作，改进和发展Platform for Situated Intelligence！我们欢迎各种形式的贡献：从简单地使用它并提交问题和bug，到编写和发布您自己的新组件，再到为bug修复或新功能创建拉取请求。wiki中的贡献指南页面描述了许多您可以参与的方式，以及在向代码库贡献之前需要了解的一些有用信息。要了解有关我们未来计划的更多信息，请参阅路线图文档。

使用者

情境智能平台目前正在被多个行业和学术研究实验室使用，包括（但不限于）：

微软研究院的情境交互项目，以及其他研究项目。
麻省理工学院的交互式机器人小组。
卡内基梅隆大学的MultiComp实验室。
博伊西州立大学的语音语言与交互式机器研究小组。
西北大学的定性推理小组。
南加州大学创新技术研究所的智能人类感知实验室。
卡内基梅隆大学的Teledia研究小组。
富兰克林与马歇尔学院的F&M计算、情感、机器人和伦理科学（F&M CARES）实验室。
卡内基梅隆大学的交通、机器人与残障实验室。

如果您希望被添加到此列表中，只需提交一个GitHub问题并用whoisusing标签标记它。添加您希望我们链接到的研究实验室、网站或项目的网址。

技术报告

关于该框架更深入的描述可在此技术报告中找到。请按以下格式引用：

@misc{bohus2021platform,
      title={Platform for Situated Intelligence}, 
      author={Dan Bohus and Sean Andrist and Ashley Feniello and Nick Saw and Mihai Jalobeanu and Patrick Sweeney and Anne Loomis Thompson and Eric Horvitz},
      year={2021},
      eprint={2103.15975},
      archivePrefix={arXiv},
      primaryClass={cs.AI}
}

免责声明

代码库目前处于测试阶段，框架的各个方面正在积极开发中。代码中可能仍存在错误，我们可能会对API进行重大更改。

虽然情境智能平台的源代码和Microsoft.Psi.* NuGet包均采用MIT许可证，但我们的代码和NuGet包依赖于其他NuGet包。如果您使用情境智能平台构建应用程序，请检查解决方案中所有引用的NuGet包的许可要求。

许可证

情境智能平台采用MIT许可证，但Applications文件夹下的所有文件（包括SIGMA应用程序）除外，这些文件采用微软研究院许可协议发布。另请参阅第三方声明。

商标

本项目可能包含项目、产品或服务的商标或标志。微软商标或标志的授权使用必须遵循微软商标和品牌指南。在本项目的修改版本中使用微软商标或标志不得引起混淆或暗示微软赞助。任何第三方商标或标志的使用均受这些第三方政策的约束。

致谢

我们要感谢我们的内部合作者和外部早期采用者，包括（但不限于）：微软研究院的Daniel McDuff、Kael Rowan、Lev Nachmanson和Mike Barnett，卡内基梅隆大学MultiComp实验室的Chirag Raman和Louis-Phillipe Morency，以及博伊西州立大学SLIM研究小组和西北大学定性推理小组的研究人员。