UCall: 高性能远程过程调用库

UCall: 革新远程过程调用的新选择

在当今的网络应用开发中,远程过程调用(RPC)扮演着至关重要的角色。然而,传统的REST API往往存在效率低下和语义模糊的问题,而gRPC虽然性能出色,但其复杂性常常令开发者望而却步。在这样的背景下,UCall应运而生,为开发者提供了一个简单易用yet高性能的RPC解决方案。

UCall的独特优势

UCall是一个基于JSON-RPC的远程过程调用库,其设计理念是在保持API简洁性的同时,大幅提升性能。与广受欢迎的FastAPI相比,UCall在延迟和吞吐量方面都展现出了显著的优势:

• 低延迟: 在单客户端场景下,UCall的延迟最低可达22μs,而FastAPI则需要1203μs。
• 高吞吐量: 在32个并发客户端的情况下,UCall可以处理高达231,000 RPS(每秒请求数),远超FastAPI的3,184 RPS。

这些惊人的性能数据并非空中楼阁,而是建立在多项先进技术的基础之上:

1. io_uring: 利用Linux内核5.1+版本引入的io_uring接口,实现了无中断的IO操作。
2. SIMD加速解析器: 采用simdjson等高效库,大幅提升了JSON解析速度。
3. 精细的内存管理: 通过手动控制内存,减少了不必要的开销。

使用简便性: 不输FastAPI

尽管UCall在性能上遥遥领先,但其使用方法却与FastAPI一样简单直观。以下是一个简单的对比示例:

# FastAPI
from fastapi import FastAPI
import uvicorn

server = FastAPI()

@server.get('/sum')
def sum(a: int, b: int):
    return a + b

uvicorn.run(...)

# UCall
from ucall.posix import Server

server = Server()

@server
def sum(a: int, b: int):
    return a + b

server.run()

可以看到,UCall的API设计与FastAPI极为相似,这意味着开发者可以轻松地从FastAPI迁移到UCall,享受性能提升的同时无需大幅改变代码结构。

功能丰富: 超越FastAPI

UCall不仅在性能上超越了FastAPI,在功能支持方面也更进一步。例如,UCall原生支持numpy.ndarray、PIL.Image等复杂数据类型,这对于构建实际应用或部署多模态AI模型尤为有用。

from ucall.rich_posix import Server
import uform
import PIL.Image
import numpy as np

server = Server()
model = uform.get_model('unum-cloud/uform-vl-multilingual')

@server
def vectorize(description: str, photo: PIL.Image.Image) -> np.ndarray:
    image = model.preprocess_image(photo)
    tokens = model.preprocess_text(description)
    joint_embedding = model.encode_multimodal(image=image, text=tokens)
    return joint_embedding.cpu().detach().numpy()

这种灵活性使得UCall特别适合于构建复杂的AI服务或数据密集型应用。

便捷的命令行接口

除了Python API,UCall还提供了一个类似cURL的命令行接口,使得测试和调用远程服务变得异常简单:

ucall vectorize description='Product description' -i image=./local/path.png

这个CLI工具支持文件上传、图像处理,甚至可以直接处理NumPy数组,为开发者提供了极大的便利。

性能之王: 从高端服务器到免费层实例

UCall的卓越性能不仅体现在高端服务器上,即使在AWS免费层的t4g.small实例上,它也能展现出令人印象深刻的性能:

• 单客户端情况下,UCall可以达到5,864 RPS
• 32个并发客户端时,吞吐量可以飙升至88,455 RPS

这意味着即使是小型项目或初创公司,也可以利用UCall在有限的资源下构建高性能的服务。

未来路线图: 不断创新

UCall团队并未满足于现有成就,他们的路线图中包含了多项令人期待的特性:

• 批量请求处理
• 原生TCP socket上的JSON-RPC
• HTTPS支持
• WebSocket支持
• 与UKV数据库的集成

这些计划中的功能将进一步拓展UCall的应用场景,使其成为更全面的网络通信解决方案。

为什么选择JSON-RPC?

UCall选择JSON-RPC作为其核心协议,这一决定基于以下几个考虑:

1. 传输协议独立: JSON-RPC可以在UDP、TCP等多种传输层协议上运行。
2. 应用层灵活: 可以选择是否使用HTTP作为应用层协议。
3. 参数传递统一: 与REST API相比,JSON-RPC提供了更一致的参数传递方式。

这种灵活性使得UCall能够适应各种网络环境和应用需求。

结语

UCall的出现无疑为远程过程调用领域带来了一股新鲜空气。它不仅在性能上远超现有解决方案,还保持了简洁易用的API设计。无论是构建高性能的微服务,还是部署复杂的AI模型,UCall都能提供强大而灵活的支持。

对于那些追求极致性能,同时又不愿牺牲开发效率的团队来说,UCall无疑是一个值得认真考虑的选择。随着其功能的不断完善和生态系统的逐步建立,我们有理由相信,UCall将在未来的网络应用开发中扮演越来越重要的角色。

如果你对高性能RPC感兴趣,不妨给UCall一个机会。你可能会惊喜地发现,高性能和易用性原来可以如此和谐地共存。

🔗 GitHub仓库 📚 详细文档 💬 加入讨论

让我们一起迎接UCall带来的高性能RPC新时代!