Nuclio: 高性能无服务器平台助力数据科学与实时处理

Nuclio简介

Nuclio是一个开源的高性能无服务器框架,专注于数据、I/O和计算密集型工作负载。自2017年项目启动以来,Nuclio不断发展,目前已被许多初创公司和企业在生产环境中使用。它的设计旨在满足无服务器框架的多种需求,包括实时处理、原生集成多种数据源、支持有状态函数、跨平台可移植性以及企业级功能等。

Nuclio Logo

核心特性

Nuclio具有以下突出特性:

超高性能: 单个函数实例每秒可处理数十万个HTTP请求或数据记录,比其他框架快10-100倍。
多平台支持: 可作为独立Docker容器运行,也可部署在Kubernetes集群上。
数据科学集成: 与Jupyter、Kubeflow等流行数据科学工具深度集成。
多种触发器: 支持多种数据源和流处理触发器。
GPU支持: 支持在GPU上执行,充分利用GPU资源。
安全性: 集成Kaniko,提供安全可靠的Docker镜像构建方式。
可扩展性: 采用模块化和分层设计,支持持续添加新的触发器和运行时。

快速入门

最简单的体验Nuclio的方法是运行其图形用户界面(GUI)。只需要Docker环境,执行以下命令即可启动Nuclio dashboard:

docker run -p 8070:8070 -v /var/run/docker.sock:/var/run/docker.sock --name nuclio-dashboard quay.io/nuclio/dashboard:stable-amd64

访问 http://localhost:8070 ,创建项目并添加函数。在非编排平台(如Kubernetes)环境下,dashboard会将函数部署到本地Docker守护进程。

Nuclio Dashboard

工作原理

Nuclio的核心理念是"当这个发生时,执行那个"。它试图抽象出围绕事件处理的所有脚手架,将事件(如Kafka中写入记录、HTTP请求、定时器过期等)传递给处理代码。用户只需提供触发事件的信息和事件发生时要运行的代码。

Nuclio的工作流程如下:

用户通过命令行工具(nuctl)、REST API或Web应用程序提供函数处理程序和配置信息。
Nuclio将这些信息发送给构建器,构建包含用户处理程序和执行软件的函数容器镜像。
构建器将容器镜像推送到容器注册表。
部署器根据函数配置创建特定于编排器的配置(如Kubernetes资源配置)。
编排器启动容器,执行"处理器",负责读取配置、监听事件触发器、处理事件并调用用户的处理程序。

扩展到零和从零扩展

Nuclio函数部署后可以自主处理事件、根据性能指标扩缩容、发送日志和指标。然而,扩展到零和从零扩展需要额外的"Scaler"服务支持。

函数示例

以下是一个简单的Go语言函数示例,展示了如何使用Event和Context接口处理输入和日志,并返回结构化的HTTP响应:

package handler

import (
    "github.com/nuclio/nuclio-sdk-go"
)

func Handler(context *nuclio.Context, event nuclio.Event) (interface{}, error) {
    context.Logger.Info("Request received: %s", event.GetPath())

    return nuclio.Response{
        StatusCode:  200,
        ContentType: "application/text",
        Body: []byte("Response from handler"),
    }, nil
}