NFStream: 灵活高效的网络数据分析框架

NFStream简介

NFStream是一个Python开发的网络数据分析框架,它为网络流量分析提供了一套灵活而强大的工具。作为一个开源项目,NFStream旨在成为研究人员进行网络数据分析的统一框架,不仅可以确保实验数据的可重复性,还能方便地将训练好的模型部署到实际网络中。

NFStream的核心优势在于:

高性能:采用多进程设计,支持AF_PACKET_V3/FANOUT等技术,并可运行于PyPy环境
加密流量识别:基于nDPI的深度包检测,可靠地识别加密应用并提取元数据
系统可见性:通过探测系统内核获取网络套接字信息,收集应用层的真实数据
统计特征提取:提供业界先进的基于流的统计特征提取能力
灵活扩展:通过NFPlugin机制可以轻松添加新的流特征
机器学习导向:为网络流量管理中的机器学习方法提供可复制和可部署的框架

NFStream的主要特性

1. 高性能设计

NFStream采用了多项技术来提升性能:

在Linux系统上支持AF_PACKET_V3/FANOUT技术
采用多进程设计提高并行处理能力
使用基于CFFI的原生计算引擎
全面支持PyPy,进一步提升性能

这些优化使得NFStream可以高效地处理大规模网络数据。

2. 加密流量的可见性

NFStream的深度包检测基于nDPI库,这使得它能够:

可靠地识别加密的应用层协议
提取各种协议(如TLS、SSH、DHCP、HTTP等)的元数据
对加密流量进行指纹识别

这一特性对于分析现代网络中大量的加密流量至关重要。

3. 系统可见性

NFStream可以探测被监控系统的内核,以获取开放的Internet套接字信息。这使得它能够:

收集应用层的真实数据
获取进程名、PID等保证的真实信息

这一特性为网络流量与系统进程的关联分析提供了基础。

4. 统计特征提取

NFStream提供了业界领先的基于流的统计特征提取能力:

后处理统计特征:如数据包大小和到达时间间隔的最小值、平均值、标准差和最大值
早期流特征:如前n个数据包的大小、到达时间间隔和方向序列

这些特征为后续的流量分类和异常检测等任务提供了重要输入。

5. 灵活扩展

NFStream的NFPlugin机制允许用户轻松地添加新的流特征。只需几行Python代码,就可以创建一个新的流特征。这种灵活性使得NFStream可以适应各种特定的分析需求。

6. 面向机器学习

NFStream的设计目标之一是使网络流量管理中的机器学习方法更易于复现和部署。通过使用NFStream作为通用框架,研究人员可以:

确保模型使用相同的特征计算逻辑进行训练
实现不同模型之间的公平比较
方便地将训练好的模型部署到实际网络中进行评估

NFStream的使用方法

安装NFStream

NFStream可以通过PyPI轻松安装:

pip install nfstream

对于Windows用户,需要先安装Npcap驱动程序。如果已安装Wireshark,则Npcap驱动程序已经存在,无需额外操作。

基本用法

以下是NFStream的一些基本用法示例:

1. 加密应用识别和元数据提取

from nfstream import NFStreamer

streamer = NFStreamer(source="facebook.pcap")
for flow in streamer:
    print(flow)

这段代码将读取一个pcap文件,识别其中的应用并提取元数据。

2. 系统可见性

from nfstream import NFStreamer

streamer = NFStreamer(source="Intel(R) Wi-Fi 6 AX200 160MHz",
                      n_dissections=0,
                      system_visibility_poll_ms=100,
                      system_visibility_mode=1)
                      
for flow in streamer:
    print(flow)

这个例子展示了如何获取系统级的可见性信息。

3. 统计特征提取

from nfstream import NFStreamer

streamer = NFStreamer(source="facebook.pcap",
                      n_dissections=0,  
                      statistical_analysis=True)
for flow in streamer:
    print(flow)

这段代码将执行统计特征提取。

4. 早期流特征提取

from nfstream import NFStreamer

streamer = NFStreamer(source="facebook.pcap",
                      n_dissections=0,
                      splt_analysis=10)
for flow in streamer:
    print(flow)

这个例子展示了如何提取早期流特征。

数据导出

NFStream支持将分析结果导出为Pandas DataFrame或CSV文件:

# 导出为Pandas DataFrame
df = NFStreamer(source='teams.pcap').to_pandas()

# 导出为CSV文件
flows_count = NFStreamer(source='facebook.pcap').to_csv(path=None)

扩展NFStream

通过NFPlugin机制,用户可以轻松地为NFStream添加新的特征:

from nfstream import NFPlugin, NFStreamer

class MyCustomFeature(NFPlugin):
    def on_init(self, packet, flow):
        flow.udps.my_feature = 0
    
    def on_update(self, packet, flow):
        flow.udps.my_feature += 1

streamer = NFStreamer(source='facebook.pcap', 
                      udps=MyCustomFeature())

for flow in streamer:
    print(flow.udps.my_feature)

这个例子展示了如何添加一个简单的自定义特征。

NFStream在机器学习中的应用

NFStream为网络流量分类等机器学习任务提供了便利。以下是一个简单的示例,展示如何训练和部署一个基于随机森林的流量分类器:

训练模型

from nfstream import NFStreamer
import numpy as np
from sklearn.ensemble import RandomForestClassifier

df = NFStreamer(source="training_traffic.pcap").to_pandas()
X = df[["bidirectional_packets", "bidirectional_bytes"]]
y = df["application_category_name"].apply(lambda x: 1 if 'SocialNetwork' in x else 0)
model = RandomForestClassifier()
model.fit(X, y)

部署模型

from nfstream import NFPlugin, NFStreamer
import numpy as np

class ModelPrediction(NFPlugin):
    def on_init(self, packet, flow):
        flow.udps.model_prediction = 0
    
    def on_expire(self, flow):
        to_predict = np.array([flow.bidirectional_packets,
                               flow.bidirectional_bytes]).reshape((1,-1))
        flow.udps.model_prediction = self.my_model.predict(to_predict)

ml_streamer = NFStreamer(source="eth0", udps=ModelPrediction(my_model=model))
for flow in ml_streamer:
    print(flow.udps.model_prediction)