carbontracker

关于

carbontracker 是一个用于跟踪和预测深度学习模型训练过程中能源消耗和碳足迹的工具，如 Anthony et al. (2020) 所述。

引用

如果您在科学出版物中使用了 carbontracker，请引用我们的工作：

@misc{anthony2020carbontracker,
  title={Carbontracker: Tracking and Predicting the Carbon Footprint of Training Deep Learning Models},
  author={Lasse F. Wolff Anthony and Benjamin Kanding and Raghavendra Selvan},
  howpublished={ICML Workshop on Challenges in Deploying and monitoring Machine Learning Systems},
  month={July},
  note={arXiv:2007.03051},
  year={2020}}

安装

PyPi

pip install carbontracker

基本用法

必需参数

epochs：训练循环的总轮数。

可选参数

epochs_before_pred（默认值为1）：在输出预测消耗之前需要监控的轮数。设置为-1表示所有轮数。设置为0表示不进行预测。
monitor_epochs（默认值为1）：需要监控的总轮数。达到时输出实际消耗。设置为-1表示所有轮数。不能小于epochs_before_pred或等于0。
update_interval（默认值为10）：测量功率使用情况的间隔时间（秒）。
interpretable（默认值为True）：如果设置为True，则CO2eq也会被转换为可解释的数字，如等效的汽车行驶距离等。否则，不进行转换。
stop_and_confirm（默认值为False）：如果设置为True，则在epochs_before_pred轮之后，主线程（包含训练循环）将暂停以输出预测，用户需要确认才能继续训练。否则，输出预测并立即继续训练。
ignore_errors（默认值为False）：如果设置为True，则所有错误都会导致能源监控停止，但训练将继续。否则，训练将像常规错误一样中断。
components（默认值为"all"）：要监控的组件，用逗号分隔的字符串。选项有："all"、"gpu"、"cpu"或"gpu,cpu"。
devices_by_pid（默认值为False）：如果为True，则仅测量与主进程相关的进程正在运行的设备（在选定的组件下）。如果为False，则测量所有可用设备（对于在SLURM上或容器中运行的作业，请参见"注意事项"部分）。请注意，这要求在实例化CarbonTracker类之前，您的设备上有活动进程。
log_dir（默认值为None）：写入日志文件的目标目录路径。如果为None，则不进行日志记录。
log_file_prefix（默认值为""）：要添加到日志文件名的前缀。
verbose（默认值为1）：设置详细程度级别。
decimal_precision（默认值为6）：报告值的所需小数精度。

使用示例

from carbontracker.tracker import CarbonTracker

tracker = CarbonTracker(epochs=max_epochs)

# 训练循环
for epoch in range(max_epochs):
    tracker.epoch_start()
    
    # 您的模型训练

    tracker.epoch_end()

# 可选：在所有monitor_epochs被监控之前提前终止时添加停止，以确保报告实际消耗。
tracker.stop()

输出示例

默认设置

CarbonTracker: 
1个轮次的实际消耗：
        时间：   0:00:10
        能源： 0.000038 kWh
        CO2eq：  0.003130 g
        这相当于：
        0.000026 km的汽车行驶距离
CarbonTracker: 
1000个轮次的预测消耗：
        时间：   2:52:22
        能源： 0.038168 kWh
        CO2eq：  4.096665 g
        这相当于：
        0.034025 km的汽车行驶距离
CarbonTracker: 监控结束。

verbose=2

CarbonTracker: 发现以下组件：CPU，设备为cpu:0。
CarbonTracker: 训练期间的平均碳强度为82.00 gCO2/kWh，检测到的位置：丹麦哥本哈根首都大区。
CarbonTracker: 
1个轮次的实际消耗：
        时间：   0:00:10
        能源： 0.000041 kWh
        CO2eq：  0.003357 g
        这相当于：
        0.000028 km的汽车行驶距离
CarbonTracker: 接下来2:59:06的碳强度预计为107.49 gCO2/kWh，检测到的位置：丹麦哥本哈根首都大区。
CarbonTracker: 
1000个轮次的预测消耗：
        时间：   2:59:06
        能源： 0.040940 kWh
        CO2eq：  4.400445 g
        这相当于：
        0.036549 km的汽车行驶距离
CarbonTracker: 监控结束。

解析日志文件

聚合日志文件

carbontracker支持将指定目录中的所有日志文件聚合为单一的碳足迹估算。

使用示例

from carbontracker import parser

parser.print_aggregate(log_dir="./my_log_directory/")

输出示例

本工作中模型的训练估计使用了4.494千瓦时的电力，贡献了0.423公斤的二氧化碳当量。这相当于汽车行驶3.515公里。由carbontracker测量（https://github.com/lfwa/carbontracker）。

将日志转换为字典对象

可以使用parser.parse_all_logs()或parser.parse_logs()将日志文件解析为字典。

使用示例

from carbontracker import parser

logs = parser.parse_all_logs(log_dir="./logs/")
first_log = logs[0]

print(f"输出文件名：{first_log['output_filename']}")
print(f"标准文件名：{first_log['standard_filename']}")
print(f"提前停止：{first_log['early_stop']}")
print(f"测量的消耗：{first_log['actual']}")
print(f"预测的消耗：{first_log['pred']}")
print(f"测量的GPU设备：{first_log['components']['gpu']['devices']}")

输出示例

输出文件名：./logs/2020-05-17T19:02Z_carbontracker_output.log
标准文件名：./logs/2020-05-17T19:02Z_carbontracker.log
提前停止：False
测量的消耗：{'epochs': 1, 'duration (s)': 8.0, 'energy (kWh)': 6.5e-05, 'co2eq (g)': 0.019201, 'equivalents': {'km travelled by car': 0.000159}}
预测的消耗：{'epochs': 3, 'duration (s)': 25.0, 'energy (kWh)': 1000.000196, 'co2eq (g)': 10000.057604, 'equivalents': {'km travelled by car': 10000.000478}}
测量的GPU设备：['Tesla T4']

兼容性

carbontracker兼容：

支持NVIDIA管理库（NVML）的NVIDIA GPU
支持Intel RAPL的Intel CPU
Slurm
Google Colab / Jupyter Notebook

注意事项

GPU和Slurm的可用性

可用的GPU设备首先通过检查环境变量CUDA_VISIBLE_DEVICES来确定（仅当devices_by_pid=False时，否则我们通过PID查找设备）。这确保了对于Slurm，我们只获取与当前作业相关的GPU设备，而不是整个集群。如果失败，我们将测量所有可用的GPU。
NVML无法找到未使用--pid=host启动的容器的进程。这会影响device_by_pids参数，意味着它永远无法在受影响的容器中找到任何GPU的活动进程。