ARL

ARL(资产侦察灯塔)系统

<a href="https://github.com/adysec/ARL/stargazers"><img alt="GitHub Repo stars" src="https://img.shields.io/github/stars/adysec/ARL?color=yellow&logo=riseup&logoColor=yellow&style=flat-square"></a> <a href="https://github.com/adysec/ARL/network/members"><img alt="GitHub forks" src="https://img.shields.io/github/forks/adysec/ARL?color=orange&style=flat-square"></a> <a href="https://github.com/adysec/ARL/issues"><img alt="GitHub issues" src="https://img.shields.io/github/issues/adysec/ARL?color=red&style=flat-square"></a>

ARL资产侦察灯塔系统备份项目，已成功运行

简介

旨在快速侦察与目标相关的互联网资产，构建基础资产信息库。 协助甲方安全团队或渗透测试人员有效侦察和检索资产，发现存在的薄弱点和攻击面。

ARL删库后，备份项目使用到ARL-NPoC、arl_files等项目，无法运行，大多数人使用docker运行ARL，docker镜像同样被删除，无法拉取镜像，需要修改安装脚本调试环境。

修改内容

1. 更新为centos8版本运行(docker内的centos7无法启动systemctl)
2. docker运行模式改为单一docker镜像，无需安装docker-compose(对于大多数人只用一台服务器的场景下，前后端分离没有必要)
3. 修改centos软件源使用cloudflare代理(家里的电脑连接官方源速度极慢)
4. 修改pip源使用cloudflare代理(国内服务器经常连不上pypi源)
5. 加入指纹库(eHole1017、ehole_magic24981、EHole_magic_magic25715、FingerprintHub2839、dismap4598，去重后21545，可以手动更新，使用ARL导出的格式，有新指纹可以提issue，或者直接修改json文件通过docker内源码安装)docker快速安装没有ehole_magic相关指纹，去重后5k多，可以手动更新
6. nmap使用最新版本(既然可以yum安装新版本，为何要rpm安装旧版本)
7. nuclei使用最新版本(通过github action每日更新)
8. ARL-NPoC、arl_files、geoip均移至tools目录下(建立多个项目太麻烦，且使用github action每日更新)
9. 工具增加执行权限(原安装脚本有问题，部分工具没有执行权限，运行任务会显示error状态)
10. 提高数据库连接超时时间(参考他人二次开发的做法，实际上没感觉到区别，原版1c1g配置依然可以正常运行)
11. 删除域名及ip段限制，12000ms超时问题已解决(没有人会喜欢自己的工具受到限制)
12. 提高工具并发数(大部分都是在云服务器上运行，并发性能足够，已测试)如果经常出现加入大量任务后超时的情况，请通过arl-worker.service降低并发数
13. 使用cloudflare代理docker官方源(因为众所周知的原因，docker源目前国内无法使用)

系统要求

建议采用Docker内源码安装方式运行。系统配置建议：CPU:4线程 内存:8G 带宽:10M。 由于自动资产发现过程中会有大量的发包，建议采用云服务器可以带来更好的体验。

Docker 安装（快速）

docker run --privileged -it -d -p 5003:5003 --name=arl --restart=always docker.adysec.com/adysec/arl /usr/sbin/init
docker exec -it arl bash
# docker内运行，上传docker镜像会隐去硬编码的数据库连接密码，因此需要重设密码
rabbitmqctl start_app
# 建议执行后稍等片刻再运行下面的命令，否则可能报错
rabbitmqctl add_user arl arlpassword
rabbitmqctl add_vhost arlv2host
rabbitmqctl set_user_tags arl arltag
rabbitmqctl set_permissions -p arlv2host arl ".*" ".*" ".*"
cd /etc/systemd/system && systemctl restart arl*
exit

如遇mongod服务问题导致timeout of 12000ms exceeded，请尝试在docker启动中加入路径-v /sys/fs/cgroup:/sys/fs/cgroup

Docker 内源码安装（最新版，需要为境外网络环境，且网络稳定）

docker run --privileged -it -d -p 5003:5003 --name=arl --restart=always docker.adysec.com/library/centos /usr/sbin/init
docker exec -it arl bash
# docker内运行，通过源码安装ARL
curl https://raw.githubusercontent.com/adysec/ARL/master/misc/setup-arl.sh >install.sh
bash install.sh
exit

docker内执行后直接exit退出即可

Ubuntu 下可以直接执行 apt-get install docker.io docker-compose -y 安装相关依赖

源码安装

原版ARL仅适配centos 7，我更新至仅支持centos8（centos:latest） 如果在其他目录可以创建软链接，且安装了四个服务分别为arl-web, arl-worker, arl-worker-github, arl-scheduler

wget https://raw.githubusercontent.com/adysec/ARL/master/misc/setup-arl.sh
chmod +x setup-arl.sh
./setup-arl.sh

DNS爆破优化

本机安装smartdns，以ubuntu为例

apt install smartdns -y
curl https://github.com/adysec/ARL/raw/master/tools/smartdns.conf > /etc/smartdns/smartdns.conf
systemctl restart smartdns
docker exec -it arl bash
#docker内运行
tee /etc/resolv.conf <<"EOF"
nameserver 本机ip
nameserver 180.76.76.76
nameserver 4.2.2.1
nameserver 1.1.1.1
EOF

查看服务状态

systemctl status arl-web
systemctl status arl-worker
systemctl status arl-worker-github
systemctl status arl-scheduler

ARL修改

# 一键删站
docker stop arl && docker rm arl

# 删除镜像
docker rmi arl

# 改poc，poc位置/opt/ARL-NPoC
docker exec -it arl bash
systemctl restart arl*

# 改指纹，/opt/ARL/tools/指纹数据.json
docker exec -it arl bash
cd /opt/ARL && python3.6 tools/add_finger.py

特性

1. 域名资产发现和整理
2. IP/IP 段资产整理
3. 端口扫描和服务识别
4. WEB 站点指纹识别
5. 资产分组管理和搜索
6. 任务策略配置
7. 计划任务和周期任务
8. Github 关键字监控
9. 域名/IP 资产监控
10. 站点变化监控
11. 文件泄漏等风险检测
12. nuclei PoC 调用
13. WebInfoHunter 调用和监控

截图

1. 登录页面
   默认端口5003（https），默认用户名密码admin/arlpass
   
2. 任务页面
3. 子域名页面
4. 站点页面
5. 资产监控页面 详细说明可以参考：资产分组和监控功能使用说明
6. 策略页面
7. 筛选站点进行任务下发 详细说明可以参考：2.3-新添加功能详细说明
8. 计划任务 详细说明可以参考：2.4.1-新添加功能详细说明
9. GitHub 监控任务

任务选项说明

常见问题

请访问以下链接常见问题