DataAnalyze - 网络流量采集与分析解决方案

Security Classification: 【C-1】 | Publish Time:2024-11-21 | Category:Coding | Edit
Old Version | Diff | Latest Version

AI Summary: 本文介绍了一个用于Web安全领域的流量分析框架DataAnalyze。框架通过代理地址和信任证书收集流量，包含数据引擎、服务中心、分析引擎等模块，利用消息队列服务（NATS）和存储引擎（Redis和MySQL）处理数据。目标是提升漏洞挖掘效率，减少依赖经验与运气的过程。 --- (From Model:gpt-4o-mini-2024-07-18)

## HaE

HaE是key开发的一个非常实用的基于Burpsuite API的敏感信息提取与高亮插件。

原理是通过配置面板的正则表达式以及给定的作用域、颜色，对每个请求响应包进行正则匹配，当规则匹配后提取敏感信息，并高亮显示。以及在tab栏增加markinfo以体现敏感信息与所属规则。

总的来说是非常棒的提效工具，但多正则匹配、大报文、Burpsuite的垃圾性能让我经常发挥不了插件的巨大作用。Key做过一些优化，例如将流量hash进行存储，相同的流量包马上输出已存储的匹配结果等，但总体上的表现还是不够好，因为我每时每刻都需要采集大量的流量。

## 1.0 改造

在年初的时候我就做了一次改造，我写了一个burpsuite采集插件将流量采集存储至ES里。然后通过SQL查询，使用本地Agent进行正则匹配，并且使用Un1kMsg实现消息推送敏感信息采集结果。是一个小玩具。

## 2.0 重新设计

重新思考以下，使用HaE时发现几个问题

1、burp性能较差。正则表达式匹配是CPU运算密集型处理，当处理大body的时候，效果非常差，极易造成工具卡顿。

2、分析引擎耦合。由于历史原因，分析引擎未与插件进行解耦，导致除了burpsuite抓包场景之外无法体现工具价值。

3、流量无法简单的进行二次加工。例如若burpsuite获取请求包为加密报文，插件将失去作用。若需要对报文流量进行深度分析，需增加代码且限定为java语言。

为解决上述三个问题，我对问题进行逐一拆解。得到以下初版架构图

![](https://ipfs.rce.ink/bafkreihdxr4gv4c7hnf2rxw2ebgx6q5uophjgnuzfezezajt46gls2gsae)

1、不再强调burpsuite插件，均定义为数据引擎插件（HaE-DataEngine），可拓展为一切具备获取完整请求响应的Mitm插件。

2、既然burpsuite等客户端性能较差，那么在数据采集时仅进行**分割、序列化、压缩、上报**。通过一个Server使用云接口扩缩容，部署指定镜像（安装了数据分析引擎HaE-AnalyzeEngine）的按量计费服务器，并连接我们的消息队列服务。

3、分析引擎消费数据时引入插件，可对指定规则数据进行反序列化、解密、解压。完成对加密数据的正则匹配、文本匹配、机器学习分析实现。

4、将结果进行反馈，例如根据匹配结果让burpsuite的数据引擎插件进行高亮显示（本步骤非必须）。

5、将结果持久化保存，防止丢失敏感数据以及分析结果。后续通过采集时候的Traceid进行数据关联，以及敏感信息定位。

## 分析引擎-插件开发

### 基本

V1.0插件接口

![](https://ipfs.rce.ink/bafkreidm2pfpm7r5z6rzae7iblhvyk7l72i67k5jtvcjri6glg2n6wotnm)

### 开始编写

克隆主程序代码 https://git.rce.ink/depy/HaE-AnalyzeEngine

进入Tests目录，编写MyPlugin.go文件即可

![](https://ipfs.rce.ink/bafkreiedj6eiytyftxi7ml4tym7ybejnqvee7p6yqhkjzkarg22o4vigv4)

| 函数名  | 释义  | 参数说明  |
| ------------ | ------------ | ------------ |
| Init  | 插件初始化函数，在插件被加载时候触发  |  / |
| Process  |  数据处理核心函数，再消费数据时触发 | 参数1为消费的数据指针，存在属性如下图，参数2、3需类型断言，方便后续开发  |
| Author  |  作者名 |  /  |
| Version  |  版本号 |  /   |
| Plugin  |  插件名 |  /   |

![](https://ipfs.rce.ink/bafkreicyvhnqclgwsl5dfkwwfslpq2m2euanpwmly7xeg3x3ukw6f6vmcq)

开发完毕后，使用终端输入(Tests的上级目录)以下命令，**注意-o参数值需要以两个阿拉伯数字开始,.so结尾**。

```
go build -buildmode=plugin -o 01myplugin.so Tests/MyPlugin.go
```

插件装载规则：使用插件文件名开头数字进行排序，例如00xxx.so会在01xxx.so之前运行。将插件放入编译产物同级的plugins目录下，运行HaE-AnalyzeEngine将自动装载插件。（暂不支持热插拔，重载请重启服务）

预想场景：

1、某业务使用自定义加密协议加密请求body数据
2、分析解密算法，编写原子化解密插件（01.so、02.so），后续可能力复用
3、数据采集插件采集数据，提交消息队列
4、消费数据 依次使用01.so、02.so插件中的process方法，进行数据循环处理。
5、进入主程序明文流程（正则匹配、文本匹配、机器学习）
6、数据上报

## 开发进度
2024-11-21

* 分析引擎-插件系统开发完成;负载均衡模式测试通过

* 双节点模式测试（4chunk，2.296mb, 3s完成，**图中由于主机时间不一致导致，具体请看本地机器的时间间隔**）

![](https://ipfs.rce.ink/bafkreibeztzxlkn5qqqkav4mntu77we5crlzfkqbwml7vonw2jnwubdbsq)

![](https://ipfs.rce.ink/bafkreicxb2z5ikulyskrabidjdi6nd6huz5xhstcgwrwokarwohb6wqqve)

* Burpsuite插件性能优化;调低chunkSize以缓解Protobuf数据膨胀超过nats阈值

2024-11-20

* 大文本测试速度测试（20条正则匹配、10mb响应文本、两台云服务器）1s完成信息提取

![](https://ipfs.rce.ink/bafkreieooyah6k3uifi357xny4zwzwh5g4gbvcj3pd5avt3kcwur4f3yji)

* 分析引擎Agent完成初版，插件接口预留。

![](https://ipfs.rce.ink/bafkreichyr2cgn7mjlgul2w34yj5vgznxkhyomhhaayx6mljhemvz3hriq)

* 数据中心完成（复用DepyWaf，后续按需开源）

* 数据引擎（Burpsuite插件、Mitmproxy脚本）初版完成，实现简易的流量分片与压缩

* 消息队列相关逻辑已开发完毕

Comment List

Comment

© Copyright: This article is an original work and the copyright belongs to the Depy's docs unless marked as Reproduced

Please contact the blogger for authorization to reprint

DataAnalyze - 网络流量采集与分析解决方案

© Copyright: This article is an original work and the copyright belongs to the Depy's docs unless marked as ReproducedPlease contact the blogger for authorization to reprint

© Copyright: This article is an original work and the copyright belongs to the Depy's docs unless marked as Reproduced

Please contact the blogger for authorization to reprint