Argus Flow
将 Apache NiFi 2.10.0 部署到生产环境所需的一切集中于一处的开源数据管道发行版。自定义扩展包(NAR)、发布包(tar.gz、RPM、容器镜像)、Kubernetes Operator,以及配置、证书与用户管理工具——把原本分散的仓库整合为单一 monorepo,由同一条构建流水线产出版本相互对齐的产物。
特点与优势
扩展、发布与 Operator 同一条流水线
NiFi 扩展、Operator 与证书生成脚本此前分散在各自仓库,版本容易错位。现已整合为 monorepo:一个 make 目标即可产出版本对齐的 NAR、tar.gz、RPM 与容器镜像。
12 个包 · 18 个 NAR 实现依赖隔离
扩展按领域拆分为独立包,每个包单独打成 NAR,第三方依赖不会跨越包边界发生冲突。可在 CDC、湖仓、Hive、Parquet、数据库、报告与流程分析中按需安装。
无需 ZooKeeper 的 NiFi 2.x Kubernetes Operator
直接使用 NiFi 2.x 自带的 Raft 协调机制,无需 ZooKeeper 即可运行集群。通过 NiFiCluster、NiFiFlow 自定义资源进行声明式管理,缩容时按 Offload → Disconnect → Remove 顺序安全下线,并通过 cert-manager 自动签发 TLS 证书。
用工具安全管理配置、证书与账号
不必手工编辑超过 200 行的 nifi.properties 与 XML,交互式向导收集取值并在保存前展示 diff。--check 诊断可发现证书 SAN 不一致、临近过期以及被注释掉的登录 Provider,避免 Invalid SNI 之类的故障。
发行版构成
扩展包、发布包、Kubernetes Operator 与运维工具在同一个仓库中一起构建,同时每个目录也可以独立构建。
核心能力
从 CDC、湖仓、Hive 与文件格式扩展,到运维治理规则、数据库认证鉴权、发布打包、Kubernetes Operator 以及配置与 TLS 自动化——把 NiFi 运维所需的 12 个支柱汇入一个发行版。
4 种 CDC 数据源
基于 Debezium Embedded Engine 3.2.2,将主流关系型数据库的变更事件输出为 JSON FlowFile。
湖仓写入
将记录直接写入开放表格式与列式存储。
数据库处理器
从查询到批量写入,拓宽了关系型数据库的对接路径。
Hive / ORC
以专用包提供 Hive3 对接与 ORC 写出。
文件格式与记录序列化
提供可控制时间戳格式的读取器与写入器。
通用处理器
把现场反复需要的处理收进标准包。
5 种监控报告任务
按阈值监控节点资源状态并向外部告警。
6 种 Flow Analysis Rule
以静态检查发现流程配置反模式的运维治理规则。
基于数据库的认证与鉴权
为既无法引入 LDAP 也无法引入外部 IdP 的环境准备的 Provider,避免手工修改 users.xml。
发布打包
重新打包官方二进制,产出可直接投入生产的交付物。
Kubernetes Operator
以声明式方式定义 NiFi 2.x 集群,并自动完成扩缩容与更新。
配置与 TLS 自动化
把安装之后最容易出问题的配置环节用工具标准化。
版本
以 Community 自由使用整个开源发行版;当需要运维 SLA 与专属技术支持时,可选择 Enterprise。