Technical Support
技术支持
面向大数据与 AI 平台的每一层,提供端到端专家级支持 —— 从开源项目到 Databricks。
开源支持
为支撑大数据与 AI 平台的核心开源项目提供深度技术支持。
数据接入与流转
04| Apache NiFi / MiNiFi | 数据流设计与运维、Processor 开发、性能调优、集群配置 |
| Apache Kafka | Broker 设计与运维、分区策略、Kafka Connect、MirrorMaker、监控、调优 |
| Apache Flink | 流处理流水线设计,Checkpoint 与 Savepoint 运维、状态管理、调优 |
| Apache Flume | 日志与事件采集 Agent 配置,Source 与 Sink 定制化 |
数据存储与处理
07| Apache Hadoop (HDFS/YARN) | 集群设计与运维、NameNode HA、YARN 队列设计、容量管理 |
| Apache Spark | Spark SQL 与 Structured Streaming 优化、Shuffle 及分区调优、Spark on K8s |
| Apache Hive | Hive Metastore 运维、查询优化、Hive on Tez/Spark、ACID 表管理 |
| Apache Impala | MPP 查询调优、Admission Control、Catalog 与 StateStore 运维、Iceberg 集成 |
| Apache Kudu | 模式设计、Impala 集成、实时分析列式存储运维 |
| Apache HBase | 模式设计、Region 管理、Compaction 调优、复制与灾备 |
| Apache Ozone | 对象存储部署与运维、HDFS 迁移 |
数据与表格式
03| Apache Iceberg | 表格式设计、Compaction 与 Snapshot 管理、Spark/Impala 集成 |
| Apache Parquet / ORC | 格式选型咨询、读写性能优化 |
| Delta Lake | Delta 表管理、Deletion Vectors、Liquid Clustering、Z-Order |
编排与工作流
02| Apache Airflow | DAG 设计与运维、Executor 配置、监控告警、自定义 Operator 开发 |
| Apache Oozie | Workflow 与 Coordinator 配置、迁移支持 |
搜索、元数据与治理
04| Apache Ranger | 访问控制策略设计、审计日志、插件配置 |
| Apache Atlas | 元数据与血缘管理、分类设计、统一治理 |
| Apache Solr / Elasticsearch | 搜索索引设计与运维、模式设计、性能调优 |
| Apache Zeppelin | Notebook 环境搭建、解释器配置、用户管理 |
AI / ML
04| MLflow | Tracking、Registry 与 Serving 运维,模型生命周期管理 |
| Jupyter / JupyterHub | 多用户环境搭建、内核管理、基于 K8s 的部署 |
| Ray | 分布式训练与服务流水线、Ray Serve 运维 |
| TensorFlow / PyTorch Serving | 模型服务基础设施、GPU 资源管理 |
基础设施与平台
05| Kubernetes (K8s) | 集群搭建与运维、命名空间与 RBAC 设计、Helm Chart 管理、监控 |
| Docker / Containerd | 容器镜像管理、Registry 运维、安全扫描 |
| Prometheus / Grafana | 指标采集、仪表盘设计、告警规则配置 |
| ELK Stack | 日志采集与分析流水线、索引管理、仪表盘 |
| Apache ZooKeeper | Ensemble 配置与运维、健康监控、迁移 |