Data Dynamics
合作伙伴

Databricks

作为 Databricks 官方交付合作伙伴,我们覆盖 Lakehouse 与 Mosaic AI 平台的全生命周期 —— 从许可证销售、技术支持到培训。

从原始数据到分析与AI数据

逐步整理数据，为分析与AI提供符合业务目的的数据集。

湖仓架构：Bronze原始记录在Silver清洗并在Gold汇总。Gold连接SQL/BI，Silver独立连接ML特征准备。
以订单去重和收入汇总为例。SQL/BI使用汇总数据，ML/AI使用适合任务的清洗数据与特征。点击图示可放大。展开下方内容可查看编号说明及产品与服务详情。
查看图示、产品与服务详情
1.数据采集
通过Lakeflow等数据管道采集业务数据库、文件和事件。
2.Bronze → Silver → Gold
保留原始订单事件，经过去重和验证，再加工为每日销售额等业务指标。
3.SQL与BI分析
使用Databricks SQL查询已准备的数据，连接仪表板和业务分析。
4.ML与AI应用
在Mosaic AI中使用合适的数据和特征。并非所有AI输入都必须经过Gold层。

Databricks Lakehouse 概览

Databricks是在AWS、Azure和GCP上提供的数据与AI平台，连接Delta Lake数据管理、Unity Catalog对受支持资产的访问与血缘管理、Databricks SQL分析及Mosaic AI。需确认云、区域与计算模式的支持范围。

  • Delta Lake:具备 ACID 事务的开放格式 Lakehouse 存储
  • Unity Catalog:对表、文件、模型及仪表盘的统一治理
  • Databricks SQL 与 Photon:高性能 Serverless 查询引擎
  • Mosaic AI:MLflow、Model Serving、Vector Search 与 Agent Framework

Unity Catalog管理受支持的数据和模型资产的访问及血缘。源系统权限不会自动统一，三层结构也并非所有工作负载的必选项。

官方文档

从数据到可运营的AI服务

连接开发、评估、部署与监控，使预测结果真正服务于业务流程。

从数据到可运营的AI服务 — 数据准备 → 实验与训练 → 评估与注册 → 服务与改进
连接数据划分、MLflow实验比较、质量验证、模型注册与服务、运行反馈。指标和请求响应值均为说明示例。点击图示可放大。展开下方内容可查看编号说明及产品与服务详情。
查看图示、产品与服务详情
1.数据准备
准备需求预测所需的销售历史和特征，区分训练集与评估集。
2.实验与训练
通过MLflow记录实验、模型版本及结果，实现可复现的开发流程。
3.评估与注册
依据业务标准验证质量，注册选定的部署模型。
4.服务与改进
通过Model Serving提供预测，监控质量、延迟和成本，并持续改进。

生成式AI与RAG需要另行设计文档处理、检索和回答评估。经典计算与无服务器计算的计算平面位置和运维职责不同。

官方文档

Data Dynamics 提供的 Databricks 服务

将产品和应用配置选择与需求分析、验证及运维交接相连接。

Databricks — 产品与实施流程详细图，展示需求、产品选择、验证产出、运维交接和验收标准。
上方展示各产品的应用配置，下方连接实施阶段与验证产出。点击图示可放大。展开下方内容可查看编号说明及产品与服务详情。
查看图示、产品与服务详情
1.需求分析
梳理现有系统、数据、工作负载和运维约束，确定实施范围。
2.产品与配置选择
根据应用目标评估产品、部署方式、容量、访问权限及采购范围。
3.验证与切换
使用代表性工作负载检查一致性、性能和集成，并评估验收标准与恢复流程。
4.运维与培训
通过监控、运维手册、升级计划和团队培训准备运维交接。

Databricks 产品组合

Databricks Lakehouse Platform

以 Delta Lake 与 Unity Catalog 为核心,平台在同一处提供数据工程、分析、BI 与机器学习。Databricks SQL 与 Photon 可应对高性能工作负载。

Delta Lake · Unity Catalog · Databricks SQL · Photon

Lakeflow

使用Lakeflow声明式管道和Lakeflow Jobs构建采集、转换、质量验证和任务执行，同时规划现有Delta Live Tables（DLT）及Workflows环境的迁移。

Lakeflow · Spark Declarative Pipelines · Lakeflow Jobs · Auto Loader

Mosaic AI

统一的企业级生成式 AI 环境,涵盖基于 MLflow 的 MLOps、Model Serving、Vector Search、Agent Framework、DBRX 及领先的 Foundation Models。

MLflow · Model Serving · Vector Search · DBRX / RAG

导入前共同确认的事项

结合实际数据需求和运营条件确定范围，而不仅是核对功能清单。

迁移范围

分析现有ETL、数据仓库依赖与数据质量，确定分阶段迁移对象。

权限、部署与成本

共同评估Unity Catalog权限、云与区域、计算方式及执行成本。

运营体系

明确管道运维、模型评估与部署、监控及团队职责。

Data Dynamics 提供的 Databricks 服务

许可证销售

作为官方合作伙伴,我们协助采购包括 Lakehouse Platform 与 Mosaic AI 在内的 Databricks 许可证与预付额度,并结合工作负载提供规模测算与成本优化。

  • Databricks 工作区与预付额度合同
  • Unity Catalog 与 Lakehouse 许可证
  • Mosaic AI (Model Serving) 用量规划
  • 多云 (AWS、Azure、GCP) 采用咨询
技术支持

面向 Databricks 的端到端技术支持 —— 从方案设计与实施到迁移、性能调优及 MLOps。

  • Lakehouse 与 Unity Catalog 实施
  • 将既有 DW 与数据湖迁移至 Databricks
  • Delta Live Tables 与 Workflows 设计
  • Databricks SQL 与 Photon 性能调优
  • 基于 MLflow 与 Model Serving 的 MLOps
  • 生成式 AI (DBRX、RAG) 实施支持
培训

面向数据工程师、分析师及 ML 工程师的 Databricks 实战培训,帮助您的组织快速构建 Lakehouse 与 AI 专业能力。

  • Databricks 平台管理员课程
  • 数据工程师 (DLT、Spark) 课程
  • Databricks SQL 与分析师课程
  • MLflow 与 Mosaic AI 实战课程
  • 生成式 AI 与 RAG 工作坊

图示为实施流程示例。产品和版本的支持范围、验收标准与服务范围需结合实际环境和合同确认。

联系我们