![Kubernetes AI 技术栈总体架构](/ai-native/infrastructure/1a10d07c367c1beb5031e11694c5a13b.svg)
{width=1920 height=2978}

这一架构分为以下层级：

- AI Gateway 层：统一模型服务入口与路由。
- 模型推理层：KServe / vLLM / LLMariner。
- 调度层：Volcano、Kaito、Karpenter。
- 算力层：GPU、NPU、DraNet、HAMi。
- 存储层：JuiceFS、S3、Ceph、EdgeFS。
- 可观测与安全层：Cilium、OpenTelemetry、K8sGPT。

## AI 基础设施的设计原则

AI 应用对底层基础设施提出了更高的要求，主要体现在计算密集、数据密集和网络密集三个方面。Kubernetes 需针对这些特性进行专项优化。

### Kubernetes AI 架构设计原则

在设计 Kubernetes AI 基础设施时，建议遵循以下原则：

- 模块化与可插拔性：所有组件基于 CRD（Custom Resource Definition）、Operator、Controller 模式构建。
- 异构资源抽象化：统一管理 GPU、NPU、DPU、RDMA 等算力资源。
- 弹性与经济性：结合 KEDA 与 Karpenter 实现 Pod 与节点级弹性。
- 模型感知网络：通过 Envoy Gateway Inference Extension 实现动态路由。
- 可观测与自治：K8sGPT 与 OpenTelemetry 支持 AIOps 与自愈。
- 数据就近性与缓存优化：JuiceFS、CephFS、Local Cache 结合使用。

### 计算资源优化

为满足 AI 计算密集型需求，需关注以下优化方向：

- GPU（Graphics Processing Unit）资源管理：使用 NVIDIA GPU Operator 进行 GPU 调度。
- TPU（Tensor Processing Unit）集成：支持 Google TPU 等专用 AI 芯片。
- 异构计算：混合 CPU/GPU/TPU 集群统一管理。

### 网络性能优化

高性能网络对于 AI 任务至关重要，优化措施包括：

- RDMA（Remote Direct Memory Access）网络：提升数据传输效率。
- Infiniband：高性能集群内部网络。
- 网络拓扑感知：将 AI 工作负载调度到网络延迟低的节点。

### 存储架构优化

AI 任务对存储有高性能和高容量的双重需求，常见优化方式有：

- 高速存储：NVMe SSD 用于模型缓存。
- 分布式存储：Ceph、MinIO 等用于大数据集存储。
- 对象存储集成：S3 兼容存储用于模型版本管理。

## 核心组件分层解析

下表梳理了 Kubernetes AI 生态的主要组件及其分层功能，便于理解各层协作关系。

## 推理服务层核心组件

| 项目           | 功能               | 特点                                         | 适用场景              |
| -------------- | ------------------ | -------------------------------------------- | --------------------- |
| KServe         | 模型推理服务平台   | 支持多框架、CRD 化管理、自动伸缩、Scale-to-zero | 通用推理服务          |
| vLLM           | 高性能 LLM 推理引擎 | Paged Attention、连续批处理、高吞吐           | 大语言模型            |
| LLMariner      | LLM 托管平台        | OpenAI API 兼容，快速上线推理服务             | 企业内 ChatGPT 类服务 |
| Kaito          | 模型微调 Operator   | 自动化 Train/Tune/Infer 流程                  | 模型训练 + 部署一体   |

## 调度与资源管理层核心组件

| 项目         | 功能             | 特点                          | 说明                   |
| ------------ | ---------------- | ----------------------------- | ---------------------- |
| Volcano      | 批处理与 AI 调度器 | Gang 调度、队列优先级、拓扑感知 | 支持训练与推理任务     |
| Karpenter    | 节点自动扩缩     | GPU 节点池弹性、快速供给      | 节点层 FinOps 工具     |
| HAMi         | 异构算力虚拟化   | CPU/GPU/NPU/DPU 统一抽象      | 提高资源利用率         |
| DraNet       | 高性能网络调度   | 支持 RDMA 与 DRA 动态资源分配 | 提升多节点 All-Reduce 效率 |

## 存储与数据层核心组件

| 项目             | 功能           | 特点                         | 说明               |
| ---------------- | -------------- | ---------------------------- | ------------------ |
| JuiceFS          | 分布式文件系统 | 高吞吐 + 缓存层 + CSI Driver | 模型加载与共享存储 |
| Open Data Hub    | 数据与 AI 平台 | 支持 Ceph / Kafka / TensorFlow | 端到端 MLOps 流程  |
| EdgeFS / MinIO   | 对象存储       | S3 兼容接口、边缘优化        | 私有云与多云场景   |

## 网络与服务入口层核心组件

| 项目                                   | 功能                         | 特点                                   |
| -------------------------------------- | ---------------------------- | -------------------------------------- |
| Envoy Gateway + Inference Extension    | 模型感知路由、A/B 测试、版本治理 | 基于 Gateway API 扩展 InferenceModel CRD |
| Cilium                                 | eBPF 网络与安全              | 零信任网络、流量观测、租户隔离         |
| Kagent                                 | AI Agents 框架               | 支持 Agent Workflow、状态管理与推理编排 |

  
## 可观测与智能运维层核心组件

| 项目                                   | 功能             | 特点                           |
| -------------------------------------- | ---------------- | ------------------------------ |
| OpenTelemetry / Prometheus / Grafana   | 指标、日志、追踪统一 | 监控推理延迟、GPU 占用、Token 吞吐 |
| K8sGPT                                 | AI 辅助诊断工具  | 使用 LLM 自动分析 K8s 状态与事件 |
| KEDA                                   | 事件驱动伸缩     | 基于消息队列/请求量动态扩容      |
| Kubewarden / Kyverno                   | 策略与安全治理   | 多租户模型服务安全控制           |

## AI 工作流与智能编排层核心组件

| 项目                              | 功能                | 特点                           |
| --------------------------------- | ------------------- | ------------------------------ |
| Kubeflow + Pipelines + KServe     | 全生命周期 MLOps 平台 | 数据→训练→推理全链路           |
| AIBrix                            | LLM 推理架构研究框架 | 调度 + 缓存 + K8s + Ray 混合架构 |
| LangGraph / LangServe / LangChain | AI 智能体与工作流    | LLM Workflow Controller 的雏形 |
| KubeEdge / Edge AI Stack            | 云 - 边协同推理框架   | 适用于 IoT / 边缘智能场景      |

## 硬件加速支持

Kubernetes 支持多种硬件加速方式，显著提升 AI 任务的计算能力。以下示例展示了如何在 Pod 级别指定 GPU 和 TPU 资源。

在实际部署中，推荐通过 nodeSelector 和资源限制来指定 GPU 类型：

```yaml
apiVersion: v1
kind: Pod
metadata:
  name: gpu-pod
spec:
  containers:
  - name: gpu-container
    image: nvidia/cuda:11.0-runtime-ubuntu20.04
    resources:
      limits:
        nvidia.com/gpu: 1
  nodeSelector:
    accelerator: nvidia-tesla-k80