Skip to content

Milvus 集群部署指南 ​

Milvus 是一款开源的向量数据库,专为海量向量数据的存储、索引和检索而设计。本指南将详细介绍如何在 Kubernetes 集群中部署高可用的 Milvus 集群。

概述 ​

什么是 Milvus? ​

Milvus 是一款云原生向量数据库,具有以下核心特性:

  • 高性能:支持十亿级向量的毫秒级检索
  • 高可用:支持分布式部署和故障恢复
  • 可扩展:支持水平扩展,满足业务增长需求
  • 多索引:支持多种向量索引类型(IVF、HNSW、ANNOY等)
  • 云原生:Kubernetes 原生支持,易于部署和运维

架构介绍 ​

Milvus 集群采用微服务架构,主要组件包括:

text
┌─────────────────────────────────────────────┐
│              Access Layer                    │
│         (Proxy / Load Balancer)              │
└─────────────────────────────────────────────┘
                    ↓
┌─────────────────────────────────────────────┐
│              Coordinator Layer               │
│  ┌──────────┬──────────┬──────────┐        │
│  │ Root     │ Query    │ Data     │        │
│  │ Coordinator│Coordinator│Coordinator│        │
│  └──────────┴──────────┴──────────┘        │
└─────────────────────────────────────────────┘
                    ↓
┌─────────────────────────────────────────────┐
│              Worker Layer                    │
│  ┌──────────┬──────────┬──────────┐        │
│  │ Query    │ Data     │ Index    │        │
│  │ Node     │ Node     │ Node     │        │
│  └──────────┴──────────┴──────────┘        │
└─────────────────────────────────────────────┘
                    ↓
┌─────────────────────────────────────────────┐
│              Storage Layer                   │
│  ┌──────────┬──────────┬──────────┐        │
│  │ Meta     │ Log      │ Object   │        │
│  │ Storage  │ Storage  │ Storage  │        │
│  │ (etcd)   │ (Kafka)  │ (MinIO)  │        │
│  └──────────┴──────────┴──────────┘        │
└─────────────────────────────────────────────┘

核心组件说明 ​

  • Proxy: 接入层,处理客户端请求
  • Root Coordinator: 元数据管理和调度
  • Query Coordinator: 查询调度和负载均衡
  • Data Coordinator: 数据管理和分配
  • Query Node: 执行向量检索
  • Data Node: 数据写入和持久化
  • Index Node: 构建向量索引
  • etcd: 元数据存储
  • Kafka/Pulsar: 消息队列
  • MinIO: 对象存储

环境要求 ​

硬件要求 ​

最小配置 ​

  • CPU: 8核心
  • 内存: 32GB
  • 存储: 100GB SSD
  • 网络: 1Gbps

推荐配置 ​

  • CPU: 16核心以上
  • 内存: 64GB以上
  • 存储: 500GB NVMe SSD
  • 网络: 10Gbps

集群规模建议 ​

数据规模节点数CPU/节点内存/节点存储/节点
100万向量34核16GB100GB
1000万向量58核32GB200GB
1亿向量1016核64GB500GB
10亿向量20+32核128GB1TB

软件要求 ​

  • Kubernetes: 1.20+
  • Helm: 3.0+
  • kubectl: 与集群版本匹配
  • 存储类: 支持动态供给

部署步骤 ​

1. 准备 Kubernetes 集群 ​

检查集群状态 ​

bash
kubectl cluster-info
kubectl get nodes

创建命名空间 ​

bash
kubectl create namespace milvus

2. 安装依赖组件 ​

安装 etcd ​

bash
helm repo add bitnami https://charts.bitnami.com/bitnami
helm install etcd bitnami/etcd \
  --namespace milvus \
  --set replicaCount=3 \
  --set auth.rbac.enabled=false

安装 Kafka ​

bash
helm repo add strimzi https://strimzi.io/charts/
helm install kafka strimzi/strimzi-kafka-operator \
  --namespace milvus

创建 Kafka 集群:

yaml
apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
metadata:
  name: kafka
  namespace: milvus
spec:
  kafka:
    version: 3.5.1
    replicas: 3
    listeners:
      - name: plain
        port: 9092
        type: internal
        tls: false
    config:
      offsets.topic.replication.factor: 3
      transaction.state.log.replication.factor: 3
      transaction.state.log.min.isr: 2
      default.replication.factor: 3
      min.insync.replicas: 2
    storage:
      type: jbod
      volumes:
      - id: 0
        type: persistent-claim
        size: 100Gi
        class: fast-ssd
  zookeeper:
    replicas: 3
    storage:
      type: persistent-claim
      size: 10Gi
      class: fast-ssd
bash
kubectl apply -f kafka.yaml

安装 MinIO ​

bash
helm repo add minio https://charts.min.io/
helm install minio minio/minio \
  --namespace milvus \
  --set mode=distributed \
  --set replicas=4 \
  --set persistence.size=100Gi \
  --set resources.requests.memory=2Gi

3. 安装 Milvus ​

添加 Helm 仓库 ​

bash
helm repo add milvus https://zilliztech.github.io/milvus-helm/
helm repo update

创建配置文件 ​

创建 milvus-values.yaml:

yaml
cluster:
  enabled: true

image:
  repository: milvusdb/milvus
  tag: v2.3.3
  pullPolicy: IfNotPresent

# Proxy 配置
proxy:
  replicas: 2
  resources:
    requests:
      cpu: "1"
      memory: "2Gi"
    limits:
      cpu: "2"
      memory: "4Gi"

# Root Coordinator 配置
rootCoordinator:
  replicas: 2
  resources:
    requests:
      cpu: "1"
      memory: "2Gi"
    limits:
      cpu: "2"
      memory: "4Gi"

# Query Coordinator 配置
queryCoordinator:
  replicas: 2
  resources:
    requests:
      cpu: "1"
      memory: "2Gi"
    limits:
      cpu: "2"
      memory: "4Gi"

# Query Node 配置
queryNode:
  replicas: 3
  resources:
    requests:
      cpu: "2"
      memory: "8Gi"
    limits:
      cpu: "4"
      memory: "16Gi"

# Data Coordinator 配置
dataCoordinator:
  replicas: 2
  resources:
    requests:
      cpu: "1"
      memory: "2Gi"
    limits:
      cpu: "2"
      memory: "4Gi"

# Data Node 配置
dataNode:
  replicas: 3
  resources:
    requests:
      cpu: "2"
      memory: "8Gi"
    limits:
      cpu: "4"
      memory: "16Gi"

# Index Node 配置
indexNode:
  replicas: 3
  resources:
    requests:
      cpu: "2"
      memory: "8Gi"
    limits:
      cpu: "4"
      memory: "16Gi"

# 外部依赖配置
etcd:
  enabled: false
  external: true
  endpoints:
    - "etcd-0.etcd-headless.milvus.svc.cluster.local:2379"
    - "etcd-1.etcd-headless.milvus.svc.cluster.local:2379"
    - "etcd-2.etcd-headless.milvus.svc.cluster.local:2379"

kafka:
  enabled: false
  external: true
  brokerList:
    - "kafka-kafka-bootstrap.milvus.svc.cluster.local:9092"

minio:
  enabled: false
  external: true
  address: "minio.milvus.svc.cluster.local"
  port: "9000"
  accessKey: "minioadmin"
  secretKey: "minioadmin"
  useSSL: false

# 存储配置
persistence:
  enabled: true
  storageClass: "fast-ssd"
  accessMode: ReadWriteOnce
  size: 100Gi

# 服务配置
service:
  type: LoadBalancer
  port: 19530
  annotations: {}

# 日志配置
log:
  level: "info"
  file:
    maxSize: 300
    maxAge: 10
    maxBackups: 20

# 监控配置
metrics:
  enabled: true
  serviceMonitor:
    enabled: true
    namespace: "monitoring"

安装 Milvus ​

bash
helm install milvus milvus/milvus \
  --namespace milvus \
  -f milvus-values.yaml

4. 验证安装 ​

检查 Pod 状态 ​

bash
kubectl get pods -n milvus

预期输出:

text
NAME                                    READY   STATUS    RESTARTS   AGE
milvus-proxy-6b7c8d9f-g5h2j            1/1     Running   0          5m
milvus-rootcoord-7c8d9e0f-h3i4k        1/1     Running   0          5m
milvus-querycoord-8d9e0f1g-i4j5l       1/1     Running   0          5m
milvus-querynode-9e0f1g2h-j5k6m        1/1     Running   0          5m
milvus-datacoord-0f1g2h3i-k6l7n        1/1     Running   0          5m
milvus-datanode-1g2h3i4j-l7m8o         1/1     Running   0          5m
milvus-indexnode-2h3i4j5k-m8n9p        1/1     Running   0          5m

检查服务状态 ​

bash
kubectl get svc -n milvus

连接测试 ​

python
from pymilvus import connections

connections.connect(
    alias="default",
    host='milvus.milvus.svc.cluster.local',
    port='19530'
)

print("Successfully connected to Milvus!")

配置优化 ​

性能参数调优 ​

Query Node 优化 ​

yaml
queryNode:
  replicas: 5
  resources:
    requests:
      cpu: "4"
      memory: "16Gi"
    limits:
      cpu: "8"
      memory: "32Gi"
  extraConfig:
    queryNode:
      segcore:
        chunkRows: 1024
        knowhere:
          indexParallelBuild: 8
      cache:
        enabled: true
        memoryLimit: 8GB

Data Node 优化 ​

yaml
dataNode:
  replicas: 5
  resources:
    requests:
      cpu: "2"
      memory: "8Gi"
    limits:
      cpu: "4"
      memory: "16Gi"
  extraConfig:
    dataNode:
      flush:
        insertBufferSize: 16MB
        insertBufferPoolSize: 2GB
      segment:
        maxSize: 512MB

存储优化 ​

使用高性能存储类 ​

yaml
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: fast-ssd
provisioner: kubernetes.io/gce-pd
parameters:
  type: pd-ssd
reclaimPolicy: Retain
volumeBindingMode: WaitForFirstConsumer

配置本地存储 ​

yaml
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: local-storage
provisioner: kubernetes.io/no-provisioner
volumeBindingMode: WaitForFirstConsumer

网络优化 ​

使用 HostNetwork ​

yaml
proxy:
  hostNetwork: true
  dnsPolicy: ClusterFirstWithHostNet

配置网络策略 ​

yaml
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: milvus-network-policy
  namespace: milvus
spec:
  podSelector:
    matchLabels:
      app.kubernetes.io/name: milvus
  policyTypes:
  - Ingress
  - Egress
  ingress:
  - from:
    - namespaceSelector:
        matchLabels:
          name: milvus
    ports:
    - protocol: TCP
      port: 19530
  egress:
  - to:
    - namespaceSelector:
        matchLabels:
          name: milvus

运维管理 ​

集群扩缩容 ​

扩容 Query Node ​

bash
kubectl scale deployment milvus-querynode \
  --replicas=5 \
  -n milvus

扩容 Data Node ​

bash
kubectl scale deployment milvus-datanode \
  --replicas=5 \
  -n milvus

数据备份 ​

使用 Milvus Backup 工具 ​

bash
milvus-backup create \
  --name backup-20240101 \
  --milvus-config backup.yaml

配置文件 backup.yaml:

yaml
milvus:
  address: milvus.milvus.svc.cluster.local
  port: 19530
  
minio:
  address: minio.milvus.svc.cluster.local
  port: 9000
  accessKeyID: minioadmin
  secretAccessKey: minioadmin
  useSSL: false
  bucketName: milvus-backup
  backupPath: backup

监控配置 ​

安装 Prometheus Operator ​

bash
helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
helm install prometheus prometheus-community/kube-prometheus-stack \
  --namespace monitoring \
  --create-namespace

配置 ServiceMonitor ​

yaml
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: milvus-metrics
  namespace: monitoring
spec:
  selector:
    matchLabels:
      app.kubernetes.io/name: milvus
  namespaceSelector:
    matchNames:
    - milvus
  endpoints:
  - port: metrics
    interval: 30s
    path: /metrics

Grafana 仪表板 ​

导入 Milvus 官方 Grafana 仪表板:Dashboard ID: 18726

日志管理 ​

配置日志收集 ​

yaml
apiVersion: fluentd.fluent.io/v1alpha1
kind: Fluentd
metadata:
  name: milvus-logging
  namespace: milvus
spec:
  globalInputs:
  - forward:
      port: 24224
  filters:
  - recordTransformer:
      enableRuby: true
      records:
      - key: kubernetes_namespace
        value: ${record.dig("kubernetes", "namespace_name")}
  match:
  - select:
      labels:
        app.kubernetes.io/name: milvus
    output:
      elasticsearch:
        host: elasticsearch.logging.svc.cluster.local
        port: 9200
        logstashFormat: true
        logstashPrefix: milvus

故障排查 ​

常见问题 ​

1. Pod 启动失败 ​

问题: Pod 一直处于 Pending 状态

排查步骤:

bash
kubectl describe pod <pod-name> -n milvus
kubectl get events -n milvus --sort-by='.lastTimestamp'

解决方案:

  • 检查资源配额
  • 检查存储类配置
  • 检查节点资源

2. 连接超时 ​

问题: 客户端无法连接到 Milvus

排查步骤:

bash
kubectl get svc -n milvus
kubectl logs -n milvus <proxy-pod-name>

解决方案:

  • 检查 Service 配置
  • 检查网络策略
  • 检查防火墙规则

3. 性能下降 ​

问题: 查询延迟增加

排查步骤:

bash
kubectl top pods -n milvus
kubectl logs -n milvus <querynode-pod-name> | grep -i error

解决方案:

  • 扩容 Query Node
  • 优化索引参数
  • 增加缓存大小

4. 数据丢失 ​

问题: 数据无法恢复

预防措施:

  • 定期备份数据
  • 配置数据副本
  • 监控存储使用情况

最佳实践 ​

1. 部署策略 ​

  • 使用多副本保证高可用
  • 合理配置资源限制
  • 使用高性能存储

2. 性能优化 ​

  • 根据数据规模调整节点数量
  • 优化索引参数
  • 配置合适的缓存大小

3. 运维管理 ​

  • 定期备份数据
  • 监控关键指标
  • 及时处理告警

4. 安全加固 ​

  • 配置网络策略
  • 启用 TLS 加密
  • 定期更新版本

参考资料 ​

官方文档 ​

相关教程 ​


提示

Milvus 集群部署需要合理规划资源,建议在生产环境前进行充分的性能测试。

信息

本指南基于 Milvus 2.3 版本编写,不同版本配置可能有所差异,请参考官方文档。