Milvus 3.5 vs 1.4参数有哪些差异？

1. 配置文件: 在启动 Milvus 之前，通过 milvus.yaml 文件进行配置，这是最常用、最核心的方式。
2. 环境变量: 可以通过设置环境变量来覆盖配置文件中的参数。
3. 运行时动态调整: 对于某些参数（如资源限制），可以通过 Milvus Dashboard 或 RESTful API 在运行时动态修改。

以下我将按照 核心组件 和 关键功能 的分类，为您梳理 Milvus 2.4 中最重要的参数,并提供建议值。

核心组件参数

这些参数定义了 Milvus 各个组件的行为和资源限制。

Milvus Server (milvus.yaml)

这是整个 Milvus 实例的入口,负责协调其他组件。

Coordinator (Coordinator)

Milvus 中的协调器组件，负责元数据管理、数据分片、负载均衡等。

Node (Worker)

这些是真正执行数据存储和计算的节点。

关键功能与性能参数

这些参数直接影响 Milvus 的性能、可用性和数据一致性。

存储

Milvus 2.4 主要使用对象存储（如 S3, GCS, MinIO）来持久化数据和元数据。

消息队列

Milvus 使用消息队列（如 Pulsar, Kafka）来解耦数据写入和索引构建。

性能与资源

这些参数控制 Milvus 的资源使用和性能调优。

Docker Compose 示例

一个典型的 docker-compose.yml 文件会体现上述大部分参数的配置。

version: '3.5'
services:
  etcd:
    container_name: etcd
    image: quay.io/coreos/etcd:v3.5.0
    environment:
      - ETCD_AUTO_COMPACTION_MODE=revision
      - ETCD_AUTO_COMPACTION_RETENTION=1000
      - ETCD_QUOTA_BACKEND_BYTES=4294967296 # 4GB
    volumes:
      - ./volumes/etcd/data:/etcd
    ports:
      - "2379:2379"
      - "2380:2380"
  minio:
    container_name: minio
    image: minio/minio:RELEASE.2025-03-20T20-16-18Z
    environment:
      - MINIO_ACCESS_KEY=minioadmin
      - MINIO_SECRET_KEY=minioadmin
    volumes:
      - ./volumes/minio/data:/data
    command: minio server /data --console-address ":9001"
    ports:
      - "9000:9000"
      - "9001:9001"
  pulsar:
    container_name: pulsar
    image: apachepulsar/pulsar:3.0.0
    volumes:
      - ./volumes/pulsar/data:/pulsar/data
      - ./volumes/pulsar/conf:/pulsar/conf
    ports:
      - "6650:6650"
      - "8080:8080"
    command: bin/pulsar standalone
  milvus-standalone:
    container_name: milvus-standalone
    image: milvusdb/milvus:v2.4.0
    command: ["milvus", "run", "standalone"]
    environment:
      - ETCD_ENDPOINTS=etcd:2379
      - MINIO_ADDRESS=minio:9000
      - PULSAR_ADDRESS=pulsar:6650
    volumes:
      - ./volumes/milvus:/var/lib/milvus
    ports:
      - "19530:19530"
      - "9091:9091" # Prometheus metrics
    depends_on:
      - etcd
      - minio
      - pulsar

总结与最佳实践

1. 生产环境部署:

   • 组件分离: 将 etcd, minio, pulsar 和 milvus 部署在不同的节点或容器中,避免单点故障和资源争抢。
   • 资源充足: 为每个组件分配足够的 CPU 和内存，特别是 queryNode 和 dataNode,它们是计算密集型服务。
   • 监控告警: 务必开启 metrics.enable，并使用 Prometheus + Grafana 对 Milvus 进行全方位监控和告警。
   • 持久化存储: 生产环境 必须使用对象存储（MinIO, S3, GCS）,而不是本地存储。

2. 性能调优:

   • 索引: 选择合适的索引类型（如 IVF_FLAT, HNSW）和参数（nlist, ef）对查询性能至关重要。
   • 合并: compaction 参数的调整需要在查询延迟和写入/删除延迟之间找到平衡。level0.maxSegments 越小，索引越频繁，查询延迟越低,但写入压力越大。
   • 缓存: 启用 queryNode.cache 并合理设置 memoryLimit,可以大幅提升热点数据的查询速度。

3. 高可用:

   • Milvus 2.4 支持多节点部署，通过增加 rootCoord, queryCoord, dataCoord 的副本数来实现高可用，请参考官方文档进行 HA 集群部署。

这份参数列表涵盖了 Milvus 2.4 的绝大部分核心配置，在实际应用中，建议从官方推荐的默认配置开始，然后根据您的具体业务场景（数据量、查询模式、SLA 要求）进行逐步调优。