Kubernetes环境MinIO部署与应用

概述

本文用于整理基于Kubernetes环境的MinIO部署与应用，搭建S3兼容的分布式对象存储服务，作为后续演练项目的前置环境准备。

随着各相关组件版本的更新，笔者将在验证通过后对本文进行补充和更新，请参考更新记录。

本次演练环境为Kubernetes集群环境，环境配置可参考笔者另一篇笔记《Kubernetes集群部署笔记》。

本次演练使用Traefik作为Ingress Controller实现，环境配置可参考笔者另一篇笔记《Kubernetes环境Traefik部署与应用》。

组件版本

• MinIO RELEASE.2025-07-23T15-54-02Z

• MinIO Operator v7.1.1

• MinIO Client RELEASE.2025-07-21T05-28-08Z

配置过程

准备工作

• 添加Helm仓库

  添加用于安装minio-operator和minio-tenant的Helm仓库。

  helm repo add minio-operator https://operator.min.io/
  helm repo update minio-operator

• 创建命名空间

  本次演练中将MinIO Operator安装至minio-operator命名空间，将MinIO Tenant安装至minio-tenants命名空间，可根据需要替换。

  kubectl create namespace minio-operator
  kubectl create namespace minio-tenants

• 创建TLS证书Secret

  从已准备好的证书key文件和crt文件创建Secret。

  kubectl create secret tls local-choral-io-tls -n apps-gitlab \
    --key=local.choral.io.key --cert=local.choral.io.crt

安装MinIO Operator

本次演练中将MinIO Tenant安装至minio-operator命名空间，可根据需要替换。

• 安装MinIO Operator

  # operator.env[0].name=OPERATOR_STS_ENABLED 设置环境变量`OPERATOR_STS_ENABLED`的值
  # operator.env[0].value=off                 设置环境变量`OPERATOR_STS_ENABLED`的值为`off`，禁用STS服务
  helm upgrade --install --namespace minio-operator \
    --set operator.env[0].name=OPERATOR_STS_ENABLED \
    --set operator.env[0].value=off \
    minio-operator minio-operator/operator --version 7.1.1

安装MinIO Tenant

本次演练中将MinIO Tenant安装至minio-tenants命名空间，可根据需要替换。

• 创建MinIO Tenant

  # tenant.name=minio-default                                                                    设置MinIO Tenant实例的名称
  # tenant.image.tag=RELEASE.2025-07-23T15-54-02Z                                                指定MinIO镜像的版本
  # tenant.pools[0].name=pool-0                                                                  设置存储池名称
  # tenant.pools[0].servers=3                                                                    设置存储池中MinIO服务器数量
  # tenant.pools[0].volumesPerServer=3                                                           设置每个服务器的存储卷数量
  # tenant.pools[0].storageClassName=local-path                                                  指定分配PVC的存储类
  # tenant.pools[0].size=1Gi                                                                     定义存储卷的大小
  # tenant.certificate.requestAutoCert=false                                                     禁用自动申请证书（使用预配置的证书）
  # tenant.configuration.name=minio-default-env-configuration                                    指定环境变量Config Map名称
  # tenant.configSecret.name=minio-default-env-configuration                                     指定密钥配置Secret名称
  # tenant.serviceMetadata.minioServiceAnnotations."kube-router\.io/service\.hairpin"=""         启用MinIO服务Hairpin Mode访问（若使用kube-router）
  # ingress.api.enabled=true                                                                     开启MinIO Tenant的Ingress访问
  # ingress.api.host=minio.local.choral.io                                                       设置MinIO Tenant服务的访问域名
  # ingress.api.tls[0].secretName=local-choral-io-tls                                            指定TLS证书的Secret名称
  # ingress.api.annotations."traefik\.ingress\.kubernetes\.io/router\.entrypoints"=websecure     仅限HTTPS访问
  # ingress.console.enabled=true                                                                 开启MinIO Console的Ingress访问
  # ingress.console.host=minio-console.local.choral.io                                           定义MinIO Console服务的访问域名
  # ingress.console.tls[0].secretName=local-choral-io-tls                                        指定TLS证书的Secret名称
  # ingress.console.annotations."traefik\.ingress\.kubernetes\.io/router\.entrypoints"=websecure 仅限HTTPS访问
  helm upgrade --install --namespace minio-tenants \
    --set tenant.name=minio-default \
    --set tenant.image.tag=RELEASE.2025-07-23T15-54-02Z \
    --set tenant.pools[0].name=pool-0 \
    --set tenant.pools[0].servers=3 \
    --set tenant.pools[0].volumesPerServer=3 \
    --set tenant.pools[0].storageClassName=local-path \
    --set tenant.pools[0].size=1Gi \
    --set tenant.certificate.requestAutoCert=false \
    --set tenant.configuration.name=minio-default-env-configuration \
    --set tenant.configSecret.name=minio-default-env-configuration \
    --set tenant.configSecret.accessKey=minio \
    --set tenant.configSecret.secretKey=iRYafUXfG8U3 \
    --set tenant.serviceMetadata.minioServiceAnnotations."kube-router\.io/service\.hairpin"="" \
    --set ingress.api.enabled=true \
    --set ingress.api.host=minio.local.choral.io \
    --set ingress.api.tls[0].secretName=local-choral-io-tls \
    --set ingress.api.annotations."traefik\.ingress\.kubernetes\.io/router\.entrypoints"=websecure \
    --set ingress.console.enabled=true \
    --set ingress.console.host=minio-console.local.choral.io \
    --set ingress.console.tls[0].secretName=local-choral-io-tls \
    --set ingress.console.annotations."traefik\.ingress\.kubernetes\.io/router\.entrypoints"=websecure \
    minio-default minio-operator/tenant --version 7.1.1

• 获取访问MinIO Tenant的认证信息

  kubectl get secret -n minio-tenants minio-default-env-configuration -o jsonpath="{.data['config\.env']}" | base64 --decode
  # export MINIO_ROOT_USER="minio"
  # export MINIO_ROOT_PASSWORD="iRYafUXfG8U3"

安装MinIO Client

• 安装MinIO Client

  # 可根据需要在 https://dl.min.io/client/mc/release 找到可执行文件文件地址，直接下载到本地$PATH目录中
  # 笔者本地电脑为`x86_64`架构`Linux`操作系统
  sudo curl -L https://dl.min.io/client/mc/release/linux-amd64/mc -o /usr/local/bin/mc
  
  # 设置可执行文件的所有者和权限
  sudo chown root:root /usr/local/bin/mc
  sudo chmod 755 /usr/local/bin/mc
  
  # 验证是否可以正常运行
  mc --version | head -1
  # mc version RELEASE.2025-07-21T05-28-08Z (commit-id=ee72571936f15b0e65dc8b4a231a4dd445e5ccb6)

Bucket配置与应用

• 设置服务别名

  mc alias set choral-local https://minio.local.choral.io minio iRYafUXfG8U3

• 创建MinIO Bucket

  # 创建一个演示用Bucket，命名为`demo`
  mc mb choral-local/demo
  
  # 设置Bucket的访问策略，允许匿名下载
  mc anonymous set download choral-local/demo

• 创建和获取对象

  # 创建一个示例文件`hello.html`
  echo "hello, world." > hello.html
  
  # 将示例文件复制到Bucket中
  mc cp ./hello.html choral-local/demo/html/hello.html
  
  # 访问Bucket中的示例文件
  curl https://minio.local.choral.io/demo/html/hello.html
  # hello, world.

卸载和清理（可选）

• 删除MinIO Bucket

  # 列出演示用Bucket中的对象
  mc ls choral-local/demo
  # 删除Bucket中指定路径的单个对象
  mc rm choral-local/demo/html/hello.html
  # 删除Bucket中指定前缀的所有对象
  mc rm choral-local/demo/html/ --recursive --force
  # 删除Bucket，若Bucket不为空，默认禁止删除，可添加`--force`参数强制删除
  mc rb choral-local/demo # --force

• 删除MinIO Tenant

  helm uninstall --namespace minio-tenants minio-default

• 删除MinIO Operator

  helm uninstall --namespace minio-operator minio-operator

• 删除PVCs

  # 删除关联的存储卷声明
  kubectl delete pvc --namespace minio-tenants data{0,1,2}-minio-default-pool-0-{0,1,2}

参考资料

• https://kubernetes.io/docs/concepts/extend-kubernetes/operator/

• https://min.io/docs/minio/kubernetes/upstream/operations/install-deploy-manage/deploy-operator-helm.html

• https://min.io/docs/minio/kubernetes/upstream/operations/install-deploy-manage/deploy-minio-tenant-helm.html

• https://min.io/docs/minio/kubernetes/upstream/reference/operator-environment-variables.html#envvar.OPERATOR_STS_ENABLED

• https://github.com/minio/operator/blob/v7.1.1/helm/operator/values.yaml

• https://github.com/minio/operator/blob/v7.1.1/helm/operator/templates/minio.min.io_tenants.yaml#L3778

• https://github.com/minio/operator/blob/v7.1.1/helm/tenant/values.yaml

• https://min.io/docs/minio/linux/reference/minio-mc.html