前言
接上文https://blog.csdn.net/saynaihe/article/details/115187298 kubeadm 搭建高可用ha集群,接下来考虑的度量有存储,对外暴露服务。日志收集,监控报警几项。个人习惯就先将存储优先来讨论了。 关于存储storageclass 如https://kubernetes.io/zh/docs/concepts/storage/storage-classes所示,常见的有很多类型,如下: 由于我的集群建在公有云上面 腾讯云有开源的cbs 的 csi组件。在kubernetes1.16-1.18 环境使用docker 做runtime的环境中使用过腾讯云的开源组件。这就又拿来用了。方便集成。
初始环境
参加:https://editor.csdn.net/md/?articleId=115187298
主机名 | ip | 系统 | 内核 |
---|---|---|---|
sh-master-01 | 10.3.2.5 | centos8 | 4.18.0-240.15.1.el8_3.x86_64 |
sh-master-02 | 10.3.2.13 | centos8 | 4.18.0-240.15.1.el8_3.x86_64 |
sh-master-03 | 10.3.2.16 | centos8 | 4.18.0-240.15.1.el8_3.x86_64 |
sh-work-01 | 10.3.2.2 | centos8 | 4.18.0-240.15.1.el8_3.x86_64 |
sh-work-02 | 10.3.2.2 | centos8 | 4.18.0-240.15.1.el8_3.x86_64 |
sh-work-03 | 10.3.2.4 | centos8 | 4.18.0-240.15.1.el8_3.x86_64 |
集成腾讯云 CBS CSI
1. clone 仓库
注: kubernetes-csi-tencentcloud中包括 CBS CSI, CFS CSI 与 COSFS CSI。这里我就只用CBS块存储了。其他两个也用过,感觉用起来还是不太适合。
git clone https://github.com/TencentCloud/kubernetes-csi-tencentcloud.git
各种名词可以参照:https://github.com/TencentCloud/kubernetes-csi-tencentcloud/blob/master/docs/README_CBS_zhCN.md。
2.参照文档前置要求完成kubernetes集群的配置修改
1. master节点
参照https://github.com/TencentCloud/kubernetes-csi-tencentcloud/blob/master/docs/README_CBS_zhCN.md。参照一下图片前置要求 对三台master节点修改 kube-apiserver.yaml kube-controller-manager.yaml kube-scheduler.yaml。增加如下配置(查看对应版本对应需求)
- --feature-gates=VolumeSnapshotDataSource=true
2. 修改所有节点的kubelet配置
kubelet增加–feature-gates=VolumeSnapshotDataSource=true的支持
3.部署CBS CSI插件
1. 使用腾讯云 API Credential 创建 kubernetes secret:
1. 前提:
首先的在腾讯云后台https://console.cloud.tencent.com/cam创建一个用户,访问方式我是只开通了编程访问,至于用户权限则需要开通CBS相关权限。我是直接绑定了CSB两个默认相关的权限,还有财务付款权限,记得一定的支持付款,否则硬盘创建不了……。玩的好的可以自定义创建下权限,否则个人觉得财务权限貌似有点大……
2. 根据文档提示将SecretId SecretKey base64转换生成kubernetes secret
echo -n "XXXXXXXXXXX" |base6
echo -n "XXXXXXXXXX" |base64
将base64写入secret.yaml文件
cd /root/kubernetes-csi-tencentcloud-master/deploy/cbs/kubernetes
kubectl apply -f secret.yaml
注:项目是在root目录git clone的,故cd /root/kubernetes-csi-tencentcloud-master/deploy/cbs/kubernetes.包括一下没有特别强调目录的,都是在此目录下执行的
2. 创建rbac
创建attacher,provisioner,plugin需要的rbac:
kubectl apply -f csi-controller-rbac.yaml
kubectl apply -f csi-node-rbac.yaml
3.创建controller,node和plugin
创建controller plugin和node plugin
kubectl apply -f csi-controller.yaml
kubectl apply -f csi-node.yaml
### snapshot-crd我没有使用,字面意思应该是快照的....
kubectl apply -f snapshot-crd.yaml
kubectl get pods -n kube-system 可以看到cbs-csi相关组件创建ing:
4. 验证
切换目录 cd /root/kubernetes-csi-tencentcloud-master/deploy/cbs/examples
- 参照storageclass参数修改storageclass-basic.yaml
创建storageclass:
kubectl apply -f storageclass-basic.yaml
创建pvc:
kubectl apply -f pvc.yaml
创建申请pvc的pod:
kubectl apply -f app.yaml
嗯 kubectl get storageclass
到此为止,搭建其他应用就可以用cbs存储了。具体参数看文档 看文档 看文档 说三遍。