Welcome to duiniwukenaihe's Blog!

这里记录着我的运维学习之路

Cluster Setup - Verify Platform_Binaries

2021-03-15

duiniwukenaihe

cks

kubernetes cks Verify Platform_Binaries
- content {:toc
释意：

Verify platform binaries 验证平台的二进制文件

1. Hashes 哈希散列

详见知乎：https://zhuanlan.zhihu.com/p/37165658关于哈希算法与MD5、SHA讲的很是详细。还有csdn的https://blog.csdn.net/ljy1988123/article/details/51506578

1.1 Theory and Hashes-理论与哈希

哈希算法有两个评价标准，一个是无法回源，一个是随机性（碰撞概率小），一个是计算速度。常见的算法 Hash SHA MD5

1.2 Download and verify binaries 下载并验证二进制文件
Read All
Cluster Setup - CIS Benchmarks(集群设置-CIS基线)

2021-03-13

duiniwukenaihe

cks

kubernetes cks CIS Benchmarks
- content {:toc
  前言
  
  这一节主要掌握使用 kube-bench cis 安全基线检查集群的安全配置,并提高集群的安全性。所有操作都是抛砖引玉。
1 . 什么是 CIS

CIS—-Center fo internet Security 互联网安全中心

2. 关于csi
1. 安全配置目标系统的最佳实践
2. 涵盖超过14个技术组织
3. 通过独特的基于共识的流程开发而成，该流程由世界各地的网络安全专业人员和主题专家组成
3. 关于 CIS Benchmarks

CIS Benchmarks -Default k8s security rules 默认的kubernets的安全准则 无论是原生还是通过谷歌或者亚马逊云的定制化
Read All
Foudation-Node Metadata Protection--节点的元数据保护

2021-03-13

duiniwukenaihe

cks

kubernetes cks Metadata Protection
- content {:toc
  1. 关于元数据
  
  kubernets集群不管是运行与公有云还是私有云，都是有些元数据的资源的各种各样的标签。比如镜像id，网络设备id,硬盘的唯一id等。
  
  2. 举一个例子
  
  2.1 cloud platform node metadata 云平台节点元数据
1. 拿谷歌云和亚马逊云来说
2. 默认的情况下可以从虚拟机vm（云主机）访问元数据服务的api
3. 元数据中保护有vm节点（云主机）的各种凭据信息。如网络id,镜像id vpcid.硬盘等待各种相关信息。具体详细度要看云商平台或者私有云架构
4. 可以包含诸如kubelet凭证之类的置备数据
2.2 access sensitive node metadta 访问敏感节点元数据的原则

2.2.1 最常说的权限控制原则
1. Limitat permissions for instance credentials 权限最小化原则。
2. 确保cloud-instance-account仅具有必要的权限
3. 每个云提供商都应遵循一系列建议
4. 权限控制不在kubernetes中
Read All
Cluster Setup - Secure Ingress--安全入口

2021-03-12

duiniwukenaihe

cks

kubernetes cks ingress
- content {:toc
  前言
  
  ingress objects with security control 一个具有安全控制的入口对象 what is ingress？什么是入口 setup an ingress with services 使用服务设置入口 secure an ingress with tls 使用tls保护入口 参见官方文档 https://kubernetes.io/docs/concepts/services-networking/ingress/ 一个API对象，用于管理对集群中服务的外部访问，通常是HTTP。 入口可以提供负载平衡，SSL和基于名称的虚拟主机。
1. 什么是ingress？

一般的外部访问应用的流程
1. 通过yaml等资源创建一个nginx pod应用（也可以是其他应用，用nginx镜像就因为简单）
2. 外部用户通过LoadBalancer（负载均衡）映射到NodePort（主机暴露的3000-32767任一端口）通过ClusterIP（服务在集群内的ip)到pod应用暴露的端口。
Read All
Cluster Setup - GUI Elements GUI仪表盘

2021-03-11

duiniwukenaihe

cks

kubernetes cks GUI
- content {:toc
1. 前言

这部分主要讲了kubernetes的Gui工具 dashboard。

1. 关于 GUI元素的访问控制

1. GUI元素和仪表盘

2. 外部访问仪表盘的方法

3. 访问的限制

2. GUI元素和仪表盘遵循的原则

1. 只在需要时向外部公开服务

2. 集群内部服务/仪表板也可以使用kubectlport-forward端口转发访问。

3. 需要开启rbac权限控制，否则蒋导致权限过大

4. 对外暴露不是必须的
Read All
Cluster Setup - Network Policies 网络规则

2021-03-10

duiniwukenaihe

cks

kubernetes cks networkpolicy
- content {:toc
1. 网络安全规则

1.1. 关于网络安全规则
```
 1.  Firewall rules in kubernetes kubernetes     集群中的防火墙规则
 2.  Implemented by the Network Plugin CNI(Calico/Weave)    网络插件的实施方案
 3.  Namespace level       命名空间的级别
 4.  Restrict the ingress and/or Egress for a goup of pods based on certain rules and conditions  根据某些规则和条件限制一组Pod的进入和/或出口
```
注：先决条件是必须使用支持NetworkPolicy的网络解决方案默认状况下没有网络策略的状态并且：
1. by default every pod can access every pod 默认的可以访问任何pods
2. pods are not isolated pods 不是孤立的
Read All

Foundation - Containers under the hood引擎下的容器

2021-02-05

duiniwukenaihe

cks

kubernetes cks container

content {:toc
1. Containers and Images

Dockerfile- Script/text defined how to build an image 脚本或者文本定义了如何去创建一个镜像
Image-通过docker build构建的多层的二进制表现形式
通过docker run 可以运行该镜像的实例
也可以通过docker push将镜像上传到镜像仓库，然后通过docker pull 将镜像下载到本地服务器然后运行一个容器实例
2. 关于Container容器
Collection of one or multiple applications-收集一个或多个应用程序
Includes all its dependencies-包括所有的依赖项
Just process which runs on the Linux Kernel(but wich cannot see everything)-只是在Linux内核上运行的进程（但是无法看到所有内容）
3. Kernel vs User Space 内核vs 用户命名空间

容器和系统调用这个图就是为了突出 container 都运行在kernel层上面是不是可以理解为containers中app是直接运行在宿主机的内核之上， vm虚拟机中的app是运行在虚拟机操作系统的内核上而不是宿主机的内核之上？

4. Linux kernel namespace

PID

isolates processes from each other 进程相互隔离
one process cannot see others 一个进程看不到其他进程
process id 10 can exist multiple time,onece in every namespace 进程ID 10可以存在多个时间，每个命名空间只能出现一次
Mount
restrict access to mounts or root filesystem 限制对挂载或根文件系统的访问
Network
only access certain network devices 仅访问某些确定的网络设备
firewall& routing rules& socket port numbers 防火墙&路由规则&套接字端口号
not able to see all traffic or contact all endpoints 无法查看所有流量或无法联系所有端点
User
different set of user ids used 使用了不同的用户ID集
user(0)inside one namepsace can be different from user(0)inside another 命名空间内的用户（0）可以不同于另一个空间内的用户（0）
dont use the host-root(0)inside a countainer 不要在容器内使用主机根（0）

5. 关于namespace和cgroup的隔离

cgroups 限制进程使用的资源

Ram
Disk
CPU

namespaces 限制可以看到的进程

其他进程
用户
文件系统

6. Docker isolation in action—进行docker隔离的一个例子

例子：创建两个容器并检查它们是否彼此看不见

  两个容器运行与相同命名空间 ``` root@cks-master:~# docker run --name c1 -d ubuntu sh -c "sleep 1d" bc244ea97b2c0053dfa3df81580973034683fdda0c56abafe4ba4705b22866be root@cks-master:~# docker exec c1 ps aux USER       PID %CPU %MEM    VSZ   RSS TTY      STAT START   TIME COMMAND root         1  0.2  0.0   2612   532 ?        Ss   09:25   0:00 sh -c sleep 1d root         6  0.0  0.0   2512   588 ?        S    09:25   0:00 sleep 1d root         7  0.0  0.0   5900  2960 ?        Rs   09:25   0:00 ps aux root@cks-master:~# docker run --name c2 -d ubuntu sh -c "sleep 999d" 44393c4c47b07d6b210acdd30440d5f4c8d8fa836f9aa4b1eb51e53556c03ccf root@cks-master:~# docker exec c2 ps aux USER       PID %CPU %MEM    VSZ   RSS TTY      STAT START   TIME COMMAND root         1  0.1  0.0   2612   536 ?        Ss   09:25   0:00 sh -c sleep 999d root         6  0.0  0.0   2512   596 ?        S    09:25   0:00 sleep 999d root         7  0.0  0.0   5900  2852 ?        Rs   09:25   0:00 ps aux root@cks-master:~# ps -aux|grep sleep root      6897  0.0  0.0   2612   532 ?        Ss   17:25   0:00 sh -c sleep 1d root      6939  0.0  0.0   2512   588 ?        S    17:25   0:00 sleep 1d root      7148  0.0  0.0   2612   536 ?        Ss   17:25   0:00 sh -c sleep 999d root      7186  0.0  0.0   2512   596 ?        S    17:25   0:00 sleep 999d root      7405  0.0  0.0  13780  1016 pts/0    S+   17:26   0:00 grep --color=auto sleep root@cks-master:~# docker rm c2 --force c2 root@cks-master:~# docker run --name c2 --pid=contariner:c1 -d ubuntu sh -c "sleep 999d" docker: --pid: invalid PID mode. See 'docker run --help'. root@cks-master:~# docker run --name c2 --pid=container:c1 -d ubuntu sh -c "sleep 999d" 31a8e174129c86387d3f696d3b6166a860fa2f1ac878efca81c5f9a6d68d5486 root@cks-master:~# docker exec c2 ps -aux USER       PID %CPU %MEM    VSZ   RSS TTY      STAT START   TIME COMMAND root         1  0.0  0.0   2612   532 ?        Ss   09:25   0:00 sh -c sleep 1d root         6  0.0  0.0   2512   588 ?        S    09:25   0:00 sleep 1d root        13  0.0  0.0   2612   608 ?        Ss   09:26   0:00 sh -c sleep 999d root        18  0.0  0.0   2512   596 ?        S    09:26   0:00 sleep 999d root        19  0.0  0.0   5900  2820 ?        Rs   09:33   0:00 ps -aux root@cks-master:~# docker exec c1 ps -aux USER       PID %CPU %MEM    VSZ   RSS TTY      STAT START   TIME COMMAND root         1  0.0  0.0   2612   532 ?        Ss   09:25   0:00 sh -c sleep 1d root         6  0.0  0.0   2512   588 ?        S    09:25   0:00 sleep 1d root        13  0.0  0.0   2612   608 ?        Ss   09:26   0:00 sh -c sleep 999d root        18  0.0  0.0   2512   596 ?        S    09:26   0:00 sleep 999d root        24  0.0  0.0   5900  2988 ?        Rs   09:34   0:00 ps -aux

```

Read All

kubernetes secure Architecture- kuberntes安全架构

2021-02-04

duiniwukenaihe

cks

kubernetes cks
- content {:toc
1. docker Architecture
```
1. run container in container engine-在容器引擎中运行容器
2. Schedule containers effcient-高效的调度容器
3. Keep containers  alive and  health- 保持容器的存活和健康
4. Allow container communication- 允许容器的通信
5. Allow  common deployment techniques-允许通用的部署技术
6. handle volumes-处理卷
```
2. kubernetes Architecture

2.1 Contarol Plance

Contarol Plance-控制平面，简单的不知道我理解的对不对为master节点上面的etcd scheduler apiserver controler manager 。至于cloud control manager我理解是使用云商托管的kubernets 比如腾讯云的 cke还有阿里云的ack 都有类似的kubernets的托管服务。

见： https://kubernetes.io/docs/concepts/overview/components/#control-plane-components

1. kube-apiserver apiserver

控制平面暴露kubernets的api服务，API服务器是Kubernetes控制平面的前端。水平扩展平衡实例之间流量

2. etcd etcd数据库

Consistent and highly-available key value store used as Kubernetes’ backing store for all cluster data 高度一直的kv键值数据库。用作kubernetes的备份与数据存储。

3. kube-scheduler 调度器

监视没有分配节点的新创建的Pod，并选择一个节点以使其运行。调度策略有很多种，官网现学现卖：
```
     1. individual and collective resource requirements  个体和集体的资源需求
     2. hardware/software/policy constraints 硬件/软件/策略约束
     3. affinity and anti-affinity specifications 亲和性和反亲和力规范
     4. data locality  数据本地性
     5. inter-workload interference  工作负载之间的干扰
     6. deadlines  生存周期
```
4. kube-controller-manager

Control Plane component that runs controller processes. 控制平面运行控制的进程
- 节点控制器：负责在节点出现故障时进行通知和响应。
- 复制控制器：负责为系统中的每个复制控制器对象维护正确数量的Pod。
- 端点控制器：填充“端点”对象（即，加入“服务和窗格”）。
- 服务帐户和令牌控制器：为新的名称空间创建默认帐户和API访问令牌
  5. cloud-controller-manage
  云控制器暂时忽略吧，一般的还接触不到的
2.2. Data Plane

Data Plane—–数据平面。一般理解为work节点工作节点？主要有kubelet 和kube-proxy服务

1. kubelet

在集群中每个节点上运行的代理。确保容器在Pod中运行。维护节点上的网络规则.如果有kube-proxy可用，它将使用操作系统数据包过滤层。否则，kube-proxy会转发流量本身

2. kube-proxy

kube-proxy是一个网络代理，它在集群中的每个节点上运行，实现了Kubernetes Service概念的一部分。

3. Container runtime

容器运行时是负责运行容器的程序。 Kubernetes支持多种容器运行时：Docker，Containerd，CRI-O以及Kubernetes CRI（容器运行时接口）的任何实现形式。

3. Addons 组件扩展

注：插件的命名空间资源属于kube-system命名空间
```
1. dns  域名解析服务
2. Dashboard  webui 仪表盘
3. Container Resource Monitoring 容器资源的监控
4. Cluster-level Logging  集群级别的日志
```
4. 关于pod之间的通信

注：默认是全部可以通信的，当然了可以通过networkpolicy等方式进行隔离

5. PKI (Public Key Infrastructure 公共密钥基础设施)

1 . 关于pki的CA

注：关于ca学习的不是太透彻，有时间单独的好好学习一下
```
1.  CA  is the trusted root of all certificates inside the cluster  CA是群集内所有证书的受信任根
2.  All cluster ertificates are signed by the CA  所有集群的证书都由CA签名
3. .Used by components to validate each other  组件用来相互验证
```
2. Find various K8s certificates

关于Scheduler->Api 和controller-manage->Api 和 kubelet->Api 还有 kubelet server cert
Read All

Create you course K8s cluster-创建课程所需的k8s集群

2021-02-01

duiniwukenaihe

cks

kubernetes cks

content {:toc

注：由于限制不能谷歌云绑定银联卡了，直接拿两台腾讯云服务器做课程实例线上跑的是自建的集群搭建方式详见：https://duiniwukenaihe.github.io/2020/07/22/tencent-slb-kubeadm-ha/（跑了两个集群，其实还是跑的1.16版本，只进行了小版本升级现为1.16.15版本）关于安全组配置就不详细说明了，由于是个人测试这里也没有做安全组策略，直接开放了ALL，ssh端口也没有做更改，当然了密码设置还是符合个人的安全策略的。由于测试环境不做各种系统优化，复杂配置了。直接就按照课程的操作来了。 10.0.2.6 cks-master 10.0.2.17 cks-work 更改主机名 hostnamectl set-hostname cks-xxx 配置如下： (由于kill的课程是在国外的，apt仓库都是直接用的国外的，镜像仓库直接用的google的，切github仓库进行了版本更新故，修改了脚本)：

1. 10.0.2.6 cks-master 节点操作步骤：

1.1 master节点初始化

sh install_master.sh

#!/bin/sh
# Source: http://kubernetes.io/docs/getting-started-guides/kubeadm/
### setup terminal
apt-get install -y bash-completion binutils
echo 'colorscheme ron' >> ~/.vimrc
echo 'set tabstop=2' >> ~/.vimrc
echo 'set shiftwidth=2' >> ~/.vimrc
echo 'set expandtab' >> ~/.vimrc
echo 'source <(kubectl completion bash)' >> ~/.bashrc
echo 'alias k=kubectl' >> ~/.bashrc
echo 'alias c=clear' >> ~/.bashrc
echo 'complete -F __start_kubectl k' >> ~/.bashrc
sed -i '1s/^/force_color_prompt=yes\n/' ~/.bashrc
### install k8s and docker
apt-get remove -y docker.io kubelet kubeadm kubectl kubernetes-cni
apt-get autoremove -y
apt-get install -y etcd-client vim build-essential
systemctl daemon-reload
curl https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | apt-key add -
cat <<EOF > /etc/apt/sources.list.d/kubernetes.list
deb https://mirrors.aliyun.com/kubernetes/apt/ kubernetes-xenial main
EOF
KUBE_VERSION=1.19.3
apt-get update
apt-get install -y docker.io kubelet=${KUBE_VERSION}-00 kubeadm=${KUBE_VERSION}-00 kubectl=${KUBE_VERSION}-00 kubernetes-cni=0.8.7-00
cat > /etc/docker/daemon.json <<EOF
{
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "storage-driver": "overlay2"
}
EOF
mkdir -p /etc/systemd/system/docker.service.d
# Restart docker.
systemctl daemon-reload
systemctl restart docker
# start docker on reboot
systemctl enable docker
docker info | grep -i "storage"
docker info | grep -i "cgroup"
systemctl enable kubelet && systemctl start kubelet
### init k8s
rm /root/.kube/config
kubeadm reset -f
kubeadm init --kubernetes-version=${KUBE_VERSION} --ignore-preflight-errors=NumCPU --skip-token-print
mkdir -p ~/.kube
sudo cp -i /etc/kubernetes/admin.conf ~/.kube/config
kubectl apply -f "https://cloud.weave.works/k8s/net?k8s-version=$(kubectl version | base64 | tr -d '\n')"
echo
echo "### COMMAND TO ADD A WORKER NODE ###"
kubeadm token create --print-join-command --ttl 0

1.2. 下载所需要镜像

kubeadm config images list –kubernetes-version 1.19.3 确定1.19.3版本所需要的镜像版本，在阿里云镜像仓库下载并且修改镜像标签为k8s.gcr.io镜像仓库标签，当然了也可以采用创建kubeadm初始化文件的方式修改镜像仓库为阿里云或者其他国内镜像仓库。至于不同版本之间都是大同小异。

sh images.sh

#!/bin/bash
images=(
    kube-apiserver:v1.19.3
    kube-controller-manager:v1.19.3
    kube-scheduler:v1.19.3
    kube-proxy:v1.19.3
    pause:3.2
    etcd:3.4.13-0
    coredns:1.7.0
)

for imageName in ${images[@]};do
  docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName
  docker tag  registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName k8s.gcr.io/$imageName
  docker rmi  registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName
done

注：碰到的好玩的注意的：

copy有格式的内容到linux如何保持原有的格式？ vim :set parste

ubuntu执行bash 显示：images.sh: 2: images.sh: Syntax error: “(“ unexpected why? 详见：https://blog.csdn.net/u014470581/article/details/51493150/

   sudo dpkg-reconfigure dash ![image.png](https://img-blog.csdnimg.cn/img_convert/5eb2a9be5e0d238223f7d8fbe79049ee.png#align=left&display=inline&height=648&margin=[objectObject]&name=image.png&originHeight=648&originWidth=1286&size=32265&status=done&style=none&width=1286)
    选择no 保存 就ok了。

关于下载镜像。下载镜像是dokcer去下载的自己把控执行下载镜像脚本的时间了，当install_master.sh脚本安装完docker的过程中就可以下载镜像了。当然了也可以安装自己的节奏来了，不一定用他教程上面的了，按照他的步骤就是纯属为了加深下课程的理解。
当然了还有你想自己修改的，比如网络插件，集群节点的网络规划网段，都可以安装自己想的修改了。

Read All

K8s Security Best Practices-K8S安全最佳实践

2021-01-28

duiniwukenaihe

cks

kubernetes cks
- 1. Security Principles 安全原则
- 2. K8s Security Categories k8S安全分类
1. 关于安全-写在前面的： Security is complex and a process 安全是复杂的，而且是一个过程
  1. Security combines many diffenrent things 安全结合了许多不同的东西
  2. Environments change,security cannot stay in a certain state 环境变化，安全性不能保持一定状态
  3. Attackers have advantage 攻击者有优势 3.1 . They decide time 他们决定的时间（任意时间） 3.2. They pick what to attack ,like weakest link 他们选择要攻击的内容，例如最薄弱的环节
1. Security Principles 安全原则
1. Defense in depth 深度防御
2. Least Privilege 最小权限原则
3. Limiting the Attack Surface 限制攻击面
4. Layered defence and Redundancy 分层防御和冗余
2. K8s Security Categories k8S安全分类

2.1 Host OS Security 宿主机操作系统安全
```
 1. kubernets Node should only do one thing :  Kubernetes 
    kubernets节点应该只运行kubernets
    1.1. Reduce Attack Surface   减少攻击面             
    1.2. Remove unnecessary applications   移除不必要的应用                          
 2. Keep up to date     保持升级
 3. Rutime security tools     运行时安全工具
 4. Find and identify malicious processes  查找和识别恶意进程
 5. Restrict IAM  ssh access      限制IAM(Identity and Access Management  身份识别与访问管理服务) 与SSH访问
```
2.2 Kubernetes Cluster Security k8s集群安全

kubernetes components are runing secure and up-to-data kubernetes集群组件保持安全和最新的运行

**1. apiserver
1. kubelet
2. etcd**
Restrict(external)access 限制（外部）访问 use authentication ->authorization 使用身份认证授权 Admission Controllers 控制器准入？ noderestriction 节点限制 custom policies(opa) 自定义规则 Enable Audit Logging 启用审计日志记录 Security Benchmarking 安全基线测试

由此可见最新的还是很重要的，老的版本会有漏洞，有必要保证组件版本的更新升级一个通过 pod 攻击etcd的例子展现与etcd的安全策略： 加密etcd 限制访问etcd 加密与etcd的通信

2.3 Application Security 应用安全
```
 1. Use Secrets /no hardcoded credentials  使用secrets秘钥 而不是硬编码的凭据

 2. RBAC                       基于角色的访问控制
 
 3. Container Sandboxing                          容器沙盒

 4. Container Hardening                            容器加固

   4.1 Attack Surface                             攻击表面
   
   4.2 Run as user                                 作为用户运行 no root
   
   4.3 Readonly filesystem                    只读的文件系统
   
5. Vulnerability Scanning                         漏洞扫描

6. MTLS/ServiceMeshes                          双向认证/服务网格在这里插入代码片
```
Read All

6/9

Welcome to duiniwukenaihe's Blog!

释意：

Verify platform binaries 验证平台的二进制文件

1. Hashes 哈希散列

1.1 Theory and Hashes-理论与哈希

1.2 Download and verify binaries 下载并验证二进制文件

前言

1 . 什么是 CIS

2. 关于csi

3. 关于 CIS Benchmarks

1. 关于元数据

2. 举一个例子

2.1 cloud platform node metadata 云平台节点元数据

2.2 access sensitive node metadta 访问敏感节点元数据的原则

前言

1. 什么是ingress？

1. 前言

1. 关于 GUI元素的访问控制

1. GUI元素和仪表盘

2. 外部访问仪表盘的方法

3. 访问的限制

2. GUI元素和仪表盘遵循的原则

1. 只在需要时向外部公开服务

2. 集群内部服务/仪表板也可以使用kubectlport-forward端口转发访问。

3. 需要开启rbac权限控制，否则蒋导致权限过大

4. 对外暴露不是必须的

1. 网络安全规则

1.1. 关于网络安全规则

1. Containers and Images

2. 关于Container容器

3. Kernel vs User Space 内核vs 用户命名空间

4. Linux kernel namespace

PID

Mount

Network

User

5. 关于namespace和cgroup的隔离

6. Docker isolation in action—进行docker隔离的一个例子

1. docker Architecture

2. kubernetes Architecture

2.1 Contarol Plance

1. kube-apiserver apiserver

2. etcd etcd数据库

3. kube-scheduler 调度器

4. kube-controller-manager

5. cloud-controller-manage

2.2. Data Plane

1. kubelet

2. kube-proxy

3. Container runtime

3. Addons 组件扩展

4. 关于pod之间的通信

5. PKI (Public Key Infrastructure 公共密钥基础设施)

1 . 关于pki的CA

2. Find various K8s certificates

1. 10.0.2.6 cks-master 节点操作步骤：

1.1 master节点初始化

1.2. 下载所需要镜像

1. Security Principles 安全原则

2. K8s Security Categories k8S安全分类

2.1 Host OS Security 宿主机操作系统安全

2.2 Kubernetes Cluster Security k8s集群安全

2.3 Application Security 应用安全