描述背景：
注：记录各种常见问题
集群配置： 初始集群环境kubeadm 1.16.1
| ip | 自定义域名 | 主机名 |
|---|---|---|
| 192.168.3.8 | master.k8s.io | k8s-vip |
| 192.168.3.10 | master01.k8s.io | k8s-master-01 |
| 192.168.3.5 | master02.k8s.io | k8s-master-02 |
| 192.168.3.12 | master03.k8s.io | k8s-master-03 |
| 192.168.3.6 | node01.k8s.io | k8s-node-01 |
| 192.168.3.2 | node02.k8s.io | k8s-node-02 |
| 192.168.3.4 | node03.k8s.io | k8s-node-03 |
创建 Pod 失败，describe pod 看 event 报 no space left on device.集群运行120天左右出现。
可参照https://www.bookstack.cn/read/kubernetes-practice-guide/troubleshooting-problems-errors-no-space-left-on-device.md。出现此问题cgroup泄露问题。最笨方法可以用reboot下，或者删除节点重新添加下。瞄了一眼/var/lib/docker/overlay2 下文件有快70G，/var/log/journal/日志也有4-5G。
journalctl --vacuum-size=20M
设置journal 日志最大为20M不保留不必要日志。
prune命令的使用：
看了下文档与资料，对于不再使用的镜像容器，存储以及网络资源 docker采取的是被动清理方式。所以自然而然的，默认文件夹下文件会越来越大。docker 也为此提供了prune的命令。
1. Prune Images
docker image prune 可以用来清理不再使用的docker镜像。执行docker image prune默认会清除”悬空”镜像。“悬空”镜像，就是既没有标签名也没有容器引用的镜像就叫”悬空”镜像。具体操作如下：
$ docker image prune
WARNING! This will remove all dangling images.
Are you sure you want to continue? [y/N] y
想要清除所有没有容器引用的镜像，增加一个 -a 标志就可以搞定：
$ docker image prune -a
WARNING! This will remove all images without at least one container associated to them.
Are you sure you want to continue? [y/N] y
清除操作会提醒你是否真心想要清除对象，默认是选项会是yes；但是如果你嫌提示麻烦，可以通过-f 或者--force标志来进行强制清除。
更加人性化的是，Docker提供了--filter标志筛选出想要保留的镜像。例如：只清除超过创建时间超过24小时的镜像可以这样来操作：
$ docker image prune -a --filter "until=24h"
当然还能够通过其他的表达式来定制我的镜像清理计划。更多的示例参考docker image prune.
2. Prune containers
容器启动时没有指定–rm选项，容器停止时是不能够自动清除的。有时候我们无所事事的敲下docker ps -a命令会惊奇的发现，天哪，居然有这么多容器，有运行着的也有停止了的。它们是哪里来的？它们到底还有没有人在关注？这种情况在一个开发环境上尤其常见。即使容器已经停掉了也会占用空间资源。这个时候可以使用docker container prune命令:
$ docker container prune
WARNING! This will remove all stopped containers.
Are you sure you want to continue? [y/N]
和镜像清理的情况一样，也会有提示信息告诉你是否继续，默认是yes；如果提示信息烦到了你的话就加上 -f 或者 --force标志强制清除就可以了。
默认情况下docker container prune命令会清理掉所有处于stopped状态的容器；如果不想那么残忍统统都删掉，也可以使用--filter标志来筛选出不希望被清理掉的容器。下面是一个筛选的例子，清除掉所有停掉的容器，但24内创建的除外：
$ docker container prune --filter "until=24h"
其他的筛选条件的实现可以参考：docker container prune reference， 这里有更多的详细的例子。
3. prune volumes
Volumes可被一个或多个容器使用会消耗host端的空间，但它不会自动清理，因为那样就有可能破坏掉有用的数据。
$ docker volume prune
WARNING! This will remove all volumes not used by at least one container.
Are you sure you want to continue? [y/N] y
和conatiner一样，手动清理Volume时会有提示信息，增加-f 或--force标志可以跳过提示信息直接清理。使用过滤参数--filter来筛选出不希望清理的无用Volume，否则默认会将所有没有使用的volumes都清理掉。下面的例子演示了除lable=keep外的volume外都清理掉(没有引用的volume)：
$ docker volume prune --filter "label!=keep"
其他的筛选条件的实现可以参考：docker volume prune reference，这里给出了更多参考示例。
4. prune networks
虽然Docker networks占用的空间不多，但是它会创建iptable 规则、虚拟网桥设备以及路由表项，有洁癖的你看到这么多”僵尸”对象会不会抓狂？当然，我们还是要用清理神器：docker network prune 来清理没有再被任何容器引用的networks：
$ docker network prune
WARNING! This will remove all networks not used by at least one container.
Are you sure you want to continue? [y/N] y
可以通过 -f 或者 --force标志跳过提示信息来强制执行该命令。默认情况会清除所有没有再被引用的networks，如果想要过滤一些特定的networks，可以使用--filter来实现。下面这个例子就是通过--filter来清理没有被引用的、创建超过24小时的networks：
$ docker network prune --filter "until=24h"
更多关于docker network的--filter的筛选条件可参考示例：docker network prune reference 。
5. prune everything
如题，这里要讲的就是清理everything：images ，containers，networks一次性清理操作可以通过docker system prune来搞定。在Docker 17.06.0 以及更早的版本中，这个docker system prune也会将volume一起清理掉；在Docker 17.06.1以及后期的版本中则必须要手动指定–volumes标志才能够清理掉volumes：
$ docker system prune
WARNING! This will remove:
- all stopped containers
- all networks not used by at least one container
- all dangling images
- all build cache
Are you sure you want to continue? [y/N] y
在Docker 17.06.1或更高版本中添加--volumes标志的情况：
$ docker system prune --volumes
WARNING! This will remove:
- all stopped containers
- all networks not used by at least one container
- all volumes not used by at least one container
- all dangling images
- all build cache
Are you sure you want to continue? [y/N] y
貌似删除很有限，我的只删除了几百m
docker system prune -a
WARNING! This will remove:
- all stopped containers
- all networks not used by at least one container
- all volumes not used by at least one container
- all dangling images
- all build cache
Are you sure you want to continue? [y/N] y
这样管用些删除了 12G空间
