K8S 部署的 DolphinScheduler 出现 dolphinscheduler-master-2.dolphinscheduler-master-headless connection timed out

一、问题

定时任务下线接口很耗时，超过10s，通过查看 ds-api 日志，发现找不到master，具体报错如下：

dolphinscheduler-master-2.dolphinscheduler-master-headless connection timed out

通过查看 headless service，发现该服务对应的pod ip和上述解析出来的不一样：

初步怀疑是 pod dns 域名解析导致的问题，通过 ping

二、解决

1、删掉 coredns pod，pod重启会重新加载dns域名解析；
2、删除掉 nodelocaldns pod，pod重启会清除掉旧的dns 记录缓存，让重新加载dns；

使用 kubectl 删除 nodelocaldns pod，让 k8s 重建 nodelocaldns，最终通过上边的两个操作，可以正常解析出pod的IP了，服务也可以正常使用了。

相关文章：
nodelocaldns导致coredns hosts配置失效
使用node local dns来提升ClusterDNS服务质量
nodelocaldns 造成 coredns hosts 插件失效
终于解决 k8s 集群中部署 nodelocaldns 的问题

为者常成，行者常至