前言#

在迁移AquaDX到K8s集群中的时候，我需要给别人远程访问的权限

我的服务器是不公开的我并不打算公开出去给所有人用

之前用的ZeroTier因为几个原因我决定废弃了：

他把路由选项从控制面板中删除了，改为要付费的
他要修改宿主机的tun配置来实现二层上的网络代理，这在K8s中是不允许的
打洞策略太迷即使能UPnP直连或者IPv6直连有时候他还是中转

第一点导致我没法用来代理整个网段了，以前我把他装在OpenWrt上，这样我可以连接上网络之后访问我整个局域网，现在没了

第二点则是他的硬伤，或许我们有方法让他不修改tun，但显然没必要

我们可以选择性能更高的三层网络方案，基于WireGuard的一大堆都可以

我看到了Github上的这个：https://github.com/HarvsG/WireGuardMeshes/blob/main/readme.md

可以看到最成熟的应该是NetBird和Tailscale

我在之前是使用过Tailscale的，也确实很成熟

NetBird也不差

考虑到我用过Tailscale，我决定还是用他

但是Tailscale打洞中转延迟非常高，因为国内没有服务器

那么有没有最夯的方式呢

自建Headscale#

我其实想过自建Netbird，但我一打开Netbird那网站和Tailscale也差不多嘛

上面那个图的HeadScale其实就是Tailscale控制平面的开源实现

TailScale客户端是开源的，控制端则闭源和Zerotier一样

事实上的话我们可以自己搭建中继节点，然后用Tailscale官方的功能就完全足够了

但是都要自己搭了我干嘛不把控制平面也自己弄了呢（）顺便解锁一些收费才能用的功能

也能同时解决打不了洞难中转的问题

其实的话不难，Headscale麻烦的是那个config

1
---
2
apiVersion: apps/v1
3
kind: Deployment
4
metadata:
5
  annotations: {}
6
  labels:
7
    app: headscale
8
    k8s.kuboard.cn/name: headscale
9
  name: headscale
10
  namespace: headscale
11
spec:
12
  replicas: 1
13
  selector:
14
    matchLabels:
15
      app: headscale
16
      labels:
17
        app: headscale
18
    spec:
19
      containers:
20
        - command:
21
            - headscale
22
            - serve
23
          image: 'docker.io/headscale/headscale:stable'
24
          imagePullPolicy: IfNotPresent
25
          name: headscale
26
          ports:
27
            - containerPort: 8080
28
              name: web
29
              protocol: TCP
30
            - containerPort: 9090
31
              name: metrics
32
              protocol: TCP
33
            - containerPort: 50443
34
              name: grpc
35
              protocol: TCP
36
          volumeMounts:
37
            - mountPath: /var/lib/headscale
38
              name: headscale-data
39
            - mountPath: /var/run/headscale
40
              name: headscale-data
41
            - mountPath: /etc/headscale
42
              name: config
43
              readOnly: true
44
      volumes:
45
        - name: headscale-data
46
          persistentVolumeClaim:
47
            claimName: headscale-data
48
        - configMap:
49
            defaultMode: 420
50
            items:
51
              - key: server-config.yaml
52
                path: config.yml
53
            name: server-config.yaml
54
          name: config
55
---
56
apiVersion: v1
57
kind: Service
58
metadata:
59
  annotations:
60
    metallb.io/ip-allocated-from-pool: default-address-pool
61
  labels:
62
    app: headscale
63
    k8s.kuboard.cn/name: headscale
64
  name: headscale
65
  namespace: headscale
66
spec:
67
  allocateLoadBalancerNodePorts: true
68
  clusterIP: 10.110.187.183
69
  clusterIPs:
70
    - 10.110.187.183
71
  externalTrafficPolicy: Cluster
72
  internalTrafficPolicy: Cluster
73
  ipFamilies:
74
    - IPv4
75
  ipFamilyPolicy: SingleStack
76
  ports:
77
    - name: web
78
      nodePort: 30667
79
      port: 8080
80
      protocol: TCP
81
      targetPort: 8080
82
    - name: metrics
83
      nodePort: 32383
84
      port: 9090
85
      protocol: TCP
86
      targetPort: 9090
87
    - name: grpc
88
      nodePort: 32594
89
      port: 50443
90
      protocol: TCP
91
      targetPort: 50443
92
  selector:
93
    app: headscale
94
  sessionAffinity: None
95
  type: LoadBalancer
96
status:
97
  loadBalancer:
98
    ingress:
99
      - ip: 10.0.100.11
100
        ipMode: VIP

然后的话是config

1
server_url: http://127.0.0.1:8080
2

3
listen_addr: 0.0.0.0:8080
4
metrics_listen_addr: 0.0.0.0:9090
5
grpc_listen_addr: 0.0.0.0:50443
6
grpc_allow_insecure: true
7

8
noise:
9
  private_key_path: /var/lib/headscale/noise_private.key
10

11
prefixes:
12
  v4: 100.64.0.0/10
13
  v6: fd7a:115c:a1e0::/48
14
  allocation: sequential
15

16
derp:
17
  server:
18
    enabled: false
19
  urls:
20
    - https://controlplane.tailscale.com/derpmap/default
21
  auto_update_enabled: true
22
  update_frequency: 3h
23

24
disable_check_updates: false
25
ephemeral_node_inactivity_timeout: 30m
26

27
database:
28
  type: sqlite
29
  sqlite:
30
    path: /var/lib/headscale/db.sqlite
31
    write_ahead_log: true
32
    wal_autocheckpoint: 1000
33

34
acme_url: https://acme-v02.api.letsencrypt.org/directory
35
tls_letsencrypt_cache_dir: /var/lib/headscale/cache
36
tls_cert_path: ""
37
tls_key_path: ""
38

39
log:
40
  level: info
41
  format: text
42

43
policy:
44
  mode: file
45
  path: ""
46

47
dns:
48
  magic_dns: true
49
  base_domain: headscale.lan
50
  override_local_dns: true
51
  nameservers:
52
    global:
53
      - 1.1.1.1
54
      - 8.8.8.8
55
  split: {}
56
  search_domains: []
57
  extra_records: []
58

59
unix_socket: /var/run/headscale/headscale.sock
60
unix_socket_permission: "0770"
61

62
logtail:
63
  enabled: false
64

65
randomize_client_port: false

不出意外就没问题了，但是Headscale没有GUI，搭起来之后我们得用CLI访问

这行吗这肯定不行啊

我们可以参考Headscale的官方界面选一个GUI

https://headscale.net/stable/ref/integration/web-ui/

我选了一下有四个

https://github.com/simcu/headscale-ui

https://github.com/tale/headplane

https://github.com/GoodiesHQ/headscale-admin

https://github.com/rickli-cloud/headscale-console

根据自己对UI的喜好选一个就好

最后我根据Star数和更新频率决定选择headplane

他的UI也是仿造的Tailscale ~~把人饭碗抢光光了~~

也好，熟悉Tailscale可以直接上手

去看一下这玩意还支持反代,SSO,SSH key 完美

看了一下为了Headplane能管理，最好的方式是把他们跑在一起

我一开始想的是给他们挂在同一个Deployment下使用两个工作容器

其实没必要，分开也是完全可以的

~~因为我把headscale和headplane看混好几次~~

这他妈也太像了吧

为了便于区分，之后Headscale简称Scale，Headplane简称Plane

不管怎么说，我们先把他~~分开部署~~

请把Plane和Scale放在同一个Deployment中，详情看后面就知道了😄

1
---
2
apiVersion: apps/v1
3
kind: Deployment
4
metadata:
5
  labels:
6
    k8s.kuboard.cn/name: plane
7
  name: plane
8
  namespace: headscale
9
spec:
10
  progressDeadlineSeconds: 600
11
  replicas: 1
12
  revisionHistoryLimit: 2
13
  selector:
14
    matchLabels:
15
      k8s.kuboard.cn/name: plane
16
  template:
17
    metadata:
18
      labels:
19
        k8s.kuboard.cn/name: plane
20
    spec:
21
      containers:
22
        - image: 'ghcr.io/tale/headplane:latest'
23
          imagePullPolicy: IfNotPresent
24
          name: headplane
25
          ports:
26
            - containerPort: 3000
27
              name: web
28
              protocol: TCP
29
          volumeMounts:
30
            - mountPath: /etc/headplane
31
              name: config
32
            - mountPath: /var/lib/headplane
33
              name: data
34
            - mountPath: /etc/headscale
35
              name: scale-config
36
              readOnly: true
37
      volumes:
38
        - configMap:
39
            items:
40
              - key: config.yml
41
                path: config.yaml
42
            name: plane-config
43
          name: config
44
        - name: data
45
          persistentVolumeClaim:
46
            claimName: headplane-data
47
        - configMap:
48
            items:
49
              - key: server-config.yaml
50
                path: config.yaml
51
            name: server-config.yaml
52
          name: scale-config
53

54
---
55
apiVersion: v1
56
kind: Service
57
metadata:
58
  annotations: {}
59
  labels:
60
    k8s.kuboard.cn/name: plane
61
  name: plane
62
  namespace: headscale
63
  ports:
64
    - name: web
65
      port: 3000
66
      protocol: TCP
67
      targetPort: 3000
68
  selector:
69
    k8s.kuboard.cn/name: plane
70
  sessionAffinity: None
71
  type: ClusterIP
72

73
---
74
apiVersion: networking.k8s.io/v1
75
kind: Ingress
76
metadata:
77
  annotations: {}
78
  labels:
79
    k8s.kuboard.cn/name: plane
80
  name: plane
81
  namespace: headscale
82
spec:
83
  ingressClassName: nginx-ingress
84
  rules:
85
    - host: headplane.k8s.lan
86
      http:
87
        paths:
88
          - backend:
89
              service:
90
                name: plane
91
                port:
92
                  number: 3000
93
            path: /
94
            pathType: Prefix

然后还有Config

1
    server:
2
      host: "0.0.0.0"
3
      port: 3000
4
      cookie_secret: "$(openssl rand -hex 16)一个在这里"
5
      cookie_secure: false # 不改的话不是https不会发送Cookie
6
      data_path: "/var/lib/headplane"
7
    headscale:
8
      url: "http://headscale.headscale.svc.cluster.local"
9
      config_path: "/etc/headscale/config.yaml"
10
      config_strict: true
11
    integration:
12
      agent:
13
        enabled: false
14
        pre_authkey: "<your-preauth-key>"
15
      docker:
16
        enabled: false
17
        container_label: "me.tale.headplane.target=headscale"
18
        socket: "unix:///var/run/docker.sock"
19
      kubernetes:
20
        enabled: true
21
        validate_manifest: true
22
        pod_name: "headscale"
23

24
      proc:
25
        enabled: false

我这里把OIDC段删了，我们先跑起来再去配置

然后就报错了

傻逼了因为我们设置了kubernetes integration

简单来说就是可以让Plane自动发现集群中的Scale服务，自动通信

我们现在需要设置一下Service Account，默认的default是没有任何权限的

我们需要让plane可以查看访问同命名空间下的pod

1
---
2
apiVersion: v1
3
kind: ServiceAccount
4
metadata:
5
  name: headplane
6
  namespace: headscale
7

8
---
9

10
apiVersion: rbac.authorization.k8s.io/v1
11
kind: Role
12
metadata:
13
  name: headplane-role
14
  namespace: headscale
15
rules:
16
  - apiGroups: [""]
17
    resources: ["pods"]
18
    verbs: ["get", "list", "watch"]
19

20
---
21
apiVersion: rbac.authorization.k8s.io/v1
22
kind: Role
23
metadata:
24
  name: headplane-role
25
  namespace: headscale
26
rules:
27
  - apiGroups: [""]
28
    resources: ["pods"]
29
    verbs: ["get", "list", "watch"]

然后修改一下Plane让他使用这个ServiceAccount

重启一下

尼玛。

我想到Pod名字是随机的，我们在Config里填的

1
kubernetes:
2
        enabled: true
3
        validate_manifest: true
4
        pod_name: "headscale"

他其实还有一行注释在上面：

1
kubernetes:
2
        enabled: true
3
        validate_manifest: true
4
    # This should be the name of the Pod running Headscale and Headplane.
5
    # If this isn't static you should be using the Kubernetes Downward API
6
    # to set this value (refer to docs/Integrated-Mode.md for more info).
7
        pod_name: "headscale"

我去看看他的文档先：

？你这个文档在哪呢

反正说白了就是，Pod名字是会变动的，我们可以用Downward API去解决这个问题

等一下席巴了通过这个注入podname需要同一个Deployment

我真是草了

其实也不用说非得注入，我们可以把Scale改成StatefulSet，这样他的名字就是固定的了

其实的话integration是可以false的，我们在上面已经通过集群内域名实现Plane对Scale的访问了

但我已经折腾到这了给他一起配上吧

把Plane也放到同一个Deployment里作为另一个工作容器

等一下啊 configmap是只读的

那怎么让Plane修改config

我真红了我写到这已经边折腾边写3小时了直接用Tailscale的话Sidecar都跑起来收工了

卧槽我们跑起来还要跑Sidecar呢

没话说了折腾到这我已经有点沉默了我们先不管integration 先看看能不能用

欸等一下

给自己折腾傻了，Plane的默认界面是/admin

白浪费一个小时去来回调，先用Service访问不香吗（

那我们进headscale容器生成一个key先

这headscale容易默认啥shell都没有

我们还得去master节点exec一下

忘记指定命名空间了真玩傻了

1
kubectl exec -n headscale -it headscale-59bd5c7d65-8j5k6 -- headscale apikeys create

然后就可以进到管理界面了

那就剩一个小问题

我们得把Configmap拷贝到PVC中并允许多节点同时读写

我选择用一个init pod自动拷贝，这样就能解决问题了

然后就在这时候

卧槽Worker炸了

真是坎坎又坷坷啊

我一看普罗米修斯在我的Worker里给人类偷取火种去了

西巴了搞个wg组网搞一晚上

我先把Grafana监控套件全删了

这个是题外话修好之后就可以正常使用headplane了

写了500多行了终于完事了

那我们就顺便配置下OIDC吧

只需要在Plane的下面加上这些就好了

Scale同理，这样的话登录的时候就不用去手动输入Machine key，过OIDC就好了

1
oidc:
2
  issuer: "https://example.com/application/o/headplane-oidc/"
3
  client_id: "secret"
4
  client_secret: "secret"
5
  scope: "openid email profile"
6
  disable_api_key_login: true
7
  token_endpoint_auth_method: "client_secret_post"
8
  headscale_api_key: "api key"
9
  redirect_uri: "https://example.com/admin/oidc/callback"

Authentik上的话，别的都和正常创建OIDC一样，最关键的是要选择一个签名证书，并且是RS256加密的

这样的话就可以实现加入网络和管理都用同一套帐号了

完事接下来是Sidecar 太长了我决定放到另一篇

前言#

自建Headscale#

文章分享

音乐

文章目录

论远程零信任访问的搭建(1)Headscale的搭建

前言#

自建Headscale#

文章分享

音乐

文章目录