LinuCエヴァンジェリストの鯨井貴博@opensourcetechです。
はじめに
今回は、kubernetes-dashboardを使ってみます。
なお、kubernetesは以下の記事で作成したクラスターを使っています。
DualStack(IPv4 & IPv6)のkubernetesクラスター構築(v1.26.00・ubuntu22.04)
https://www.opensourcetech.tokyo/entry/20230314/1678782139
kubernetes-dashboardとは
kubernetes-dashboardは、kubernetesリソースのモニタリングをしたり、
リソースのデプロイをすることが出来るWeb UIです。
https://kubernetes.io/ja/docs/tasks/access-application-cluster/web-ui-dashboard/
kubernetes-dashboardのインストール(デプロイ)
kubernetes-dashboardをインストールします。
インストール方法は、以下の2つを参考にしています。
Kubernetes Dashboard
Creating sample user
まずは、kubernetes-dashboardのyamlファイルのダウンロード。
kubeuser@master01:~/dashboard$ wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.7.0/aio/deploy/recommended.yaml --2023-03-28 01:55:58-- https://raw.githubusercontent.com/kubernetes/dashboard/v2.7.0/aio/deploy/recommended.yaml Resolving raw.githubusercontent.com (raw.githubusercontent.com)... 2606:50c0:8000::154, 2606:50c0:8001::154, 2606:50c0:8002::154, ... Connecting to raw.githubusercontent.com (raw.githubusercontent.com)|2606:50c0:8000::154|:443... connected. HTTP request sent, awaiting response... 200 OK Length: 7621 (7.4K) [text/plain] Saving to: ‘recommended.yaml’ recommended.yaml 100%[=========================================================================>] 7.44K --.-KB/s in 0s 2023-03-28 01:55:58 (19.3 MB/s) - ‘recommended.yaml’ saved [7621/7621] kubeuser@master01:~/dashboard$ ls recommended.yaml
yamlファイルはそのまま使ってもいいのですが、
今回は外部クライアントからもkubernetes-dashboardにアクセスしたいので、
一箇所追記します。
追加する設定はkubernetes-dashboardを公開するServiceに関する部分で、
デフォルトのClusterIP(kubernetesクラスター内からのみアクセス可能)からLoadBalancer(外部クライアントからもアクセス可能)に変更します。
なお、LoadBalancerのServiceを使う場合、MetalLBなどの外部からアクセス可能なIPアドレスを付与してくれるロードバランサが必要となるので、
以下の記事を参考に用意する、もしくはLoadBalancerではなくNodePortのServiceを使うなどします。
MetalLBとService(type:LoadBalancer)による外部クライアントへのサービス公開(kubernetes v1.26.00 on ubuntu22.04)
https://www.opensourcetech.tokyo/entry/20230316/1678966960
kubeuser@master01:~/dashboard$ cp recommended.yaml recommended_original.yaml
kubeuser@master01:~/dashboard$ vi recommended.yaml
kubeuser@master01:~/dashboard$ cat recommended.yaml
# Copyright 2017 The Kubernetes Authors.
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
# http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
apiVersion: v1
kind: Namespace
metadata:
name: kubernetes-dashboard
---
apiVersion: v1
kind: ServiceAccount
metadata:
labels:
k8s-app: kubernetes-dashboard
name: kubernetes-dashboard
namespace: kubernetes-dashboard
---
kind: Service
apiVersion: v1
metadata:
labels:
k8s-app: kubernetes-dashboard
name: kubernetes-dashboard
namespace: kubernetes-dashboard
spec:
type: LoadBalancer
ports:
- port: 443
targetPort: 8443
selector:
k8s-app: kubernetes-dashboard
---
apiVersion: v1
kind: Secret
metadata:
labels:
k8s-app: kubernetes-dashboard
name: kubernetes-dashboard-certs
namespace: kubernetes-dashboard
type: Opaque
---
apiVersion: v1
kind: Secret
metadata:
labels:
k8s-app: kubernetes-dashboard
name: kubernetes-dashboard-csrf
namespace: kubernetes-dashboard
type: Opaque
data:
csrf: ""
---
apiVersion: v1
kind: Secret
metadata:
labels:
k8s-app: kubernetes-dashboard
name: kubernetes-dashboard-key-holder
namespace: kubernetes-dashboard
type: Opaque
---
kind: ConfigMap
apiVersion: v1
metadata:
labels:
k8s-app: kubernetes-dashboard
name: kubernetes-dashboard-settings
namespace: kubernetes-dashboard
---
kind: Role
apiVersion: rbac.authorization.k8s.io/v1
metadata:
labels:
k8s-app: kubernetes-dashboard
name: kubernetes-dashboard
namespace: kubernetes-dashboard
rules:
# Allow Dashboard to get, update and delete Dashboard exclusive secrets.
- apiGroups: [""]
resources: ["secrets"]
resourceNames: ["kubernetes-dashboard-key-holder", "kubernetes-dashboard-certs", "kubernetes-dashboard-csrf"]
verbs: ["get", "update", "delete"]
# Allow Dashboard to get and update 'kubernetes-dashboard-settings' config map.
- apiGroups: [""]
resources: ["configmaps"]
resourceNames: ["kubernetes-dashboard-settings"]
verbs: ["get", "update"]
# Allow Dashboard to get metrics.
- apiGroups: [""]
resources: ["services"]
resourceNames: ["heapster", "dashboard-metrics-scraper"]
verbs: ["proxy"]
- apiGroups: [""]
resources: ["services/proxy"]
resourceNames: ["heapster", "http:heapster:", "https:heapster:", "dashboard-metrics-scraper", "http:dashboard-metrics-scraper"]
verbs: ["get"]
---
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
labels:
k8s-app: kubernetes-dashboard
name: kubernetes-dashboard
rules:
# Allow Metrics Scraper to get metrics from the Metrics server
- apiGroups: ["metrics.k8s.io"]
resources: ["pods", "nodes"]
verbs: ["get", "list", "watch"]
---
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
labels:
k8s-app: kubernetes-dashboard
name: kubernetes-dashboard
namespace: kubernetes-dashboard
roleRef:
apiGroup: rbac.authorization.k8s.io
kind: Role
name: kubernetes-dashboard
subjects:
- kind: ServiceAccount
name: kubernetes-dashboard
namespace: kubernetes-dashboard
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
name: kubernetes-dashboard
roleRef:
apiGroup: rbac.authorization.k8s.io
kind: ClusterRole
name: kubernetes-dashboard
subjects:
- kind: ServiceAccount
name: kubernetes-dashboard
namespace: kubernetes-dashboard
---
kind: Deployment
apiVersion: apps/v1
metadata:
labels:
k8s-app: kubernetes-dashboard
name: kubernetes-dashboard
namespace: kubernetes-dashboard
spec:
replicas: 1
revisionHistoryLimit: 10
selector:
matchLabels:
k8s-app: kubernetes-dashboard
template:
metadata:
labels:
k8s-app: kubernetes-dashboard
spec:
securityContext:
seccompProfile:
type: RuntimeDefault
containers:
- name: kubernetes-dashboard
image: kubernetesui/dashboard:v2.7.0
imagePullPolicy: Always
ports:
- containerPort: 8443
protocol: TCP
args:
- --auto-generate-certificates
- --namespace=kubernetes-dashboard
# Uncomment the following line to manually specify Kubernetes API server Host
# If not specified, Dashboard will attempt to auto discover the API server and connect
# to it. Uncomment only if the default does not work.
# - --apiserver-host=http://my-address:port
volumeMounts:
- name: kubernetes-dashboard-certs
mountPath: /certs
# Create on-disk volume to store exec logs
- mountPath: /tmp
name: tmp-volume
livenessProbe:
httpGet:
scheme: HTTPS
path: /
port: 8443
initialDelaySeconds: 30
timeoutSeconds: 30
securityContext:
allowPrivilegeEscalation: false
readOnlyRootFilesystem: true
runAsUser: 1001
runAsGroup: 2001
volumes:
- name: kubernetes-dashboard-certs
secret:
secretName: kubernetes-dashboard-certs
- name: tmp-volume
emptyDir: {}
serviceAccountName: kubernetes-dashboard
nodeSelector:
"kubernetes.io/os": linux
# Comment the following tolerations if Dashboard must not be deployed on master
tolerations:
- key: node-role.kubernetes.io/master
effect: NoSchedule
---
kind: Service
apiVersion: v1
metadata:
labels:
k8s-app: dashboard-metrics-scraper
name: dashboard-metrics-scraper
namespace: kubernetes-dashboard
spec:
ports:
- port: 8000
targetPort: 8000
selector:
k8s-app: dashboard-metrics-scraper
---
kind: Deployment
apiVersion: apps/v1
metadata:
labels:
k8s-app: dashboard-metrics-scraper
name: dashboard-metrics-scraper
namespace: kubernetes-dashboard
spec:
replicas: 1
revisionHistoryLimit: 10
selector:
matchLabels:
k8s-app: dashboard-metrics-scraper
template:
metadata:
labels:
k8s-app: dashboard-metrics-scraper
spec:
securityContext:
seccompProfile:
type: RuntimeDefault
containers:
- name: dashboard-metrics-scraper
image: kubernetesui/metrics-scraper:v1.0.8
ports:
- containerPort: 8000
protocol: TCP
livenessProbe:
httpGet:
scheme: HTTP
path: /
port: 8000
initialDelaySeconds: 30
timeoutSeconds: 30
volumeMounts:
- mountPath: /tmp
name: tmp-volume
securityContext:
allowPrivilegeEscalation: false
readOnlyRootFilesystem: true
runAsUser: 1001
runAsGroup: 2001
serviceAccountName: kubernetes-dashboard
nodeSelector:
"kubernetes.io/os": linux
# Comment the following tolerations if Dashboard must not be deployed on master
tolerations:
- key: node-role.kubernetes.io/master
effect: NoSchedule
volumes:
- name: tmp-volume
emptyDir: {}
kubeuser@master01:~/dashboard$ diff recommended.yaml recommended_original.yaml
40d39
< type: LoadBalancer
では、yamlファイルからのインストール(デプロイ)。
kubernetes-dashboardというnamespace(名前空間)に各種リソースが作成されます。
kubeuser@master01:~/dashboard$ kubectl apply -f recommended.yaml namespace/kubernetes-dashboard created serviceaccount/kubernetes-dashboard created service/kubernetes-dashboard created secret/kubernetes-dashboard-certs created secret/kubernetes-dashboard-csrf created secret/kubernetes-dashboard-key-holder created configmap/kubernetes-dashboard-settings created role.rbac.authorization.k8s.io/kubernetes-dashboard created clusterrole.rbac.authorization.k8s.io/kubernetes-dashboard created rolebinding.rbac.authorization.k8s.io/kubernetes-dashboard created clusterrolebinding.rbac.authorization.k8s.io/kubernetes-dashboard created deployment.apps/kubernetes-dashboard created service/dashboard-metrics-scraper created deployment.apps/dashboard-metrics-scraper created kubeuser@master01:~/dashboard$ kubectl get all -n kubernetes-dashboard NAME READY STATUS RESTARTS AGE pod/dashboard-metrics-scraper-7bc864c59-pscgp 1/1 Running 0 11s pod/kubernetes-dashboard-6c7ccbcf87-x4674 1/1 Running 0 12s NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE service/dashboard-metrics-scraper ClusterIP 10.1.171.15 <none> 8000/TCP 12s service/kubernetes-dashboard LoadBalancer 10.1.90.219 192.168.1.52 443:31122/TCP 13s NAME READY UP-TO-DATE AVAILABLE AGE deployment.apps/dashboard-metrics-scraper 1/1 1 1 12s deployment.apps/kubernetes-dashboard 1/1 1 1 12s NAME DESIRED CURRENT READY AGE replicaset.apps/dashboard-metrics-scraper-7bc864c59 1 1 1 11s replicaset.apps/kubernetes-dashboard-6c7ccbcf87 1 1 1 12s
アクセスするユーザの作成
続いてWeb UIにアクセスする際の使用するユーザ情報を作成します。
以下の例だとClusterRoleとしてclulster-admin(クラスター管理者権限)を使っているので、今回はreadonly権限のviewを使います。
Creating sample user
ユーザ作成の流れは、
①ユーザ名の定義(ServiceAccount)
②ユーザの権限定義(ClusterRole)
③上記の関連付け(ClusterRoleBinding)
と進めます。
ユーザ名：dashboard-user
ユーザの権限：clusterroleのview(デフォルトでシステムに用意されている各種リソースのreadonly権限)
上記の関連付け：dashboard-user-clusterrolebindingという名前にしました
kubeuser@master01:~/dashboard$ vi user.yaml kubeuser@master01:~/dashboard$ cat user.yaml apiVersion: v1 kind: ServiceAccount metadata: name: dashboard-user namespace: kubernetes-dashboard --- apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRoleBinding metadata: name: dashboard-user-clusterrolebinding roleRef: apiGroup: rbac.authorization.k8s.io kind: ClusterRole name: view subjects: - kind: ServiceAccount name: dashboard-user namespace: kubernetes-dashboard
yamlファイルをデプロイします。
kubeuser@master01:~/dashboard$ kubectl apply -f user.yaml serviceaccount/dashboard-user created clusterrolebinding.rbac.authorization.k8s.io/dashboard-user-clusterrolebinding created kubeuser@master01:~/dashboard$ kubectl get sa -n kubernetes-dashboard NAME SECRETS AGE dashboard-user 0 28s default 0 32h kubernetes-dashboard 0 32h kubeuser@master01:~/dashboard$ kubectl get clusterrolebinding NAME ROLE AGE calico-kube-controllers ClusterRole/calico-kube-controllers 14d calico-node ClusterRole/calico-node 14d cluster-admin ClusterRole/cluster-admin 14d dashboard-user-clusterrolebinding ClusterRole/view 52s. . . .
トークンの作成
最後にWeb UIアクセス時に使うトークンを作成します。
なお、作成したトークンの有効期限は1時間となるので、
期限切れとなった際には再作成が必要なのでご注意ください。
https://kubernetes.io/docs/reference/access-authn-authz/service-accounts-admin/
kubeuser@master01:~/dashboard$ kubectl -n kubernetes-dashboard create token dashboard-user eyJhbGciOiJSUzI1NiIsImtpZCI6IjJkYWRjbm9jNjg4YkdfY29hZ0Y5Nmp6TW9wYlRDUVh6bTgtNEhuY3pTckUifQ.eyJhdWQiOlsiaHR0cHM6Ly9rdWJlcm5ldGVzLmRlZmF1bHQuc3ZjLmNsdXN0ZXIubG9jYWwiXSwiZXhwIjoxNjgwMDk0MzY0LCJpYXQiOjE2ODAwOTA3NjQsImlzcyI6Imh0dHBzOi8va3ViZXJuZXRlcy5kZWZhdWx0LnN2Yy5jbHVzdGVyLmxvY2FsIiwia3ViZXJuZXRlcy5pbyI6eyJuYW1lc3BhY2UiOiJrdWJlcm5ldGVzLWRhc2hib2FyZCIsInNlcnZpY2VhY2NvdW50Ijp7Im5hbWUiOiJkYXNoYm9hcmQtdXNlciIsInVpZCI6IjMwOTkwYzNmLTk4ZGMtNGUzOS1iZWM0LTJiM2QzZGNkY2E2MyJ9fSwibmJmIjoxNjgwMDkwNzY0LCJzdWIiOiJzeXN0ZW06c2VydmljZWFjY291bnQ6a3ViZXJuZXRlcy1kYXNoYm9hcmQ6ZGFzaGJvYXJkLXVzZXIifQ.ufB7sPrJJ49K60qthjhG799DUpc_Fn-SmecoeAQhP5npECGaDBXc6_FdZCH3540AWNHseshWuOhdlN_TgS18lP73NSZNFwrkApkwTmLLiKtUAY4sdsP71LeRoaJgO7NTtbBOcfJob03km23mHwkRefyO4YcbfZudFeHqhWxSONfT9NUlBagArXL66n30w2kyL01x6KLBXXtfDlA041jNQQT1wvTO5Idv8znz20L5kX5R_IDJXCGIpELuxfixsddKh2vEpUtIZ9FXzdKlimgesD9c4gtMF2R7675DG0BW3LRSygVNzuCr2TUiAL9tvtrNJgSPcHcKeCiXnOfpvSA9uw
Web UIへのアクセス
Service(type:LoadBalancer)で公開されたIP(https/tcp443)にアクセスします。
トークンを選択し、一つ前の手順で作成したトークンを貼り付けます。
サインインするとダッシュボードが表示されます。
ダッシュボードを使ってみる
使い方は、上部にあるnamespace(名前空間)を選択し、左側にあるリソース名をクリックすればそのリソースの一覧が表示されます。
一つのPodをクリックすると、詳細を確認できます。
上記は、kubectl describe pods pod名と同じような内容となっています。
kubeuser@master01:~/dashboard$ kubectl describe pods nginx-6cbc9bb4f5-jm8mr
Name: nginx-6cbc9bb4f5-jm8mr
Namespace: default
Priority: 0
Service Account: default
Node: worker01/192.168.1.45
Start Time: Fri, 24 Mar 2023 04:50:53 +0000
Labels: app=nginx
pod-template-hash=6cbc9bb4f5
Annotations: cni.projectcalico.org/containerID: 61e39707617c4766e4f71a5196454b7ed2f4bb3a857c8a51c2e10f517fa4b69b
cni.projectcalico.org/podIP: 10.0.5.32/32
cni.projectcalico.org/podIPs: 10.0.5.32/32,fd12:b5e0:383e:0:c9e5:fc91:8eec:51f/128
Status: Running
IP: 10.0.5.32
IPs:
IP: 10.0.5.32
IP: fd12:b5e0:383e:0:c9e5:fc91:8eec:51f
Controlled By: ReplicaSet/nginx-6cbc9bb4f5
Containers:
nginx:
Container ID: containerd://1d6b0af3d864c6b792062d256873a53c42681027c545640e866abd18a2b52acc
Image: nginx:1.23.0
Image ID: docker.io/library/nginx@sha256:db345982a2f2a4257c6f699a499feb1d79451a1305e8022f16456ddc3ad6b94c
Port: <none>
Host Port: <none>
State: Running
Started: Fri, 24 Mar 2023 04:50:55 +0000
Ready: True
Restart Count: 0
Environment: <none>
Mounts:
/usr/share/nginx/html from index-volume (rw)
/var/run/secrets/kubernetes.io/serviceaccount from kube-api-access-9wjkk (ro)
Conditions:
Type Status
Initialized True
Ready True
ContainersReady True
PodScheduled True
Volumes:
index-volume:
Type: ConfigMap (a volume populated by a ConfigMap)
Name: index-version1
Optional: false
kube-api-access-9wjkk:
Type: Projected (a volume that contains injected data from multiple sources)
TokenExpirationSeconds: 3607
ConfigMapName: kube-root-ca.crt
ConfigMapOptional: <nil>
DownwardAPI: true
QoS Class: BestEffort
Node-Selectors: <none>
Tolerations: node.kubernetes.io/not-ready:NoExecute op=Exists for 300s
node.kubernetes.io/unreachable:NoExecute op=Exists for 300s
Events: <none>
リソースの追加
ダッシュボードでは、リソースの追加も出来ます。
※操作するユーザの権限にリソース作成が付与されている必要あるので、今回は操作のみの紹介ですが
画面右上にある新しいリソースの作成をクリックします。
いずれかの方法で作成するリソースを定義します。
・yamlを直接記載する
・作成済みのyamlファイルを読み込む
・フォームに入力する
今回はフォームを入力してみます。
入力後プレビューをクリックすると、yamlの内容が表示されます。
デプロイをクリックすると、その内容(yaml)に基づきリソースが作成されます。
※今回は、readonly権限なので権限なしでfailedとなりますがw
おわりに
今回はサンプルとして公開されいるものを少しカスタマイズしてダッシュボードを使ってみました。
ダッシュボードは便利ではあるのですが注意したいのは、CLI(kubectlコマンドなど)での操作を理解していることが前提になっているという点です。
また、ユーザ権限を誤るとセキュリティリスクにもなるので気を付けたいですね。
