在k8s上安装apisix全家桶,通过helm安装很简单,但是会遇到一些问题。
安装
首先登录阿里云控制台,在ACK集群详情页,进入CloudShell,执行下面helm命令安装apisix、apisix-ectd、apisix-dashboard和apisix-ingress-controller。
helm repo add apisix https://charts.apiseven.com && helm repo update && helm upgrade --install apisix apisix/apisix --create-namespace --namespace apisix --set dashboard.enabled=true --set ingress-controller.enabled=true --set ingress-controller.config.apisix.serviceNamespace=apisix
也可以分成三步执行
# 添加repo
helm repo add apisix https://charts.apiseven.com
#
helm repo update
# 安装chart
helm upgrade --install apisix apisix/apisix --create-namespace --namespace apisix --set dashboard.enabled=true --set ingress-controller.enabled=true --set ingress-controller.config.apisix.serviceNamespace=apisix
执行完命令安装的服务:
- apisix:网关,对应的Service资源有apisix-gateway、apisix-admin。
- apisix-dashboard:管理后台,对应的Service资源是apisix-dashboard。
- apisix-ingress-controller:apisix的Ingress Controller,实现将k8s官方提供的Ingress资源,或是apisix自定义的资源ApisixRoute,转为apisix的配置存储到apisix的etcd。
- apisix-etcd:apisix的etcd集群。
apisix-etcd部署遇到的问题
其中apisix-etcd是有状态服务,部署3个节点,需要用到3个存储卷。
PVC的声明如下:
spec:
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 8Gi
volumeMode: Filesystem
因此,我们需要到ECS购买3块云盘(云服务器ECS->存储与快照->云盘->创建云盘),用来做持久化存储卷。需要注意,购买的云盘所在的可用区,必须和集群在同一个可用区,否则无法挂盘成功。
购买成功后,在ack集群服务下,存储->存储卷,创建3个存储卷,类型勾选云盘,然后选择购买好的云盘。
然后到存储->存储声明,修改etcd的几个PVC,添加storageClassName: disk
,这样pvc和pv就自动绑定了。
重新部署一下etcd有状态服务,这次将不会报找不到存储卷的错误,但是容器会一直重启,查看启动日记我们会看到pod想创建/bitnami/etcd/data
目录,但是报了无权限。
解决权限问题,添加一个初始化容器,修改挂盘路径的权限。
initContainers:
- args:
- '-c'
- chmod 777 /bitnami/etcd
command:
- /bin/sh
image: centos
imagePullPolicy: IfNotPresent
name: chmod
resources: {}
securityContext:
runAsUser: 0
terminationMessagePath: /dev/termination-log
terminationMessagePolicy: File
volumeMounts:
- mountPath: /bitnami/etcd
name: data
然后还要修改主容器的securityContext。
securityContext:
fsGroup: 0
runAsGroup: 0
runAsUser: 0
另外,ectd默认PVC申请的存储空间大小是8Gi,如果想修改这个大小,直接编辑etcd部署后的StatefulSet的yaml是不行的。参考这个issue(https://github.com/apache/apisix-helm-chart/issues/12),通过在执行helm命令安装apisix的时候设置:
--set etcd.persistence.size=1Gi
怎么访问apisix网关
由于我买的是ACK的Serverless集群(ASK),没有固定的Node,所以需要将apisix-gateway这个Service资源的type改为LoadBalancer,这样阿里云就会为我们创建一个CLB,然后得到一个公网IP。
怎么访问apisix-dashboard
访问dashboard前,需要给apisix-dashboard也分配clb,即将apisix-dashboard的Service的类型改为LoadBalancer。
账号密码在名为“apisix-dashboard”的ConfigMap资源里面描述,修改账号密码的话也是修改这个ConfigMap资源即可,修改成功后需要重启dashboard容器。(ACK集群控制台->配置管理->配置项->apisix-dashboard)
如何低成本使用
如果你想以非常经济的成本在阿里云上安装apisix学习测试或部署自己的网站的话,那么可以继续调整容器规格和缩容节点。
- 1. 如果你不需要声明Ingress资源,不使用Ingress,那么可以不安装Ingress Controller,hlem的安装命令移除
--set ingress-controller.enabled=true --set ingress-controller.config.apisix.serviceNamespace=apisix
,如果已经安装成功,直接删除inngress controller的Deployment即可。 - 2. 将etcd集群的PVC声明调整成1Gi(在安装的时候调整),然后缩容到2个节点(可以在helm的时候指定,也可以在helm执行完成后再在控制台操作),申请两个1Gi大小的低性能云盘,费用接近于0。
- 3.apisix-dashboard可以不用LoadBalancer,不用CLB(SLB),可以直接绑定EIP(弹性公网IP),这样就可以直接用EIP访问到POD的(可参考官方文档配置)。apisix-dashboard暴露的端口号是9000,记得安全组加一下。(注:Pod重起会删除旧的EIP并创建新的,也就是说EIP是会变的。)
后记补充
发现配置上游指定服务发现类型为kubernetes时,无法正常转发请求到上游服务。
这个issue帮助我解决了问题:https://github.com/apache/apisix/issues/7026 我们还少了三个步骤:
修改名为apisix的configmap。增加配置:
discovery: kubernetes: { }
2. 创建rbac。通过cloudshell创建。
kind: ClusterRole apiVersion: rbac.authorization.k8s.io/v1 metadata: name: apisix rules: - apiGroups: [""] resources: ["namespaces"] verbs: ["get", "list", "watch"] - apiGroups: [""] resources: ["services", "endpoints"] verbs: ["get", "list", "watch"] --- apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRoleBinding metadata: name: apisix roleRef: apiGroup: rbac.authorization.k8s.io kind: ClusterRole name: apisix subjects: - kind: ServiceAccount name: apisix namespace: apisix --- apiVersion: v1 kind: ServiceAccount metadata: name: apisix namespace: apisix
修改apisix的deployment,将pod的serviceAccount和serviceAccountName都改为apisix。
然后apisix配置上游的服务名的格式是:namespace/service资源的name:port的name,例如:
这里“port的name”指的是我们service资源里面声明的port的name字段。