Wghdr's Blog!

k8s

Hingress使用

wghdr

介绍

官网地址：https://higress.io/zh-cn/
以开源Istio与Envoy为核心构建的一个遵循开源Ingress/Gateway API标准，提供实现了安全防护网关、流量网关、微服务网关三层网关合一的高集成、易使用、易扩展、热更新的下一代云原生网关。

file

使用场景

  • Kubernetes Ingress 网关:
    Higress 可以作为 K8s 集群的 Ingress 入口网关, 并且兼容了大量 K8s Nginx Ingress 的注解，可以从 K8s Nginx Ingress 快速平滑迁移到 Higress。
    支持 Gateway API 标准，支持用户从 Ingress API 平滑迁移到 Gateway API。
  • 微服务网关:
    Higress 可以作为微服务网关, 能够对接多种类型的注册中心发现服务配置路由，例如 Nacos, ZooKeeper, Consul, Eureka 等。
    并且深度集成了 Dubbo, Nacos, Sentinel 等微服务技术栈，基于 Envoy C++ 网关内核的出色性能，相比传统 Java 类微服务网关，可以显著降低资源使用率，减少成本。
  • 安全防护网关:
    Higress 可以作为安全防护网关， 提供 WAF 的能力，并且支持多种认证鉴权策略，例如 key-auth, hmac-auth, jwt-auth, basic-auth, oidc 等。

核心优势

  • 生产等级
    脱胎于阿里巴巴2年多生产验证的内部产品，支持每秒请求量达数十万级的大规模场景。
    彻底摆脱 reload 引起的流量抖动，配置变更毫秒级生效且业务无感。
  • 平滑演进
    支持 Nacos/Zookeeper/Eureka 等多种注册中心，可以不依赖 K8s Service 进行服务发现，支持非容器架构平滑演进到云原生架构。
    支持从 Nginx Ingress Controller 平滑迁移，支持平滑过渡到 Gateway API，支持业务架构平滑演进到 ServiceMesh。
  • 兼收并蓄
    兼容 Nginx Ingress Annotation 80%+ 的使用场景，且提供功能更丰富的 Higress Annotation 注解。
    兼容 Ingress API/Gateway API/Istio API，可以组合多种 CRD 实现流量精细化管理。
  • 便于扩展
    提供 Wasm、Lua、进程外三种插件扩展机制，支持多语言编写插件，生效粒度支持全局级、域名级，路由级。
    插件支持热更新，变更插件逻辑和配置都对流量无损。

和ingress nginx的对比：

file

安装

Higress 默认只会监听 IngressClassName 为 higress 的 Ingress。可以通过 helm 参数设置 –set global.ingressClass=""，这样 Higress 会监听所有 Ingress，从而实现平滑迁移。

# 添加Higress的官方helm仓库
helm repo add higress.io https://higress.io/helm-charts
# 安装Higress
helm install higress higress.io/higress -n higress-system --create-namespace --render-subchart-notes --set global.ingressClass=nginx --set higress-console.domain=console.higress.io

file

我这里higress-gateway卡在了ContainerCreating，查看日志报错："Failed to create pod sandbox: rpc error: code = Unknown desc = failed to create containerd task: failed to create shim task: OCI runtime create failed: runc create failed: unable to start container process: error during container init: open /proc/sys/net/ipv4/ip_unprivileged_port_start: no such file or directory: unknown"

issue中也有这个：https://github.com/alibaba/higress/issues/97

file

file

我的内核版本是3.10，k8s版本是1.22.3，网上搜了一下说是要升级内核或者降级k8s。查看5.4版本内核确实有这个文件。

file

升级内核，我这里升级的版本是5.4.205，其他版本暂未测试。

rpm -ivh kernel-lt-5.4.205-1.el7.elrepo.x86_64.rpm
grub2-set-default 0
grub2-mkconfig -o /boot/grub2/grub.cfg
reboot

file

再次安装，pod全部正常启动。

file

访问

输出中显示了hingress console的用户名密码

export ADMIN_USERNAME=$(kubectl get secret --namespace higress-system higress-console -o jsonpath="{.data.adminUsername}" | base64 -d)
  export ADMIN_PASSWORD=$(kubectl get secret --namespace higress-system higress-console -o jsonpath="{.data.adminPassword}" | base64 -d)
  echo -e "Username: ${ADMIN_USERNAME}\nPassword: ${ADMIN_PASSWORD}"

我这里没有loadbalancer，所以直接改为NodePort.

k edit svc -n higress-system higress-gateway
k get svc -n higress-system  higress-gateway

file

访问console，添加本地hosts，http://console.higress.io:32327/

file

file

测试

创建测试服务

kind: Pod
apiVersion: v1
metadata:
  name: foo-app
  labels:
    app: foo
spec:
  containers:
  - name: foo-app
    image: higress-registry.cn-hangzhou.cr.aliyuncs.com/higress/http-echo:0.2.4-alpine
    args:
    - "-text=foo"
---
kind: Service
apiVersion: v1
metadata:
  name: foo-service
spec:
  selector:
    app: foo
  ports:
  # Default port used by the image
  - port: 5678

file

创建域名

点击左侧“域名管理”导航栏，然后点击页面右侧的“创建域名”按钮。按照下图所示内容填写表单并点击“确定”按钮。

file

创建路由

点击左侧“路由配置”导航栏，然后点击页面右侧的“创建路由”按钮。按照下图片所示内容填写表单并点击“确定”按钮。其中域名和目标服务都可以下拉选择，无需手动输入。

file

测试访问

访问失败
file

使用ip+端口可以正常访问。

file

查看ingress，address中ip为空

file

重新安装

查看官方文档，可以设置这个参数--set enableStatus=true，来实现将入口IP写入Ingress的status。
file

使用本地安装，开启监控，设置密码为admin，监听ingressClass为nginx的ingress。

helm uninstall higress -n higress-system
helm install higress -n higress-system higress.io/higress --create-namespace --render-subchart-notes --set global.kind=true --set higress-console.o11y.enabled=true  --set higress-controller.domain=console.higress.io --set higress-console.admin.password.value=admin --set ingressClass=nginx --set enableStatus=true

file

部署后grafana和prometheus会处于pending状态，因为pvc处于pending。

file

查看template文件中的pvc配置，没有设置storageclas的地方。

file

导出yaml，设置storageclass，删除原pvc，再次部署即可。

file

如果集群中已经部署了nginx ingress，higress-gateway也会处于pending状态，报错1 node(s) didn't have free ports for the requested pod ports

file

这是因为higress-gateway容器使用了80,443的主机端口，而这两个端口已经被nginx ingress占用。

file

修改ingress ds和svc的端口配置

file

file

higress-gateway pod正常启动。

file

再次访问

路由可以正常工作。

curl http://172.16.255.183/foo -H 'host: foo.bar.com'

file

file

查看监控

file

当然，你也可以对接已有的 Prometheus&Grafana，使用这份Higress官方提供的Dashboard配置即可：https://higress.io/grafana/dashboard.json

开启插件

这是官方提供的插件：https://github.com/alibaba/higress/tree/main/plugins

这里以request_block插件为例，request-block插件实现了基于URL、请求头等特征屏蔽HTTP请求，可以用于防护部分站点资源不对外部暴露。
https://github.com/alibaba/higress/tree/main/plugins/wasm-cpp/extensions/request_block

cat request_block.yaml
apiVersion: extensions.higress.io/v1alpha1
kind: WasmPlugin
metadata:
  name: request-block
  namespace: higress-system
spec:
  defaultConfig:
    block_urls:
    - "swagger.html"
    - foo=bar
    - foo
    block_headers:
    - example-key
    - example-value
    - foo.bar.com
    block_bodies:
    - "hello world"
    case_sensitive: false
  url: oci://higress-registry.cn-hangzhou.cr.aliyuncs.com/plugins/request-block:1.0.0
k apply -f request-block.yaml
k get wasmplugins -n higress-system

屏蔽请求url路径

根据该配置，下列请求将被禁止访问：

curl http://example.com?foo=bar
curl http://exmaple.com/Swagger.html

屏蔽请求header

根据该配置，下列请求将被禁止访问：

curl http://example.com -H 'example-key: 123'
curl http://exmaple.com -H 'my-header: example-value'

屏蔽请求body

根据该配置，下列请求将被禁止访问：

curl http://example.com -d 'Hello World'
curl http://exmaple.com -d 'hello world'

对特定路由或域名开启

# 使用 _rules_ 字段进行细粒度规则配置
_rules_:
# 规则一：按路由名称匹配生效
- _match_route_:
  - route-a
  - route-b
  block_bodies: 
  - "hello world"
# 规则二：按域名匹配生效
- _match_domain_:
  - "*.example.com"
  - test.com
  block_urls: 
  - "swagger.html"
  block_bodies:
  - "hello world"

此例 _matchroute 中指定的 route-a 和 route-b 即在创建网关路由时填写的路由名称，当匹配到这两个路由时，将使用此段配置； 此例 _matchdomain 中指定的 *.example.com 和 test.com 用于匹配请求的域名，当发现域名匹配时，将使用此段配置； 配置的匹配生效顺序，将按照 rules 下规则的排列顺序，匹配第一个规则后生效对应配置，后续规则将被忽略。

请求Body大小限制

当配置了 block_bodies 时，仅支持小于 32 MB 的请求 Body 进行匹配。若请求 Body 大于此限制，并且不存在匹配到的 block_urls 和 block_headers 项时，不会对该请求执行屏蔽操作。
当配置了 block_bodies 时，若请求 Body 超过全局配置 DownstreamConnectionBufferLimits，将返回 413 Payload Too Large。

file

curl http://172.16.255.183/foo
curl http://172.16.255.183/foo -H 'host: foo.bar.com'
curl http://172.16.255.183?foo=bar
curl http://172.16.255.183/Swagger.html
curl http://10.107.33.216:5678
curl http://10.107.33.216:5678/foo -H 'host: foo.bar.com'
k delete -f request-block.yaml

file

测试在开启request_block插件后，再次访问foo.bar.com返回为空。关闭后恢复访问。

其他

开启强制 HTTPS 访问

在 higress-system 命名空间下先创建好 TLS 证书和私钥对应的 secret

apiVersion: v1
kind: Secret
type: kubernetes.io/tls
data:
  tls.crt: -----BEGIN CERTIFICATE-----...
  tls.key: -----BEGIN RSA PRIVATE KEY-----...
metadata:
  name: my-tls-secret
  namespace: higress-system
helm upgrade higress -n higress-system higress.io/higress --set higress-console.tlsSecretName=my-tls-secret

支持Istio CRD

集群里需要提前安装好 Istio 的 CRD，如果不希望安装 Istio，也可以只安装 Istio 的 CRD：

helm repo add istio https://istio-release.storage.googleapis.com/charts
helm install istio-base istio/base -n istio-system
helm upgrade higress -n higress-system --set global.enableIstioAPI=true higress.io/higress
分类： k8s
0 0 投票数
文章评分
订阅评论
提醒
guest

0 评论
最旧
最新 最多投票
内联反馈
查看所有评论

相关文章

开始在上面输入您的搜索词，然后按回车进行搜索。按ESC取消。

返回顶部
0
希望看到您的想法，请您发表评论x