Tag Archives: ingress

WordPress Sobre Kubernetes

En la siguiente entrada vamos a explicar como podemos desplegar una legacy application, como WordPress, en un entorno de cloud como es Kubernetes.

Kubernetes se basan en una unidad mínima funcional llamada Pod, un Pod es uno o más contenedores, los contenedores pueden ser Docker o más recientemente, LXC. ¿Qué ocurre? que los contenedores son volátiles. Es decir, están condenados a desaparecer y volver a recrearse para siempre. Así, ¿qué pasa con la información que se va creando dentro de los Pods? Desaparece. Para evitar esta situación introducimos el concepto de persistencia. Básicamente consiste en configurarar el contenedor para que la información sensible que se va generando se guarde en un sitio inmune a la muerte y renacimiento de los contenedores. Para el caso que vamos a explicar aquí trataremos el sistema de ficheros y la base de datos. Por un lado, necesitamos que el WordPress siempre tenga acceso a su código PHP (aunque lo ideal sería conservar simplemente el wp-content) y por otro la base de datos, que es donde se guarda las entradas y demás.

La base de datos

Vamos a crear una máquina que funcionara como servidor de base de datos de MariaDB, configuramos para que acepte conexiones remotas.

Volvemos a nuestro master de Kubernetes y vamos a crear un secret

Un secret es un trozo de configuración para nuestras aplicaciones que introducimos en el fichero YAML. De está forma podemos pasar credenciales e información sensible en nuestro clúster sin que esté expuesta. En nuestro ejemplo vamos a crear un secret para pasar las credenciales de nuestra base de datos.

Primero codificamos la contraseña en base64, para este ejemplo, la contraseña de root es root01

$ echo -n root01 | base64
cm9vdDAx

Y escribimos el contenido el fichero de secretes

apiVersion: v1  
kind: Secret  
metadata:  
  name: mysql-secrets
type: Opaque  
data:  
  mysql-root-password: cm9vdDAx 

Añadimos esta configuración a Kubernetes

$ kubectl create -f mysql-secrets.yaml
secret "mysql-secrets" created

Vemos los secrets haciendo:

kubectl get secrets
NAME                  TYPE                                  DATA      AGE
default-token-thlxa   kubernetes.io/service-account-token   3         1d
mysql-secrets         Opaque                                3         23s

Ahora, cada vez que necesitemos de una aplicación que haga uso de la base de datos, podemos pasar las credenciales de root utilizando este endpoint.

Persistencia de Sistema de Ficheros

Para este ejemplo hemos montado un servidor NFS que ofrecemos a la red de los nodos de Kubernetes, así en nuestro fichero /etc/exports tendremos algo así:

/srvnfs    192.168.1.0/24(rw)

Ahora tenemos que presentar este volumen a Kubernetes, para ello hacemos uso de dos nuevos recursos, Persistent Volume y Persistent Volume Claim. La definición de la documentación de Kubernetes es muy buena, así que aquí lo explicaremos rápidamente:

  • Persistent Volume Es el pastel que entregamos al clúster, entero, sin partir, en bruto, tal cual.
  • Persistent Volume Claim Es cada porción de pastel que vamos a partir con cada pod que necesite persistencia.

Para crear estos recursos tenemos los siguientes YAML.

 
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv-wp-content
spec:
  capacity:
    storage: 20Gi
  accessModes:
    - ReadWriteMany
  persistentVolumeReclaimPolicy: Retain
  nfs:
    path: /srvnfs
    server: 192.168.1.43

Y para el claim

kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: pvc-wp-content
spec:
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 2Gi

Nota: Hay que instalar nfs-client en todos los nodos.

Se pueden usar otros drivers para persistencia como Ceph o Gluster, el procedimiento es el mismo.

Los creamos:

$ kubectl create -f pv-persistent.yaml
persistentvolume "pv-wp-content" created
$ kubectl create -f pvc-persistent.yaml
persistentvolumeclaim "pvc-wp-content" created

Lo verificamos:

$ kubectl get pv,pvc
NAME               CAPACITY   ACCESSMODES   RECLAIMPOLICY   STATUS    CLAIM                    REASON    AGE
pv/pv-wp-content   20Gi       RWX           Retain          Bound     default/pvc-wp-content             3m
NAME                 STATUS    VOLUME          CAPACITY   ACCESSMODES   AGE
pvc/pvc-wp-content   Bound     pv-wp-content   20Gi       RWX           2m

Crear un deployment para WordPress

Ahora que está todo listo para que nuestro WordPress pueda desplegarse vamos a escribir el YAML para hacer uso de estos recursos. Partimos del ejemplo que nos da el propio Kubernetes aquí pero adaptado al clúster que nos hemos construido:

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: wordpress-deployment
  labels:
    app: wordpress
spec:
  strategy:
    type: Recreate
  template:
    metadata:
      labels:
        app: wordpress
        tier: frontend
    spec:
      containers:
      - image: wordpress
        name: wordpress
        env:
          - name: WORDPRESS_DB_PASSWORD
            valueFrom:
              secretKeyRef:
                name: mysql-secrets
                key: mysql-root-password
          - name: WORDPRESS_DB_HOST
            value: 192.168.1.44
        ports:
        - containerPort: 80
          name: wordpress
        volumeMounts:
        - name: wordpress-persistent-storage
          mountPath: /var/www/html
      volumes:
        - name: wordpress-persistent-storage
          persistentVolumeClaim:
            claimName: pvc-wp-content

Vemos como le pasamos la contraseña de root en una variable de entorno, pero se carga a través de un secret, de forma que no está expuesta a simple vista. También le indicamos donde va a montar /var/www/html para escribir el código PHP de WordPress.

Ahora simplemente exponemos el servicio, recordando usar NodePort.

apiVersion: v1
kind: Service
metadata:
  name: wordpress-svc
  labels:
    app: wordpress
spec:
  ports:
  - port: 80
    protocol: TCP
    targetPort: 80
  selector:
    app: wordpress
    tier: frontend
  type: NodePort

Y construimos el ingress.

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
 name: wordpress-ingress
spec:
 rules:
   - host: wordpress
     http:
       paths:
         - path: /
           backend:
             serviceName: wordpress-svc
             servicePort: 80

Podemos comprobar que funciona:

$ curl -I --resolve wordpress:80:192.168.1.41 http://wordpress
HTTP/1.1 302 Found
Cache-Control: no-cache, must-revalidate, max-age=0
Content-Type: text/html; charset=UTF-8
Date: Sat, 10 Dec 2016 11:43:28 GMT
Expires: Wed, 11 Jan 1984 05:00:00 GMT
Location: http://wordpress/wp-admin/install.php
Server: Apache/2.4.10 (Debian)
X-Powered-By: PHP/5.6.28

Conclusiones

  1. Hemos montado una legacy app sobre kuberntes teniendo en cuenta la persistencia de la información.
  2. Hay que tener en cuenta que este ejemplo coloca todos los ficheros de wordpress en el directorio compartido, por lo que si desplegamos otro sobrescribe lo anterior, si queremos tener varios WP corriendo en este entorno tendremos que configurara para que cada uno utilice una carpeta.
  3. También como dije al principio lo ideal es poner en persistencia el directorio de wp-contents que es el que conserva los datos. Esto implica cambiar el Docker y complica el ejemplo.
  4. El traefik a veces se queda pillado, de momento lo que hago es destruir el controlador para que el deplyment lo cree de nuevo.
  5. Si el traefik cambia de nodo hay que cambiar los dns para que apunten a la IP nueva. Puedes usar tier para crear afinidad con el nodo, de forma que traefik siempre funcione en el mismo nodo.
  6. También puedes tener un traefik por nodo para hacer balanceo o HA.

Kubernetes sobre 3 nodos con Traefik Ingress Controller

En la siguiente entrada vamos a configurar 3 máquinas Ubuntu Xenial para correr Kuberntes 1.4 y configuraremos el Traefik Ingress Controller para tener acceso a las aplicaciones.

Configuración inicial

Como decimos necesitamos tres máquinas para construir el clúster, una como master y las otras dos como workers. Las direcciones IP que usaré serán:

192.168.1.40    master
192.168.1.41    minion1
192.168.1.42    minion2

Esta configuración es importante ya que los certificados y las entradas DNS se generaran a partir de estos.

Hay que instalar estos paquetes en todas las máquinas del clúster

Instalamos la llave pública para el repositorio de Kubernetes

curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | apt-key add -

Y añadimos el repositorio a nuestros sources

echo deb http://apt.kubernetes.io/ kubernetes-xenial main | tee /etc/apt/sources.list.d/kubernetes.list

Actualizamos

apt-get update

Instalamos los paquetes necesarios

apt-get install -y kubelet kubeadm kubectl kubernetes-cni docker.io

En este punto ya estamos listo para desplegar Kubernetes

Desplegar Kubernetes

Desde la máquina master ejecutamos el siguiente comando:

kubeadm init --pod-network-cidr=172.30.0.0/16

Este comando inicializará el master con todos los contenedores necesarios para que Kubernetes funcione. Le estamos pasando el parámetro pod-network-cidr con la red que usaran los contenedores. Esto es porque voy a usar Flannel como networking overlay. Todos los contenedores que se desplieguen bajo este Kubernetes tendrán una IP de este rango. Este parámetro sólo es necesario para la red de Flannel, si queremos usar Calico, Weave, u otra no es necesario. Yo uso Flannel porque me ha dado buenos resultados y encuentro que es fácil de configurar.

Debemos ver la siguiente salida al terminar de crear contenedores:

Running pre-flight checks
 generated token: "cfbebe.3e2eab74675b5426"
 generated Certificate Authority key and certificate:
Issuer: CN=kubernetes | Subject: CN=kubernetes | CA: true
Not before: 2016-12-07 15:46:29 +0000 UTC Not After: 2026-12-05 15:46:29 +0000 UTC
Public: /etc/kubernetes/pki/ca-pub.pem
Private: /etc/kubernetes/pki/ca-key.pem
Cert: /etc/kubernetes/pki/ca.pem
 generated API Server key and certificate:
Issuer: CN=kubernetes | Subject: CN=kube-apiserver | CA: false
Not before: 2016-12-07 15:46:29 +0000 UTC Not After: 2017-12-07 15:46:29 +0000 UTC
Alternate Names: [192.168.1.40 10.96.0.1 kubernetes kubernetes.default kubernetes.default.svc kubernetes.default.svc.cluster.local]
Public: /etc/kubernetes/pki/apiserver-pub.pem
Private: /etc/kubernetes/pki/apiserver-key.pem
Cert: /etc/kubernetes/pki/apiserver.pem
 generated Service Account Signing keys:
Public: /etc/kubernetes/pki/sa-pub.pem
Private: /etc/kubernetes/pki/sa-key.pem
 created keys and certificates in "/etc/kubernetes/pki"
 created "/etc/kubernetes/kubelet.conf"
 created "/etc/kubernetes/admin.conf"
 created API client configuration
 created API client, waiting for the control plane to become ready
 all control plane components are healthy after 36.174970 seconds
 waiting for at least one node to register and become ready
 first node is ready after 4.009025 seconds
 attempting a test deployment
 test deployment succeeded
 created essential addon: kube-discovery, waiting for it to become ready
 kube-discovery is ready after 19.002880 seconds
 created essential addon: kube-proxy
 created essential addon: kube-dns

Kubernetes master initialised successfully!

You can now join any number of machines by running the following on each node:

kubeadm join --token=cfbebe.3e2eab74675b5426 192.168.1.40

La última línea muestra el token que usaremos para unir nuevos workers al clúster, hay que guardarla en un lugar seguro.

Si nos preguntamos qué contenedores ha creado podemos verlos así:

$ kubectl get pods --namespace=kube-system
NAME                              READY     STATUS              RESTARTS   AGE
dummy-2088944543-ojfjy            1/1       Running             0          5m
etcd-master                       1/1       Running             0          5m
kube-apiserver-master             1/1       Running             0          6m
kube-controller-manager-master    1/1       Running             0          6m
kube-discovery-1150918428-78wag   1/1       Running             0          5m
kube-dns-654381707-v4gsp          0/3       ContainerCreating   0          5m
kube-proxy-2ebl5                  1/1       Running             0          5m
kube-scheduler-master             1/1       Running             0          5m

Construir el Networking Overlay

Antes de unir los nodos al cluster debemos configurar la red. Como hemos dicho vamos a usar Flannel, así nos descargamos el fichero YAML para configurarlo:

curl -o kube-flannel.yml https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

Solo tenemos que modificar la línea

"Network": "10.244.0.0/16",

por

"Network": "172.30.0.0/16",

Y añadirlo a la configuración

kubectl apply -f kube-flannel.yml

Si ahora preguntamos por los contenedores, veremos que aparece uno nuevo que es el de Flannel, también observamos que el contenedor de DNS termina de crearse. Es necesaria la red para que funcione el DNS.

Añadiendo nuevos nuevos nodos al clúster

Ahora es el momento de usar el comando que guardamos cuando ejecutamos kubeadm init en cada uno de los workers que queramos usar en el clúster. En cada nodo:

kubeadm join --token=cfbebe.3e2eab74675b5426 192.168.1.40

Cuando haya terminado veremos los siguientes contenedores:

NAMESPACE     NAME                              READY     STATUS    RESTARTS   AGE       IP             NODE
kube-system   dummy-2088944543-ojfjy            1/1       Running   0          21m       192.168.1.40   master
kube-system   etcd-master                       1/1       Running   0          20m       192.168.1.40   master
kube-system   kube-apiserver-master             1/1       Running   0          21m       192.168.1.40   master
kube-system   kube-controller-manager-master    1/1       Running   0          21m       192.168.1.40   master
kube-system   kube-discovery-1150918428-78wag   1/1       Running   0          21m       192.168.1.40   master
kube-system   kube-dns-654381707-v4gsp          3/3       Running   0          20m       172.30.0.2     master
kube-system   kube-flannel-ds-4iuct             2/2       Running   0          5m        192.168.1.40   master
kube-system   kube-flannel-ds-hy10z             2/2       Running   1          1m        192.168.1.42   minion2
kube-system   kube-flannel-ds-lf7a8             2/2       Running   1          1m        192.168.1.41   minion1
kube-system   kube-proxy-2ebl5                  1/1       Running   0          20m       192.168.1.40   master
kube-system   kube-proxy-labsi                  1/1       Running   0          1m        192.168.1.41   minion1
kube-system   kube-proxy-lf770                  1/1       Running   0          1m        192.168.1.42   minion2
kube-system   kube-scheduler-master             1/1       Running   0          20m       192.168.1.40   master

Observar que existen pods (el de Flannel y el Kube-Proxy) por nodo, por cada nodo que se añade al clúster tendremos un pod que gobernara ese trabajo en ese nodo.

Llegados a este punto, ya tenemos un clúster de Kubernetes funcionando, pero nos interesa poder ofrecer servicios al exterior, así que ahora vamos a montar un Ingress Controller.

Accediendo a los servicios de Kubernetes: Ingress Controller

Para esta tarea necesitamos un pod especial, en realidad no es más que un proxy inverso que conectará el mundo exterior con lo que expongamos mediante los servicios. Existe una limitación conocida y hay abierto un issue en el GitHub de Kubernetes por la falta de transparencia y documentación para construir el Ingress Controller sobre Bare Metal. Aun así es posible usar un workaround para hacer que funcione. El truco consiste en usar NodePort para exponer el servicio de forma que Ingress conecte a este puerto en el nodo al no funcionar bien con ClusterIP o LoadBalancer. Esto no sucede si usamos un proveedor de cloud como AWS o GCE.

Lo primero que hacemos es descargar el YAML con la configuración de Traefik

curl -o traefik.yaml https://raw.githubusercontent.com/containous/traefik/master/examples/k8s/traefik.yaml

Y aplicamos

kubectl apply -f traefik.yaml

Y ya está. Podemos verlo en la lista de pods:

kube-system   traefik-ingress-controller-2249976834-saoj1   1/1       Running   0          15s       192.168.1.41   minion1

Es súper sencillo. Como vemos se ha construido en el minion1, ahora debemos dirigir el tráfico HTTP a este worker al puerto 80 que es donde está escuchando Traefik, cada petición que reciba la enviará al servicio adecuado.

Vamos a probar que funciona lanzando un pod con NGiNX

Construimos el deployment de Nginx.

kubectl run nginx --image=nginx --port=80
NAMESPACE     NAME                                          READY     STATUS    RESTARTS   AGE       IP             NODE
default       nginx-3449338310-xg88a                        1/1       Running   0          30s       172.30.2.2     minion2

Ahora exponemos el servicio

kubectl expose deployment nginx --port=80 --target-port=80 --type=NodePort
NAME         CLUSTER-IP     EXTERNAL-IP   PORT(S)   AGE
nginx        10.110.8.199          80/TCP    15s

Y creamos el ingress con el siguiente contenido:

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: nginx-ingress
spec:
  rules:
    - host: nginx
      http:
        paths:
          - path: /
            backend:
              serviceName: nginx
              servicePort: 80
$ kubectl create -f nginx-ingress.yaml

Comprobamos que funciona:

$ curl -L --resolve nginx:80:192.168.1.41 http://nginx
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
    body {
        width: 35em;
        margin: 0 auto;
        font-family: Tahoma, Verdana, Arial, sans-serif;
    }
</style>
</head>
<body>
<h1>Welcome to nginx!</h1>
<p>If you see this page, the nginx web server is successfully installed and
working. Further configuration is required.</p>

<p>For online documentation and support please refer to
<a href="http://nginx.org/">nginx.org</a>.<br/>
Commercial support is available at
<a href="http://nginx.com/">nginx.com</a>.</p>

<p><em>Thank you for using nginx.</em></p>
</body>
</html>

Y listo, en la siguiente entrada veremos como construir una aplicación algo más compleja utilizando las herramientas que nos proporciona Kubernetes.

Referencias

  • http://kubernetes.io/docs/getting-started-guides/kubeadm/
  • https://docs.traefik.io/user-guide/kubernetes/
  • https://medium.com/@rothgar/exposing-services-using-ingress-with-on-prem-kubernetes-clusters-f413d87b6d34#.o7o65fwhf
  • https://github.com/kubernetes/ingress/issues/17