Support for de-novo creation of all the OpenShift / NFS fixtures (in namespace wwp-int) #107

batKem · 2019-08-27T16:17:26Z

Pull-request for wwp-int feature:

This feature enables restoring a copy of the production infrastructure on a sandbox openshift infrastructure using production's NFS backups.
Script behavior on production and test namespaces should remain unchanged
Feature documentation in wp-ops/WWP-INT-DOC.txt

WWP-INT-DOC.txt

LuluTchab · 2019-10-31T09:23:05Z

J'ai voulu recheck la PR pour tester mais je n'ai trouvé aucune modification suite à mes commentaires ni aucune réponse à ceux-ci. La documentation n'était pas clair quand j'ai fait mon premier test et elle n'a pas changé depuis donc je ne peux toujours pas tester...

batKem · 2019-11-20T16:04:22Z

J'ai voulu recheck la PR pour tester mais je n'ai trouvé aucune modification suite à mes commentaires ni aucune réponse à ceux-ci. La documentation n'était pas clair quand j'ai fait mon premier test et elle n'a pas changé depuis donc je ne peux toujours pas tester...

Bonjour, les modifications demandées ont été apportées:
e4950ed

LuluTchab

Alors j'ai essayé d'installer sur MiniShift mais ça ne passe pas... J'y suis allé un peu à l'aveugle car il n'y a rien dans la doc pour faire ça... Il faudrait donc compléter la doc pour ajouter la partie minishift.
J'ai trouvé la doc faite par @zuzu59 est la plus parlante car détaillée.

Voir aussi les commentaires sur les fichiers.

LuluTchab · 2019-11-25T08:47:51Z

wwp-int_zuzu_doc.md

+
+Il faut en premier se connecter sur OC:
+
+![Image](https://raw.githubusercontent.com/epfl-idevelop/wp-ops/feature/wp-int/img/oc_login.gif)


@zuzu59 Faudrait voir pour virer les GIF car on peu bien y voir ton token de connexion et c'est l'équivalent d'avoir mis un username/password 😉

LuluTchab · 2019-11-25T08:48:37Z

wwp-int_zuzu_doc.md

+Pour pouvoir récupérer les sauvegardes des sites Wordpress de la prod, il nous faut un *pod* de management qui aura une connexion *read only* sur le NAS (NFS) des sauvegarde de la prod.
+```
+cd wp-ops/ansible
+./wpsible -l wp-blue


Cette commande ne passe pas. ça passe que si je fais ./wpsible

LuluTchab · 2019-11-25T12:14:04Z

ansible/wpsible

-        wp_veritas) echo "-i inventory/wp-veritas" ;;
-    esac
+    CONFIG=$(oc config current-context)
+    if [[ $CONFIG == "myproject/192-168-99-"*"developer" ]]


La détection de MiniShift n'est pas assez dynamique car la plage d'IP n'est pas forcément celle définie dans le script.
Proposition de changement qui part du principe que minishift se trouve dans /usr/sbin/ et qui récupère dynamiquement les infos dont on a besoin pour savoir si le projet correspond

Suggested change

if [[ $CONFIG == "myproject/192-168-99-"*"developer" ]]

minishift_project=""

# If minishift installed (we assume it is here)

if [[ -e /usr/sbin/minishift ]]

then

# looking for information to build project string

minishift_ip_port=`minishift console --url | awk -F\/ '{print $3}'`

minishift_ip=`echo $minishift_ip_port| awk -F: '{print $1}' | sed -e "s/\./-/g"`

minishift_port=`echo $minishift_ip_port| awk -F: '{print $2}'`

minishift_project="myproject/${minishift_ip}:${minishift_port}/developer"

fi

if [[ $CONFIG == $minishift_project ]]

LuluTchab · 2019-11-25T12:16:11Z

ansible/wpsible

+    CONFIG=$(oc config current-context)
+    if [[ $CONFIG == "myproject/192-168-99-"*"developer" ]]
+    then
+      echo "-i inventory/minishift -e " IPADRS="`curl https://api.ipify.org`" " "


L'utilisation de api.ipify.org ne fonctionne à priori pas quand on est dans une VM en NAT, correct? dans ce cas-là, il faudrait récupérer l'IP de la VM non ? ou celle de la VM de minishift ?
J'ai cherché des références/infos à IPADRS dans le code et sur le net mais rien trouvé...

LuluTchab · 2019-11-25T12:18:06Z

wwp-int_zuzu_doc.md

+```
+./utils/install_oc.sh
+```
+


Suggested change

#### MiniShift (uniquement si on veut faire tourner en local)

La documentation d'installation se trouve ici : https://www.novatec-gmbh.de/en/blog/getting-started-minishift-openshift-origin-one-vm/

A la fin de l'installation, copier le fichier `minishift` dans `/usr/sbin` ou créer un lien symbolique `/usr/sbin/minishift -> <pathToMiniShift>`

LuluTchab · 2019-11-25T12:18:59Z

wwp-int_zuzu_doc.md

+```
+
+#### Ansible
+Ansible va nous permettre d'automatiser l'installation de l'infra de tests.<br>


J'ai dû installer ceci avant Ansible car ça ne fonctionnait pas sans.

Suggested change

Ansible va nous permettre d'automatiser l'installation de l'infra de tests.<br>

Installer libffi

> sudo apt-get install -y libffi-dev

Ansible va nous permettre d'automatiser l'installation de l'infra de tests.<br>

LuluTchab · 2019-11-25T12:22:20Z

Quelques modifications sont proposées pour l'utilisation de Minishift. Si je les fais, ça me permet d'avancer dans la détection du fait que je suis bien sur Minishift mais je me heurte ensuite aux warning suivant et il ne se passe rien...
Il semble manquer quelque chose en rapport avec MiniShift dans inventory

La commande passée, comme dans la doc de @zuzu59 : ./wpsible -l wp-blue (à noter que j'ai quasi la même erreur, à l'exception du warning concernant "wp-blue" si j'exécute juste ./wpsible)

[WARNING]: Unable to parse /home/lulutchab/git-repos/wp-ops/ansible/inventory/minishift as an inventory source

[WARNING]: No inventory was parsed, only implicit localhost is available

[WARNING]: provided hosts list is empty, only localhost is available. Note that the implicit localhost does not match 'all'

[WARNING]: Could not match supplied host pattern, ignoring: wp-blue

PLAY [Initial checks] ******************************************************************************************************************************
skipping: no hosts matched
[WARNING]: Could not match supplied host pattern, ignoring: all-openshift-namespaces


PLAY [OpenShift namespaces] ************************************************************************************************************************
skipping: no hosts matched
[WARNING]: Could not match supplied host pattern, ignoring: all-wordpress-deployments


PLAY [Wordpress deployments] ***********************************************************************************************************************
skipping: no hosts matched
[WARNING]: Could not match supplied host pattern, ignoring: all-wordpresses


PLAY [WordPress instances] *************************************************************************************************************************
skipping: no hosts matched
[WARNING]: Could not match supplied host pattern, ignoring: awx-poc-vpsi


PLAY [Ansible Tower (AWX) configuration] ***********************************************************************************************************
skipping: no hosts matched

PLAY RECAP *****************************************************************************************************************************************

LuluTchab · 2019-11-25T12:25:11Z

Ces 2 lignes sont à double dans ansible/roles/awx-poc-vpsi/vars/main.yml (mais ça a déjà été mergé visiblement...)

awx_wpveritas_inventory_script_name: "Fetch wp-veritas sites"
awx_wpveritas_inventory_script_path: "../../../inventory/wp-veritas/wp_veritas_inventory.py"

zuzu59 · 2019-11-26T15:12:43Z

Hello Lucien, Minishift n'a plus été utilisé depuis fin juillet, après nous avons concentré tous nos efforts sur Openshift ! C'est pourquoi, la docu ainsi que certains scripts ne sont peut-être plus compatibles avec Minishift, car nous ne les avons pas testés quand on travaillait à donf sur Openshift. Mohamed va regarder tout cela ce mercredi pour remettre en état la partie Minishift. Désolé pour ce contretemps. @+ Christian

…

_____ Christian Zufferey, Head of Students Development Factory, Vice Présidence SI, iDEVELOP Ecole Polytechnique Fédérale de Lausanne, EPFL, Station 14, CH-1015 Lausanne Tel: +41 (0)21 693 4598, Fax: +41 (0)21 693 2220 mailto:[email protected] http://people.epfl.ch/christian.zufferey Le 25.11.19 à 13:22, LuluTchab a écrit :

Quelques modifications sont proposées pour l'utilisation de Minishift. Si je les fais, ça me permet d'avancer dans la détection du fait que je suis bien sur Minishift mais je me heurte ensuite aux warning suivant et il ne se passe rien... Il semble manquer quelque chose en rapport avec MiniShift dans |inventory| |[WARNING]: Unable to parse /home/lulutchab/git-repos/wp-ops/ansible/inventory/minishift as an inventory source [WARNING]: No inventory was parsed, only implicit localhost is available [WARNING]: provided hosts list is empty, only localhost is available. Note that the implicit localhost does not match 'all' [WARNING]: Could not match supplied host pattern, ignoring: wp-blue PLAY [Initial checks] ****************************************************************************************************************************** skipping: no hosts matched [WARNING]: Could not match supplied host pattern, ignoring: all-openshift-namespaces PLAY [OpenShift namespaces] ************************************************************************************************************************ skipping: no hosts matched [WARNING]: Could not match supplied host pattern, ignoring: all-wordpress-deployments PLAY [Wordpress deployments] *********************************************************************************************************************** skipping: no hosts matched [WARNING]: Could not match supplied host pattern, ignoring: all-wordpresses PLAY [WordPress instances] ************************************************************************************************************************* skipping: no hosts matched [WARNING]: Could not match supplied host pattern, ignoring: awx-poc-vpsi PLAY [Ansible Tower (AWX) configuration] *********************************************************************************************************** skipping: no hosts matched PLAY RECAP ***************************************************************************************************************************************** | — You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub <#107>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/ADVCMUPMO2P53IZADDLSCG3QVO7P3ANCNFSM4IQGMSVQ>.

…path need to be fixed

- Pick up sshd keys out of today's running mgmt container - Set up authorized_keys exactly like in the test instance (wwp-dev) - Remove guard on mgmt.yml (thereby causing a conflict with wwp-int-mgmt.yml; still TODO: merge both)

- PVC is identical to production (even though we didn't previously handle this object with Ansible yet) - DeploymentConfig is currently smarter on the wwp-int-mgmt.yml side, and cannot be unforked just yet (until such time that we can set database secrets in production like we do in wwp-int)

…rding)

…e for restore tasks (cf Restore-Connector-doc.md)

… and service accounts

…yment

domq

Bravo pour l'excellent travail ! Encore un peu de nettoyage de commentaires, et il faut que @LuluTchab revalide; ensuite ce sera bon.

domq · 2020-02-07T16:29:00Z

ansible/roles/wordpress-instance/tasks/main.yml

@@ -16,6 +17,11 @@
    # Can we use a handler instead?
    - config

+# TODO: Tu peux shooter les tâches (et leurs dépendances) "Backup",


Selon ta décision, il faut virer le TODO.

domq · 2020-02-07T16:29:14Z

ansible/roles/wordpress-instance/tasks/main.yml


 - name: Serving infrastructure
  when: wp_can.configure
  tags:
    - config
  import_tasks: "serving-infrastructure.yml"

+# TODO: À partir d'ici, à garder; avant de livrer, ces tâches doivent


Idem — Selon ta décision, il faut virer le TODO.

domq · 2020-02-07T16:45:27Z

@LuluTchab les changements concernant MiniShift ont été abandonnés dans le cadre de cette PR; @batKem s'y atellera dans une autre. Merci d'avance pour ta code review, et bon week-end !

domq changed the title ~~Feature/wp int~~ Support for de-novo creation of all the OpenShift / NFS fixtures (in namespace wwp-int) Sep 5, 2019

domq requested review from domq, jdelasoie, loldu, LuluTchab, lvenries, zuzu59 and GregLeBarbar September 5, 2019 09:23

LuluTchab reviewed Sep 18, 2019

View reviewed changes

WWP-INT-DOC.txt Show resolved Hide resolved

LuluTchab reviewed Sep 18, 2019

View reviewed changes

WWP-INT-DOC.txt Show resolved Hide resolved

LuluTchab reviewed Sep 18, 2019

View reviewed changes

WWP-INT-DOC.txt Show resolved Hide resolved

LuluTchab requested changes Nov 25, 2019

View reviewed changes

LuluTchab reviewed Nov 25, 2019

View reviewed changes

batKem and others added 9 commits February 5, 2020 16:19

first wp-blue integration draft

e30a69e

second draft, starting to unfork

255940c

minishift checks and image stream setup

c8f5e89

deleted env vars from the runtime

796d943

added inventory file with 3 test sites in minishift

3d724f7

Creates sites directories in the NFS according to the inventory, nfs_…

dd751d1

…path need to be fixed

nfs_path problem fixed

3044313

deployment on prod images in parrallel POD SETUP NOT WORKING YET

ead9217

added anyuid policy, deleted meta: end_play

94910fd

Dominique Quatravaux and others added 16 commits February 7, 2020 17:17

[refactor] Define and use restore_tar_full_path

01fc479

Don't assume Python executable path

63e98f9

[fix] Do string concatenation in Jinja, not Python

b16a336

[fix] When multiple mgmt pods are present, use only the first

16841c4

[fix] Another Mac fix

2aa0cd6

[unfork] We want to do facts regardless of where

0a5c855

[feature] ssh key material for wp-blue / wwp-int

26e2ba4

- Pick up sshd keys out of today's running mgmt container - Set up authorized_keys exactly like in the test instance (wwp-dev) - Remove guard on mgmt.yml (thereby causing a conflict with wwp-int-mgmt.yml; still TODO: merge both)

enabled ssh connection for tasks on mgmt pod (needs manual port forwa…

54c0c39

…rding)

enabled --connector option on wpsible command to chose connection typ…

496851a

…e for restore tasks (cf Restore-Connector-doc.md)

Factorized plugin reactivation commands for performance

4ce5d66

Added ssh pipelining to ansible configuration

43e35e3

[WIP] unforking mgmt deployment, still forked for deployment rollouts…

62b8d2f

… and service accounts

Fixed Mohamed's ssh key in ansible/vars/ssh-keys.yml

01fe5b5

[WIP] (Unforking) added namespace variable for conditional mgmt deplo…

6a9345c

…yment

Finished unforking mgmt deployment tasks and variables

f451510

domq force-pushed the feature/wp-int branch from bf0448a to f451510 Compare February 7, 2020 16:27

domq requested changes Feb 7, 2020

View reviewed changes

domq requested a review from LuluTchab February 7, 2020 16:44

domq force-pushed the master branch 2 times, most recently from 9b8fa96 to 09df19f Compare October 8, 2021 08:54

domq force-pushed the master branch from 91ddd2d to 1cf4d0f Compare November 15, 2021 09:48

domq force-pushed the master branch 4 times, most recently from 89e81dd to e8140d7 Compare June 17, 2023 13:49

domq force-pushed the master branch 2 times, most recently from facec54 to 76d9133 Compare October 14, 2023 09:34

ponsfrilus force-pushed the master branch from 66bc06b to a352260 Compare December 6, 2023 17:00

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Support for de-novo creation of all the OpenShift / NFS fixtures (in namespace wwp-int) #107

Support for de-novo creation of all the OpenShift / NFS fixtures (in namespace wwp-int) #107

batKem commented Aug 27, 2019

LuluTchab commented Oct 31, 2019

batKem commented Nov 20, 2019

LuluTchab left a comment

LuluTchab Nov 25, 2019

LuluTchab Nov 25, 2019

LuluTchab Nov 25, 2019

LuluTchab Nov 25, 2019

LuluTchab Nov 25, 2019

LuluTchab Nov 25, 2019 •

edited

Loading

LuluTchab commented Nov 25, 2019 •

edited

Loading

LuluTchab commented Nov 25, 2019

zuzu59 commented Nov 26, 2019 via email

domq left a comment

domq Feb 7, 2020

domq Feb 7, 2020

domq commented Feb 7, 2020


		Il faut en premier se connecter sur OC:

		![Image](https://raw.githubusercontent.com/epfl-idevelop/wp-ops/feature/wp-int/img/oc_login.gif)

-    if [[ $CONFIG == "myproject/192-168-99-"*"developer" ]]
+    minishift_project=""
+    # If minishift installed (we assume it is here)
+    if [[ -e /usr/sbin/minishift ]]
+    then
+        # looking for information to build project string
+        minishift_ip_port=`minishift console --url | awk -F\/ '{print $3}'`
+        minishift_ip=`echo $minishift_ip_port| awk -F: '{print $1}' | sed -e "s/\./-/g"`
+        minishift_port=`echo $minishift_ip_port| awk -F: '{print $2}'`
+        minishift_project="myproject/${minishift_ip}:${minishift_port}/developer"
+    fi
+    if [[ $CONFIG == $minishift_project ]]

+#### MiniShift (uniquement si on veut faire tourner en local)
+La documentation d'installation se trouve ici : https://www.novatec-gmbh.de/en/blog/getting-started-minishift-openshift-origin-one-vm/
+A la fin de l'installation, copier le fichier `minishift` dans `/usr/sbin` ou créer un lien symbolique `/usr/sbin/minishift -> <pathToMiniShift>`

Support for de-novo creation of all the OpenShift / NFS fixtures (in namespace wwp-int) #107

Are you sure you want to change the base?

Support for de-novo creation of all the OpenShift / NFS fixtures (in namespace wwp-int) #107

Conversation

batKem commented Aug 27, 2019

LuluTchab commented Oct 31, 2019

batKem commented Nov 20, 2019

LuluTchab left a comment

Choose a reason for hiding this comment

LuluTchab Nov 25, 2019

Choose a reason for hiding this comment

LuluTchab Nov 25, 2019

Choose a reason for hiding this comment

LuluTchab Nov 25, 2019

Choose a reason for hiding this comment

LuluTchab Nov 25, 2019

Choose a reason for hiding this comment

LuluTchab Nov 25, 2019

Choose a reason for hiding this comment

LuluTchab Nov 25, 2019 • edited Loading

Choose a reason for hiding this comment

LuluTchab commented Nov 25, 2019 • edited Loading

LuluTchab commented Nov 25, 2019

zuzu59 commented Nov 26, 2019 via email

domq left a comment

Choose a reason for hiding this comment

domq Feb 7, 2020

Choose a reason for hiding this comment

domq Feb 7, 2020

Choose a reason for hiding this comment

domq commented Feb 7, 2020

LuluTchab Nov 25, 2019 •

edited

Loading

LuluTchab commented Nov 25, 2019 •

edited

Loading