Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Modification du pg_restore afin de prendre en compte que les tables nécessaires au dbt run #389

Open
wants to merge 2 commits into
base: main
Choose a base branch
from

Conversation

YannickPassa
Copy link
Contributor

**Carte Notion : **

Pourquoi ?

Modification du pg_restore afin de prendre en compte que les tables nécessaires au dbt run + retrait de scripts plus utilisés (xp brsa ft)

Checks

  • J'ai lancé le modèle ou seed sur un dump local (si pertinent)
  • J'ai ajouté des tests à mon code Python, ou des assertions DBT sur le modèle SQL
  • J'ai documenté ce modèle voire certains de ses champs (usage métier, tableau de bord, etc)

@YannickPassa YannickPassa self-assigned this Jan 7, 2025
Makefile Outdated Show resolved Hide resolved
Makefile Outdated
Comment on lines 112 to 134
--table="fluxIAE_AnnexeFinanciere" --table="fluxIAE_ContratMission" \
--table="fluxIAE_EtatMensuelIndiv" --table="fluxIAE_Missions" \
--table="fluxIAE_MissionsEtatMensuelIndiv" --table="fluxIAE_RefCategorieSort" \
--table="fluxIAE_RefMontantIae" --table="fluxIAE_RefMotifSort" \
--table="fluxIAE_RefNiveauFormation" --table="fluxIAE_RefFormeContrat" \
--table="fluxIAE_Salarie" --table="fluxIAE_Structure" \
--table="fluxIAE_MarchesPublics" --table="candidats_v0" \
--table="candidatures" --table="cap_campagnes" \
--table="cap_candidatures" --table="cap_critères_iae" \
--table="cap_structures" --table="codes_rome" \
--table="collaborations" --table="communes" \
--table="critères_iae" --table="departements" \
--table="fiches_de_poste" --table="fiches_de_poste_par_candidature" \
--table="institutions" --table="organisations_v0" \
--table="pass_agréments" --table="structures" \
--table="utilisateurs_v0" --table="demandes_de_prolongation" \
--table="prolongations" --table="structures_v0" \
--table="c1_ref_type_contrat" --table="c1_ref_type_prescripteur" \
--table="c1_ref_motif_de_refus" --table="c1_analytics_v0" \
--table="insee_communes" --table="c1_private_dashboard_visits_v0" \
--table="suivi_visiteurs_tb_prives" --table="suivi_visiteurs_tb_prives_v1" \
--table="suivi_utilisateurs_tb_prives" --table="suivi_visiteurs_tb_publics_v1" \
--table="sorties_v2" --table="sa_zones_infradepartementales" \
Copy link
Contributor

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Je vois 2 améliorations possibles :

  1. --table autorise les pattern donc --table="fluxIAE_*" et --table="c1_ref_* devraient être utilisables
  2. Sans doute plus simple et maintenable d'utiliser --filter et un fichier plat que d'avoir la liste dans le Makefile, en plus ça permet de le partager entre pg_dump et pg_restore ce qui évite de tout récupérer via le réseau et sur notre disque alors qu'on ne va en utilise qu'une partie

Copy link
Contributor Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

@rsebille j'ai reussi a prendre en compte le 1, le 2 je sais pas trop faire héhé

Copy link
Contributor

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

J'avais pas vérifié mais l'option --filter n'est disponible que depuis PG 17 et clever ne proposant toujours que PG 15 elle n'est donc pas utilisable pour le moment :).

Makefile Outdated Show resolved Hide resolved
Makefile Outdated Show resolved Hide resolved
@YannickPassa YannickPassa force-pushed the YannickPassa/new_dump branch from c397373 to 1a9ac61 Compare January 20, 2025 14:04
Copy link
Contributor

@rsebille rsebille left a comment

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Je tamponne pour ne pas bloquer mais faut corriger la typo depricated avant de fusionner ;).

Copy link
Contributor

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

s/depricated/deprecated/g ;)

Copy link
Contributor Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

la honte

Copy link
Contributor Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

et merci !

Makefile Outdated
Comment on lines 112 to 134
--table="fluxIAE_AnnexeFinanciere" --table="fluxIAE_ContratMission" \
--table="fluxIAE_EtatMensuelIndiv" --table="fluxIAE_Missions" \
--table="fluxIAE_MissionsEtatMensuelIndiv" --table="fluxIAE_RefCategorieSort" \
--table="fluxIAE_RefMontantIae" --table="fluxIAE_RefMotifSort" \
--table="fluxIAE_RefNiveauFormation" --table="fluxIAE_RefFormeContrat" \
--table="fluxIAE_Salarie" --table="fluxIAE_Structure" \
--table="fluxIAE_MarchesPublics" --table="candidats_v0" \
--table="candidatures" --table="cap_campagnes" \
--table="cap_candidatures" --table="cap_critères_iae" \
--table="cap_structures" --table="codes_rome" \
--table="collaborations" --table="communes" \
--table="critères_iae" --table="departements" \
--table="fiches_de_poste" --table="fiches_de_poste_par_candidature" \
--table="institutions" --table="organisations_v0" \
--table="pass_agréments" --table="structures" \
--table="utilisateurs_v0" --table="demandes_de_prolongation" \
--table="prolongations" --table="structures_v0" \
--table="c1_ref_type_contrat" --table="c1_ref_type_prescripteur" \
--table="c1_ref_motif_de_refus" --table="c1_analytics_v0" \
--table="insee_communes" --table="c1_private_dashboard_visits_v0" \
--table="suivi_visiteurs_tb_prives" --table="suivi_visiteurs_tb_prives_v1" \
--table="suivi_utilisateurs_tb_prives" --table="suivi_visiteurs_tb_publics_v1" \
--table="sorties_v2" --table="sa_zones_infradepartementales" \
Copy link
Contributor

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

J'avais pas vérifié mais l'option --filter n'est disponible que depuis PG 17 et clever ne proposant toujours que PG 15 elle n'est donc pas utilisable pour le moment :).

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

Successfully merging this pull request may close these issues.

2 participants