Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Soporte de tablas "mutable" en sqlFileStore #94

Open
rg2011 opened this issue Jul 10, 2024 · 1 comment
Open

Soporte de tablas "mutable" en sqlFileStore #94

rg2011 opened this issue Jul 10, 2024 · 1 comment

Comments

@rg2011
Copy link
Collaborator

rg2011 commented Jul 10, 2024

Algunas ETLs como la de tourism utilizan la clase sqlFileStore para permitir guardar los datos a un fichero SQL en lugar de directamente a Orion.

Esto es útil para pruebas (para comprobar si los datos de LUCA son correctos y no dan fallos al cargar, que casi siempre los dan), y también para cargar manualmente los datos, en lugar de por orion (lo que suele ahorrar varias horas de ejecución).

Sin embargo, en la última versión de la vertical de turismo, se ha pasado al sink mutable, que sqlFileStore no soporta. Así que la ETL ya no se puede usar para cargas manuales, solo para cargas por orion.

Se podría cambiar el sqlFileStore para soportar un nuevo parámetro, mutable_id, que permita soportar las tablas mutable, modificando el sql generado para que añada un ON CONFLICT DO UPDATE ... a las sentencias SQL generadas.

@fgalan
Copy link
Contributor

fgalan commented Jul 10, 2024

Aunque no tengo 100% de todo el contexto :), suena a mejora interesante que no impacta en la compatibilidad hacia atrás de la librería, así que por mi parte, adelante.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants