Skip to content

Commit

Permalink
News endring i tjeneste konfigurasjon (#175)
Browse files Browse the repository at this point in the history
* new image

* new post

* add missing link

* update image

* update in accordance with new service config

* new date modified

* update image

* new images

* new service catalog layout. update required

* update images

* new image for jupyter-chapter

* new service config. updating articles required

* remove text, refer to jupyter.qmd

* remove text, refer to jupyter.qmd

* update date

* change href of dapla lab tjenester to jupyter.qmd

* proof reading

* update images

* typo

* update

* add config. description

* update images

* remove outdated info

* change to 'datadoc editor'

Co-authored-by: Jorgen-5 <[email protected]>

* change to 'datadoc editor'

Co-authored-by: Jorgen-5 <[email protected]>

* typo

Co-authored-by: Jorgen-5 <[email protected]>

* remove unused/outdated image

---------

Co-authored-by: Jorgen-5 <[email protected]>
  • Loading branch information
akcssb and Jorgen-5 authored Nov 27, 2024
1 parent 2f8ab21 commit be44d34
Show file tree
Hide file tree
Showing 23 changed files with 114 additions and 180 deletions.
2 changes: 1 addition & 1 deletion dapla-manual/_quarto.yml
Original file line number Diff line number Diff line change
Expand Up @@ -125,7 +125,7 @@ website:
href: statistikkere/kildomaten.qmd
contents:
- section: "Dapla Lab tjenester"
href: statistikkere/rstudio.qmd
href: statistikkere/jupyter.qmd
contents:
- statistikkere/datadoc.qmd
- statistikkere/jdemetra.qmd
Expand Down
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file not shown.
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file modified dapla-manual/images/dapla-lab-konf-buckets-data-admin.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file modified dapla-manual/images/dapla-lab-konf-buckets.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file modified dapla-manual/images/dapla-lab-konf-git.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file modified dapla-manual/images/dapla-lab-persistence.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file modified dapla-manual/images/dapla-lab-resources.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file modified dapla-manual/images/dapla-lab-tjenestekonf-detail.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file modified dapla-manual/images/datadoc-config.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Original file line number Diff line number Diff line change
@@ -0,0 +1,27 @@
---
title: Endring i tjenestekonfigurasjon på Dapla Lab
categories:
- Dapla Lab
- Jupyter
- VSCode
- RStudio
- IDE
- JDemetra
- Datadoc
- Tjenestekatalog

author:
- name: Alex Crozier
affiliation:
- name: A200 Støtteteam
email: [email protected]
date: "11/25/2024"
date-modified: "11/25/2024"
image: ../../../images/dapla-long.png
image-alt: "Bilde av Dapla-logoen"
draft: false
---

Tjenestekonfigurasjonen i Dapla Lab har endret seg. Dette er altså menyen man får opp når man starter opp en ny tjeneste, for eksempel en ny instans av Jupyter eller VSCode. Parameterne man kan konfigurere er derimot uendret. Følgende artikler i manualen har derfor blitt oppdatert: [jupyter](../../../statistikkere/jupyter.qmd), [jupyter-pyspark](../../../statistikkere/jupyter-pyspark.qmd), [jupyter-playground](../../../statistikkere/jupyter-playground.qmd), [VSCode-python](../../../statistikkere/vscode-python.qmd), [RStudio](../../../statistikkere/rstudio.qmd), [Datadoc](../../../statistikkere/datadoc.qmd), [JDemetra](../../../statistikkere/datadoc.qmd) og [artikkelen om Dapla Lab](../../../statistikkere/dapla-lab.qmd).

![Tjenestekonfigurasjon for jupyter](../../../images/daplalab-tjenestekonfigurasjon.png){fig-alt="Viser tjenestekonfigurasjonen i Dapla Lab." #fig-dapla-lab-tjenestekonfig}
47 changes: 28 additions & 19 deletions dapla-manual/statistikkere/datadoc.qmd
Original file line number Diff line number Diff line change
Expand Up @@ -5,7 +5,9 @@ date-modified: "11/26/2024"

![](../images/dapla-lab-datadoc-service.png){style="max-width: 46%; float: right;" fig-alt="Jupyter Service"}

Datadoc editor er et tjeneste som tilbyr et grafisk grensesnitt for å dokumentere datasett og variablene som utgjør datasettet. Formålet med tjenesten er å tilby et lett-å-bruke grensesnitt som hovedsakelig vil benyttes første gang man dokumenterer en type datasett.
Datadoc editor er et grafisk grensesnitt for å dokumentere datasett og variablene som utgjør datasettet.

Formålet med tjenesten er å tilby et lett-å-bruke grensesnitt som hovedsakelig vil benyttes første gang man dokumenterer en type datasett.

Siden løpende statistikkproduksjon ofte innebærer at nye data legges til data fra tidligere perioder, uten at strukturen i datasett endres, så tilbys det også et annet verktøy som lar brukeren programmatisk gjenbruke metadata fra en tidligere periode. Les mer om Python-pakken [dapla-toolbelt-metadata](./dapla-toolbelt-metadata.qmd).

Expand All @@ -23,22 +25,25 @@ Datadoc editor bruker ca. 1 minutt på starte og etter det klart for dokumentere

## Konfigurasjon

Før man starter Datadoc editor bør man konfigurere tjenesten. Dette er spesielt viktig siden du bare kan representere et Dapla-team for hver Datadoc editor man starter. I tjenestekonfigurasjonen til Datadoc editor er det 2 faner: **Dapla** og **Tjeneste**.
Før man starter Datadoc editor bør man konfigurere tjenesten. Dette er spesielt viktig siden du bare kan representere et Dapla-team for hver Datadoc editor man starter. I tjenestekonfigurasjonen til Datadoc er det to nedtrekksmenyer: **Data** og **Tjeneste**.

### Data

Under Data kan man velge **Team og tilgangsgruppe**. I denne menyen får du listet alle team og tilgangsgrupper du er med i. Listen vises på formen *\<daplateam\>-\<tilgangsgruppe\>*.

### Dapla
@fig-datadoc-config viser tilfellet der det er valgt å representere tilgangsgruppen **developers** i teamet **Dapla Felles**, derav *dapla-felles-developers*. Dette er standardvalget.

Under fanen **Dapla** i **Datadoc editor konfigurasjoner** er det en nedtrekksmeny der man kan velge **Team og tilgangsgruppe**. I nedtrekksmenyen får du listet alle team og tilgangsgrupper du er med i. Listen i nedtrekksmenyen vises på formen **\<daplateam\>-\<tilgangsgruppe\>**. @fig-datadoc-config viser tilfellet der det er valgt å representere tilgangsgruppen **developers** i teamet **Dapla Felles**, derav **dapla-felles-developers**. Det er også det som velges som standard hvis man ikke velger noe annet.
![Data-menyen i tjenestekonfigurasjonen for Datadoc editor.](../images/datadoc-config.png){fig-alt="Slik ser config for datadoc ut" width="100%" #fig-datadoc-config}

![Dapla-fanen i tjenestekonfigurasjonen for Datadoc editor.](../images/datadoc-config.png){fig-alt="Slik ser config for datadoc editor ut" width="100%" #fig-datadoc-config}
Datadoc editor støtter for øyeblikket ikke kildedata selv om man kan velge begrunnelse og tilgangvarighet fra konfigurasjons fanen.

Datadoc editor støtter ikke kildedata for øyeblikket selv om man kan velge begrunnelse og tilgangvarighet fra konfigurasjons fanen.
### Tjeneste

Under fanen **Tjeneste** kan man velge versjon av tjenesten. Det vil være svært sjelden at brukere trenger å endre på noe her. Som standard åpnes alltid siste versjon av tjenesten.
Under menyen **Tjeneste** kan man velge versjon av tjenesten. Det vil være svært sjelden at brukere trenger å endre på noe her. Som standard åpnes alltid siste versjon av tjenesten.

## Datatilgang

Når man starter en Datadoc-editor-tjeneste må man på forhånd velge hvilket team og tilgangsgruppe man skal representere, som [forklart i forrige kapittel](./datadoc.qmd#dapla).
Når man starter en Datadoc-editor tjeneste må man på forhånd velge hvilket team og tilgangsgruppe man skal representere, som [forklart i forrige del](./datadoc.qmd#dapla).

::: {.callout-warning}
## data-admins ikke tilgjengelig enda
Expand Down Expand Up @@ -74,7 +79,7 @@ Etter at man har trykket på _Åpne fil_ knappen bør man se meldingen vist i @f

#### Vellykket åpning med advarsel

Hvis man åpner en datasett som ikke følger navnestandarden, vil det komme en advarsel (@fig-aapne-datasett-advarsel). Det er fortsatt fullt mulig å bruke Datadoc editor for å dokumentere datasettet, men ikke like mye metadata kan utledes automatisk (TODO: lenke til seksjonen om utledning).
Hvis man åpner et datasett som ikke følger navnestandarden, vil det komme en advarsel (@fig-aapne-datasett-advarsel). Det er fortsatt fullt mulig å bruke Datadoc editor for å dokumentere datasettet, men ikke like mye metadata kan utledes automatisk (TODO: lenke til seksjonen om utledning).

::: {.callout-note}
Dette kan være en fin anledning til å justere på navngivning og strukturen i teamets bøtter slik at alt følger [navnestandarden](./navnestandard.html). Det er en lenke til navnestandarden i meldingen.
Expand All @@ -84,7 +89,7 @@ Dette kan være en fin anledning til å justere på navngivning og strukturen i

#### Feil ved åpning

Hvis Datadoc editor ikke klarer å åpne datasettet, vises en rød error melding (@fig-aapne-datasett-feil). Dette forårsakes oftest at filen ikke finnes (for eksempel på grunn av en typo i filstien), men kan også være på grunn av at man ikke har tilgang til filen, eller at det er et brudd i nettverket.
Hvis Datadoc editor ikke klarer å åpne datasettet vises en rød error melding (@fig-aapne-datasett-feil). Som oftest forårsakes dette av at filen ikke finnes (skrivefeil) eller fordi man ikke har tilgang til filen.

![Meldingen at det var en feil ved åpning av datasettet.](../images/datadoc-aapne-datasett-feil.png){fig-alt="Figur som viser meldingen at det var en feil ved åpning av datasettet." fig-align="left" width="40%" #fig-aapne-datasett-feil}

Expand All @@ -96,7 +101,7 @@ Hvis et metadatadokument eksisterer, er det denne informasjonen som lastes inn.

Informasjon som kan utledes vil bli fylt inn når du åpner datasettet. Informasjonen hentes enten fra filstien eller settes inn som en default verdi (*). Det er mulig å korrigere informasjonen i ettertid. Følgende felter blir forsøkt utledet:

Datasett:
**Datasett:**

- Verdivurdering
- Status (*)
Expand All @@ -107,7 +112,7 @@ Datasett:
- Inneholder data t.o.m.
- Geografisk dekningsområde (*)

Variabler:
**Variabler:**

- Kortnavn
- Datatype
Expand Down Expand Up @@ -152,7 +157,7 @@ Dette gjelder følgende felter:
- Inneholder data t.o.m

Det er mulig å redigere vediene i variabelforekomst fanen etter en verdi er satt i datasettfanen.
Men hvis disse feltene blir endret i datasettfanen senere, vil de alltid overskrive det som er satt i variabelforekomst fanen.
Hvis disse feltene blir endret i datasettfanen senere, vil de alltid overskrive det som er satt i variabelforekomst fanen.

#### Søk i variabelforekomster

Expand All @@ -165,7 +170,8 @@ Det er mulig å søke gjennom variabelforekomstene sine kortnavn. Dette filtrere
::: {.callout-warning}
## Viktig informasjon

Datadoc editor mellomlagrer ikke utfylt metadata.
**Datadoc editor mellomlagrer ikke utfylt metadata.**

Pass på å lagre metadataene ofte ved å trykke lagre og legg merke til om du får en bekreftelse på at metadataene er lagret.
:::

Expand All @@ -179,18 +185,21 @@ Advarselen for datasett viser en liste over hvilke felt som mangler. For variabe

Når du fyller ut de manglende obligatoriske feltene må du lagre på nytt og advarslene vil forsvinne når alle obligatoriske felt er fylt ut.

Ved lagring gjøres det også en sjekk på om variabel kortnavene avviker for navne standarden for variabel kortnavn.
Ved lagring gjøres det også en sjekk på om variabel kortnavene avviker for navnestandarden for variabelnavn.
Om det finnes avvik vil disse kortnavene vises i en gul advarsel boks.
Navne standarden for variabelkortnavn er som følger:
Alfanumerisk begrenset til a-z (kun små bokstaver), 0-9 og _ (understrek).
Navnestandarden for variabelkortnavn er som følger:

- Alfanumerisk begrenset til a-z (kun små bokstaver)
- 0-9
- _ (understrek).

#### Metadata filen

Når du trykker på _Lagre metadata_ knappen i Datadoc editor skrives alle metadata til en fil i samme mappe (katalog) som datafilen. Dette er en JSON-fil med nesten samme navn som datafilen. Navnekonvensjonen for metadatafilen er
Når du trykker på _Lagre metadata_ knappen i Datadoc editor skrives alle metadata til en fil i samme mappe (katalog) som datafilen. Dette er en JSON-fil med nesten samme navn som datafilen. Navnekonvensjonen for metadatafilen er

`<navn på datasettfilen uten endelse>__DOC.json`

Eksempelvis hvis datafilen har navnet `skattedata_p2022_v1.parquet`, så vil Datadoc editor lagre metadata i filen `skattedata_p2022_v1__DOC.json`.
Eksempelvis vil Datadoc lagre metadata i filen `skattedata_p2022_v1__DOC.json` hvis datafilen har navnet `skattedata_p2022_v1.parquet`.

Fordelen med å benytte en JSON-fil til å lagre metadata er at denne filen kan kopieres og flyttes like enkelt som selve datafilen. JSON-filer er strukturerte tekstfiler som kan leses av både maskiner (Python/R) og av mennesker (åpnes i en tekst-editor).

Expand Down
13 changes: 7 additions & 6 deletions dapla-manual/statistikkere/jdemetra.qmd
Original file line number Diff line number Diff line change
@@ -1,6 +1,6 @@
---
title: Jdemetra
date-modified: last-modified
date-modified: "11/25/2024"
---

![](../images/dapla-lab-jdemetra-service.png){style="max-width: 350%; float: right;" fig-alt="Jupyter Service"}
Expand All @@ -22,13 +22,14 @@ Før man starter **Jdemetra-tjenesten** bør man ha lest [kapitlet om Dapla Lab]

Før man åpner en tjeneste kan man konfigurere hvilket team og tilgangsgruppe man skal representere og dermed hvilke bøtter man får tilgang til i Jdemetra. Man kan også velge hvilken versjon av Jdemetra man ønsker å kjøre, der default er siste versjon.

![Detaljert tjenestekonfigurasjon i Jdemetra-tjenesten i Dapla Lab.](../images/dapla-lab-jdemetra-konf-dapla.png){fig-alt="Viser tjenestekonfigurasjonen i Dapla Lab." #fig-dapla-lab-jdemetra-konf-dapla}
![Detaljert tjenestekonfigurasjon i JDemetra-tjenesten: data](../images/dapla-lab-jdemetra-konf-data.png){fig-alt="Viser tjenestekonfigurasjonen i Dapla Lab." #fig-dapla-lab-jdemetra-konf-dapla}

@fig-dapla-lab-jdemetra-konf-dapla viser hvilke valg man gjøre under fanen **Dapla**. Først kan man velge om ønsker å aktivere datatilgang. Det vil si om man vil ha tilgang til bøtter fra tjenesten. I de aller fleste tilfeller er dette ønskelig, siden man ikke får lagret noe permanent uten dette. Hvis man velger datatilgang, så må man deretter spesifisere hvilket team og tilgangsgruppe man ønsker å representere. Alle i SSB er medlem av *developers*-gruppa i teamet[Dapla Felles](./hva-er-dapla-team.qmd#dapla-felles), derfor kan man velge dette teamet hvis man ønsker teste ut tjenesten.
@fig-dapla-lab-jdemetra-konf-dapla viser hvilke valg man gjøre under menyen **Data**. I tillegg viser bildet neddtrekksmenyen for hvilken versjon av Jdemetra man vil bruke. Først kan man velge hvilket team og tilgangsgruppe man ønsker å representere. I tillegg kan man aktivere kildedatatilgang. Alle i SSB er medlem av *developers*-gruppa i teamet [Dapla Felles](./hva-er-dapla-team.qmd#dapla-felles), derfor kan man velge dette teamet hvis man ønsker teste ut tjenesten.

@fig-dapla-lab-jdemetra-konf-service viser valget man kan gjøre under fanen *Tjeneste*. Her kan man velge versjon av Jdemetra-programvaren. Default er siste versjon som er tilgjengelig.
@fig-dapla-lab-jdemetra-konf-ressurser-diskplass viser nedtrekksmenyen for ressurser og diskplass, hvor man kan velge antall CPU-kjerner, minne og diskplass.

![Detaljert tjenestekonfigurasjon i JDemetra-tjenesten: ressurser og diskplass](../images/dapla-lab-jdemetra-konf-resources-disk.png){fig-alt="Viser tjenestekonfigurasjonen i Dapla Lab." #fig-dapla-lab-jdemetra-konf-ressurser-diskplass}

![Detaljert tjenestekonfigurasjon i Dapla Lab](../images/dapla-lab-jdemetra-konf-service.png){fig-alt="Viser tjenestekonfigurasjonen i Dapla Lab." #fig-dapla-lab-jdemetra-konf-service}

## Datatilgang og lagring

Expand Down Expand Up @@ -72,7 +73,7 @@ Man kan pause tjenesten ved å trykke på Pause-knappen i Dapla Lab under **Mine
:::: {.columns}

::: {.column width="70%"}
Man kan moniterere en instans av Jupyter ved å trykke på Jupyter-teksten under Mine tjenester i Dapla Lab, slik som vist i @fig-dapla-lab-monitoring.
Man kan moniterere en instans ved å trykke på navnet på tjenesten under Mine tjenester i Dapla Lab, slik som vist i @fig-dapla-lab-monitoring med en jupyter-instans.

Denne funksjonaliteten er under arbeid og mer informasjon kommer snart.
:::
Expand Down
2 changes: 1 addition & 1 deletion dapla-manual/statistikkere/jupyter-playground.qmd
Original file line number Diff line number Diff line change
Expand Up @@ -25,7 +25,7 @@ Konfigurasjonen av **Jupyter-playground** er identisk som for Jupyter-tjenesten.

## Datatilgang

Hvis man har valgt å tilgjengeliggjøre data fra et team sitt bøtter i tjenesten, så kan man inspisere dataene fra en terminal inne i tjenesten:
Slik kan man inspisere dataene fra en terminal inne i tjenesten:

1. Åpne en instans av Jupyter med data fra bøtter
2. Åpne en terminal inne i Jupyter
Expand Down
Loading

0 comments on commit be44d34

Please sign in to comment.