Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

Container för att koppla Länkade data till böcker #25

Open
salgo60 opened this issue Oct 27, 2020 · 12 comments
Open

Container för att koppla Länkade data till böcker #25

salgo60 opened this issue Oct 27, 2020 · 12 comments

Comments

@salgo60
Copy link

salgo60 commented Oct 27, 2020 •
edited
Loading

@jroxendal jag skapar en egen task för detta med om Wikidata kan hjälpa till med att koppla bok till plats/tid/person som ni kan använda att visa en bok på karta.... min tanke är att Wikidata skall skapa underlag till era animeringar video

Jag har gjort test 1 med Nils Holgersson se

dvs. detta har lagts på utgåvan av boken inte på verket (WD Q726254) i min test

Tanken är att ange platser i boken och koppla det till sida och med en länk till Litteraturbanken och helst lämpliga bilder från Wikicommons. Jag har även lagt till ett citat men är inte 100 på vad det gäller med copyright

image

Egenskaper använda just nu

  • Property:P840 Utspelar sig på plats
    • pekar på ett WIkidata objekt där koordinaten finns och kopplingar till WIkipedia artiklar etc...
      Referens till var i boken och sida anges i referenser dvs, en plats kan refereras flera ggr och
  • Property:P5123 "Litteraturbanken utgåva" pekar på sida i inscannad bok hos Litteraturbanken
  • Property:P304 Sida
    • blir som en indikator var i boken vi är.... bäst vore om vi kunde ha det för verket och att det även fanns i alla utgåvor?!?!?!?
    • I fallet med Nils Holgersson får vi skapa en SPARQL fråga som innehåller båda böckerna och sedan sorterar på band/sida är min tanke... återkommer med SPARQL
  • Property:P792 Kapitel
  • Property:P18 bild bör kunna vara en eller flera
    • man skulle kunna tänka sig att hämta bilden
      • från plats objektets bild ex. Q1663657 har en bild P18
      • i Wikicommons finns bilder från scannade Nils Holgersson som skulle kunna användas ex. så finns nu SPARQL endpoint till bilderna ex, fråga bilder från en atlas där SPARQL körs från wcqs-beta.wmflabs.org
  • Property:P1683 citat ett stycke från boken som har med platsen att göra
    • osäker på hur mycket man får citera och ha i Wikidata så att datat är CC-0

Egenskaper som skulle kunna användas eller andra tankar

Draft 1
Magnus Sälgö
[email protected]
0705937579

Andra länkar
@salgo60 salgo60 changed the title Container för att prata annoterade böcker Container för att koppla Länkade data till böcker Oct 27, 2020
@salgo60
Copy link
Author

salgo60 commented Oct 28, 2020 •
edited
Loading

Version 0.1

  • Band 1 och 2 av Nils https://w.wiki/jEo på karta
  • på karta med länk WD plats objektet
  • Som bilder https://w.wiki/jEp
  • som json se även video vid 4:50
    • add https://query.wikidata.org/sparql?format=json&query= before query link
    • use curl
      curl --header "Accept: application/json" https://query.wikidata.org/sparql?query=SELECT%20%3Fedition%20%3FeditionLabel%20%3FplaceLabel%20%3Fcoord%20%20%3Fpic%20%3Fquote%20%3FBooklocation%20%3FLitteraturbanken%20WHERE%20%7B%0A%20%20VALUES%20%3Fedition%20%7B%20%20%20%20wd%3AQ100528488%20wd%3AQ100621723%20%7D%0A%20%20%3Fedition%20wdt%3AP478%20%3Fvolume.%0A%20%20%3Fedition%20p%3AP840%20%3Fnode.%0A%20%20%3Fnode%20ps%3AP840%20%3Fplace.%0A%20%20%3Fnode%20ps%3AP840%2Fwdt%3AP625%20%3Fcoord.%0A%20%20%3Fnode%20prov%3AwasDerivedFrom%20%3Freferences.%0A%20%20OPTIONAL%20%7B%3Freferences%20pr%3AP18%20%3Fpic%7D%0A%20%20OPTIONAL%20%7B%3Freferences%20pr%3AP1683%20%3Fquote%7D%0A%20%20OPTIONAL%20%7B%3Freferences%20pr%3AP304%20%3Fpage%7D%0A%20%20OPTIONAL%20%7B%3Freferences%20pr%3AP5123%20%3FLittId%7D%0A%20%20BIND%20%28URI%28CONCAT%28%22https%3A%2F%2Flitteraturbanken.se%2Fforfattare%2F%22%2C%3FLittId%29%29%20AS%20%3FLitteraturbanken%29%20%0A%20%20BIND%20%28CONCAT%28%22Band%20%22%2C%3Fvolume%2C%22%20sida%20%22%2C%3Fpage%29%20AS%20%3FBooklocation%29%0A%20%20%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22sv%22.%20%7D%0A%7D%20order%20by%20xsd%3Ainteger%28%3Fvolume%29%20xsd%3Ainteger%28%3Fpage%29 ** json = url + format=json&
  • som csv
    curl --header "Accept: text/tab-separated-values" https://query.wikidata.org/sparql?query=SELECT%20%3Fedition%20%3FeditionLabel%20%3FplaceLabel%20%3Fcoord%20%20%3Fpic%20%3Fquote%20%3FBooklocation%20%3FLitteraturbanken%20WHERE%20%7B%0A%20%20VALUES%20%3Fedition%20%7B%20%20%20%20wd%3AQ100528488%20wd%3AQ100621723%20%7D%0A%20%20%3Fedition%20wdt%3AP478%20%3Fvolume.%0A%20%20%3Fedition%20p%3AP840%20%3Fnode.%0A%20%20%3Fnode%20ps%3AP840%20%3Fplace.%0A%20%20%3Fnode%20ps%3AP840%2Fwdt%3AP625%20%3Fcoord.%0A%20%20%3Fnode%20prov%3AwasDerivedFrom%20%3Freferences.%0A%20%20OPTIONAL%20%7B%3Freferences%20pr%3AP18%20%3Fpic%7D%0A%20%20OPTIONAL%20%7B%3Freferences%20pr%3AP1683%20%3Fquote%7D%0A%20%20OPTIONAL%20%7B%3Freferences%20pr%3AP304%20%3Fpage%7D%0A%20%20OPTIONAL%20%7B%3Freferences%20pr%3AP5123%20%3FLittId%7D%0A%20%20BIND%20%28URI%28CONCAT%28%22https%3A%2F%2Flitteraturbanken.se%2Fforfattare%2F%22%2C%3FLittId%29%29%20AS%20%3FLitteraturbanken%29%20%0A%20%20BIND%20%28CONCAT%28%22Band%20%22%2C%3Fvolume%2C%22%20sida%20%22%2C%3Fpage%29%20AS%20%3FBooklocation%29%0A%20%20%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22sv%22.%20%7D%0A%7D%20order%20by%20xsd%3Ainteger%28%3Fvolume%29%20xsd%3Ainteger%28%3Fpage%29
    Video om detta och lite tankar

image

image

Javascript kod som utför SPARQL frågan och hämtar datat

class SPARQLQueryDispatcher {
constructor( endpoint ) {
this.endpoint = endpoint;
}

query( sparqlQuery ) {
	const fullUrl = this.endpoint + '?query=' + encodeURIComponent( sparqlQuery );
	const headers = { 'Accept': 'application/sparql-results+json' };

	return fetch( fullUrl, { headers } ).then( body => body.json() );
}

} const endpointUrl = 'https://query.wikidata.org/sparql';
const sparqlQuery = `#defaultView:Map{"hide":["?coord"]}
SELECT ?edition ?editionLabel ?placeLabel ?coord (sample(?pic) AS ?pic) ?quote ?Booklocation ?Litteraturbanken WHERE {
VALUES ?edition { wd:Q100528488 wd:Q100621723 }
?edition wdt:P478 ?volume.
?edition p:P840 ?node.
?node ps:P840 ?place.
?node ps:P840/wdt:P625 ?coord.
?node prov:wasDerivedFrom ?references.
OPTIONAL {?references pr:P18 ?pic}
OPTIONAL {?references pr:P1683 ?quote}
OPTIONAL {?references pr:P304 ?page}
OPTIONAL {?references pr:P5123 ?LittId}
BIND (URI(CONCAT("https://litteraturbanken.se/forfattare/",?LittId)) AS ?Litteraturbanken)
BIND (CONCAT("Band ",?volume," sida ",?page) AS ?Booklocation)
SERVICE wikibase:label { bd:serviceParam wikibase:language "sv". }
} group by ?edition ?editionLabel ?placeLabel ?coord ?quote ?Booklocation ?Litteraturbanken
order by xsd:integer(?volume) xsd:integer(?page);

const queryDispatcher = new SPARQLQueryDispatcher( endpointUrl );
queryDispatcher.query( sparqlQuery ).then( console.log );
`

@salgo60
Copy link
Author

salgo60 commented Oct 29, 2020 •
edited
Loading

FYI @jroxendal Wiki user @Vesihiisi laddar nu upp LItteraturbanken editions till Wikidata

Skrik till om du vill att vi skall testa vidare på detta med att annotera böcker och isåfall vilka böcker.

Vi hade idag en online diskussion på en Wikidata Birthday session om hur detta bäst görs i Wikidata och han jag pratade med tyckte allt var ok men tvivelaktigt med bilderna som inte hade med boken att göra att lägga dom på objektet..... hade det varit bilder från boken om Nils Holgersson typ dessa så var det mer korrekt tyckte han (författare till en coolt verktyg som funkar med Litteraturbanken se video .... )

En app som läser direkt från Wikidata är stories.wechanged.ugent.be/#Q1043 där just Carl von Linneaus blir om du klickar på Timeline väldigt trevligt med alla hans böcker från Litteraturbanken

image

klickar du på Relevant people dyker co-authors/ doktorander etc upp
image

@salgo60
Copy link
Author

salgo60 commented Oct 29, 2020 •
edited
Loading

Off Topic: Carl von Linné som ni skapade test videon med var den som angav namnet på massa arter. Utan att vara kunnig så är just första exemplaret av arter viktigt och finns ofta på ett museum. Gissar att han i de resor ni återger så vore det lite spännande att ta höjd att även kunna visa dessa arter på korrekt plats och att den återfinns idag dvs var dom hittades och var dom finns idag...

Jag har funderat över dessa exemplar då jag kopplade ihop Uppsala Universitets Alvin databas med Wikidata P6821. Första exemplaret av arten blir som ett referensexemplar om man blir osäker och kallas type species / typföremål

image

Mina tidigare tankar om detta

image

Tanke: det vore spännande med de resor Carl von Linné gör som är dokumenterade att även koppla ihop plats i boken med de typföremål han har och som kanske finns hos Uppsala Universitet...och även visa på era kartor över resan...

@salgo60
Copy link
Author

salgo60 commented Nov 6, 2020

Annan Wikidata <-> Litteraturbanken koppling vi kopplar ihop forskning från Göteborgs Universitet med en Wikibase på Gotha Universitet där vi även försöker matcha personerna mot Wikidata --> att vi får koppling till Litteraturbanken

se Task T266745

image

@salgo60
Copy link
Author

salgo60 commented Nov 13, 2020 •
edited
Loading

Ytterligare tester

image

Mer om denna aktivitet där vi nu testar att skapa en "egen Wikidata" dvs. Wikibase se BellmanFactBase

@jroxendal
Copy link
Collaborator

Här är ett nedslag i språkbankens sökverktyg på litteraturbanksdata:
https://spraakbanken.gu.se/korp/?mode=lb#?cqp=%5B_.text_title%20%5E%3D%20%22Nils%20Holgerssons%20underbara%20resa%20genom%20Sverige%22%20%26%20lbound(sentence)%5D&search_tab=1&result_tab=2&search=cqp

sökningen tar fram alla meningar ur de två Nils Holgersson-böckerna. du kan sen visualisera alla orter som vår namntagger har hittat såhär:
Screenshot 2020-11-13 at 15 17 16

något liknande går fint med Det går an men säkert sämre med Linné, eftersom så många ortnamn ändrat stavning sen dess.

@salgo60
Copy link
Author

salgo60 commented Nov 13, 2020

Trevligt jag skall kolla mer på det hela...

Fråga: kan man komma åt era texter och göra NER på det hela eller måsta man in i KARP för det?

Ser mer och mer kul projekt med Wikidata och NER som exempelvis opentapioca
I förra månaden kopplade man in Riksdagensdokument och Högsta domstolens domar där kopplar vi ihop dessa med varandra och med Riksdagsledamöter etc.... där finns full texten hos Riksdagen vilket borde vara rel enkelt sätt att göra NER etc...

@jroxendal
Copy link
Collaborator

alla våra texter har redan NER-analys, även våra riksdagsdokument, här är ca 25 000 personnamn ur 'Anföranden' ur Riksdagens öppna data:
https://spraakbanken.gu.se/korp/#?corpus=rd-anf&cqp=%5B_.ne_subtype%20%3D%20%22HUM%22%5D&search_tab=1&stats_reduce=ne_name&search=cqp&result_tab=2

Screenshot 2020-11-16 at 14 03 06

@salgo60
Copy link
Author

salgo60 commented Nov 16, 2020 •
edited
Loading

Japp såg att ni lyft in Riksdagens dokument och jag läste Stian Rødven Eide " papper "The Swedish PoliGraph: A Semantic Graph for Argument Mining of Swedish Parliamentary Data" wd Q101662122. Riksdagen har ju bra ordning på sitt egna data men få externa kopplingar.

Kollar vi Carl Bild har vi 116 egenskaper på honom graf / Scholia som skapar citation graphs / co-.author Graph och allt är cc0

image

Next step?:
Vi borde koppla ihop dess gubbar/gummor/platser/... i KARP med Wikidata.... dvs. skapa en Wikidata egenskap till era Publika identifierare för personer, städer och platser jmf diskussion om att plugga in nya versionen. av ISOF namndatabas där jag lagt in vanliga problem jag ser

Riksdagen
några raketingenjörer i Wikidata började nu koppla även Riksdagens dokument mot Högsta domstolens beslut se video dvs. det kan finnas ett mervärde att koppla ihop oss och plocka russinen ur kartan.... exempel NJA 2010 s. 168 I

image

Wikidata/WIkipedia är spretigt så man skall tänka en eller 2 ggr men bara på en:Wikipedia finns 42K aktiva volontärer på Wikidata finns 12K

Många som forskar gör det på data från Wikidata det kan ju vara en anledning. Exempelvis i veckan var det Wikidata Workshop se Scholia event Q86530254

Poster session 1: Case Studies on Wikidata 16:35 - 17:05 (CET)
Room 1: Simon Razniewski and Priyanka Das: Structured knowledge: Have we made progress? An extrinsic study of KB coverage over 19 years
Room 2: Filip Ilievski, Pedro Szekely and Daniel Schwabe: Commonsense Knowledge in Wikidata
Room 4: Eva Seidlmayer, Jakob Voß, Tetyana Melnychuk, Lukas Galke, Klaus Tochtermann,Carsten Schultz and Konrad U. Förstner: ORCID for Wikidata. Data enrichment for scientometric applications

Poster session 2: Wikidata and its Applications 17:25 - 18:00 (CET)
Room 1: Antonin Delpeuch: OpenTapioca - Lightweight Entity Linking for Wikidata
Room 1: Antonin Delpeuch : Running a Reconciliation Service for Wikidata
Room 2: Marco Caballero and Aidan Hogan: Global Vertex Similarity for Large-Scale Knowledge Graphs
Room 3: David Martin and Peter Patel-Schneider: Wikidata Constraints on MARS
Room 4: Alejandro González Hevia, Guillermo Facundo Colunga, Emilio Rubiera Azcona and Jose Emilio Labra Gayo: Automatic synchronization of RDF graphs representing ontologies and Wikibase instances

Poster session 3: Wikidata and Wikipedia 18:35 - 19:05
Room 1: Natalia Ostapuk, Djellel Difallah and Philippe Cudre-Mauroux: SectionLinks: Mapping Orphan Wikidata Entities onto Wikipedia Sections
Room 2: Paolo Curotto and Aidan Hogan: Suggesting Citations for Wikidata Claims based on Wikipedia's External References
Room 3: Isaac Johnson: Analyzing Wikidata Transclusion on English Wikipedia
Room 4: Marc Miquel Ribé: Diversity in a Language-Independent Wiki: Six Design Requirements and Goals to Embed a Diversity Mindset

Jag är som sagt bara en trött frivillig men kanske kan peka er rätt... när det gäller Wikidata så sker utvecklingen i Berlin och man har även startat upp "version 2" av WIkidata som heter Abstract Wikipedia där artiklar på alla världens språk skall genereras från metadata i Wikidata och funktioner. Det görs av samma kille som 2012 skapade Wikidata Denny Vrandečić Scholia

Jag nås om intresse finns på
Magnus Sälgö
0705937579

@salgo60
Copy link
Author

salgo60 commented Nov 24, 2020 •
edited
Loading

cc:ade Simon Dobnik (Scholia Q57417942) om denna dialog om det är en bra eller dålig ide med en koppling Wikidata -> språkbanken entites

@salgo60
Copy link
Author

salgo60 commented Mar 25, 2021 •
edited
Loading

@jroxendal såg att du skulle snacka Länkade data

Status "projekt" github salgo60/Litteraturbanken_wd_runes

  • vi har nu > 2000 runstenar i Wikidata kopplade till sida i Litteraturbanken karta (klicka i övre högra hörnet så ser du böckerna hos Litteraturbanken du kopplat

    ** kartan istället som en lista som sedan kan laddas ned som json, csv

  • du frågade förut om att hämta bilder med rätt copyright.... nu har vi alla bilderna i en annan Wikidata som heter Wikibase där alla våra bilder på WIkicommons finns och snart har vi all metadata som strukturerad data och kan hämtas med SPARQL --> att vi kan ställa en fråga som hämtar copyright och alla bilder som avbildar exempelvis en runa hos RAÅ

    • ge mig alla runstenar i WIkidata som är kopplade till RAÄ Evighetsrunor, skicka frågan vidare till WIkicommons och ge mig alla bilder som avbildar dessa runstenar..... --> 8237 bilder samma fråga men visa på en karta

image

@salgo60
Copy link
Author

salgo60 commented Mar 27, 2021

@jroxendal har du några tankar om vad ni kan göra med WD och koppling bok etc. så dela detta gärna... jag förklarar nu hur vi sätter upp hur en bild på WIkicommons som avbildar en Runsten kan hämtas

@salgo60 salgo60 mentioned this issue Dec 6, 2022
Open
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees
No one assigned
Labels
None yet
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
2 participants
@jroxendal @salgo60