Skip to content

Codalab competition πŸ’» on extraction of opinion tuples (opinion source, opinion object, tonality, linguistic expression) from Russian-language news texts.

License

Notifications You must be signed in to change notification settings

dialogue-evaluation/RuOpinionNE-2024

Folders and files

NameName
Last commit message
Last commit date

Latest commit

Β 

History

9 Commits
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 

Repository files navigation

RuOpinionNE-2024 -- сорСвнованиС ΠΏΠΎ ΠΈΠ·Π²Π»Π΅Ρ‡Π΅Π½ΠΈΡŽ ΠΊΠΎΡ€Ρ‚Π΅ΠΆΠ΅ΠΉ ΠΌΠ½Π΅Π½ΠΈΠΉ ΠΈΠ· русскоязычных новостных тСкстов

twitter

Π‘ΠΎΠ΄Π΅Ρ€ΠΆΠ°Π½ΠΈΠ΅

ΠšΡ€Π°Ρ‚ΠΊΠΎΠ΅ описаниС

⚠️ Π’Π½ΠΈΠΌΠ°Π½ΠΈΠ΅: ПолноС описаниС прСдставлСно Π½Π° ΠΏΠ»Π°Ρ‚Ρ„ΠΎΡ€ΠΌΠ΅ Codalab. НастоящСС описаниС нСсСт ΠΎΠ·Π½Π°ΠΊΠΎΠΌΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹ΠΉ Ρ…Π°Ρ€Π°ΠΊΡ‚Π΅Ρ€.

RuOpinionNE-2024 являСтся ΠΏΡ€ΠΎΠ΄ΠΎΠ»ΠΆΠ΅Π½ΠΈΠ΅ΠΌ тСстирования RuSentNE-2023, Π² ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠΌ Ρ‚Ρ€Π΅Π±ΠΎΠ²Π°Π»ΠΎΡΡŒ ΠΈΠ·Π²Π»Π΅Ρ‡Π΅Π½ΠΈΠ΅ Ρ‚ΠΎΠ½Π°Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ прСдлоТСния ΠΏΠΎ ΠΎΡ‚Π½ΠΎΡˆΠ΅Π½ΠΈΡŽ ΠΊ Π·Π°Π΄Π°Π½Π½ΠΎΠΉ ΠΈΠΌΠ΅Π½ΠΎΠ²Π°Π½Π½ΠΎΠΉ сущности. ΠšΠ»ΡŽΡ‡Π΅Π²Ρ‹Π΅ ΠΎΡ‚Π»ΠΈΡ‡ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹Π΅ особСнности постановки настоящСй Π·Π°Π΄Π°Ρ‡ΠΈ ΠΏΡ€ΠΈΠ²Π΅Π΄Π΅Π½Ρ‹ Π² Ρ„ΠΎΡ€ΠΌΠ°Ρ‚Π΅ указания Π²Ρ…ΠΎΠ΄Π½ΠΎΠΉ ΠΈ Π²Ρ‹Ρ…ΠΎΠ΄Π½ΠΎΠΉ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠΈ.

Рисунок: ΠΏΡ€ΠΈΠΌΠ΅Ρ€ извлСчСния ΠΊΠΎΡ€Ρ‚Π΅ΠΆΠ΅ΠΉ ΠΌΠ½Π΅Π½ΠΈΠΉ сорСвнования RuOpinionNE-2024; сущности Π²Ρ…ΠΎΠ΄Π½ΠΎΠ³ΠΎ тСкста Π½Π΅ ΡΠ²Π»ΡΡŽΡ‚ΡΡ ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€Π°ΠΌΠΈ Π·Π°Π΄Π°Ρ‡ΠΈ, Π° лишь Ρ€Π°Π·ΠΌΠ΅Ρ‡Π΅Π½Ρ‹ Π²ΠΈΠ·ΡƒΠ°Π»ΡŒΠ½ΠΎ.

Входная информация Π²ΠΊΠ»ΡŽΡ‡Π°ΡŽΡ‚ Π² сСбя тСкст ΠΏΡ€Π΅Π΄ΡΡ‚Π°Π²Π»ΡΡŽΡ‰ΠΈΠΉ собой ΠΏΡ€Π΅Π΄Π»ΠΎΠΆΠ΅Π½ΠΈΠ΅ ΠΈΠ· новостного тСкста с упомянутыми ΠΈΠΌΠ΅Π½ΠΎΠ²Π°Π½Π½Ρ‹ΠΌΠΈ сущностями.

Выходная информация настоящих сорСвнований ΠΏΡ€Π΅Π΄ΠΏΠΎΠ»Π°Π³Π°Π΅Ρ‚ ΠΈΠ·Π²Π»Π΅Ρ‡Π΅Π½ΠΈΠ΅ ΠΊΠΎΡ€Ρ‚Π΅ΠΆΠ΅ΠΉ ΠΌΠ½Π΅Π½ΠΈΠΉ. Π’ ΡΠ»Π΅Π΄ΡƒΡŽΡ‰Π΅ΠΌ ΠΏΠΎΠ΄Ρ€Π°Π·Π΄Π΅Π»Π΅ рассмотрим Π±ΠΎΠ»Π΅Π΅ ΠΏΠΎΠ΄Ρ€ΠΎΠ±Π½ΠΎ Ρ„ΠΎΡ€ΠΌΠ°Ρ‚ прСдставлСния ΠΊΠΎΡ€Ρ‚Π΅ΠΆΠ° ΠΌΠ½Π΅Π½ΠΈΠΉ.

ΠšΠΎΡ€Ρ‚Π΅ΠΆ мнСния

Для Π·Π°Π΄Π°Π½Π½ΠΎΠ³ΠΎ тСкста, ΠΊΠΎΡ€Ρ‚Π΅ΠΆ мнСния прСдставляСт собой структуру, ΡΠΎΡΡ‚ΠΎΡΡ‰ΡƒΡŽ ΠΈΠ· ΠΏΠΎΡΠ»Π΅Π΄ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ Ρ‡Π΅Ρ‚Ρ‹Ρ€Π΅Ρ… Π·Π½Π°Ρ‡Π΅Π½ΠΈΠΉ:

  1. источник мнСния: Π°Π²Ρ‚ΠΎΡ€, имСнованная ΡΡƒΡ‰Π½ΠΎΡΡ‚ΡŒ тСкста (подстрока исходного тСкста), Π»ΠΈΠ±ΠΎ пустой;
  2. ΠΎΠ±ΡŠΠ΅ΠΊΡ‚ мнСния: имСнованная ΡΡƒΡ‰Π½ΠΎΡΡ‚ΡŒ Π² тСкстС (подстрока исходного тСкста);
  3. Ρ‚ΠΎΠ½Π°Π»ΡŒΠ½ΠΎΡΡ‚ΡŒ: ΠΏΠΎΠ»ΠΎΠΆΠΈΡ‚Π΅Π»ΡŒΠ½Π°Ρ/нСгативная;
  4. языковоС Π²Ρ‹Ρ€Π°ΠΆΠ΅Π½ΠΈΠ΅: Π°Ρ€Π³ΡƒΠΌΠ΅Π½Ρ‚, Π½Π° основании ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠ³ΠΎ принята Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚ΠΈΡ€ΡƒΡŽΡ‰Π°Ρ Ρ‚ΠΎΠ½Π°Π»ΡŒΠ½ΠΎΡΡ‚ΡŒ (ΠΎΠ΄Π½Π° ΠΈΠ»ΠΈ нСсколько подстрок исходного тСкста);

ΠŸΡ€ΠΈΠΌΠ΅Ρ€

⚠️ Π’Π½ΠΈΠΌΠ°Π½ΠΈΠ΅: ПолноС описаниС форматирования ΠΏΡ€Π΅Π΄Π»ΠΎΠΆΠ΅Π½ΠΈΠΉ прСдставлСно Π½Π° ΠΏΠ»Π°Ρ‚Ρ„ΠΎΡ€ΠΌΠ΅ Codalab. НастоящСС описаниС нСсСт ΠΎΠ·Π½Π°ΠΊΠΎΠΌΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹ΠΉ Ρ…Π°Ρ€Π°ΠΊΡ‚Π΅Ρ€.

Для Π²Ρ…ΠΎΠ΄Π½ΠΎΠ³ΠΎ прСдлоТСния ΠΈ Ρ€Π°Π·ΠΌΠ΅Ρ‡Π΅Π½Π½Ρ‹Ρ… Π² Π½Π΅ΠΌ ΠΈΠΌΠ΅Π½ΠΎΠ²Π°Π½Π½Ρ‹Ρ… сущностСй:

ΠŸΡ€Π΅ΠΌΡŒΠ΅Ρ€-министр Π˜Ρ‚Π°Π»ΠΈΠΈ ΠœΠ°Ρ‚Ρ‚Π΅ΠΎ Π Π΅Π½Ρ†ΠΈ заявил, Ρ‡Ρ‚ΠΎ с ΡƒΡ…ΠΎΠ΄ΠΎΠΌ Π€ΠΎ «страна потСряла ΠΊΡ€ΡƒΠΏΠ½Π΅ΠΉΡˆΡƒΡŽ Ρ„ΠΈΠ³ΡƒΡ€Ρƒ ΠΊΡƒΠ»ΡŒΡ‚ΡƒΡ€Π½ΠΎΠΉ ΠΆΠΈΠ·Π½ΠΈΒ»

Π”ΠΎΠ»ΠΆΠ΅Π½ Π±Ρ‹Ρ‚ΡŒ ΠΏΠΎΡ€ΠΎΠΆΠ΄Π΅Π½ ΡΠ»Π΅Π΄ΡƒΡŽΡ‰ΠΈΠΉ ΠΊΠΎΡ€Ρ‚Π΅ΠΆ мнСния:

(ΠœΠ°Ρ‚Ρ‚Π΅ΠΎ Π Π΅Π½Ρ†ΠΈ, Π€ΠΎ, pos, ΠΊΡ€ΡƒΠΏΠ½Π΅ΠΉΡˆΡƒΡŽ Ρ„ΠΈΠ³ΡƒΡ€Ρƒ ΠΊΡƒΠ»ΡŒΡ‚ΡƒΡ€Π½ΠΎΠΉ ΠΆΠΈΠ·Π½ΠΈ)

Π”Π°Π½Π½Ρ‹Π΅ сорСвнования

ΠšΠΎΠ»Π»Π΅ΠΊΡ†ΠΈΡ Π²ΠΊΠ»ΡŽΡ‡Π°Π΅Ρ‚ Π² сСбя Π½Π°Π±ΠΎΡ€ ΡΠ»Π΅Π΄ΡƒΡŽΡ‰ΠΈΡ… Ρ„Π°ΠΉΠ»ΠΎΠ²:

  • train.jsonl -- ΠΎΠ±ΡƒΡ‡Π°ΡŽΡ‰ΠΈΠ΅ Π΄Π°Π½Π½Ρ‹Π΅.
  • validation.jsonl -- Π΄Π°Π½Π½Ρ‹Π΅ Π²Π°Π»ΠΈΠ΄Π°Ρ†ΠΈΠΎΠ½Π½ΠΎΠ³ΠΎ этапа.

ПолноС описаниС Ρ„ΠΎΡ€ΠΌΠ°Ρ‚Π° прСдставлСно Π½Π° ΠΏΠ»Π°Ρ‚Ρ„ΠΎΡ€ΠΌΠ΅ Codalab.

БорСвнования Π½Π° Codalab

Π‘Π°Π·ΠΎΠ²Ρ‹ΠΉ ΠΏΠΎΠ΄Ρ…ΠΎΠ΄

TODO: Baseline Approach Description.

ΠžΡ€Π³Π°Π½ΠΈΠ·Π°Ρ‚ΠΎΡ€Ρ‹

Π˜ΡΡ‚ΠΎΡ‡Π½ΠΈΠΊΠΈ

ΠžΡ„ΠΈΡ†ΠΈΠ°Π»ΡŒΠ½Π°Ρ информация ΠΏΠΎ ΠΊΠΎΠ½Ρ„Π΅Ρ€Π΅Π½Ρ†ΠΈΠΈ Dialogue-2025

Π Π΅ΠΏΠΎΠ·ΠΈΡ‚ΠΎΡ€ΠΈΠΉ Ρ€Π°Π½Π΅Π΅ ΠΏΡ€ΠΎΠ²ΠΎΠ΄ΠΈΠΌΡ‹Ρ… сорСвнований RuSentNE-2023

Бсылки

TODO: Paper Reference once issued.

Releases

No releases published

Packages

No packages published

Languages