Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Discussion: surrogate model behavior for unseen data #52

Open
ShikovEgor opened this issue Aug 18, 2023 · 1 comment
Open

Discussion: surrogate model behavior for unseen data #52

ShikovEgor opened this issue Aug 18, 2023 · 1 comment
Assignees
Labels
question Further information is requested

Comments

@ShikovEgor
Copy link
Collaborator

ShikovEgor commented Aug 18, 2023

Добавили поддержку всех операций из FEDOT через OperationTypesRepository 4932d02

Однако все равно остается вопрос: что делать суррогатной модели, если в оцениваемом пайплайне она встречает элемент, которого не было в тренировочных данных? Например, какая-то модель МО может быть заявлена в FEDOT, но не встречаться в истории запусков.
Есть несколько вариантов:

  1. выдавать None
  2. выдавать среднее значение скора по тренировочной выборке
  3. просто отдавать то, что выдаст модель (при этом эмбеддинг, соответствующий этому элементу будет случайным и значение скора модели непредсказуемым)
@ShikovEgor ShikovEgor added the question Further information is requested label Aug 18, 2023
@aPovidlo
Copy link
Collaborator

Думаю, что для третьего стоит добавить это как отдельную сущность "не встреченная на обучении нода" пайплайна. Подобное существует в токенайзерах из NLP "unk_token_id", который говорит о том, что слово не встречается в словаре. Тогда в эмбеддингах будет репрезентация данных случаев в пространстве.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
question Further information is requested
Projects
None yet
Development

No branches or pull requests

7 participants