Experiments for zero-shot AutoML using GNN ranking

[nicl-nno]

Нужно провести эксперимент zero-shot генерации данных на openml с помощью GNN и сравнить результат с бейзлайнами - статичным пайплайном rf и выбором модели в пространстве мета-признаков с помощью knn.

Pre-req:

• Merge Transfer to lightning with dbv0 #45

[ShikovEgor]

surrogate_test_set_prediction.csv
Сорри, пропустил этот ишью. Эксперименты уже сделаны, результаты по GNN выкладывал в чатике около месяца назад. На всякий случай еще здесь выложу. Модель была актуальная.
Осталось только посчитать бейзлайны и сравнить.

[nicl-nno]

@MorrisNein соотнесешь с бейзлайнами? Ну и нужен способ для пайплайнов получить ещё и значение метрики на отложенных данных, не только фитнесс из истории.

[ShikovEgor]

Кажется, можно просто инициализировать пайплайны, которые предложил сурогат (без гиперпараметров, только структруа) и обучить их заново.

[MorrisNein]

@MorrisNein соотнесешь с бейзлайнами? Ну и нужен способ для пайплайнов получить ещё и значение метрики на отложенных данных, не только фитнесс из истории.

Ок, запущу расчёт. А что будем считать отложенными данными?

[MorrisNein]

@ShikovEgor, а более подробно структуру ML-пайплайнов не сохраняли? В таблице только состав узлов и размер графа

Edit: Впрочем, я ведь их получу, если сделаю предикт суррогатом, верно?

[nicl-nno]

Ок, запущу расчёт. А что будем считать отложенными данными?

На каждом фолде же есть есть разбиение train/test, вот test и брать.

[MorrisNein]

На каждом фолде же есть есть разбиение train/test, вот test и брать.

Для обучения суррогата использовались полные датасеты, т.е. конкатенация train и test

[nicl-nno]

Это же те датасеты которые в мета-БД, а метрики нужны на тех датасетах которые в обучении не применялись.

[nicl-nno]

@MorrisNein получилось запустить?