- 比赛名称：2022 WAIC 黑客松九章云极赛道-因果学习和决策优化挑战赛
- 主办单位：世界人工智能大会组委会办公室
- 承办单位：九章云极DataCanvas公司、机器之心、上海市人工智能行业协会、天池
- 链接：https://tianchi.aliyun.com/competition/entrance/532019/rankingList
- 参赛时间：2022年8月5日-2022年8月25日
榜一 0.2807
本方案主要分为两个部分：一是如何分离出A与C；二是用W、Q的并集与treatment对outcome建模（下文用WQ表示W与Q的并集）。 如何分离出A与C 在A.ipynb里利用卡方检验与斯皮尔曼相关性可以简单地分离出A，然后用d分离检验检测非A的变量集合，恰好检测出V_16大概率属于W。 在C.ipynb里根据WQ与C被(treatment,outcome)d分离。可以将WQ与C分离出来。具体方案为：如果假设x、y是待考察的字段，如果在（treatment,outcome）的基础上，加上x能提升y预测的性能，则认为x与y属于同一集合（WQ或C）。通过C.ipynb里的代码逐个检验变量，最终可以将非A的变量分成两大集合，这两大集合中包含V_16的是WQ，不包含的是C。 最终的变量分离结果记录在V.md文件中。 如何建模 模型的输入为WQ与treatment，输出为outcome，损失函数为均方误差，使用单层隐藏层全连接神经网络建模即可。其中有几个细节要注意一下：
- 对于outcome需要做一下标准化处理，将其按照treatment分组，使其各组的均值为0。良好的输入输出处理有利于提升模型的性能。
- 由于神经网络难以处理序信息。所以对于每个连续变量，都按大小计算出序号，作为额外连续特征加入神经网络中。
- 对于每个输入的连续变量，需要将其归一化到0均值1方差。良好的输入输出处理有利于提升模型的性能。
- 由于输入中存在Q集合，容易造成过拟合，所以需要在加上dropout缓解。
- A.ipynb 用于分离出A
- C.ipynb 用于分离出C
- V.md 记录分离结果
- tools.py 工具函数模块
- train.py 训练与预测代码，执行后会在O文件夹分别针对3种treatment生成3个预测文件。
- stack.py 模型平均代码，用简单求均值即可
- run.sh 训练与预测入口，主要功能是调用train.py 6次，然后调用stack.py平均6次预测结果并输出result.csv
- run2.sh 功能与run.sh相同，如果执行run.sh遇到显卡显存不足的问题，请执行run2.sh。
- O 这是文件夹，储存训练的中间结果
- train.csv 主办方提供的文件
- test.csv 主办方提供的文件
- xgboost gpu版本，用cpu版本也行，需要稍微改一下代码。
- torch== 1.8.2
- scipy
- sklearn
- pandas
- numpy
- matplotlib
最后的建模方案是为了尽量取得高分而设计的，使用6个相同结构，不同初始化的神经网络训练取平均得到，使用6张3090训练20分钟可以训练完成。 如果为了快速出复现，训练1个神经网络模型即可，分值不会差太多，不影响排名。 另外如果用于复现的卡的数量大于等于6，请把train.py里的
这个地方的注释取消掉，用于提升训练速度。