Swish 激活函数的特点：
非单调，平滑；向上不饱和，向下饱和；
Swish函数收到LSTM门控机制（gating）的启发。具有self-gating的特点，LSTM的gating机制需要两个值，一个做sigmoid的输入，一个做被门控的变量。而self-gating即直接给定一个输入，通过类sigmoid的机制，实现是否通过的操作。
swish函数：
图像（refer：https://medium.com/@neuralnets/swish-activation-function-by-google-53e1ea86f820）：
swish函数可以通过对sigmoid中的x乘上一个系数，进行调整。
另外，swish比relu可以训练更深的网络。