设 和 分别是门控网络和第 个 Expert 的输出，那么对于在当前的输入x，输出就是所有 experts 的加权和： Kayıtlı başmal tavan artırımı ve geçerlilik süresinin yenilenmesine bağlı yönetim yerleşmiş kararı 对比一下可以看出，在计算每个 expert 的损失之后，先把它给指数化了再进行加权求和，最后取了log。这也是一个我们在论文中经常见到的技巧。这样做有什么好处呢，我们可以对比一下二者在反向传播的时候有... https://www.blogger.com/u/8/profile/09889890415012625943