TiuVe

网络修剪可减少过度参数化的网络的计算成本，而不会影响性能。现有的修剪算法会预先定义修剪网络的宽度和深度，然后将参数从未修剪的网络传输到修剪的网络。为了突破修剪网络的结构限制，我们提出应用神经架构搜索（NAS）直接搜索具有灵活的通道大小和层大小的网络。通过最小化修剪网络的损失来学习通道/层的数量。修剪后的网络的特征图是K个特征图片段的集合（由不同大小的K个网络生成），这些片段是根据概率分布进行采样的。损耗不仅可以反向传播到网络权重，还可以反向传播到参数化分布，以显式调整通道/层的大小。具体来说，我们应用逐通道插值（填充）以使具有不同通道大小的特征图在聚合过程中保持对齐。每个分布中的size的最大概率用作修剪网络的宽度和深度，修剪网络的参数是通过知识迁移（例如知识蒸馏）从原始网络中获知的。与传统的网络修剪算法相比，在CIFAR-10，CIFAR-100和ImageNet上进行的实验证明了我们的网络修剪新观点的有效性。进行了各种搜索和知识转移方法以显示这两个组件的有效性。代码位于：https://github.com/D-X-Y/NAS-Projects

最近，卷积神经网络（CNN）被引入到基于会话的next item推荐中。用户在会话（或序列）中交互过的item的有序集合被嵌入到二维隐矩阵中，并被视为图像，然后将卷积和池化操作应用在item embedding上。在本文中，我们首先研究了经典的基于会话的CNN推荐器，并证明在对item序列的长期依赖关系进行建模时，其生成模型和网络结构都不理想。为了解决这些问题，我们引入了一个简单但非常有效的生成模型，该模型能够从短期和长期item依赖项中学习高级表示。所提出模型的网络结构由有孔的卷积层堆叠而成，可以在不依赖于池化操作的情况下有效地增加感受野。另一个贡献是在推荐系统中有效使用残差块结构，这可以简化对更深层网络的优化。所提出的生成模型在next item推荐任务中以最短的训练时间获得了最出色的准确性。因此，它可以用作推荐基线，尤其是在用户反馈序列较长时。

关于FM算法网上已经介绍了很多，这里介绍一下FM算法的实现细节。

上周和同事一起去惠州团建，玩的还是蛮开心的。大家一起出海捕鱼，去双月湾观景台，海边游泳+烧烤，潜水等活动，这里记录一下。

本文以模型的稀疏性作为主线，逐一介绍几个在线最优化求解算法，并进行推导，力求讲清楚算法的来龙去脉，以及不同算法之间的区别和联系，达到融会贯通。在各个算法原理介绍之后，都会给出该算法的工程实现伪代码，可以用于实际工作的参考。作者是新浪微博-商业平台及产品部-冯扬。

FTRL算法本质上是针对梯度下降类算法的参数更新过程进行优化，在FTRL之前还有FOBOS和RDA算法。本文以逻辑回归算法（LR）为例，深入阐述一下FOBOS，RDA，FTRL算法。

最近发现了一个不错的插件zsh-autosuggestions，这是oh-my-zsh的一个试用插件，可以实现在终端下动态显示历史输入记录的效果。

最近打算搭建一个storm集群学习下storm，发现storm使用zookeeper进行管理的，所以需要先搭建一下zookeeper集群。本文记录一下过程。

今天介绍一些深度学习调参的初级经验。其实知乎上已经有相关问题了，见《 深度学习调参有哪些技巧？》，这里总结一下，并做一些补充。对于初学者来说，深度学习调参有几个比较重要的参数。学习率，损失函数，层大小，参数正则化，参数初始化的分布，优化函数，模型深度，dropout，batch大小。先引入量子位的一张图：

本文简要谈一下深度学习模型的空间复杂度，初学者在第一次写神经网络模型时很容易忽视空间复杂度导致内存溢出。