Jetson AGX Xavier 去年，NVIDIA在苏州举办了GTC China大会上发布的AI计算平台，主要用于移动端的计算。想法美好，不过配起来环境还是遇到了很多问题，一些是软件，另一些甚至还有硬件。

设备需求

• Jetson AGX Xavier（当然）
• 显示器（两台，一个给host主机，一个给Xavier平台，配套的hdmi线）
• 网线（也要备两根）
• 键鼠（一套就行，主要工作在host上）
• usb type C（用原装。。）

刷机过程

主机配置（虚拟机）

主机host的要求是linux系统，为了满足要求又不想太麻烦用多机多系统，可以选择虚拟机进行主机的设置。一开始我还用了win10自带的Hyper-V，但实际上很不好用，走了一小段弯路。之后才老老实实使用Vmware workstation。

ReLeQ：一种自动强化学习的神经网络深度量化方法
ReLeQ: An Automatic Reinforcement Learning Approach for Deep Quantization of Neural Networks

量化作为压缩的一种重要手段被广泛应用，而位宽和准确率的矛盾也始终存在。目前解决的方法有如CLIP-Q中的贝叶斯优化器，确定位宽。另一个问题是量化值的选取，在LQ-Net中采取了交替训练的方式。

如果将量化位宽的不同看作不同的决策，那么就可以利用强化学习的思路进行选择，ReLeQ就是其中的一种实现框架。不同层可能重要性不同，对准确率也有不同的敏感度。ReLeQ可以学习最终分类精度相对于每个层权重的量化级别的敏感度，从而确定每个层的位宽，同时保持分类精度。

Regularization

正则化

在Deep Learning¹书中，是这么定义正则化的：

“any modification we make to a learning algorithm that is intended to reduce its generalization error, but not its training error.”

PyTorch的 优化器使用$l_2$参数正则化去限制模型大小(即减小参数方差)。

总的来说，我们可以把它写为:

$$loss(W;x;y) = loss_D(W;x;y) + \lambda_R R(W)$$

特别的：

$$loss(W;x;y) = loss_D(W;x;y) + \lambda_R \lVert W \rVert_2^2$$

其中$W$是网络中所有权重元素的集合（即这是model.parameters()），$loss(W;x;y)$是总训练损失，并且$loss_D(W)$是数据损失（即目标函数的误差，也称为损失函数，或者在Distiller样本图像分类器压缩中的criterion）。

Quantization Algorithms

量化算法

注意:
对于任何需要量化感知训练的以下方法，请参阅这里，了解如何使用Distiller的机制调用它。

Distiller是由Intel AI Lab维护的基于PyTorch的开源神经网络压缩框架。主要包括：

• 用于集成剪枝（pruning），正则化（regularization）和量化（quantization ）算法的框架。
• 一套用于分析和评估压缩性能的工具。
• 现有技术压缩算法的示例实现。

这算是目前我发现的最完整的压缩框架了，比较适合科研工作。下面简单说一下安装和使用。

NervanaSystems/distiller
Distiller Documentation

Tensorflow 的静态图机制给一个动态调整区间和mask的网络带来了不少麻烦。

问题描述

随着训练的进行，扩大区间$r$的范围，并对区间内的权重进行量化操作。一次训练可能要量化多个区间，量化后权重冻结。

8月25日，10点左右优势，注视着一排灰色头像，和上面缓慢跳动的数字，我脑子里一片空白，只有手微微颤抖着关闭了浏览器的窗口。就在几十秒前，roshan洞口还是一片混战，神圣的不朽之盾也即将掉落。而这和现实中象征着象征着冠军的神盾，都没有落入LGD之手。他们的敌人OG在最后的关键时刻出现了，依靠着视野的优势将LGD队员分得四分五裂逐个击破，即便是代表着殊死一搏而出现的买活标志，也未能持续很久，便被扑灭了。经此一役，之前的所有优势也荡然无存，之后所发生的我便无需再看。

很久没有对网站进行升级了，简单做了一些工作：

• 升级Next主题
• 关闭无法使用的hypercomments
• 关闭不支持的jiathis
• 使用addthis Share
• 配置设置文件

目前来看还需要做的是：

• 解决图片问题
• 寻找替代hypercomments的评论系统

哎，从多说到disqus再到hypercomments，心好累。