机器之心 & arxiv weekly radiostation
参与：杜伟、楚航、罗若天
目录
如何增强黑箱机器学习模型的鲁棒性？零阶优化视角语言模型作为知识嵌入高效高阶空间交互的 HorNet：递归门卷积实用无损联邦奇异值分解，适用于数十亿规模数据联邦学习中安全性与实用性的无免费午餐定理软件定义网络同化：通过 NAssim 实现集中式网络配置管理的最后一步快速知识蒸馏框架用于视觉识别的 ArXiv Weekly Radiostation：NLP、CV、ML 更多精选论文（附音频）论文 1：如何增强黑箱机器学习模型的鲁棒性？零阶优化视角
作者：张益萌等论文地址：https://www.php.cn/link/2871d86ea442b2496f4774b3810b2142 (Michigan State University) 和 MIT-IBM AI 实验室关于黑箱防御的文章，已被 ICLR 2022 选为 spotlight paper，代码和模型均已开源。
本文主要研究在仅使用目标模型的输入和输出情况下如何进行黑箱防御。为了解决这一难题，本文将降噪平滑与零阶优化结合，提出了有效且可扩展的 ZO-AE-DS 黑箱防御框架，该框架有效减少了零阶梯度估计的方差，从而缩小了零阶优化与一阶优化性能上的差距。
推荐：MSU 联合 MIT-IBM 提出了首个黑箱防御框架。
论文 2：语言模型作为知识嵌入
作者：Xintao Wang 等论文地址：https://www.php.cn/link/d130125b5bba8462ae017c93319b79fd LMKE（Language Models as Knowledge Embeddings），同时利用结构信息和文本信息，并首次将基于文本的知识嵌入学习建模在对比学习框架下，从而在提升长尾实体表示的同时解决了现有基于文本的知识嵌入方法在表现、效率等方面的不足。相关研究成果现已被 IJCAI 2022 录用。
LMKE 的模型结构（用于三元组分类）
推荐：将语言模型用作知识嵌入：链接预测、三元组分类全部 SOTA，超越基于结构的传统方法。
论文 3：高效高阶空间交互的 HorNet：递归门卷积
作者：Yongming Rao 等论文地址：https://www.php.cn/link/5e57e76cd6ebcdd544ce5dd30faa95db Transformer 的最新进展表明，在基于点积自注意力的新空间建模机制驱动的各种任务中取得了巨大成功。在本文中，作者证明了视觉 Transformer 背后的关键成分，即输入自适应、长程和高阶空间交互，也可以通过基于卷积的框架有效实现。作者提出了递归门卷积
，它用门卷积和递归设计进行高阶空间交互。新操作具有高度灵活性和可定制性，与卷积的各种变体兼容，并将自注意力中的二阶交互扩展到任意阶，而不引入显著的额外计算。
思路展示。
推荐：用即插即用模块来改进各种视觉 Transformer 和基于卷积的模型。
论文 4：实用无损联邦奇异值分解，适用于数十亿规模数据
作者：Di Chai 等论文地址：https://www.php.cn/link/5fc78eaa477c004f02bd794d43e3c378 SVD 任务中，该方案的效率比同态加密提高 10000 倍，误差比差分隐私方案小 10 个数量级，同时提供了安全性分析和实验验证。
FedSVD 的详细工作流。
推荐：在数十亿规模数据上的无损联邦奇异值分解。
论文 5：联邦学习中安全性与实用性的无免费午餐定理
作者：Xiaojin Zhang 等论文地址：https://www.php.cn/link/2aed7be01bfae8763e78deedbeaa8b01。
基于贝叶斯推理攻击和隐私效用权衡的 SFL 框架概览。
推荐：联邦学习中隐私与模型性能之间没有免费午餐定理。
论文 6：软件定义网络同化：通过 NAssim 实现集中式网络配置管理的最后一步
作者：Huangxun Chen 等论文地址：https://www.php.cn/link/75f8f7a9ced8da0635e455405200f2e8 8 月 22 日 - 26 日举办的第 36 届 SIGCOMM 2022 会议上，华为的研究者针对这一难题提出了崭新的思路, 受生物学里的同化作用 Assimilation 的启发，首次提出了 SNA （Software-defined Network Assimilation）的概念。
研究者推出了助力网络配置管理最后一公里的辅助框架 NAssim，把一个现有网络 “消化、理解、吸收” 新设备的过程尽可能进行了自动化，并提出用网络配置语义模型 NetBERT 直接 “读懂” 配置说明书，把运维工程师从繁琐易出错的工作中解放出来，大幅提升网络运维的效率。目前该工作正在华为数通产品线进行落地试点。
设计思路。
推荐：理论用于实践，华为配置管理研究获 SIGCOMM 2022 最佳论文奖。
论文 7：快速知识蒸馏框架用于视觉识别
作者：Zhiqiang Shen、Eric Xing论文地址：https://www.php.cn/link/52f0ab576a3efd4c9e6f71fcab5ecdba ECCV 2022 关于快速知识蒸馏的文章，用基本的训练参数配置就可以把 ResNet-50 在 ImageNet-1K 从头开始 (from scratch) 训练到 80.1% (不使用 mixup，cutmix 等数据增强)，训练速度（尤其是数据读取开销）相比传统分类框架节省 16% 以上，比之前 SOTA 算法快 30% 以上，是目前精度和速度双双最优的知识蒸馏策略之一，代码和模型已全部开源！
FKD 算法框架。
推荐：CMU 提出首个快速知识蒸馏的视觉框架：ResNet50 80.1% 精度，训练加速 30%。
ArXiv Weekly Radiostation
机器之心联合由楚航、罗若天发起的ArXiv Weekly Radiostation，在 7 Papers 的基础上，精选本周更多重要论文，包括NLP、CV、ML领域各10篇精选，并提供音频形式的论文摘要简介，详情如下：
本周 10 篇 NLP 精选论文是：
1. 文本到 SQL 解析的调查：概念、方法和未来方向。 (来自 Jian Sun)
2. 在无法证伪的声明中寻找结构。 (来自 Serge Belongie)
3. 用非线性几何去偏见词嵌入。 (来自 Huan Liu)
4. 将任务特定的概念知识整合到脚本学习中。 (来自 ChengXiang Zhai)
5. 非并行故事作者风格转移的 StoryTrans：使用话语表示和内容增强。 (来自 Minlie Huang)
6. 使用端到端建模进行持续对话的流式意图查询检测。 (来自 Tara N. Sainath)
7. 自然对话语音的转向预测。 (来自 Tara N. Sainath)
8. 用于语音识别的贝叶斯神经网络语言建模。 (来自 Xunying Liu)
9. 通过对比学习优化双编码器用于命名实体识别。 (来自 Jianfeng Gao)
10. AutoQGS：从 SPARQL 生成基于知识的低资源问题生成的自动提示。 (来自 Xiaodong He)
本周 10 篇 CV 精选论文是：
1. 合成潜在指纹生成器。 (来自 Anil K. Jain)
2. 基于 Transformer 的通用视觉计数 CounTR。 (来自 Andrew Zisserman)
3. 通过图像修复进行视觉提示。 (来自 Trevor Darrell, Alexei A. Efros)
4. 通过不确定性诱导的可转移性表示进行无源无监督域适应。 (来自 Liang Chen, Yang Liu)
5. 从外中心视角理解接地性。 (来自 Dacheng Tao)
6. 学习连续隐式表示用于近周期模式。 (来自 Martial Hebert, Srinivasa G. Narasimhan)
7. 生物医学图像的复合图分离：通过自监督学习挖掘大数据集。 (来自 Agnes B. Fogo)
8. 通过上下文多样性探测进行密集的分布外检测。 (来自 Thomas Brox)
9. GaitFi：通过 WiFi 和视觉多模态学习进行鲁棒的无设备人体识别。 (来自 Lihua Xie)
10. 朝向分布内兼容性的分布外检测。 (来自 Deng Cai, Xiaofei He, Wei Liu)
本周 10 篇 ML 精选论文是：
1. 具有时间变化曲率的自监督黎曼 GNN 用于时间图学习。 (来自 Philip S. Yu)
2. 通过增强图自训练在少数标记节点上学习。 (来自 Huan Liu)
3. NeurIPS'22 跨领域元 DL 竞赛：设计与基线结果。 (来自 Isabelle Guyon)
4. RUAD：在高性能计算系统中进行无监督异常检测。 (来自 Luca Benini)
5. Autoinverse：神经网络的不确定性感知反转。 (来自 Hans-Peter Seidel)
6. 在线马尔可夫决策过程的动态遗憾。 (来自 Zhi-Hua Zhou)
7. 超模型生态系统：从领域适应的角度来看。 (来自 Dacheng Tao)
8. 在联邦学习中权衡隐私、实用性和效率。 (来自 Kai Chen)
9. 从计算约束中得到过参数化（鲁棒）模型。 (来自 Somesh Jha)
10. 任务无关数据估值的基础。 (来自 Ramesh Raskar)
© THE END
转载请联系本公众号获得授权
投稿或寻求报道：content@jiqizhixin.com
