AG直营平台 华为开源只用加法的神经网络:实习生领衔打造,效果不输传统CNN | CVPR 2020 Oral

大发官网-首页
AG直营平台
栏目导航
大发官网-首页
AG直营平台
AG平台
AG真人游戏
AG直营平台 华为开源只用加法的神经网络:实习生领衔打造,效果不输传统CNN | CVPR 2020 Oral
浏览:88 发布日期:2020-03-14

在CIFAR-10的图像分类任务中,AdderNet相比当初Bengio等人提出的加法神经网络BNN性能有大幅提升,并且已经接近了传统CNN的结果。

但这篇论文的作者表示,今后还会继续加法器神经网络的研究,发表更多的成果,让我们一起期待这项研究取得新的进展吧。

先按照PyTorch的官方文档准备ImageNet数据集,运行程序评估它在验证集上的效果:

华为诺亚实验室实习生领衔打造

传送门

那么AdderNet的实际效果如何呢?

AdderNet可以在ImageNet数据集上达到74.9%的Top-1准确度和91.7%的Top-5准确度。

论文地址:

高能直播 | 云体验无人车试乘 顶级技术专家拆解仿真系统

如今,这篇文章已经被CVPR 2020收录(Oral)AG直营平台,官方也在GitHub上开放了源代码。有兴趣的同学不妨前往一试究竟。

在硕博连读的前三年中AG直营平台,他已经以一作身份发表了5篇论文AG直营平台,其中一篇《Data-Free Learning of Student Networks》被ICCV 2019收录,另外它参与多篇论文还被NeurIPS、IJCAI、ICML等顶会收录。

加法器网络简介

https://github.com/huawei-noah/AdderNet

没有乘法的神经网络,你敢想象吗?无论是单个神经元的运算还是卷积运算,都不可避免地要使用乘法。

现阶段的AdderNet并非没有缺陷,作者在项目主页中说,由于AdderNet是用加法过滤器实现的,因此推理速度较慢,需要用CUDA编写才能提高速度。

在加法器网络的新定义下,特征向量的空间分布也和CNN有很大的不同。

开源代码

然而乘法对硬件资源的消耗远大于加法。如果不用乘法,全部改用加法应该可以让运算速度大大提升。

源代码:

作者系网易新闻·网易号“各有态度”签约作者

官方的AdderNet基于Python3和PyTorch。

去年年底,来自北京大学、华为诺亚方舟实验室、鹏城实验室的研究人员将这一想法付诸实践,他们提出了一种只用加法的神经网络 AdderNet(加法器网络)。一作是华为诺亚方舟实习生,正在北大读博三。

在这种新的定义下,反向传播中用到的求偏导数运算也变成了求减法。梯度下降的优化过程也被叫做 符号SGD(signSGD)。

加法器网络的核心在于: 用L1距离代替欧氏距离。

原标题:华为开源只用加法的神经网络:实习生领衔打造,效果不输传统CNN | CVPR 2020 Oral

不过AdderNet仍需自己训练,官方表示将很快发布预训练模型。

AdderNet这篇文章的一作名叫 陈汉亭,毕业于同济大学数学系,现在在北京大学信息科学技术学院攻读博士学位,同时在华为诺亚方舟实验室实习。

վ'ᴗ' ի 追踪AI技术和产品新动态

https://arxiv.org/abs/1912.13200

戳二维码,备注“无人车”即可报名、加交流群与同好讨论交流无人车进展~

喜欢就点「在看」吧 !

展开全文

量子位 QbitAI · 头条号签约作者

L1距离是求两点之间坐标差值的绝对值之和,因此全程不涉及乘法。

— 完—

量子位 报道 | 公众号 QbitAI

北京时间3月21日早10:30, 线上首次云试乘无人车!急寻众多监工们,跟随轻舟智航L4级无人车应对硅谷晚高峰。此外更有两位轻舟智航顶级技术专家、前Waymo核心工程师 拆解其创新技术路径以及大规模智能仿真系统的具体应用。

这与作者希望提高神经网络运算速度的初衷还有一段距离。

或者将CIFAR-10数据集下载到本地,测试一下它在CIFAR-10上的效果

晓查 发自 凹非寺

原标题:盟友纷纷改旗易帜,俄罗斯腹地受敌,一旦开战,后果将不堪设想?

原标题:张译新剧角色瘸腿又失忆,再次用眼睛飙戏,看似无神其实都是戏