谷歌学术翻译(解雇黑人员工纯属学术原因)

萧箫 发自 凹非寺量子位 报道 | 公众号 QbitAI

还记得去年12月,Jeff Dean在网上成为“千夫所指”吗?

当时谷歌一名员工Timnit Gebru准备发表一篇AI伦理论文,结果双方内部评审上存在着严重分歧,Jeff Dean就把她开除了。

这篇论文指出了大语言模型训练时,造成的碳排放量和能源消耗量过于巨大,还谈到了谷歌BERT在AI伦理上的负面影响。

不到几天,已有1400名谷歌员工和1900名AI学术圈人士对谷歌的行为表示谴责,一向口碑不错的Jeff Dean,也因此成了众矢之的。

现在,Jeff Dean终于“有理有据”了——

他亲自下场,对Gebru的论文进行了指正,表明她统计碳排放量和能源消耗的方法“不合理”,并将结果写成了一篇新的论文。

近日,谷歌联合加州大学伯克利分校,撰写了一篇新论文,仔细研究了AI模型对环境的影响,并得出结果表明:

AI模型,不会显著增加碳排放。

论文指出,Gebru的论文对AI模型产生的碳排放量估算不合理

“如果数据中心、处理器和模型选择得当,甚至能将碳排放量降低为原来的百分之一。”

“此前评估方法不严谨”

Jeff Dean的这篇论文,同样选择了NLP模型进行研究。

这项研究,将模型的碳排放量定义成多变量函数(每个变量都对结果有影响)这些变量包括:

算法选择、实现算法的程序、运行程序所需的处理器数量、处理器的速度和功率、数据中心供电和冷却的效率以及供能来源(如可再生能源、天然气或煤炭)

也就是说,碳排放与很多因素都有关系。

而此前的研究,对模型的评估方法有误,尤其是对基于NAS的模型训练方法理解有误。

以基于NAS方法的Transformer为例,研究者们经过重新评估后,发现碳排放量可以降为原来的八十八分之一

研究者们还表示,采用新公式估计机器学习模型的碳排放量的话,净排放量可以降低10倍。

采用新公式,研究者们重新估计了5个大语言模型的能源使用量和二氧化碳排放量:

T5,谷歌预训练语言模型,86MW,47吨Meena,谷歌的26亿参数对话机器人,232MW,96吨GShard,谷歌语言翻译框架,24MW,4.3吨Switch Transformer,谷歌路由算法,179MW,59吨GPT-3,OpenAI大语言模型,1287MW,552吨

不过,即使谷歌的碳排放量,真是Jeff Dean这篇论文统计的结果,这些模型训练导致的二氧化碳排放总量也已经超过200吨。

甚至OpenAI的一个GPT-3模型,就已经达到了这个数值。

这相当于43辆车、或是24个家庭在一年内的碳排放量。

论文还表示,谷歌会继续不断提高模型质量、改进方法,来降低训练对环境造成的影响。

例如,谷歌对Transformer改进后的Evolved Transformer模型,每秒所用的浮点计算降低了1.6倍,训练时间也减少了1.1~1.3倍。

除此之外,稀疏激活(让信息编码中更多元素为0或趋近于0)也同样能降低模型能耗,甚至最多能降低55倍的能源消耗、减少约130倍的净碳排放量。

这篇论文,还引用了发表在Science上的一篇论文:

即使算力已经被增加到原来的550%,但全球数据中心的能源消耗仅比2010年增长了6%。

论文最后给出的建议如下:

需要大量计算资源的机器学习模型,在实际应用中,应该明确“能源消耗”和“二氧化碳排放量”的具体数值,这两者都应该成为评估模型的关键指标。

所以,Jeff Dean忽然参与到碳排放量研究中,到底是怎么回事?

与谷歌利益相冲突

事实上,这篇论文是对此前Timnit Gebru合著的一篇论文的“指正”。

Gebru那篇论文的标题,名为「On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?」(随机鹦鹉的危险:语言模型会太大吗?)

论文提出,自然语言模型存在“四大风险”

环境和经济成本巨大海量数据与模型的不可解释性存在研究机会成本语言AI可能欺骗人类

论文表明,使用神经网络结构搜索方法(NAS)的语言模型,会产生相当于284吨的二氧化碳,相当于5辆汽车在其寿命内的碳排放量。

论文还以谷歌的NLP模型BERT为例,指出它会在AI伦理上会产生一系列负面影响:

它排放的1823磅二氧化碳量,相当于纽约到旧金山航班往返的碳排放量。

这篇论文被认为显然不符合谷歌的商业利益。

谷歌此前开发过许多AI模型,包括云翻译和NLP语言对话模型等,而谷歌云业务,还在2021年Q1收入增长了46%,达到40.4亿美元。

论文被送到谷歌相关部门审核,但过了两个月,却一直没有得到反馈。

2020年12月,Gebru忽然被解雇

Jeff Dean表示,Gebru的论文存在着一些漏洞,只提到了BERT,却没有考虑到后来的模型能提高效率、以及此前的研究已经解决了部分伦理问题。

而开除原因,则是因为“她要求提供这篇论文的审核人员名单,否则将离职。”

Jeff Dean表示,谷歌无法满足她的要求。

这件事一直发酵到现在,Jeff Dean也正式给出了论文,“学术地”回应了这件事情。

和挖矿相比如何?

据Venturebeat报道,此前研究表明,用于训练NLP和其他AI模型的计算机数量,在6年内增长了30万倍,比摩尔定律还要快。

MIT的一项研究人员认为,这表明深度学习正在接近它的“计算极限”。

不过,商业巨头们也不是完全没有行动。

OpenAI的前老板马斯克,最近还悬赏了1亿美元,来开展碳清除技术比赛,比赛将持续到2025年。

这场主办方是XPRIZE的比赛,鼓励研究碳清除技术,来消除大气和海洋中的二氧化碳,以对付全球气候变暖的事实。

但这项技术,目前还不具备商业可行性。

据路透社表示,光是去除一吨碳,就需要花费超过300美元的成本,而全世界一年排放的温室气体,相当于约500亿吨二氧化碳。

那么,产生的这些碳排放量,和挖矿相比如何呢?

据Nature上的一项研究显示,到2024年,中国的比特币挖矿产业可能产生多达1.305亿吨的碳排放量,相当于全球每年飞行产生的碳排放量的14%。

具体到年份的话,到2024年,全球挖矿产生的能量将达到每年350.11TWh(1太瓦时=10^9×千瓦时)。

而据Venturebeat的报道,训练机器学习模型耗费的能量,每年估计也将达到200TWh

对比一下的话,一个美国家庭平均每年消耗的能量仅仅是0.00001TWh。

看来,挖矿造成的环境污染,确实要比机器学习模型更严重……

论文地址:https://arxiv.org/abs/2104.10350

参考链接:[1]https://venturebeat.com/2021/04/29/google-led-paper-pushes-back-against-claims-of-ai-inefficiency/[2]https://www.reuters.com/article/musk-offering-prize-carbon-removal-0422-idCNKBS2CA025[3]https://www.nature.com/articles/s41467-021-22256-3

— 完 —

量子位 QbitAI · 头条号签约

关注我们,第一时间获知前沿科技动态

以上就是关于《谷歌学术翻译(解雇黑人员工纯属学术原因)》的百科答疑相关内容,希望能够解决大家的疑惑,今天就介绍到这里了,如有更多疑问,请查看百科答疑

  • 金星合月(新疆库尔勒出现金星合月奇观)

    金星合月(新疆库尔勒出现金星合月奇观)

    【太美了!新疆库尔勒出现金星合月奇观】11月13日凌晨6时许,新疆库尔勒市东南方低空出现“金星合月”的浪漫天象。金星刚好出现在残月附近,作为天空中除了太阳和月亮之外最亮的天体,金星与残月竞相辉映,在天色朦胧中格外醒目。声明:转

    2021-05-13 08:48:18
  • 产妇恶露(产后恶露是怎么回事)

    产妇恶露(产后恶露是怎么回事)

    众所周知,怀孕生子会改变一个女人的身体状态。孕育生命的时候,子宫由小变大,生产完后又由大变小。产后身体还会伴有一些生理上的变化,给产妇带来一定的影响。产后恶露作为其中的一种,从字面上来看感觉不是很好的后果,其实不然。那么,产

    2021-05-11 09:25:12
  • 农历三月初三(神秘的农历三月初三)

    农历三月初三(神秘的农历三月初三)

    这一天在过去是上巳节,也是王母娘娘的蟠桃会,不过在时间长河中慢慢淡化,到如今,我们这个地方也是没有吃地菜煮鸡蛋的习俗,倒是简化成了要吃打虫药。此外还有壮族的三月三歌圩节、土家族的情人节、苗族的情歌节等等节日。古时人们采兰

    2021-04-17 11:51:47
  • 可以发外链的论坛(可以发外链的地方有哪些)

    可以发外链的论坛(可以发外链的地方有哪些)

    网站外链建设一般可以通过以下这些平台:1、高权重博客;2、相关论坛;3、分类信息网站;4、问答类平台;5、友情链接平台;6、招聘信息平台;7、视频分享平台;8、黄页等。那么现在的网站外链该怎么做呢?可以发外链的地方有哪些   高权

    2021-05-22 11:01:22
  • 拿破仑滑铁卢(滑铁卢战役拿破仑因何而败)

    拿破仑滑铁卢(滑铁卢战役拿破仑因何而败)

    这篇文章不二和各位读者朋友们来聊聊终结拿破仑的滑铁卢战役。在1815年,没有人会想到拿破仑能够再次站起来,经历了第六次反法同盟之战,拿破仑沦为孤岛囚徒。可是像拿破仑这样的“巨人”,他甘心吗?事实证明,他不甘心!于是在该年的2月26

    2021-05-18 09:20:30