TensorFlow被曝存在严重bug,搭配Keras可能丢失权重,用户反应一个月仍未修复

上海米罗家用纺织品有限公司 http://www.acyjk.com/

原标题:TensorFlow被曝存在严重bug,搭配Keras可能丢失权重,用户反应一个月仍未修复 来源:量子位

存眷前沿科技 晓查 发自 凹非寺 量子位 报道 | 公众号 QbitAI

晓查 发自 凹非寺

量子位 报道 | 公众号 QbitAI

最近,一位从事NLP工程师Gupta发明了TensorFlow存在的一个严重bug:

每个在自界说层中使用Keras函数式API的用户都要注意了!使用用Keras的Functional API创建的权重,可能会丢失。

这一话题在Reddit呆板学习板块上被热议,引起不少TensorFlow用户共鸣。

详细来说,就是在API中使用自界说层,会导致trainable_variables中的权重无法更新。而且这些权重也不会放入non_trainable_variables中。

也就是说,原本需要训练的权重现在被冻结了。

让这位工程师感到不满的是,他约莫一个月前在GitHub中把这个bug陈诉给谷歌,结果谷歌官方到现在还没有修复。

解决措施

如何检验自己的代码是否会出现类似问题呢?请调用model.trainable_variables来检测自己的模子:

for i, var in enumerate(model.trainable_variables):

print(model.trainable_variables[i].name)

看看你全部的可变权重是否正确,如果权重缺失或者未产生变化,说明你也中招了。

Gupta还自己用Transformer库创建模子的bug在Colab条记本中复现了,有兴趣的读者可从前往寓目。

https://colab.research.google.com/gist/Santosh-Gupta/40c54e5b76e3f522fa78da6a248b6826/missingtrainablevarsinference_var.ipynb

对此问题,Gupta给出的一种解决要领是:改为使用Keras子类创建模子。改用此要领后,全部的权重都将出现在trainable_variables中。

为了绝对确保用函数式API和子类要领创建的模子完全相同,Gupta在每个Colab条记本底部使用相同的输入对它们举行了推理,模子的输出完全相同。

但是,使用函数式API模子举行训练会将许多权器重为冻结,而且这些权重也没有出现在non_trainable_variables中,因此无法为这些权重解冻。

为了查抄谷歌最近是否修复了该漏洞,Gupta还安装了Nightly版的TF 2.3.0-rc1,保持框架处于最新状态,但如今bug依然存在。

网友:照旧用PyTorch吧

刚刚,Keras首创人在Twitter上回复,这不是Keras的bug,并发起程序员使用单元测试。

对于Gupta所说的bug,有网友说,他在TensorFlow和Keras之间通报权重的时候,出现了类似的错误,从此转而使用PyTorch。

另外另有不少网友也反应,谷歌的框架不太完善,管理方式一团糟,是在让用户帮他们测试TensorFlow的bug。

反观PyTorch,说明文档通俗易懂,最近官方还出了免费电子书,难道用PyTorch不香吗?

你现在在使用哪种深度学习框架,你也遇到过类似的严重bug吗?

原帖链接:

https://www.reddit.com/r/MachineLearning/comments/hrawam/d_theres_a_flawbug_in_tensorflow_thats_preventing/

本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容,未经账号授权,克制随意转载。

相识AI发展现状,捉住行业发展机遇

如何存眷、学习、用好人工智能?

每个事情日,量子位AI内参精选全球科技和研究最新动态,汇总新技能、新产物和新应用,梳理当日最热行业趋势和政策,搜索有价值的论文、教程、研究等。

同时,AI内参群为各人提供了交流和分享的平台,更好地满足各人获取AI资讯、学习AI技能的需求。扫码即可订阅:

AI社群 | 与优秀的人交流

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技能和产物新动态

喜爱就点「在看」吧 !

(声明:本文仅代表作者观点,不代表新浪网态度。)

文章要害词: 网络文化

用微信扫描二维码分享至挚友和朋友圈

' + _substr(uids[i].name, 0, 14) + '

' + _substr(uids[i].v_reason, 0, 16) + '

上一篇:

下一篇: