深度学习---确保每次训练结果一致的方法
创始人
2024-03-20 10:14:15

每次训练结果不一致的原因:

神经网络特意用随机性来保证,能通过有效学习得到问题的近似函数。采用随机性的原因是:用它的机器学习算法,要比不用它的效果更好。

在神经网络中,最常见的随机性包含以下几个地方:

  • 初始化的随机性,比如权值

  • 正则化的随机性,比如dropout

  • 层的随机性,比如词嵌入

  • 最优化的随机性,比如随机优化

解决方案:设置随机数字生成器的种子

1)设置 Torch 的随机种子为固定值,可以保证每次运行网络的时候相同输入的输出是固定的

SEED = 42
torch.manual_seed(SEED)

2)设置这个 flag 为True,每次返回的卷积算法将是确定的

torch.backends.cudnn.deterministic = True

3)设置这个 flag 可以让内置的 cuDNN 的 auto-tuner 自动寻找最适合当前配置的高效算法,来达到优化运行效率的问题

torch.backends.cudnn.benchmark = False

 把该设置代码放在文件的开头处即可

SEED = 42
torch.manual_seed(SEED)
torch.backends.cudnn.deterministic = True 
torch.backends.cudnn.benchmark = False

 

【题外话】

世界杯:

世界上最高荣誉、最高规格、最高竞技水平、最高知名度的足球比赛,与奥运会并称为全球体育两大最顶级赛事,甚至是影响力和转播覆盖率超过奥运会的全球最大体育盛事,世界足球运动发展推广普及的源头和根本,所以也被誉为“生命之杯”

意义:

全球各个国家在足球领域最梦寐以求的神圣荣耀,也是各个国家所有足球运动员的终极梦想,它也被誉为“生命之杯”,代表着足球界至高无上的荣誉与球迷世界的狂欢。振兴民族精神,足球运动蕴涵着深入透彻的文化和思想内涵,其影响已远远超出其本身的竞技运动范畴,关系到地区或国家的形象,重要国际比赛的成功,能振奋民族精神,激发人们爱国热情
 

相关内容

热门资讯

最新或2023(历届)河北中医... 河北中医学院始建于1958年,是全国建校较早的高等中医药院校之一,河北省重点骨干大学,河北省人民政府...
最新或2023(历届)东北大学... 东北大学始建于1923年,是一所具有爱国主义光荣传统、学科结构完善、学术实力雄厚、产学研用办学特色鲜...
最新或2023(历届)石家庄经... 最新或2023(历届)石家庄经济学院华信学院开学时间已在通知书上注明,以下是该校开学注意事项,供大家...
最新或2023(历届)石家庄铁... 最新或2023(历届)石家庄铁道大学四方学院开学时间已在通知书上注明,以下是该校开学注意事项,供大家...
最新或2023(历届)燕山大学... 最新或2023(历届)燕山大学里仁学院开学时间已在通知书上注明,以下是该校开学注意事项,供大家参考:...