飞扬围棋论坛

 找回密码
 注册,建议通过微信扫一扫直接登录

扫一扫,访问微社区

搜索
查看: 4230|回复: 30

KataGo作者说他用少很多的时间训练出和 elfv2差不多的权重

[复制链接]
发表于 2019-6-12 04:38 来自手机 | 显示全部楼层 |阅读模式
KataGo does use 50% gating, due to the heuristic demo showing that 55% AGZ gating under an ideal model is to conservative if the distribution of new net strengths is not too bad... and due to AZ coming along after that and actually showing that in fact the distribution of new net strengths is so not-bad in Go that 0 gating is actually okay! @gjm11's point 3 is definitely on my mind as one of the possible factors here. However, I have NOT ever done a controlled test between the two, so I have no actual evidence.

Currently my GPUs are entirely consumed by re-running ablation runs for a new paper version, but I'd be up for doing a controlled test in a month or two within KataGo.

Regarding strength, KataGo has just now finished a new run. The new run surpasses the peak strength of the old 1-week-long run in only 3.5 days with (20-28)xV100. After 18 to 19 days now, the final 20 block 256 channel network has finished around LZ-ELFv2 strength. Given that ELF used more than 50 times more compute than this (according to Facebook's paper), I'm happy with this.

Tests also indicate roughly similar strength to LZ190 or LZ195 with equal visits, consistent with being around ELFv2. At equal time instead of equal visits, it may be stronger than LZ190, since LZ's network is 40 blocks, but also I think LZ's GPU implementation might be more efficient than mine for playing single games rather than hundreds in parallel, so if that's true it may compensate for that. I've never said anything about or compared with LZ229 though.

KataGo确实使用50%的门控,因为启发式演示表明,如果新净强度的分布不是太差,理想模型下的55%AGZ门控是保守的......并且由于AZ之后出现并实际显示事实上,新的净优势的分布在Go中是如此的糟糕,0门控实际上是可以的! @ gjm11的第3点绝对是我心目中的可能因素之一。但是,我没有在两者之间做过控制测试,所以我没有实际的证据。
目前我的GPU完全用于重新运行新纸张版本的消融运行,但我想在KataGo中的一两个月内进行受控测试。
关于实力,KataGo刚刚完成新的运行。新的运行仅用了3.5天(20-28)xV100,超过了旧的1周长期运行的峰值强度。现在经过18到19天,最终的20块256通道网络已经完成了LZ-ELFv2的强度。鉴于ELF使用的计算量超过此计算的50倍(根据Facebook的论文),我对此感到满意。
回复

使用道具 举报

 楼主| 发表于 2019-6-12 10:36 | 显示全部楼层
回复 支持 反对

使用道具 举报

发表于 2019-6-12 18:24 | 显示全部楼层
大家都在学谷歌那一套。
但是katago这样聪明的做法也许不赖啊,希望能有一定的资源向katago倾斜
回复 支持 反对

使用道具 举报

发表于 2019-6-13 08:37 | 显示全部楼层
他光这么说,也不放出来测试一下,有什么用
回复 支持 反对

使用道具 举报

发表于 2019-6-13 15:53 | 显示全部楼层
台湾宾果 大家都在学谷歌那一套。
回复 支持 反对

使用道具 举报

发表于 2019-6-13 16:24 | 显示全部楼层
会放出来的。
回复 支持 反对

使用道具 举报

发表于 2019-6-18 13:47 | 显示全部楼层
已经更新了,就是不知道如何加载使用
回复 支持 反对

使用道具 举报

发表于 2019-6-18 14:50 | 显示全部楼层
不知现在的智能围棋软件有否超越当年与柯洁对弈的谷歌狗的水平?
回复 支持 反对

使用道具 举报

发表于 2019-6-18 15:14 | 显示全部楼层
黑白碰撞 发表于 2019-6-18 14:50
不知现在的智能围棋软件有否超越当年与柯洁对弈的谷歌狗的水平?

超过当年针对李世石的没问题,超过柯洁版的也应该问题不大,但需要一定的硬件支持
回复 支持 反对

使用道具 举报

发表于 2019-6-18 15:54 | 显示全部楼层
嗯,今后硬件若步入量子计算级的台阶,估计现在最强围棋软件也得仰望了,人类围棋发展到今天,接下来接力棒该交给智能机器了
回复 支持 反对

使用道具 举报

 楼主| 发表于 2019-6-18 20:41 来自手机 | 显示全部楼层
谢谢提供信息
回复 支持 反对

使用道具 举报

发表于 2019-6-20 15:39 | 显示全部楼层
很好,很好
回复 支持 反对

使用道具 举报

发表于 2019-6-21 16:04 | 显示全部楼层
很想知道围棋上帝的棋 到底有多高!
回复 支持 反对

使用道具 举报

 楼主| 发表于 2019-6-21 18:49 | 显示全部楼层
回复 支持 反对

使用道具 举报

发表于 2019-6-21 22:42 | 显示全部楼层
是linux版的,不是windows版。lz加载不上
回复 支持 反对

使用道具 举报

本版积分规则

小黑屋|Archiver|手机版|飞扬围棋网 ( 苏ICP备11029047号-1 )

GMT+8, 2019-10-14 06:19 , Processed in 0.200736 second(s), 20 queries .

since 2003飞扬围棋论坛 Licensed

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表