飞扬围棋

 找回密码
 注册
搜索
查看: 36175|回复: 30
打印 上一主题 下一主题

KataGo作者说他用少很多的时间训练出和 elfv2差不多的权重

[复制链接]
跳转到指定楼层
1#
发表于 2019-6-12 04:38 来自手机 | 只看该作者 回帖奖励 |正序浏览 |阅读模式
KataGo does use 50% gating, due to the heuristic demo showing that 55% AGZ gating under an ideal model is to conservative if the distribution of new net strengths is not too bad... and due to AZ coming along after that and actually showing that in fact the distribution of new net strengths is so not-bad in Go that 0 gating is actually okay! @gjm11's point 3 is definitely on my mind as one of the possible factors here. However, I have NOT ever done a controlled test between the two, so I have no actual evidence.

Currently my GPUs are entirely consumed by re-running ablation runs for a new paper version, but I'd be up for doing a controlled test in a month or two within KataGo.

Regarding strength, KataGo has just now finished a new run. The new run surpasses the peak strength of the old 1-week-long run in only 3.5 days with (20-28)xV100. After 18 to 19 days now, the final 20 block 256 channel network has finished around LZ-ELFv2 strength. Given that ELF used more than 50 times more compute than this (according to Facebook's paper), I'm happy with this.

Tests also indicate roughly similar strength to LZ190 or LZ195 with equal visits, consistent with being around ELFv2. At equal time instead of equal visits, it may be stronger than LZ190, since LZ's network is 40 blocks, but also I think LZ's GPU implementation might be more efficient than mine for playing single games rather than hundreds in parallel, so if that's true it may compensate for that. I've never said anything about or compared with LZ229 though.

KataGo确实使用50%的门控,因为启发式演示表明,如果新净强度的分布不是太差,理想模型下的55%AGZ门控是保守的......并且由于AZ之后出现并实际显示事实上,新的净优势的分布在Go中是如此的糟糕,0门控实际上是可以的! @ gjm11的第3点绝对是我心目中的可能因素之一。但是,我没有在两者之间做过控制测试,所以我没有实际的证据。
目前我的GPU完全用于重新运行新纸张版本的消融运行,但我想在KataGo中的一两个月内进行受控测试。
关于实力,KataGo刚刚完成新的运行。新的运行仅用了3.5天(20-28)xV100,超过了旧的1周长期运行的峰值强度。现在经过18到19天,最终的20块256通道网络已经完成了LZ-ELFv2的强度。鉴于ELF使用的计算量超过此计算的50倍(根据Facebook的论文),我对此感到满意。
回复

使用道具 举报

31#
发表于 2019-7-15 12:53 | 只看该作者
回复 支持 反对

使用道具 举报

30#
 楼主| 发表于 2019-7-7 17:18 | 只看该作者
回复 支持 反对

使用道具 举报

29#
发表于 2019-7-7 13:22 | 只看该作者
现在,大家都想要最强的权重和最好的引擎,而不是一味比拼硬件
实在的,使用里拉权重,1060显卡在网上快棋基本读秒时间,即15秒,是可以击败职业棋手的
1060用于学棋和复盘研究,硬件是足够了
回复 支持 反对

使用道具 举报

28#
发表于 2019-7-7 13:06 | 只看该作者
本帖最后由 hred9D 于 2019-7-7 13:16 编辑
lu01 发表于 2019-6-22 21:23
Friday9i的测试
关于KataGo与LZ229性能的小更新:
我开始在1600次访问中运行LZ229与KataGo20b的比赛:在 ...

这种比较,是要说明权重文件哪一家强呢?还是测试引擎执行效率的高低?
lz和KataGo不能加载对方权重
回复 支持 反对

使用道具 举报

27#
发表于 2019-6-29 14:08 | 只看该作者
本帖最后由 forjoke21cn 于 2019-6-30 23:52 编辑

cuda需要10.0以上版本

棋力不俗,尤其是后半盘

让子棋不如leelamaster强,喜欢直线追杀

极其酷爱点33,即使让4子

开局招法单一,随机性不够

gtp输出信息不易看懂

以上是第一天使用印象,很有性格的ai

回复 支持 反对

使用道具 举报

26#
发表于 2019-6-29 08:15 | 只看该作者
可以用sabaki加载:
C:\KataGo\main.exe
gtp -model C:\KataGo\20b.txt -config C:\KataGo\configs\gtp_example.cfg
time_settings 0 16 1
回复 支持 反对

使用道具 举报

25#
发表于 2019-6-24 14:37 | 只看该作者

想知道katago怎么用?
回复 支持 反对

使用道具 举报

24#
发表于 2019-6-24 14:21 | 只看该作者
KataGo windows版怎么下载及使用?
回复 支持 反对

使用道具 举报

23#
发表于 2019-6-22 23:21 | 只看该作者
想知道katago怎么用
回复 支持 反对

使用道具 举报

22#
 楼主| 发表于 2019-6-22 21:23 | 只看该作者
Friday9i的测试
关于KataGo与LZ229性能的小更新:
我开始在1600次访问中运行LZ229与KataGo20b的比赛:在50场比赛之后,KataGo的比例为~55%!但是它的numSearchThreads = 1,因此它非常慢(尽管净值较小,KG比LZ慢约4倍)。
所以我用numSearchThreads = 20更新了config.cfg,KG现在比LZ快了〜2倍(当然仍然是1600次访问),但不幸的是,在240场比赛之后,胜利率下降到了~35%:似乎numSearchThreads有一个相当大的对性能的影响(@lightvector说了一些有关IIRC的内容:似乎已经证实!)
在1600次访问中,KataGo对LLZ229的35%仍然是一个巨大而卓越的表现(特别是在经过19天的训练后,只有20天的净值!!!),它似乎与@lightvector在LZ200周围宣布KG的测试完全一致:来自我在#2425中描述的测试,LZ200和LZ229之间存在~150 Elo差异!

然后,我在我的机器(RTX2080)上进行了〜时间平价测试,这大约意味着LZ229在1600次访问时对KataGo进行了3200次访问:在对阵LZ229的147场比赛后,KataGo准时率为55%(我将更新结果一次得到240场比赛)。注意:当KG访问3200时,LZ的时间仍然增加约5%
回复 支持 反对

使用道具 举报

21#
 楼主| 发表于 2019-6-22 16:26 | 只看该作者
上图这个exe是linux的,其他的是权重文件,在windows中需要解压缩成txt
回复 支持 反对

使用道具 举报

20#
发表于 2019-6-22 15:35 | 只看该作者
这个嘛?是用main这个文件加载?

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?注册

x
回复 支持 反对

使用道具 举报

19#
 楼主| 发表于 2019-6-22 15:27 | 只看该作者
是不是参数设置不对?
有用过的说katago让子棋厉害
https://lifein19x19.com/viewtopi ... bb6fcfb3fccdab7c054
回复 支持 反对

使用道具 举报

18#
发表于 2019-6-22 09:41 | 只看该作者
编译出来的win10版本速度慢的惊人,水平也大打折扣,无法和V2抗衡。但还是要感谢台北的熊猫朋友!
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则

小黑屋|Archiver|手机版|飞扬围棋网 ( 苏ICP备11029047号-1 )

GMT+8, 2024-9-28 01:04 , Processed in 0.157442 second(s), 21 queries .

since 2003飞扬围棋论坛 Licensed

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表