飞扬围棋

标题: leelaz的作者gcp的话 [打印本页]

作者: lu01    时间: 2018-4-19 09:57
标题: leelaz的作者gcp的话




https://github.com/gcp/leela-zero/issues/1220

我在一个月前被两位来自中国的博士生问到,他们是否可以参加和操作Leela Zero参加本次比赛。我犹豫了一下,因为恕我直言,进入Leela Zero参加计算机比赛的机器人比较有点离题,并且减少了项目的目标



对我而言,这毫无意义,因为你可以从字面上理解权重和数据(甚至是代码,取决于道德和比赛规则),改进一点(我建议增加一些去知识!),并且你应该有一个更强大的程序你了解如何正确测试。

开源机器人和竞赛的问题并不新鲜。电脑国际象棋的历史尤其糟糕,这也是我进入编程领域的原因之一。最后,比赛组织者应该制定规则,确保公平竞争,并且实际上拥有执行这些规则的球。

这些与开源(或公开)机器人和秘密机器人的私人匹配现象并不是我以前见过的。这可能表明你现在可以更容易地隐藏在线服务背后的程序,或者只是超级公司发现可用于宣传的游戏(咳嗽IBM咳嗽Google)。用户可以购买的程序不能真正“隐藏”它的实力,因为用户可以(并且确实是CCRL,TCEC等)与其一起运行锦标赛。

另一方面,我认为不进入也不会做任何事情,是吗?通过进入,我们是众所周知的公众和其他球队击败的基准。我宁愿让更多的人了解这个项目,所有的事情都考虑在内。所以我允许进入Leela Zero。我还没有听到,但我从上面的假设,至少它进入了某种程度。

无论如何,从上述观点来看,如果有的话,即使看起来它偶尔允许其他团队得分“胜利”或PR,也不值得在程序,代码和数据的这些用途方面过于努力你认为有问题。合作努力的特点是它可以超越秘密或专有项目,并最终为用户带来更多价值。

我不知道你的情况,但我仍然使用干鱼来分析我的国际象棋比赛,而不是Alpha Zero或Deep Blue。

I got asked about a month ago by two PhD students from China whether they could enter and operate Leela Zero for this tournament. I hesitated for a bit, because IMHO entering Leela Zero into competitions for computer go bots is somewhat besides the point and detracts from the project's goal.

To me it feels pointless because you can literally take the weights and data (and even the code, depending on morals and tournament rules), improve it a bit (I suggest adding some go knowledge!), and you should have a stronger program if you understand how to test properly.

The problem of open source bots and competitions is not new. Computer chess has a particularly bad history with this and it's one of the reasons I went into go programming. In the end, it is up to the tournament organizers to set rules that ensure fair play and actually have the balls to enforce them.

The phenomenon of these private matches with open source (or just public) bots and secret bots is not something I've seen before though. It may be a sign of the times when you can now "hide" the program easier behind online services, or simply super-corporations finding games useful for publicity (cough IBM cough Google). A program that the user can buy commercially can't really "hide" it's real strength for long, as the user can (and does, CCRL, TCEC, etc) run tournaments with it.

On the other hand, I considered that not entering doesn't do anything either, does it? By entering, we are a well known benchmark for the public and other teams to beat. I'd rather have more people finding out about the project, all things considered. So I gave permission to enter Leela Zero. I have not heard back, but I assume from the above at least it got entered somehow.

Anyway, my point, if anything, from all the above is that it is not worth getting too worked up over these kind of uses of the program, code and data even if it seems it occasionally allows other teams to score "victories" or PR you consider questionable. A collaborative effort has the property that it can outlast secret or proprietary projects and eventually bring more value to the users.

I don't know about you, but I'm still using Stockfish to analyze my chess games, and not Alpha Zero or Deep Blue.


作者: lu01    时间: 2018-4-19 10:04
lz与星阵
                                                                                                                                            2018年4月13日                                                                2042 views               

                       
                       
                                        俗话说的好,知己知彼,百战不殆。


昨日,恰逢星阵团队的由小川教授到上海出差,闻知消息的狮子头赶忙联系了在上海工作的LZ志愿者代表,将双方约至弈客平台宇宙总部,进行了一段看似欢乐祥和,实则暗流涌动的赛前见面会。


一见面,双方的脸上就都洋溢出了灿烂的笑容。这厢盛赞对方技术高超,算法清奇;那厢称奇对方志愿付出,感人至深。 如果不是了解到双方作为对手必然各自“心怀鬼胎”,不由得还以为双方是合作伙伴呢。

这不,推杯换盏间,LZ志愿者率先发难——
他表示“敌在暗我在明,志愿者团队中也出现了一定的争议,需要了解星阵的配置和技术的相关细节,以期公平公正的进行比赛。” 在交谈中,LZ志愿者成功化身好奇宝宝,旁敲侧击的了解着神秘的星阵。而一番交流下来,确实成功套出了星阵方面不少重要技术情报,可谓收获满满。


与LZ的好奇宝宝心态相比,星阵方面虽然十分谦虚友好,但也蕴藏着成竹在胸的气魄——有问必答,自己却很少发问。当然,星阵团队显然也早有准备,一番正本清源,以正视听的保证,也让LZ志愿者们放下了担忧——
“本次比赛为与柯洁人机大战前友谊性质的测试交流赛,绝不会像大家担心的一样‘利用’LZ,不存在任何利益交换。”

双方开心而亲切的技术交流。


在一番激烈而又友好的讨论中,星阵和LZ达成了双方出战硬件和技术方面的意见交换和统一。


硬件:
星阵:10块 GTX 1080Ti 显卡。
LeelaZero:4块 Titan V  显卡。
双方一致同意,单单从算力上来讲,双方的配置是均衡的。


双方通知并协商通过了互相上场所使用的权重版本号和网络深度,并会在每场比赛时公布,保证公平公正公开。


赛前具有历史意义的碰杯时刻。


在由教授提前退席之后,LeelaZero的志愿者悄悄的告诉小编,与表面的云淡风轻,看淡输赢相反,他们正在紧锣密鼓的紧张备战中……在大战之前,他们会上具有最新突破的全新权重,保证会在比赛时展现出LZ的最佳水平。


看来,虽然气氛并不剑拔弩张,虽然只是一场友谊交流赛,虽然双方笑意盈盈——但是,对于双方,这确实是一场谁都不愿意输的战役。

4月14日晚,欢迎关注 星阵-LeelaZero七番棋交流赛 首战,看谁是弈客平台最强硅基!


作者: liangr    时间: 2018-4-19 10:08
看来原作者是不想参与这种比赛的。
作者: lxjtt09    时间: 2018-4-19 17:11
zero还没完全成熟起来过早参加比赛吃点亏。不过感觉这几天leelaZ进步神速。
作者: lu01    时间: 2018-4-19 17:39
要是谁把源代码改改或训练出另一个权重打败原版就糟了
作者: hidear    时间: 2018-4-19 18:39

作者: 原力猫    时间: 2018-4-19 19:03
lu01 发表于 2018-4-19 17:39
要是谁把源代码改改或训练出另一个权重打败原版就糟了

现在有大把自炼权重,都是爱好者们在当时的官方权重基础上炼出来的,棋力比当时的官方权重要强。但是这些东西都是一次性的,使用的目的也不相同,有的是为了看看加B后的效果如果,有的是为了看看加入人类棋谱后能不能克服一些原来LZ的弱点,有的则是几个官方权重混在一起炼出来的。这些东西不会加入到LZ的官方训练体系中去,不会影响LZ的正常发展。但作为一时之选还是有意义的,比如加入人谱的LeelaMaster权重的20B系列既加强了棋力又使下出的棋更接近人类的下法。 而10B系列则在官方已经停止的10B基础上加入数十万的人谱和其他AI的棋谱,使棋力大大超过了原来官方的10B棋力,给电脑硬件比较一般的爱好者带来较好的使用感受。同时这个系列基本解决了LZ一直存在的征子问题

作者: lu01    时间: 2018-4-20 07:59
我并不太在意硬件上的差距(这当然会导致它不公平,但那对你来说是资本主义),但是关于设置/网络/硬件明显正在改变的事实,我认为这是中间匹配。

这意味着一件简单的事情:它没有正确测试。 在您参加比赛或锦标赛之前,您会找出最佳配置。 如果您在游戏过程中想要更改配置,那么意味着您没有正确测试,因为您可能在该时间段内获得了哪些信息,从而使您之前的测试无效以获得最佳配置?

现在,给定

     由于上述原因,这场比赛显然不被认真对待,而且似乎连运营商的错误都是(?!)
     人们开始失去他们的狗屎
     由于上述缺乏透明度,因此没有可用的LZ发展信息

我将结束这个讨论。 打扰或关心这一点是没有用的。

I'm not so much bothered about the disparity in hardware (which of course makes it unfair, but that is capitalism for you), but about the fact that settings/networks/hardware are apparently being changed mid match.

This means a simple thing: it was not tested properly. Before you play the match or tournament, you figure out the optimal configuration. If you are even so much as tempted to change the configuration during the games, it means you did not test properly, because what information can you possibly have gotten in that time period that invalidates your prior test for the optimal configuration?

Now, given that

    this match is apparently not to be taken seriously, due to the above, and it seems even operator errors stand(?!)
    people are starting to lose their shit over it
    there's no usable info for the development of LZ due to the above and lack of transparency

I'll just close this discussion. There's no use to bother or care about this.
https://github.com/gcp/leela-zero/issues/1216
作者: lu01    时间: 2018-4-20 08:06
gcp在9小时前发表评论

     从我在他们所在的QQ小组中学到的知识,参与者都是为Golaxy游戏运行LZ的人。

从我的电子邮件中,他们彼此认识,但不是同一群人。 Aaaanyway,我会发给他们关于“事先没有在比赛期间详尽测试事情”和“在做非默认事情时只考虑统计上显着的结果”的指导,我希望其中的一些能够抓住并从中吸取经验教训 Golaxy崩溃。

gcp commented 9 hours ago

    From what I learned in the QQ group they are in, the participants are the same guys who are running LZ for the Golaxy game.

From my email, they know each other but it's not the same people. Aaaanyway, I'll send them the guidance I can regarding "test things exhaustively in advance not during the tournament" and "only consider statistically significant results when doing not-default things" and I hope some of it takes hold and lessons were learned from the Golaxy debacle.

https://github.com/gcp/leela-zero/issues/1220
作者: lu01    时间: 2018-4-20 08:17
提问
because are there any legal case precedents on derivation use of networks trained from community deep learning? The license only applies to the code, but I don't see it covering all imaginable derivative use of that code. the training data is already public.

FWIW all networks that come off of my training machine should be considered public domain, at least that was the intention. I don't think it makes sense to do otherwise as the training code is public (GPL) and data to generate them is already public domain.

I can't speak for the 256x20 that were contributed. I assume there's at least an implicit license to serve them off of zero.sjeng.org.
因为在推导使用社区深度学习培训网络方面是否有任何法律案例先例? 该许可证仅适用于代码,但我没有看到它涵盖了该代码的所有可想象的派生用法。 训练数据已经公开。

FWIW从我的训练机器出来的所有网络都应该被视为公共领域,至少这是意图。 由于培训代码是公开的(GPL),我认为这样做是不合理的,并且生成它们的数据已经是公有领域。

我无法说出256x20的贡献。 我认为至少有一个隐含的许可证,可以从zero.sjeng.org提供服务。

gcp回答

Collections of data (or games) are definitely copyrightable.


数据(或游戏)的集合绝对是可版权保护的。
作者: lu01    时间: 2018-4-22 09:11
关于一个强但没上位的599bb7337权重的对话(梯子==征子)
https://github.com/gcp/leela-zero/issues/1229
@ kuba97531

我也为我的一些长期风,以及如果使用修辞而道歉......通过最后一次输入,我已经说过我需要在这个主题上发表什么意见,不管发生什么事情。我会说,如果决定等待一个新的126网络,它的最终胜利率低于网络(599bb7337),并且看起来不像梯子那么好(599bb7337),那么它不言而喻,如果没有最终的“重新计票”在两个竞争126冠的网络中进行头对头的比赛,那么事实上尽管如此,这些行动是这样的,以致该项目实际上并不是真的力量第一,实际上并没有基于实力的提升。
** _ TLDR版本==
{
昨天晚上我们有了一个新的网络(599bb7337),应该已经推广了,但由于任何原因(可能是一个bug等),它并没有得到提升。然而,这个数字接近55%,实际上比官方网络125更接近53%。当比赛总数超过400次时,它获得了三次“PASS”。根据所有帐户,这个新网络应该是网络126。

此外,看起来网络599bb7337在梯子和残局技能方面已经有了很大的提高,并且这是一个显着的改进。有些人已经在YouTube上发布了关于此的视频。

最终,如果599bb7337没有手动升级并且没有其他任何事情完成,新的获胜者自然会出现并成为官方126网。真正的问题是,如果像125网络一样,它的结果是低于599bb7337的定价,并且与599bb7337相比,它不如梯子好。又过了一个星期。现在这将是一个真正的可怜。

我的建议是等待并观察哪个网络自然会达到#126标志,并且在将其作为网络126正式推广之前,由于这种情况下的唯一环境,最终在两个网络之间进行最终测试匹配,并在两个网络之间进行最终测试匹配(特别是如果可能的官方网络126实际上比599bb7337结果更低,那么我们确实需要“重新计算”)。否则,我们对599bb7337不公平。如果力量是真正的目标,无论如何,决定等待它,并且无论如何都将时间花在了沉没的成本上,那么为什么不选择最好的前进方向呢?因为599bb7337在梯子上看起来好多了?
} _ **
作者: lu01    时间: 2018-4-22 09:14





@ kuba97531请停止咆哮,这对一个人来说已经够糟糕了。


你提出了很多想法,意见和建议。 “我认为我们应该这样做”。 “我认为这会更好”。 “我为此提倡”等。
但这一切都归结为(所有引用都是属于你的)“我不知道有多少有效的进展将会发生,或者会发生什么,如果尝试过不同的策略”

真的,为什么我花了一分钟时间阅读这本书?这在讨论中增加了零。新的想法总是受欢迎的,我们应该公开讨论。我并不是说我们应该拿起任何随意的想法(这是不可能的,很多是彼此矛盾的)。


我会告诉你一个秘密,就是大多数参与这个项目的人可以让你摆脱他们的头脑成千上万的想法,这些想法可能会提高管道的效率或程序的强度。


无意识地想到你脑海中的想法绝对没有价值(它实际上具有负值,因为有些人会阅读它)。
有价值的是一些坚实的数学证明或令人信服的数据/实验结果。

严重的是,请把你的拖到reddit请。在这里你应该有实际的论点。
作者: hred9D    时间: 2018-4-22 09:57
大概意思是,LZ作者坚持自己的训练计划和理论设计,不会因为这些比赛而改变
不在乎针对LZ源代码的改编程序,即使你取得比赛的胜利
LZ项目是开源的,但用于商业用途是受制约的


作者: lxjtt09    时间: 2018-4-22 13:01
远远不成熟就急着拉去比赛,我感觉不太尊重作者。比赛了权重硬件又都不能固定,给人一种儿戏的感觉。准备工作太仓促了。
作者: lu01    时间: 2018-4-26 05:48
要集资打比赛了  https://github.com/gcp/leela-zero/issues/1261
作者: lu01    时间: 2018-4-26 07:56
hydrogenpi:
Mods可以随意关闭它,因为我知道它并不直接相关。不过,我有这样的预感,Leela Zero已经超越了顶级职业选手(在最好的硬件和专业比赛时间设置上),我很乐意看到它击败顶级职业球员来证明它。随着Golaxy,Deepmind Chess和IBM Deepblue在过去的所有宣传特技,我认为Leela有时间获得了自己的一些公关。也许在gcp,roy和其他项目的官方支持和支持下,他们可以组织一个gofundme,indiegogo,kickstarter和/或任何接受社区捐赠的项目,以便能够将这个想法传达给Leela Zero想要的整个世界在一场严肃的比赛中,以公平的条件发挥顶级职业球员(或者与许多顶级职业球员对抗),并由开发者自己组织,这样就不会有诡计。

对于这样的比赛,应该使用官方代码,官方二进制和官方网络。没有神秘的肉。没有任何背后的幕后废话。所有的日志都将被发布等。

加上没有障碍,没有“第六行以上”的废话,也没有可疑的神秘“上帝之手”干预,也就是说,在LZ志愿者团队发生的最后一场比赛中,对Golaxy的最后一场比赛没有做出正确的人为举动。

顶级职业球员(定义为目前排名前30的球员)通常不会免费参赛。因此,如果LZ项目能够通过众筹获得足够的捐款,然后向顶级职业选手投标,并进行投标并接受最低投标的最强职业球员,那么这将是一个很好的方式,玩最合理的收费金额等。

对于这样的比赛来说,leela零方面在Google coud平台或AWS或Azure上租用8x V100 Tesla GPU是微不足道的。没有什么“对手抱歉,我们今天只有30%的马力”借口像其他一些比赛的借口。

数据很简单,Leela Zero网络127击败刘德华(3150 Elo),给他大致1比1.5的让分,LZ以很多优势击败他。在职业水准上,一块石头差点值得至少200欧元。并且在这个对话的相关范围内,Id说PO的每增加一倍意味着增加120elo的力量。租用8x V100大约是有效采购订单的8倍,而用于在下半场击败安迪的1080Ti相比,这意味着这是另一次360 elo提升。 3150 + 560 = 3710埃洛。所以这一点基本上比任何人类顶级选手都强。在比赛实际进行的时候,我相信LZ网络将会比现在的网络128/4/25/2018更强。

在两项差点比赛中,LZ击败了Golaxy,因为它让它少于一块石头。然而,戈拉西已经击败了顶级职业球员,给他们一个完整的障碍。这也说明LZ达到和/或超过了顶级专业人士的水平。

我认为知道是组织这样的事情的时候。再过三个月,顶级职业选手将不会有机会,甚至不会暂停观看

gcp:==============
gcp评论7小时前•

    时间控制:我会说每个玩家大约1小时。对于专业玩家来说,玩足够的游戏已经足够了,玩家的水平和观看的乐趣之间也很好的平衡。

没有byo-yomi?我认为你必须设定一些,这将影响比赛的持续时间,因为Leela将充分利用它。

    我建议也决定与专业人士而不是事先决定准确的格式。

我想我想要一个非常具体的提案。当然,它可以调整,但如果我们有一些具体的东西我们可以指出,我们估计它是非常合理和有趣的比赛条件,那时我们可以接触到(我需要社区帮助,特别是到达中国人/韩国职业球员),并说如果职业球员愿意在这些条件下踢球,他们应该与我联系并说明他们的费用,在这一点上我可以作出一个判断,以确定我们能否筹集到一个合理的数额。

还有其他许多复杂因素,比如说时区(最好是我或者@ roy7应该可以在游戏中使用!),也可能是语言(其中许多专业人士可能不是最好的英语使用者,也许像@bood这样的人可以在那里帮助)。

如果一切都保持模糊,我的恐惧是什么都不会发生。

出于类似的原因,我会考虑放弃“前30名”,只是要求“9p”或“> = 7p”左右。这将大大扩大对手池,从而使比赛更有可能发生。如果Leela击败了职业球员,这将是一个很好的演示,并增加了我们可以让更强大的对手感兴趣的可能性。如果Leela输了,那么很显然,一个更强大的对手是没有意义的。
作者: lu01    时间: 2018-4-26 07:58
2905/5000
hydrogenpi评论9小时前•

如果这件事情永远都不成问题,我愿意将1000美元投入官方项目协调人。它并没有那么多,但也许有一位顶级职业球员愿意接受折扣率(比如一些律师如何做无偿工作等)。我的意思是,可能没有必要找到最强大的顶级职业选手,只有Go社区认为是一位真正的顶级职业选手的职业选手,并且最好是愿意接受最低费用的职业选手。Go社区不像国际象棋那样人口众多,这是可惜的,但我相信如果它有核心开发者的官方认可/支持(为了提高合法性和建立信任,任何人都可以建立一场比赛,但我们'已经看到它也可以很容易地被弄脏),至少有几千人可以随着时间的推移而升起。让LZ有更强的时间去寻找合适的顶级职业选手。

毫无疑问,LZ早晚会变成“超人”,只是时间问题。 (还有很多东西想要从中挤出更多的果汁,甚至还有20块果冻,更不用说40块了。)虽然我已经谈了很多关于55%的浇注问题,但我们已经有了一个顶级的专业机器人,我已经反映,仅仅两年前,我不认为这会很快成为可能,我意识到它的人性总是需要更多,永远不会满足。我认为在11月以来的6个月内,它已经走过了一段漫长的道路,并且比原来的“1700年”估计速度更快。但是,我希望我们看到它很快就会变得更加大众化,或许不如Master / AGZ那么强大,但是足够强大,即使在商品平均PC上,Ke Jie和其他顶级专业人士也不会有机会了。 (没有任何反对职业球员或顶级职业球员的,只是我觉得它是更有意义和有趣的基准,而不是CGOS等)

我的观点是,随着LZ变得更强大而不是开始让球盘路,将会更好地展现与更强大,更强大的专业人士和顶级专业人士的优势。然后,一旦它可以轻松击败所有顶级职业球员,然后将基准转换为缩小比例......即看看硬件能够如何走低并仍然击败顶级职业选手。在我看来,这比赋予障碍更有趣......甚至与其他AI机器人对战。

美国地区aws租用8X V100仅为24美元/小时。我的猜测是,这比顶级专业人员愿意接受按小时支付的价格要便宜得多。我相信AQ有一些可以聚集的地方,并且可以结合几个强大机器的工作。不知道租用多台8 x v100并且让其他机器计算进一步下降的可行性是多么的可行,即使这样的工作起作用,elo的增长肯定会降低回报,但是当顶级专业人士的成本已经如此很多,没有理由不使硬件功能强大......
作者: lu01    时间: 2018-4-26 08:02
hydrogenpi评论8小时前•

@ Friday9i

如果目标是尽最大努力赢得“顶级职业选手”的同意,那么我认为“最好公开可用”是合适的。目前,这是aws,afaik上的p3.16xlarge。 (https://aws.amazon.com/ec2/instance-types/p3/),价格为24美元/小时。请注意,在硬件方面,这仍然比DeepMind对Fan使用的任何配置都小得多(甚至在任何方式(甚至不是顶级专业版)(Lee和Kie Je在AG比赛中)都是如此,所以如果他们没有任何机会,因为时间设置可能不会超长时间匹配,并且可能在一小时比赛时限制,所以LZ.Esp也不应该这样做,那么拥有最好的公开可用顶级硬件(无论是租用还是其他方式)变得更加重要, 。

是的,我认为决定一个平台也很重要。无论是KGS还是OGS。他们可以帮助吸引更多的观众,同时也可以通过发布前的宣言,为LZ整体带来更多热门话题,但也会为这样的人群努力匹配做出更多贡献/捐赠。 OGS在未来看起来更加老龄化和趋势化,而KGS是老派,但如果KGS能吸引更多的观众,那么谁知道哪个平台最好。我认为就像与Haylee的比赛,顶级职业选手会同意从世界任何一个角落进行现场直播,(尽管不一定需要像Haylee那样做实时评论),因为这会增加很多时间/成本,以进行现场亲自对战。在服务器上和通过互联网进行操作确实要便宜得多。

LZ可能无法赢得顶级职业球员的所有比赛。所以我认为谈论给予障碍可能为时过早。但我很乐意被证明是错误的。我只是不认为LZ可以给顶级职业球员一个障碍,并且仍然可以赢得单一的gtx 1080ti lol(无论如何,目前还没有15个block)

确实有很多机器人(甚至不包括Deepmind / Google)比LZ更强大,但我认为这会让这个区别更大的是这将是第一次开放源代码的开放体重Go AI在比赛中击败顶级职业选手使用公开可用的硬件(谷歌云TPU现在是开放的,但AGZ的权重和代码不是,等等),无论是aws,天蓝色还是其他。在超过3500年的历史中,第一次为世界上的每个人带来超人的力量。
作者: lxjtt09    时间: 2018-4-26 11:01
这翻译水平真蛋疼。




欢迎光临 飞扬围棋 (http://flygo.net/bbS/) Powered by Discuz! X3.2