leelaz的作者gcp的话

lu01

https://github.com/gcp/leela-zero/issues/1220

我在一个月前被两位来自中国的博士生问到，他们是否可以参加和操作Leela Zero参加本次比赛。我犹豫了一下，因为恕我直言，进入Leela Zero参加计算机比赛的机器人比较有点离题，并且减少了项目的目标



对我而言，这毫无意义，因为你可以从字面上理解权重和数据（甚至是代码，取决于道德和比赛规则），改进一点（我建议增加一些去知识！），并且你应该有一个更强大的程序你了解如何正确测试。

开源机器人和竞赛的问题并不新鲜。电脑国际象棋的历史尤其糟糕，这也是我进入编程领域的原因之一。最后，比赛组织者应该制定规则，确保公平竞争，并且实际上拥有执行这些规则的球。

这些与开源（或公开）机器人和秘密机器人的私人匹配现象并不是我以前见过的。这可能表明你现在可以更容易地隐藏在线服务背后的程序，或者只是超级公司发现可用于宣传的游戏（咳嗽IBM咳嗽Google）。用户可以购买的程序不能真正“隐藏”它的实力，因为用户可以（并且确实是CCRL，TCEC等）与其一起运行锦标赛。

另一方面，我认为不进入也不会做任何事情，是吗？通过进入，我们是众所周知的公众和其他球队击败的基准。我宁愿让更多的人了解这个项目，所有的事情都考虑在内。所以我允许进入Leela Zero。我还没有听到，但我从上面的假设，至少它进入了某种程度。

无论如何，从上述观点来看，如果有的话，即使看起来它偶尔允许其他团队得分“胜利”或PR，也不值得在程序，代码和数据的这些用途方面过于努力你认为有问题。合作努力的特点是它可以超越秘密或专有项目，并最终为用户带来更多价值。

我不知道你的情况，但我仍然使用干鱼来分析我的国际象棋比赛，而不是Alpha Zero或Deep Blue。

I got asked about a month ago by two PhD students from China whether they could enter and operate Leela Zero for this tournament. I hesitated for a bit, because IMHO entering Leela Zero into competitions for computer go bots is somewhat besides the point and detracts from the project's goal.

To me it feels pointless because you can literally take the weights and data (and even the code, depending on morals and tournament rules), improve it a bit (I suggest adding some go knowledge!), and you should have a stronger program if you understand how to test properly.

The problem of open source bots and competitions is not new. Computer chess has a particularly bad history with this and it's one of the reasons I went into go programming. In the end, it is up to the tournament organizers to set rules that ensure fair play and actually have the balls to enforce them.

The phenomenon of these private matches with open source (or just public) bots and secret bots is not something I've seen before though. It may be a sign of the times when you can now "hide" the program easier behind online services, or simply super-corporations finding games useful for publicity (cough IBM cough Google). A program that the user can buy commercially can't really "hide" it's real strength for long, as the user can (and does, CCRL, TCEC, etc) run tournaments with it.

On the other hand, I considered that not entering doesn't do anything either, does it? By entering, we are a well known benchmark for the public and other teams to beat. I'd rather have more people finding out about the project, all things considered. So I gave permission to enter Leela Zero. I have not heard back, but I assume from the above at least it got entered somehow.

Anyway, my point, if anything, from all the above is that it is not worth getting too worked up over these kind of uses of the program, code and data even if it seems it occasionally allows other teams to score "victories" or PR you consider questionable. A collaborative effort has the property that it can outlast secret or proprietary projects and eventually bring more value to the users.

I don't know about you, but I'm still using Stockfish to analyze my chess games, and not Alpha Zero or Deep Blue.

lu01

lz与星阵
                                                                                                                                            2018年4月13日                                                                2042 views               

                       
                       
                                        俗话说的好，知己知彼，百战不殆。


昨日，恰逢星阵团队的由小川教授到上海出差，闻知消息的狮子头赶忙联系了在上海工作的LZ志愿者代表，将双方约至弈客平台宇宙总部，进行了一段看似欢乐祥和，实则暗流涌动的赛前见面会。


一见面，双方的脸上就都洋溢出了灿烂的笑容。这厢盛赞对方技术高超，算法清奇；那厢称奇对方志愿付出，感人至深。 如果不是了解到双方作为对手必然各自“心怀鬼胎”，不由得还以为双方是合作伙伴呢。

这不，推杯换盏间，LZ志愿者率先发难——
他表示“敌在暗我在明，志愿者团队中也出现了一定的争议，需要了解星阵的配置和技术的相关细节，以期公平公正的进行比赛。” 在交谈中，LZ志愿者成功化身好奇宝宝，旁敲侧击的了解着神秘的星阵。而一番交流下来，确实成功套出了星阵方面不少重要技术情报，可谓收获满满。


与LZ的好奇宝宝心态相比，星阵方面虽然十分谦虚友好，但也蕴藏着成竹在胸的气魄——有问必答，自己却很少发问。当然，星阵团队显然也早有准备，一番正本清源，以正视听的保证，也让LZ志愿者们放下了担忧——
“本次比赛为与柯洁人机大战前友谊性质的测试交流赛，绝不会像大家担心的一样‘利用’LZ，不存在任何利益交换。”

双方开心而亲切的技术交流。


在一番激烈而又友好的讨论中，星阵和LZ达成了双方出战硬件和技术方面的意见交换和统一。


硬件：
星阵：10块 GTX 1080Ti 显卡。
LeelaZero：4块 Titan V  显卡。
双方一致同意，单单从算力上来讲，双方的配置是均衡的。


双方通知并协商通过了互相上场所使用的权重版本号和网络深度，并会在每场比赛时公布，保证公平公正公开。


赛前具有历史意义的碰杯时刻。


在由教授提前退席之后，LeelaZero的志愿者悄悄的告诉小编，与表面的云淡风轻，看淡输赢相反，他们正在紧锣密鼓的紧张备战中……在大战之前，他们会上具有最新突破的全新权重，保证会在比赛时展现出LZ的最佳水平。


看来，虽然气氛并不剑拔弩张，虽然只是一场友谊交流赛，虽然双方笑意盈盈——但是，对于双方，这确实是一场谁都不愿意输的战役。

4月14日晚，欢迎关注 星阵-LeelaZero七番棋交流赛 首战，看谁是弈客平台最强硅基！

liangr

看来原作者是不想参与这种比赛的。

lxjtt09

zero还没完全成熟起来过早参加比赛吃点亏。不过感觉这几天leelaZ进步神速。

lu01

要是谁把源代码改改或训练出另一个权重打败原版就糟了

hidear

原力猫

lu01 发表于 2018-4-19 17:39
要是谁把源代码改改或训练出另一个权重打败原版就糟了

现在有大把自炼权重，都是爱好者们在当时的官方权重基础上炼出来的，棋力比当时的官方权重要强。但是这些东西都是一次性的，使用的目的也不相同，有的是为了看看加B后的效果如果，有的是为了看看加入人类棋谱后能不能克服一些原来LZ的弱点，有的则是几个官方权重混在一起炼出来的。这些东西不会加入到LZ的官方训练体系中去，不会影响LZ的正常发展。但作为一时之选还是有意义的，比如加入人谱的LeelaMaster权重的20B系列既加强了棋力又使下出的棋更接近人类的下法。 而10B系列则在官方已经停止的10B基础上加入数十万的人谱和其他AI的棋谱，使棋力大大超过了原来官方的10B棋力，给电脑硬件比较一般的爱好者带来较好的使用感受。同时这个系列基本解决了LZ一直存在的征子问题

lu01

我并不太在意硬件上的差距（这当然会导致它不公平，但那对你来说是资本主义），但是关于设置/网络/硬件明显正在改变的事实，我认为这是中间匹配。

这意味着一件简单的事情：它没有正确测试。 在您参加比赛或锦标赛之前，您会找出最佳配置。 如果您在游戏过程中想要更改配置，那么意味着您没有正确测试，因为您可能在该时间段内获得了哪些信息，从而使您之前的测试无效以获得最佳配置？

现在，给定

     由于上述原因，这场比赛显然不被认真对待，而且似乎连运营商的错误都是（?!）
     人们开始失去他们的狗屎
     由于上述缺乏透明度，因此没有可用的LZ发展信息

我将结束这个讨论。 打扰或关心这一点是没有用的。

I'm not so much bothered about the disparity in hardware (which of course makes it unfair, but that is capitalism for you), but about the fact that settings/networks/hardware are apparently being changed mid match.

This means a simple thing: it was not tested properly. Before you play the match or tournament, you figure out the optimal configuration. If you are even so much as tempted to change the configuration during the games, it means you did not test properly, because what information can you possibly have gotten in that time period that invalidates your prior test for the optimal configuration?

Now, given that

    this match is apparently not to be taken seriously, due to the above, and it seems even operator errors stand(?!)
    people are starting to lose their shit over it
    there's no usable info for the development of LZ due to the above and lack of transparency

I'll just close this discussion. There's no use to bother or care about this.
https://github.com/gcp/leela-zero/issues/1216

lu01

gcp在9小时前发表评论

     从我在他们所在的QQ小组中学到的知识，参与者都是为Golaxy游戏运行LZ的人。

从我的电子邮件中，他们彼此认识，但不是同一群人。 Aaaanyway，我会发给他们关于“事先没有在比赛期间详尽测试事情”和“在做非默认事情时只考虑统计上显着的结果”的指导，我希望其中的一些能够抓住并从中吸取经验教训 Golaxy崩溃。

gcp commented 9 hours ago

    From what I learned in the QQ group they are in, the participants are the same guys who are running LZ for the Golaxy game.

From my email, they know each other but it's not the same people. Aaaanyway, I'll send them the guidance I can regarding "test things exhaustively in advance not during the tournament" and "only consider statistically significant results when doing not-default things" and I hope some of it takes hold and lessons were learned from the Golaxy debacle.

https://github.com/gcp/leela-zero/issues/1220

lu01

提问
because are there any legal case precedents on derivation use of networks trained from community deep learning? The license only applies to the code, but I don't see it covering all imaginable derivative use of that code. the training data is already public.

FWIW all networks that come off of my training machine should be considered public domain, at least that was the intention. I don't think it makes sense to do otherwise as the training code is public (GPL) and data to generate them is already public domain.

I can't speak for the 256x20 that were contributed. I assume there's at least an implicit license to serve them off of zero.sjeng.org.
因为在推导使用社区深度学习培训网络方面是否有任何法律案例先例？ 该许可证仅适用于代码，但我没有看到它涵盖了该代码的所有可想象的派生用法。 训练数据已经公开。

FWIW从我的训练机器出来的所有网络都应该被视为公共领域，至少这是意图。 由于培训代码是公开的（GPL），我认为这样做是不合理的，并且生成它们的数据已经是公有领域。

我无法说出256x20的贡献。 我认为至少有一个隐含的许可证，可以从zero.sjeng.org提供服务。

gcp回答

Collections of data (or games) are definitely copyrightable.


数据（或游戏）的集合绝对是可版权保护的。

lu01

关于一个强但没上位的599bb7337权重的对话(梯子==征子)
https://github.com/gcp/leela-zero/issues/1229
@ kuba97531

我也为我的一些长期风，以及如果使用修辞而道歉......通过最后一次输入，我已经说过我需要在这个主题上发表什么意见，不管发生什么事情。我会说，如果决定等待一个新的126网络，它的最终胜利率低于网络（599bb7337），并且看起来不像梯子那么好（599bb7337），那么它不言而喻，如果没有最终的“重新计票”在两个竞争126冠的网络中进行头对头的比赛，那么事实上尽管如此，这些行动是这样的，以致该项目实际上并不是真的力量第一，实际上并没有基于实力的提升。
** _ TLDR版本==
{
昨天晚上我们有了一个新的网络（599bb7337），应该已经推广了，但由于任何原因（可能是一个bug等），它并没有得到提升。然而，这个数字接近55％，实际上比官方网络125更接近53％。当比赛总数超过400次时，它获得了三次“PASS”。根据所有帐户，这个新网络应该是网络126。

此外，看起来网络599bb7337在梯子和残局技能方面已经有了很大的提高，并且这是一个显着的改进。有些人已经在YouTube上发布了关于此的视频。

最终，如果599bb7337没有手动升级并且没有其他任何事情完成，新的获胜者自然会出现并成为官方126网。真正的问题是，如果像125网络一样，它的结果是低于599bb7337的定价，并且与599bb7337相比，它不如梯子好。又过了一个星期。现在这将是一个真正的可怜。

我的建议是等待并观察哪个网络自然会达到＃126标志，并且在将其作为网络126正式推广之前，由于这种情况下的唯一环境，最终在两个网络之间进行最终测试匹配，并在两个网络之间进行最终测试匹配（特别是如果可能的官方网络126实际上比599bb7337结果更低，那么我们确实需要“重新计算”）。否则，我们对599bb7337不公平。如果力量是真正的目标，无论如何，决定等待它，并且无论如何都将时间花在了沉没的成本上，那么为什么不选择最好的前进方向呢？因为599bb7337在梯子上看起来好多了？
} _ **

lu01

@ kuba97531请停止咆哮，这对一个人来说已经够糟糕了。


你提出了很多想法，意见和建议。 “我认为我们应该这样做”。 “我认为这会更好”。 “我为此提倡”等。
但这一切都归结为（所有引用都是属于你的）“我不知道有多少有效的进展将会发生，或者会发生什么，如果尝试过不同的策略”

真的，为什么我花了一分钟时间阅读这本书？这在讨论中增加了零。新的想法总是受欢迎的，我们应该公开讨论。我并不是说我们应该拿起任何随意的想法（这是不可能的，很多是彼此矛盾的）。


我会告诉你一个秘密，就是大多数参与这个项目的人可以让你摆脱他们的头脑成千上万的想法，这些想法可能会提高管道的效率或程序的强度。


无意识地想到你脑海中的想法绝对没有价值（它实际上具有负值，因为有些人会阅读它）。
有价值的是一些坚实的数学证明或令人信服的数据/实验结果。

严重的是，请把你的拖到reddit请。在这里你应该有实际的论点。

hred9D

大概意思是，LZ作者坚持自己的训练计划和理论设计，不会因为这些比赛而改变
不在乎针对LZ源代码的改编程序，即使你取得比赛的胜利
LZ项目是开源的，但用于商业用途是受制约的

lxjtt09

远远不成熟就急着拉去比赛，我感觉不太尊重作者。比赛了权重硬件又都不能固定，给人一种儿戏的感觉。准备工作太仓促了。

lu01

要集资打比赛了  https://github.com/gcp/leela-zero/issues/1261