leelaz将要发布NVIDIA版本

lu01

https://github.com/gcp/leela-zero/issues/2032

landa

或许是个错误决定，nvidia靠不公开cuda中ai部分，只卖硬件的模式不会长久。ai不一定要绑在显卡上，华为、阿里的AI加速卡已经测试阶段。

罗浩宇

亲爱的楼主 这个版本 和原来的版本有什么不一样呢 ，不都是用显卡吗？求科普，谢谢！！

landa

罗浩宇 发表于 2018-11-20 20:55
亲爱的楼主 这个版本 和原来的版本有什么不一样呢 ，不都是用显卡吗？求科普，谢谢！！

现在版本用的是opencl语言编写，支持各种显卡来进行并行计算。n卡对其只支持到1.2版，效率不高。
未来版本是cuda语言编写，只支持n卡，运行效率和编程效率都会提高。
cuda今年加入了cudnn深度学习库，这个库有利于leela的权重训练。
但cuda和cudnn绑死了n卡，很多ai公司不爽，在研发脱离显卡的ai加速卡。
云加速也是个趋势，也许明年，你接入到阿里云或华为云，不用买昂贵的显卡也能享受高速并行计算的服务。

罗浩宇

landa 发表于 2018-11-20 21:41
现在版本用的是opencl语言编写，支持各种显卡来进行并行计算。n卡对其只支持到1.2版，效率不高。
未来版 ...

谢谢 懂了很多，就是说 N卡以后能很好的用里拉姐姐 ，而A卡就不太好用了 ，是吗？

hred9D

nvidia的老黄唯利是图。。

hred9D

大家去支持一下作者，需要20人以上

amiok

你理解反了，应该是，AMD卡用Leela更好，比N卡好。
现在，用了fp16，在A卡，快了两倍，
但，N卡，即使是2080Ti，也没怎么提升，
因为，N卡，不支持新的OpenCL。

lxjtt09

amiok 发表于 2018-11-22 22:14
你理解反了，应该是，AMD卡用Leela更好，比N卡好。
现在，用了fp16，在A卡，快了两倍，
但，N卡，即使是2 ...

没有2倍那么夸张吧。

小曾

千万不要乱说的，免得人家误解

amiok

gcp commented 5 days ago •
edited
anything to optimize on amd gpus (like rx580/590 or vega) ?
We support both of these through fp16 compute support (during inference). The RX cards in theory should only benefit a little because they only save register space in fp16 mode, but empirically my RX560 actually becomes almost twice as fast in fp16/half mode. Vega should benefit a lot as it has fp16 compute, but I remember early reviews saying it is disabled in OpenCL (Edit: Some Googling shows newer drivers do have it enabled).

For training it all depends on how good TensorFlow's support for AMD cards is.

lxjtt09

a卡确实提升明显，n卡要期待这个NVIDIA版了。

amiok

gcp（leela作者）：2018-11-18
在amd gpus上优化了什么？（如rx580 / 590或vega）
支持fp16计算（推断过程）支持这两者。 理论上RX卡只会受益一点点，因为它们只能在fp16模式下节省寄存器空间，但从经验上来说，我的RX560在 fp16/半精模式下实际上几乎快了两倍。 Vega应该受益更多，因为它有fp16计算，但我记得早期的评论说它在OpenCL中被禁用（编辑：一些谷歌搜索显示，新的驱动程序确实启用了）。

对于训练来说，这一切都取决于TensorFlow对AMD卡的支持程度。

https://github.com/gcp/leela-zer ... uecomment-439025096

amiok

我的显卡是 Radeon HD7770，很老的，
用Leela Zero v0.15
  ELF权重，20B*224，自对弈，188手，123分钟，每手39.30秒。

用Leela Zero v0.16
  40B权重，40B*256，自对弈，154手，3322秒，每手21.57秒。

可见，提升确有两倍多。

amiok

李世乭 vs AlphaGo，第四局，神之一手分析，

#157 权重


ELF v1


#189 权重