飞扬围棋

标题: 请问朋友们，如何测自己电脑gpu的po值？ [打印本页]

作者: guzhennm 时间: 2018-5-25 14:18
标题: 请问朋友们，如何测自己电脑gpu的po值？
如何测自己电脑gpu的po值？

作者: 扳黏童男 时间: 2018-5-30 18:35
同問

作者: zhouyang 时间: 2018-5-30 21:49
leela,leelazero最简单，可以直接命令测试。

AQ，Rn，PhoenixGo等可在GTP shell中观察。

作者: zhouyang 时间: 2018-5-30 21:54
leelazero：

E:\weiqi-soft\GTP\LZ\leela>leelaz.exe --benchmark -w net-145
Thinking at most 2678400.0 seconds...
NN eval=0.526207
Playouts: 1093, Win: 53.19%, PV: D16 D4 Q4 O3 R6 C17 C16 D17 F17 E17 E16 F18
Playouts: 2388, Win: 53.16%, PV: D16 Q4 D3 C5 C4 D5 F3 C14 F17 C16 C17 B17 C15 B16 D15 D17 B15 E17 F16 C10 O17 M17 O15 Q14

D16 -> 1374 (V: 53.47%) (N: 31.19%) PV: D16 D4 Q4 O3 R6 C17 C16 D17 F17 E17 E16 F18 C3 C4 D3 F3 E3 E4 F2 B3
  Q4 -> 1074 (V: 53.19%) (N: 31.01%) PV: Q4 D16 C4 E3 D3 E4 C6 O3 J3 L3 J5 F7 E6 F6 E7 F8 F5 H4 H5
  D4 ->    294 (V: 51.43%) (N: 20.01%) PV: D4 D16 R4 P3 O17 Q5 R5 Q6 R7 F3 C6 P17 O16 Q14 K17
  D3 ->    116 (V: 53.32%) (N:  3.03%) PV: D3 Q3 D16 C5 R17 E4 E3 F4 G3
  C4 ->    96 (V: 53.11%) (N:  2.97%) PV: C4 D16 R4 P3 Q6 E3 D6 R8
  R4 ->    94 (V: 53.65%) (N:  1.75%) PV: R4 D4 D16 P3 Q6 C17 C16 D17
  Q3 ->    56 (V: 53.25%) (N:  1.54%) PV: Q3 D16 C4 E3 D6 R5 O4
C16 ->    51 (V: 53.15%) (N:  1.53%) PV: C16 Q4 D3 C5 F17 E4
D17 ->    44 (V: 51.98%) (N:  1.84%) PV: D17 Q4 D3 C15 F16 C5
11.7 average depth, 28 max depth
2368 non leaf nodes, 1.35 average children
3200 visits, 1120667 nodes, 3199 playouts, 484 n/s

直接用：

--benchmark                   Test network and exit. Default args:
                              -v3200 --noponder -m0 -t1 -s1.
上面是leelaz的帮助输出。

比如，上面的测试，就是每秒484 484 n/s。

作者: zhouyang 时间: 2018-5-30 22:00
可接受参数输入,例如：

E:\weiqi-soft\GTP\LZ\leela>leelaz.exe --benchmark -w net-145 -v 10000 -t 8
Thinking at most 2678400.0 seconds...
NN eval=0.529836
Playouts: 1690, Win: 52.67%, PV: D4 Q4 D17 C15 C16 D15 F17 C6 F3 C4 C3 B3 C5 B4 D5 D3 B5 E3 F4 C10 O3 F2
Playouts: 3550, Win: 53.04%, PV: D4 Q4 D17 C15 C16 D15 F17 C6 F3 C4 C3 B3 C5 B4 D5 D3 B5 E3 F4 C10 O3 F2 G2
Playouts: 5432, Win: 53.16%, PV: D4 Q4 D17 C15 C16 D15 F17 C6 F3 C4 C3 B3 C5 B4 D5 D3 B5 E3 F4 C10 O3 M3 O5 Q6
Playouts: 7338, Win: 53.21%, PV: D4 Q4 D17 C15 C16 D15 F17 C6 F3 C4 C3 B3 C5 B4 D5 D3 B5 E3 F4 C10 O3 M3 O5 Q6 M5
Playouts: 9268, Win: 53.28%, PV: D4 Q4 D17 C15 C16 D15 F17 C6 F3 C4 C3 B3 C5 B4 D5 D3 B5 E3 F4 C10 O3 M3 O5 Q6 M5 K4

  D4 -> 3115 (V: 53.52%) (N: 24.04%) PV: D4 Q4 D17 C15 C16 D15 F17 C6 F3 C4 C3 B3 C5 B4 D5 D3 B5 E3 F4 C10 O3 M3 O5 Q6 M5 K4
D16 -> 2300 (V: 53.45%) (N: 20.73%) PV: D16 Q4 D3 C5 C4 D5 F3 C14 F17 C16 C17 B17 C15 B16 D15 D17 B15 E17 F16 C10 O17 M17 O15 Q14 M15 K16
  Q4 -> 2155 (V: 53.42%) (N: 18.53%) PV: Q4 D16 C4 E3 D3 E4 C6 O3 R6 Q3 R3 R2 P3 Q2 P4 R4 P2 R5 Q6 K3 R17 Q17 R16 R14 R15 Q15 S14 S6 S7 S5 O7 Q5
  C4 ->    990 (V: 53.51%) (N:  6.68%) PV: C4 D16 Q4 E3 D3 E4 C6 O3 R6 Q3 R3 R2 P3 Q2 P4 R4 P2 R5 Q6 K3 R17 Q17
  R4 ->    407 (V: 53.26%) (N:  3.98%) PV: R4 D16 C4 E3 D6 P3 Q6 R8 M3 N4 M4
C16 ->    321 (V: 53.13%) (N:  3.65%) PV: C16 D4 Q4 E17 D14 R6 O3 R4 R3 S3 R5 S4 Q5 S5 R2 Q6 S7
D17 ->    315 (V: 53.06%) (N:  3.85%) PV: D17 Q4 D3 C15 F16 C5 F4 H3 R17 Q17 R16
  Q3 ->    309 (V: 53.18%) (N:  3.29%) PV: Q3 D16 C4 E3 D6 R5 O4 R14 C17 C16 D17 F17 E17 E16
  D3 ->    75 (V: 46.85%) (N:  6.83%) PV: D3 D16 B10 Q4 C14 D4 C4 E3 C3 E4 D6
R17 ->    24 (V: 52.49%) (N:  0.47%) PV: R17 Q17 R16 R14 R15 Q15 S14 Q4 D16 C4
14.3 average depth, 33 max depth
7649 non leaf nodes, 1.31 average children
10012 visits, 3479676 nodes, 10011 playouts, 738 n/s

其中，leelaz.exe --benchmark 是测试命令。
-w net-145,指定测试权重，必须，不同权重当然结果不同，大的肯定慢。比如elf，phoenixgo权重等等，可自己指定。
-v 命令，可选，默认3200，大点可能准。
-t 指定线程，默认是2。这次改成8。

那么这次测得结果就是738n/s。

作者: zhouyang 时间: 2018-5-30 22:06
老版本leela,使用Leela0110GTP_OpenCL.exe，直接输入benchmark和netbench名称测试：

例如：

E:\weiqi-soft\Leela\0.11.0\eng>Leela0110GTP_OpenCL.exe
110 feature weights loaded, 2608 patterns
Initializing OpenCL
Detected 1 OpenCL platforms
Platform version: OpenCL 1.2 CUDA 9.2.127
Platform profile: FULL_PROFILE
Platform name: NVIDIA CUDA
Platform vendor:  NVIDIA Corporation
Device ID:    0
Device name: GeForce GTX 1070
Device type: GPU
Device vendor: NVIDIA Corporation
Device driver: 397.93
Device speed:  1759 MHz
Device cores:  15 CU
Device score:  1112
Selected platform: NVIDIA CUDA
Selected device: GeForce GTX 1070
with OpenCL 1.2 capability
Wavefront/Warp size: 32
Max workgroup size: 1024
Max workgroup dimensions: 1024 1024 64
Transferring weights to GPU...done
OpenCL self-test: passed.

Passes: 0          Black (X) Prisoners: 0
Black (X) to move White (O) Prisoners: 0

a b c d e f g h j k l m n o p q r s t
19 . . . . . . . . . . . . . . . . . . . 19
18 . . . . . . . . . . . . . . . . . . . 18
17 . . . . . . . . . . . . . . . . . . . 17
16 . . . + . . . . . + . . . . . + . . . 16
15 . . . . . . . . . . . . . . . . . . . 15
14 . . . . . . . . . . . . . . . . . . . 14
13 . . . . . . . . . . . . . . . . . . . 13
12 . . . . . . . . . . . . . . . . . . . 12
11 . . . . . . . . . . . . . . . . . . . 11
10 . . . + . . . . . + . . . . . + . . . 10
9 . . . . . . . . . . . . . . . . . . .  9
8 . . . . . . . . . . . . . . . . . . .  8
7 . . . . . . . . . . . . . . . . . . .  7
6 . . . . . . . . . . . . . . . . . . .  6
5 . . . . . . . . . . . . . . . . . . .  5
4 . . . + . . . . . + . . . . . + . . .  4
3 . . . . . . . . . . . . . . . . . . .  3
2 . . . . . . . . . . . . . . . . . . .  2
1 . . . . . . . . . . . . . . . . . . .  1
a b c d e f g h j k l m n o p q r s t

Hash: D3D4AF73792A4C5C Ko-Hash: CDEF4E01EF8C42AC

Black time: 00:30:00
White time: 00:30:00

Leela: benchmark
200000 games in  9.94 seconds -> 20120 g/s (2515 g/s per thread)
Avg Len: 418.57 Score: -2.534110

Leela: netbench
2000 predictions in  3.83 seconds -> 522 p/s
10000 evaluations in  5.16 seconds -> 1937 p/s

则可测试对应的性能，netbench测试神经网络，主要看GPU。

作者: zhouyang 时间: 2018-5-30 22:10
本帖最后由 zhouyang 于 2018-5-30 22:16 编辑

其它的棋软，不像leela/leelazero等自带测试命令那么方便，则可通过GTP Shell的输出观察。

以下以 gogui的 GTP shell 输出，贴一下

AQ,Rn,PhoenixGo

等的性能结果。

作者: zhouyang 时间: 2018-5-30 22:17
AQ V2.1.1 GPU

onfiguration loaded.
AQ corresponds only to the board with 19 size.
clear board.
set komi=7.5.
genmove b
move cnt=1: left time=1769.3[sec]
4504[nodes] 30.7[sec] 99772[playouts] 1082.3[pps/thread]
total games=99772, evaluated policy=4504(0), value=22420(193)
|move|count  |value|roll |prob |depth| best sequence
|D16 |  32466| 50.9| 45.7| 26.9| 21| D16->Q4 ->D3 ->Q16->C8 ->O3 ->F17->O17
|R4  |  29874| 50.6| 45.7|  3.1| 19| R4 ->D4 ->Q16->D16->F3 ->C6 ->M3 ->R14
|Q4  |  18228| 51.1| 44.4| 26.1| 21| Q4 ->Q16->D3 ->C16->C5 ->O3 ->R6 ->E3
|Q16 |  13084| 51.1| 45.8| 29.0| 19| Q16->D16->R4 ->C3 ->D4 ->C4 ->D5 ->E2
|Q3  | 3802| 51.0| 44.8|  2.9| 17| Q3 ->Q16->C4 ->D16->R14->R15->Q14->O16
|D17 | 2207| 50.1| 46.1|  3.0| 10| D17->Q4 ->R16->C4 ->E4 ->H4 ->H3 ->G3
|C16 |    74| 52.7| 35.1|  3.2| 2| C16->D15->E16
|Q17 |    23| 51.9| 30.4|  3.0| 1| Q17->D4
|R16 |    12| 51.1| 25.0|  2.8| 1|
|D4  |    1| 51.1|  0.0|  0.0| 1|
A  B  C  D  E  F  G  H  J  K  L  M  N  O  P  Q  R  S  T
19 .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . 19
18 .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . 18
17 .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . 17
16 .  .  . [X] .  .  .  .  .  +  .  .  .  .  .  +  .  .  . 16
15 .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . 15
14 .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . 14
13 .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . 13
12 .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . 12
11 .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . 11
10 .  .  .  +  .  .  .  .  .  +  .  .  .  .  .  +  .  .  . 10
9 .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  9
8 .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  8
7 .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  7
6 .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  6
5 .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  5
4 .  .  .  +  .  .  .  .  .  +  .  .  .  .  .  +  .  .  .  4
3 .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  3
2 .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  2
1 .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  1
A  B  C  D  E  F  G  H  J  K  L  M  N  O  P  Q  R  S  T
= D16

结果是 1082.3[pps/thread]

作者: zhouyang 时间: 2018-5-30 22:20
RN 4.3.2

Prisoner(Black) : 0
Prisoner(White) : 0
Move : 14
   A B C D E F G H J K L M N O P Q R S T
+---------------------------------------+
19:| + + + + + + + + + + + + + + + + + + + |
18:| + + + + + + + + + + + + + + + + + + + |
17:| + + + + + B + + + + + B + + + + + + + |
16:| + + + W + + + + + + + + + + + + B + + |
15:| + + + + + + + + + + + + + + + + + + + |
14:| + + W + + + + + + + + + + + + + + + + |
13:| + + + + + + + + + + + + + + + + + + + |
12:| + + + + + + + + + + + + + + + + + + + |
11:| + + + + + + + + + + + + + + + + + + + |
10:| + + + + + + + + + + + + + + + + + + + |
9:| + + + + + + + + + + + + + + + + + + + |
8:| + + + + + + + + + + + + + + + + + + + |
7:| + + + + + + + + + + + + + + + W + + + |
6:| + + + + + + + + + + + + + + + + W + + |
5:| + + + + + + + + + + + + + + + W B + + |
4:| + + + W + + + + + + + + + + + + B + + |
3:| + + + + + + + + + + + + + B + B + + + |
2:| + + + + + + + + + + + + + + + + + + + |
1:| + + + + + + + + + + + + + + + + + + + |
+---------------------------------------+
All Playouts    : 36064
Pre Simulated    :       0
Win             : 17340
Thinking Time    : 20.013 sec
Winning Percentage :  48.0812%
Value             :  50.2975%  4189
Winning Percentage2:  48.2696%
All Value       :    4189
Playout Speed    :    1802 PO/sec
Eval NN Policy    :    1746
Eval NN Value    :    4189
Eval NN          :    1746/4189/0
Count Captured    :       0
Score             :    -8.5
= R16

结果是 1802 PO/sec 。

Rn要注意，命令行不要加--no-debug参数，这是关闭输出信息的。

作者: zhouyang 时间: 2018-5-30 22:24
PhoenixGO:

genmove w
2th move(w): pd, winrate=56.066269%, N=1445, Q=0.121325, p=0.223383, v=0.111265, cost 23978.083984ms, sims=4860, height=19, avg_height=6.409091, global_step=639200
= Q4

用 sims=4860，除以cost 23978.083984ms,

大概每秒200的样子。

作者: zhouyang 时间: 2018-5-30 22:26
一些说明，
上面所随手的测试，都是用：
CPU ： i7 7700
GPU： GTX1070
为了截输出，随手测的。

未必特别准，但应该也能和各位的机器对比，参考看看。

作者: zhouyang 时间: 2018-5-30 22:43
不同的权重，测试的结果当然有差异。比如leelazero，关键是神经网络的规模：

例如；官方145号权重：
Detecting residual layers...v1...192 channels...15 blocks.

leelaz.exe --benchmark -v 10000 -t 8 -w net-145

10012 visits, 3469823 nodes, 10011 playouts, 736 n/s

elf权重：
Detecting residual layers...v2...224 channels...20 blocks.

leelaz.exe --benchmark -v 10000 -t 8 -w net-elf-v0

10007 visits, 3441766 nodes, 10006 playouts, 386 n/s

PhoenixGo权重：
Detecting residual layers...v1...256 channels...19 blocks.

leelaz.exe --benchmark -v 10000 -t 8 -w net-PhoenixGo_v1

10019 visits, 3521953 nodes, 10018 playouts, 578 n/s

说明如下,同样测试命令下:
官网145号权重，网络大小192x15, 每秒736n/s。
elf权重，网络大小224x20，每秒386n/s。
phoneixgo权重，网络大小：256x19, 每秒578n/s.

作者: zhouyang 时间: 2018-5-30 22:50
说明如下：
要是现在测以前leelazero的老的小网络权重，测几千到几万都有可能。但没啥意义啊。
越大越强的网络基本肯定慢。

只有用相同软件，和网络测试，才能有的对比意义。

同时，各种软件，网络，在实际运行中，PO值时不会完全相同的，和机器的硬件有点关系，比如，GPU主频都是时刻在变的。也和分析的局面相关。和网络的训练情况等等都有关。

大致这样，比如我测某种情况，PO值每秒1000，那么实际中，根据情况不同，可能会700-1300之间变化，但基本不会再超出这个范围了。

作者: zhouyang 时间: 2018-5-30 22:58
知道自己机器每秒po值的意义是，不管机器强弱，一样的po次数，分析的结果一样。

比如我想用elf每个局面模拟10万次，我的机器的值大概400，那么相除，250秒。那么我就知道，基本设5分钟就可以了。

可根据自己机器的情况来判断。

单纯这个的意义是不大的，只有相同软件，权重的情况才有意义。

比如，老leela，模拟，100万次，肯定比现在的最新官权，elf，phoneixgo等模拟1万次弱多了。

作者: 扳黏童男 时间: 2018-5-31 10:00
謝謝

作者: 扳黏童男 时间: 2018-6-7 10:27
謝謝

作者: txh6062 时间: 2018-6-7 13:39
非常有指导意义

欢迎光临飞扬围棋 (http://flygo.net/bbs/)