Бенчмарки
Clause порівняно з Erlang/OTP на одній машині: ті самі програми Erlang, скомпільовані erlc і clau -O2, вимірюють час своїх ядер після розігрівального виклику. Ці числа змінюються з кожною оптимізацією.
- Середнє геометричне часу ядер скомпільованих програм без тестів бібліотек, Clause -O2 порівняно з BEAM JIT (OTP)
- 1,60× швидше в середньому
- Середнє геометричне часу тестів бібліотек, модулі бібліотек OTP скомпільовані Clause -O2 порівняно з BEAM JIT (OTP)
- 1,39× повільніше в середньому
- Ядра, на яких Clause швидший
- 38 / 44
Час ядер
Медіана 3 запусків у мілісекундах. Смуга показує відношення часу Clause до часу OTP у логарифмічній шкалі.
| Ядро | OTP JIT | Clause -O2 | Clause ÷ OTP | |
|---|---|---|---|---|
| Генерування даних | ||||
| bigint_factorialОбчислює факторіал 3000 на великих цілих, 330 разів | 1 110,12 | 207,56 | 0,19× | |
| binary_appendДописує 10 000 32-бітових цілих до зростаючого binary, 23 000 разів | 1 076,22 | 803,84 | 0,75× | |
| list_of_tuplesБудує список із 200 000 малих кортежів, 260 разів | 1 473,95 | 1 121,96 | 0,76× | |
| list_to_tupleПеретворює списки з 1000 елементів на кортежі, 170 000 разів | 1 500,47 | 1 191,70 | 0,79× | |
| map_putДодає 2000 цілих ключів до map по одному, 4900 разів | 1 576,24 | 1 478,73 | 0,94× | |
| string_buildБудує 20 000 рядків із цілих чисел і атомів, 1000 разів | 1 031,48 | 772,52 | 0,75× | |
| Обробка даних | ||||
| binary_matchСумує 20 000 32-бітових цілих, зіставлених із binary, 49 000 разів | 1 274,78 | 1 076,12 | 0,84× | |
| comprehensionComprehension, що фільтрує й подвоює 20 000 цілих, 15 000 разів | 1 418,04 | 664,73 | 0,47× | |
| int_to_listПеретворює 20 000 цілих на рядки й назад, 2000 разів | 899,69 | 410,86 | 0,46× | |
| map_foldlЗастосовує map, потім fold до 20 000 цілих, 4500 разів | 1 459,92 | 616,89 | 0,42× | |
| map_updateЗбільшує кожне значення map із 500 ключами, 24 000 разів | 1 188,35 | 648,98 | 0,55× | |
| small_mapОновлює малий map стану 80 мільйонів разів | 1 484,29 | 1 027,86 | 0,69× | |
| sortСортує список із 20 000 випадкових цілих, 600 разів | 1 038,95 | 454,89 | 0,44× | |
| term_to_binaryКодує й декодує великий вкладений терм, 4300 разів | 1 427,56 | 1 060,32 | 0,74× | |
| Розподілене виконання | ||||
| data_exchange200 обмінів бінарником на 64 КБ і 1 000 кортежів з іншим вузлом, 3 рази | 148,07 | 426,42 | 2,88× | |
| ping_pong5 000 обмінів повідомленням з іншим вузлом через TCP, 3 рази | 831,18 | 1 239,78 | 1,49× | |
| reconnect20 від'єднань і повторних з'єднань з іншим вузлом, кожне з обміном повідомленням, 3 рази | 137,11 | 66,42 | 0,48× | |
| spawnЗапускає 500 процесів один за одним на іншому вузлі, 3 рази | 91,03 | 166,03 | 1,82× | |
| Файловий ввід-вивід | ||||
| large_readЧитає файл на 16 МБ блоками по 64 КБ, 370 разів | 1 416,09 | 1 029,62 | 0,73× | |
| large_writeЗаписує файл на 16 МБ блоками по 64 КБ, 200 разів | 975,05 | 922,76 | 0,95× | |
| read_fileЧитає цілий файл на 16 МБ одним викликом, 330 разів | 1 488,38 | 1 418,65 | 0,95× | |
| read_lineЧитає текстовий файл із 20 000 рядків порядково, 52 рази | 1 507,64 | 1 385,17 | 0,92× | |
| small_filesЗаписує, читає й видаляє 500 малих файлів, 11 разів | 1 256,45 | 1 143,67 | 0,91× | |
| Числа з рухомою комою | ||||
| callsСума трапецій для многочлена, один виклик на крок, 160 разів | 1 227,88 | 487,21 | 0,40× | |
| guardsGuard is_float/1 у циклі з float на 1 мільйон кроків, 120 разів | 1 173,50 | 433,07 | 0,37× | |
| limitНарощує float крок за кроком понад 1e100, 80 разів | 1 167,16 | 257,38 | 0,22× | |
| mandelbrotІтерації Мандельброта на сітці 120×120, 120 разів | 1 251,12 | 249,26 | 0,20× | |
| negateУнарний мінус і float/1 у циклі з float на 1 мільйон кроків, 70 разів | 1 222,35 | 633,83 | 0,52× | |
| sumПідсумовує float у циклі на 1 мільйон кроків, 200 разів | 1 115,14 | 472,37 | 0,42× | |
| Збирання сміття | ||||
| explicit_collectПримусово збирає сміття з 10 000 живими кортежами, 5100 разів | 1 524,12 | 580,09 | 0,38× | |
| grow_shrinkНарощує heap списком із 200 000 елементів, потім відкидає його, 300 разів | 1 052,06 | 849,05 | 0,81× | |
| long_lived_churnТримає ковзне вікно з 10 000 живих елементів серед сміття, 370 разів | 1 308,67 | 1 088,48 | 0,83× | |
| short_processesЗапускає 5000 короткоживучих процесів, кожен створює сміття, 69 разів | 1 652,53 | 1 026,00 | 0,62× | |
| Бібліотеки | ||||
| qlcВиконує перетворення qlc над 27 запитами й 3 модулями, 11 разів | 1 858,46 | 1 685,38 | 0,91× | |
| Обмін повідомленнями | ||||
| fan_in100 процесів надсилають по 1000 повідомлень одному, 25 разів | 1 374,31 | 277,80 | 0,20× | |
| large_messageНадсилає список із 100 000 елементів іншому процесу й назад, 560 разів | 1 075,30 | 780,68 | 0,73× | |
| ping_pongПерекидає одне повідомлення між двома процесами 2 мільйони разів | 1 494,43 | 810,77 | 0,54× | |
| ringПередає токен 3050 разів кільцем із 1000 процесів | 1 435,96 | 1 028,15 | 0,72× | |
| Сокети через loopback | ||||
| tcp_connectВідкриває 900 TCP-з'єднань через loopback, у кожному луна 25 повідомлень по 1 КБ | 1 487,16 | 1 152,30 | 0,77× | |
| tcp_echoВідбиває луною 30 000 повідомлень по 1 КБ через TCP на loopback | 1 574,40 | 1 274,58 | 0,81× | |
| udp_round_tripПерекидає датаграму 1 КБ 27 900 разів через UDP на loopback | 1 504,67 | 1 234,78 | 0,82× | |
| TLS | ||||
| tls_bulkНадсилає 1 024 блоки по 16 КБ через TLS 1.3 на loopback, 3 рази | 139,37 | 145,92 | 1,05× | |
| tls_echo5 000 відлунь TLS 1.3 по 1 КБ через loopback, 3 рази | 1 018,57 | 2 052,42 | 2,01× | |
| tls_handshake50 з'єднань TLS 1.3, кожне з повним рукостисканням і одним відлунням, 3 рази | 324,40 | 636,09 | 1,96× | |
Цілі програми
Реальний час у секундах разом із запуском, медіана запусків.
| Програма | OTP JIT | Clause -O2 | Clause ÷ OTP | |
|---|---|---|---|---|
| bench_datagenМасово будує списки, кортежі, maps, binaries і великі цілі | 7,91 | 5,61 | 0,71× | |
| bench_dataprocСортування, fold, оновлення map, зіставлення binary, перетворення | 10,29 | 5,97 | 0,58× | |
| bench_distОбміни, дані, віддалений запуск процесів і повторні з'єднання між вузлами; OTP виконує їх і через TLS | 5,67 | 4,78 | 0,84× | |
| bench_fileЗапис і читання малих і великих файлів, читання рядків | 6,96 | 6,08 | 0,87× | |
| bench_floatЦикли з float: суми, Мандельброт, межі, заперечення, guards і виклики | 7,36 | 2,57 | 0,35× | |
| bench_gcКороткоживучі процеси, зростання й стискання heap, живі дані | 5,79 | 3,60 | 0,62× | |
| bench_libraryParse transform qlc під час виконання, як її використовує qlc:q/1 | 2,23 | 1,86 | 0,83× | |
| bench_msgПінг-понг, fan-in, кільце процесів і копіювання великих повідомлень | 5,63 | 3,00 | 0,53× | |
| bench_socketTCP-луна, TCP-з'єднання та обміни UDP через loopback | 6,26 | 4,92 | 0,79× | |
| bench_sslВідлуння, рукостискання й потокова передача TLS 1.3 через loopback | 2,21 | 3,87 | 1,75× |
Поступ
Середнє геометричне відношення часу Clause до часу OTP за кожен день записаних запусків. Запуски до 2026-10-21 не були прив'язані до набору процесорів, тож частина зміни того дня походить від прив'язки.
| Дата | Коміт | Clause ÷ OTP |
|---|---|---|
| 2026-10-12 | a7bc0c9b | 20,2× |
| 2026-10-13 | 8a244d9c | 16,9× |
| 2026-10-14 | 55f42a9d | 16,9× |
| 2026-10-15 | 6ed3851c | 2,73× |
| 2026-10-16 | 97295c84 | 1,95× |
| 2026-10-17 | a8c3f8f6 | 1,38× |
| 2026-10-18 | 336caea7 | 1,41× |
| 2026-10-20 | 7d7a2f2e | 1,00× |
| 2026-10-21 | 71ec52f8 | 0,78× |
| 2026-10-23 | dea68508 | 0,69× |
| 2026-10-24 | af105043 | 0,65× |
| 2026-10-26 | d6eafa72 | 0,71× |
| 2026-10-30 | f4e5f3e0 | 0,67× |
| 2026-11-01 | 3265232a | 0,67× |
Розмір виконуваних файлів
Розмір тестових програм у мегабайтах, зібраних Clause на кожному рівні оптимізації.
| Програма | -O0 | -O2 | -O2 --lto |
|---|---|---|---|
| bench_datagen | 10,22 МБ | 10,14 МБ | 10,14 МБ |
| bench_dataproc | 10,74 МБ | 10,33 МБ | 10,33 МБ |
| bench_dist | 39,41 МБ | 24,51 МБ | 24,52 МБ |
| bench_file | 30,25 МБ | 18,09 МБ | 18,07 МБ |
| bench_float | 10,30 МБ | 10,17 МБ | 10,17 МБ |
| bench_gc | 10,21 МБ | 10,13 МБ | 10,14 МБ |
| bench_library | 10,56 МБ | 10,26 МБ | 10,27 МБ |
| bench_msg | 10,23 МБ | 10,14 МБ | 10,14 МБ |
| bench_socket | 30,33 МБ | 18,13 МБ | 18,10 МБ |
| bench_ssl | 43,62 МБ | 26,76 МБ | 26,76 МБ |
Розміри з -O2 для останніх 6 запусків бенчмарків, від найстарішого, по одному коміту Clause на запуск. Таблиця нижче додає сумарний розмір усіх програм bench_* і розмір компілятора clau.
- 2026-10-2171ec52f8
- 2026-10-23dea68508
- 2026-10-24af105043
- 2026-10-26d6eafa72
- 2026-10-30f4e5f3e0
- 2026-11-013265232a
| Дата | Коміт | Усі програми bench_* | clau |
|---|---|---|---|
| 2026-10-21 | 71ec52f8 | 38,78 МБ | 59,54 МБ |
| 2026-10-23 | dea68508 | 38,79 МБ | 59,54 МБ |
| 2026-10-24 | af105043 | 38,81 МБ | 59,65 МБ |
| 2026-10-26 | d6eafa72 | 62,21 МБ | 59,98 МБ |
| 2026-10-30 | f4e5f3e0 | 70,63 МБ | 60,75 МБ |
| 2026-11-01 | 3265232a | 148,67 МБ | 60,82 МБ |
Конфігурація
- Машина
- Intel64 Family 6 Model 183 Stepping 1, GenuineIntel, Логічних процесорів: 32, Windows 11 (10.0.26200)
- Набір процесорів
- Продуктивні ядра 0-15, 16 з 32 логічних процесорів
- Erlang/OTP
- 29, ERTS 17.1
- Коміт Clause
- 3265232a
- Запуск
- 2026-11-01
OTP і Clause працюють на тих самих процесорах: кожну програму бенчмарку прив'язано до продуктивних ядер процесора, тож на гібридному процесорі жодне ядро бенчмарку (kernel) не потрапляє на повільніше енергоефективне ядро. Обидва тримають активним один планувальник на кожен процесор набору, не прив'язуючи його до конкретного процесора в межах набору.
Щоб запустити бенчмарки самостійно, виконайте make benchmark або make-benchmark.bat у репозиторії Clause; нотатки про бенчмарки описують програми та параметри. Нотатки про бенчмарки
Clause