Clause

Benchmarks

O Clause comparado com o Erlang/OTP numa única máquina: os mesmos programas Erlang, compilados pelo erlc e pelo clau -O2, medem o tempo dos seus kernels após uma chamada de aquecimento. Estes números mudam a cada otimização.

Média geométrica dos tempos dos kernels dos programas compilados, sem os testes de bibliotecas, Clause -O2 face ao JIT da BEAM (OTP)
1,60× mais rápido em média
Média geométrica dos tempos dos testes de bibliotecas, módulos das bibliotecas OTP compilados pelo Clause -O2 face ao JIT da BEAM (OTP)
1,39× mais lento em média
Kernels em que o Clause é mais rápido
38 / 44

Tempos dos kernels

Mediana de 3 execuções em milissegundos. A barra mostra o tempo do Clause dividido pelo do OTP numa escala logarítmica.

Clause mais rápidoOTP mais rápido🔺 As execuções variaram mais de metade da mediana.
KernelOTP JITClause -O2Clause ÷ OTP
Geração de dados
bigint_factorialCalcula o fatorial de 3000 com inteiros grandes, 330 vezes1.110,12207,560,19×
binary_appendAcrescenta 10 000 inteiros de 32 bits a um binary crescente, 23 000 vezes1.076,22803,840,75×
list_of_tuplesConstrói uma lista de 200 000 tuplos pequenos, 260 vezes1.473,951.121,960,76×
list_to_tupleConverte listas de 1000 elementos em tuplos, 170 000 vezes1.500,471.191,700,79×
map_putInsere 2000 chaves inteiras num map, uma a uma, 4900 vezes1.576,241.478,730,94×
string_buildConstrói 20 000 cadeias a partir de inteiros e átomos, 1000 vezes1.031,48772,520,75×
Processamento de dados
binary_matchSoma 20 000 inteiros de 32 bits extraídos de um binary, 49 000 vezes1.274,781.076,120,84×
comprehensionComprehension que filtra e duplica 20 000 inteiros, 15 000 vezes1.418,04664,730,47×
int_to_listConverte 20 000 inteiros em cadeias e de volta, 2000 vezes899,69410,860,46×
map_foldlAplica map e depois fold a 20 000 inteiros, 4500 vezes1.459,92616,890,42×
map_updateIncrementa cada valor de um map de 500 chaves, 24 000 vezes1.188,35648,980,55×
small_mapAtualiza 80 milhões de vezes um pequeno map de estado1.484,291.027,860,69×
sortOrdena uma lista de 20 000 inteiros aleatórios, 600 vezes1.038,95454,890,44×
term_to_binaryCodifica e descodifica um termo aninhado grande, 4300 vezes1.427,561.060,320,74×
Distribuição
data_exchange200 idas e voltas de um binário de 64 KB e 1 000 tuplos com outro nó, 3 vezes148,07426,422,88×
ping_pong5 000 idas e voltas de uma mensagem com outro nó por TCP, 3 vezes831,181.239,781,49×
reconnect20 desligações e religações a outro nó, cada uma com uma ida e volta, 3 vezes137,1166,420,48×
spawnCria 500 processos um após outro noutro nó, 3 vezes91,03166,031,82×
E/S de ficheiros
large_readLê um ficheiro de 16 MB em blocos de 64 KB, 370 vezes1.416,091.029,620,73×
large_writeEscreve um ficheiro de 16 MB em blocos de 64 KB, 200 vezes975,05922,760,95×
read_fileLê um ficheiro inteiro de 16 MB numa só chamada, 330 vezes1.488,381.418,650,95×
read_lineLê linha a linha um ficheiro de texto de 20 000 linhas, 52 vezes1.507,641.385,170,92×
small_filesEscreve, relê e apaga 500 ficheiros pequenos, 11 vezes1.256,451.143,670,91×
Vírgula flutuante
callsSoma trapezoidal de um polinómio, uma chamada por passo, 160 vezes1.227,88487,210,40×
guardsUma guarda is_float/1 num ciclo de floats de 1 milhão de passos, 120 vezes1.173,50433,070,37×
limitFaz crescer um float passo a passo até ultrapassar 1e100, 80 vezes1.167,16257,380,22×
mandelbrotIterações de Mandelbrot numa grelha de 120×120, 120 vezes1.251,12249,260,20×
negateMenos unário e float/1 num ciclo de floats de 1 milhão de passos, 70 vezes1.222,35633,830,52×
sumSoma um float num ciclo de 1 milhão de passos, 200 vezes1.115,14472,370,42×
Recolha de lixo
explicit_collectForça a recolha de lixo com 10 000 tuplos vivos, 5100 vezes1.524,12580,090,38×
grow_shrinkFaz crescer o heap com uma lista de 200 000 elementos e larga-a, 300 vezes1.052,06849,050,81×
long_lived_churnMantém uma janela deslizante de 10 000 elementos vivos no meio de lixo, 370 vezes1.308,671.088,480,83×
short_processesLança 5000 processos efémeros que geram lixo cada um, 69 vezes1.652,531.026,000,62×
Bibliotecas
qlcExecuta a transformação qlc sobre 27 consultas e 3 módulos, 11 vezes1.858,461.685,380,91×
Troca de mensagens
fan_in100 processos enviam 1000 mensagens cada um a um só, 25 vezes1.374,31277,800,20×
large_messageEnvia uma lista de 100 000 elementos a outro processo e de volta, 560 vezes1.075,30780,680,73×
ping_pongTroca uma mensagem entre dois processos 2 milhões de vezes1.494,43810,770,54×
ringPassa um testemunho 3050 vezes por um anel de 1000 processos1.435,961.028,150,72×
Sockets em loopback
tcp_connectAbre 900 ligações TCP em loopback, com eco de 25 mensagens de 1 KB em cada1.487,161.152,300,77×
tcp_echoEco de 30 000 mensagens de 1 KB por TCP em loopback1.574,401.274,580,81×
udp_round_tripIda e volta de um datagrama de 1 KB, 27 900 vezes, por UDP em loopback1.504,671.234,780,82×
TLS
tls_bulkEnvia 1 024 blocos de 16 KB por TLS 1.3 em loopback, 3 vezes139,37145,921,05×
tls_echo5 000 ecos TLS 1.3 de 1 KB em loopback, 3 vezes1.018,572.052,422,01×
tls_handshake50 ligações TLS 1.3, cada uma com um handshake completo e um eco, 3 vezes324,40636,091,96×

Programas completos

Tempo real em segundos, incluindo o arranque, mediana das execuções.

ProgramaOTP JITClause -O2Clause ÷ OTP
bench_datagenConstrói em massa listas, tuplos, maps, binaries e inteiros grandes7,915,610,71×
bench_dataprocOrdenação, fold, atualização de maps, matching de binaries e conversões10,295,970,58×
bench_distIdas e voltas, dados, processos remotos e religações entre nós; o OTP também os executa sobre TLS5,674,780,84×
bench_fileEscrita e leitura de ficheiros pequenos e grandes, leitura por linhas6,966,080,87×
bench_floatCiclos de floats: somas, Mandelbrot, limites, negação, guardas e chamadas7,362,570,35×
bench_gcProcessos efémeros, heap que cresce e encolhe, dados vivos5,793,600,62×
bench_libraryA parse transform do qlc em runtime, como qlc:q/1 a usa2,231,860,83×
bench_msgPingue-pongue, fan-in, anel de processos e cópia de mensagens grandes5,633,000,53×
bench_socketEco TCP, ligações TCP e idas e voltas UDP em loopback6,264,920,79×
bench_sslEco, handshakes e transferência em massa TLS 1.3 em loopback2,213,871,75×

Progresso

Média geométrica do tempo do Clause dividido pelo do OTP em cada dia com execuções registadas. As execuções anteriores a 2026-10-21 não estavam fixadas a um conjunto de CPUs, pelo que parte da alteração desse dia se deve à fixação.

DataCommitClause ÷ OTP
2026-10-12a7bc0c9b20,2×
2026-10-138a244d9c16,9×
2026-10-1455f42a9d16,9×
2026-10-156ed3851c2,73×
2026-10-1697295c841,95×
2026-10-17a8c3f8f61,38×
2026-10-18336caea71,41×
2026-10-207d7a2f2e1,00×
2026-10-2171ec52f80,78×
2026-10-23dea685080,69×
2026-10-24af1050430,65×
2026-10-26d6eafa720,71×
2026-10-30f4e5f3e00,67×
2026-11-013265232a0,67×

Tamanho dos executáveis

Tamanho em megabytes dos programas de teste tal como o Clause os constrói em cada nível de otimização.

Programa-O0-O2-O2 --lto
bench_datagen10,22 MB10,14 MB10,14 MB
bench_dataproc10,74 MB10,33 MB10,33 MB
bench_dist39,41 MB24,51 MB24,52 MB
bench_file30,25 MB18,09 MB18,07 MB
bench_float10,30 MB10,17 MB10,17 MB
bench_gc10,21 MB10,13 MB10,14 MB
bench_library10,56 MB10,26 MB10,27 MB
bench_msg10,23 MB10,14 MB10,14 MB
bench_socket30,33 MB18,13 MB18,10 MB
bench_ssl43,62 MB26,76 MB26,76 MB

Tamanhos com -O2 das últimas 6 execuções dos benchmarks, da mais antiga para a mais recente, um commit do Clause por execução. A tabela abaixo acrescenta o total de todos os programas bench_* e o tamanho do compilador clau.

0246810121416182022242628 MBbench_datagen, 2026-10-21 71ec52f8: 6,32 MBbench_datagen, 2026-10-23 dea68508: 6,33 MBbench_datagen, 2026-10-24 af105043: 6,33 MBbench_datagen, 2026-10-26 d6eafa72: 8,55 MBbench_datagen, 2026-10-30 f4e5f3e0: 9,82 MBbench_datagen, 2026-11-01 3265232a: 10,14 MB10.14bench_datagenbench_dataproc, 2026-10-21 71ec52f8: 6,64 MBbench_dataproc, 2026-10-23 dea68508: 6,65 MBbench_dataproc, 2026-10-24 af105043: 6,65 MBbench_dataproc, 2026-10-26 d6eafa72: 8,74 MBbench_dataproc, 2026-10-30 f4e5f3e0: 10,01 MBbench_dataproc, 2026-11-01 3265232a: 10,33 MB10.33bench_dataprocbench_dist, 2026-11-01 3265232a: 24,51 MB24.51bench_distbench_file, 2026-10-21 71ec52f8: 6,75 MBbench_file, 2026-10-23 dea68508: 6,75 MBbench_file, 2026-10-24 af105043: 6,75 MBbench_file, 2026-10-26 d6eafa72: 9,20 MBbench_file, 2026-10-30 f4e5f3e0: 10,59 MBbench_file, 2026-11-01 3265232a: 18,09 MB18.09bench_filebench_float, 2026-11-01 3265232a: 10,17 MB10.17bench_floatbench_gc, 2026-10-21 71ec52f8: 6,32 MBbench_gc, 2026-10-23 dea68508: 6,32 MBbench_gc, 2026-10-24 af105043: 6,32 MBbench_gc, 2026-10-26 d6eafa72: 8,54 MBbench_gc, 2026-10-30 f4e5f3e0: 9,81 MBbench_gc, 2026-11-01 3265232a: 10,13 MB10.13bench_gcbench_library, 2026-10-26 d6eafa72: 9,30 MBbench_library, 2026-10-30 f4e5f3e0: 9,94 MBbench_library, 2026-11-01 3265232a: 10,26 MB10.26bench_librarybench_msg, 2026-10-21 71ec52f8: 6,32 MBbench_msg, 2026-10-23 dea68508: 6,33 MBbench_msg, 2026-10-24 af105043: 6,33 MBbench_msg, 2026-10-26 d6eafa72: 8,55 MBbench_msg, 2026-10-30 f4e5f3e0: 9,82 MBbench_msg, 2026-11-01 3265232a: 10,14 MB10.14bench_msgbench_socket, 2026-10-21 71ec52f8: 6,42 MBbench_socket, 2026-10-23 dea68508: 6,43 MBbench_socket, 2026-10-24 af105043: 6,43 MBbench_socket, 2026-10-26 d6eafa72: 9,33 MBbench_socket, 2026-10-30 f4e5f3e0: 10,64 MBbench_socket, 2026-11-01 3265232a: 18,13 MB18.13bench_socketbench_ssl, 2026-11-01 3265232a: 26,76 MB26.76bench_ssl
  • 2026-10-2171ec52f8
  • 2026-10-23dea68508
  • 2026-10-24af105043
  • 2026-10-26d6eafa72
  • 2026-10-30f4e5f3e0
  • 2026-11-013265232a
DataCommitTodos os programas bench_*clau
2026-10-2171ec52f838,78 MB59,54 MB
2026-10-23dea6850838,79 MB59,54 MB
2026-10-24af10504338,81 MB59,65 MB
2026-10-26d6eafa7262,21 MB59,98 MB
2026-10-30f4e5f3e070,63 MB60,75 MB
2026-11-013265232a148,67 MB60,82 MB

Configuração

Máquina
Intel64 Family 6 Model 183 Stepping 1, GenuineIntel, 32 CPUs lógicos, Windows 11 (10.0.26200)
Conjunto de CPUs
Núcleos de desempenho 0-15, 16 de 32 CPUs lógicos
Erlang/OTP
29, ERTS 17.1
Commit do Clause
3265232a
Execução
2026-11-01

O OTP e o Clause correm nos mesmos CPUs: cada programa de benchmark está fixado aos núcleos de desempenho do processador, pelo que num CPU híbrido nenhum kernel acaba num núcleo de eficiência mais lento. Ambos mantêm um escalonador ativo por cada CPU do conjunto, sem o vincular a um CPU concreto dentro dele.

Para executar os benchmarks, use make benchmark ou make-benchmark.bat no repositório do Clause; as notas de benchmarks descrevem os programas e as opções. Notas de benchmarks