|
|
|
|
|
|
by unusual_typo
5 days ago
|
|
|
Here are the benchmark results. You can check more details in the repo. openai/privacy-filter on Apple M1 Max dtype 1k total 1k tok/s 8k total 8k tok/s
━━━━━━━━━━━━━━━━ ━━━━━━━━━━━ ━━━━━━━━━━ ━━━━━━━━━━━━━ ━━━━━━━━━━
fp32 620.52 ms 1,664 4,893.86 ms 1,689
──────────────── ─────────── ────────── ───────────── ──────────
fp16 654.56 ms 1,578 5,430.17 ms 1,521
──────────────── ─────────── ────────── ───────────── ──────────
q4 582.13 ms 1,776 4,635.39 ms 1,784
──────────────── ─────────── ────────── ───────────── ──────────
q4f16 648.10 ms 1,594 5,261.56 ms 1,570
──────────────── ─────────── ────────── ───────────── ──────────
quantized int8 573.94 ms 1,801 4,594.95 ms 1,800
|
|
|