|
|
|
|
|
|
by chopratejas
159 days ago
|
|
|
Some results from real world data so far: ┌─────────────────┬─────────────┬──────────────────────────────┐
│ Data Type │ Compression │ Why │
├─────────────────┼─────────────┼──────────────────────────────┤
│ Server logs │ 90%+ │ Highly repetitive patterns │
├─────────────────┼─────────────┼──────────────────────────────┤
│ MCP tool output │ 70%+ │ JSON structure overhead │
├─────────────────┼─────────────┼──────────────────────────────┤
│ Database rows │ 50-70% │ Same schema, many records │
├─────────────────┼─────────────┼──────────────────────────────┤
│ File trees │ 40-50% │ Repeated metadata │
├─────────────────┼─────────────┼──────────────────────────────┤
│ Code diffs │ 0% │ Every line unique │
├─────────────────┼─────────────┼──────────────────────────────┤
│ Dense prose │ -0.3% │ No patterns, slight overhead │
├─────────────────┼─────────────┼──────────────────────────────┤
│ Encrypted │ 0% │ Incompressible │
└─────────────────┴─────────────┴──────────────────────────────┘
|
|
|