SAT-ZIP

Snelle archiver met een eigen codec

SAT-ZIP begon met een vraag: hoe snel kan een archiver zijn als de codec vanaf de basis op snelheid is gebouwd? Het antwoord werd een complete Windows-app rond een eigen codec.

DownloadenNieuwste release ophalen

Broncode

C++
AVX2
Dear ImGui
CMake
Inno Setup

2,2 GB/s: uitpaksnelheid op tekst, native build
1,4x: sneller dan LZ4 bij het uitpakken van tekst
5: archiefformaten die het leest en schrijft
3: compressiemodi, van snel tot maximale ratio

Het verhaal

01
Waarom nog een archiver
Zippen in Windows is traag en makkelijk te vergeten. Ik wilde een archiver met de snelheid van LZ4 die je ook echt elke dag gebruikt: rechtsklikken op een map, formaat kiezen, klaar. En omdat snelheidsclaims goedkoop zijn, zit er een benchmarklab in, zodat iedereen het op eigen bestanden kan meten.
02
De codec
Data wordt opgeknipt in losse blokken van 64 KiB. Een hashtabel vindt herhaalde reeksen, en de decoder kopieert matches met brede SIMD-loads. In mijn benchmarks verslaat de decoder LZ4 op tekst (2229 tegen 1552 MB/s) en op gemengde data (2622 tegen 2385 MB/s). Elk getal wordt eerst gecontroleerd met een decode van dezelfde data.
03
Drie modi
Mode S gebruikt een hashtabel met een enkele probe en is het snelst. Mode R voegt hash chains en lazy matching toe voor een betere ratio, met dezelfde uitpaksnelheid. Mode T zet daar een split-stream rANS-entropiecoder bovenop voor de beste ratio. Alle drie delen een blokformaat.
04
Meer dan een codec
Rond de codec zit een complete app: multithreaded .zip, plus .7z, .tar en .tar.xz, een rechtermuismenu in Verkenner, een commandline-tool en een C-SDK. Archieven kunnen optioneel versleuteld worden met SAT-OBELISK.

Live demo

Comprimeer het in je browser

Dit is de echte SAT-ZIP-codec, gecompileerd naar WebAssembly (10,6 KB). Typ tekst of sleep een bestand hierheen. Alles draait op je eigen apparaat; er wordt niets geupload.

Invoer

{
  "eyebrow": "Projecten",
  "title": "Wat ik gebouwd heb.",
  "intro": "Persoonlijke projecten, van low-level codecs tot complete desktopapps. Publieke projecten hebben een directe download van de nieuwste release.",
  "sourceCode": "Broncode",
  "download": "Downloaden",
  "downloadVersion": "Download {version}",
  "checking": "Nieuwste release ophalen",
  "notPublic": "Nog niet openbaar",
  "youAreHere": "Je zit er nu op",
  "items": {
    "satZip": {
      "tagline": "Snelle archiver met een eigen codec",
      "description": "Een Windows-archiver met een eigen LZ-codec die bij uitpakken sneller is dan LZ4. Leest en schrijft .satz, .zip, .7z, .tar en .tar.xz, zit in het rechtermuismenu van Verkenner en heeft een ingebouwd benchmarklab."
    },
    "satObelisk": {
      "tagline": "Een klein sponge-cryptosysteem",
      "description": "Gebouwd op een enkele 384-bit permutatie: geauthenticeerde encryptie, hashing, sleutelafleiding, key wrapping en bestandsencryptie. Een onderzoeks- en leerproject, geen vervanging voor geauditeerde crypto."
    },
    "satExplorer": {
      "tagline": "Een snellere, eigen bestandsverkenner",
      "description": "Een Windows-verkenner in de stijl van Total Commander, met alle functies van de standaard Verkenner maar sneller. Strikte lagen tussen engine en UI, native Win32-enumeratie, git- en SVN-statuskolommen en thema's."
    },
    "satSans": {
      "tagline": "Mijn eigen lettertype, gebruikt op deze site",
      "description": "Een geometrisch UI-font met squircle-rondingen, obeliskvormige stokken en ruitvormige punten, plus een monospace-variant voor code. Dit lettertype wordt op de hele website gebruikt."
    },
    "thiersLabs": {
      "tagline": "Deze website",
      "description": "Statische Astro-site met React-eilanden, twee talen en live release-info van GitHub, gehost op mijn eigen Debian-server achter Caddy."
    }
  },
  "kofi": {
    "title": "Vind je het tof wat ik maak?",
    "text": "Alles hier bouw ik in mijn eigen tijd. Heeft een project je geholpen, dan houdt een koffie het volgende draaiende.",
    "button": "Steun me op Ko-fi"
  },
  "detail": {
    "back": "Alle projecten",
    "factsTitle": "In het kort",
    "storyTitle": "Het verhaal",
    "moreTitle": "Meer projecten",
    "explore": "Bekijk en probeer het live",
    "metaTitle": "{name} - ThiersLabs"
  },
  "details": {
    "satZip": {
      "intro": "SAT-ZIP begon met een vraag: hoe snel kan een archiver zijn als de codec vanaf de basis op snelheid is gebouwd? Het antwoord werd een complete Windows-app rond een eigen codec.",
      "facts": [
        {
          "value": "2,2 GB/s",
          "label": "uitpaksnelheid op tekst, native build"
        },
        {
          "value": "1,4x",
          "label": "sneller dan LZ4 bij het uitpakken van tekst"
        },
        {
          "value": "5",
          "label": "archiefformaten die het leest en schrijft"
        },
        {
          "value": "3",
          "label": "compressiemodi, van snel tot maximale ratio"
        }
      ],
      "sections": [
        {
          "title": "Waarom nog een archiver",
          "text": "Zippen in Windows is traag en makkelijk te vergeten. Ik wilde een archiver met de snelheid van LZ4 die je ook echt elke dag gebruikt: rechtsklikken op een map, formaat kiezen, klaar. En omdat snelheidsclaims goedkoop zijn, zit er een benchmarklab in, zodat iedereen het op eigen bestanden kan meten."
        },
        {
          "title": "De codec",
          "text": "Data wordt opgeknipt in losse blokken van 64 KiB. Een hashtabel vindt herhaalde reeksen, en de decoder kopieert matches met brede SIMD-loads. In mijn benchmarks verslaat de decoder LZ4 op tekst (2229 tegen 1552 MB/s) en op gemengde data (2622 tegen 2385 MB/s). Elk getal wordt eerst gecontroleerd met een decode van dezelfde data."
        },
        {
          "title": "Drie modi",
          "text": "Mode S gebruikt een hashtabel met een enkele probe en is het snelst. Mode R voegt hash chains en lazy matching toe voor een betere ratio, met dezelfde uitpaksnelheid. Mode T zet daar een split-stream rANS-entropiecoder bovenop voor de beste ratio. Alle drie delen een blokformaat."
        },
        {
          "title": "Meer dan een codec",
          "text": "Rond de codec zit een complete app: multithreaded .zip, plus .7z, .tar en .tar.xz, een rechtermuismenu in Verkenner, een commandline-tool en een C-SDK. Archieven kunnen optioneel versleuteld worden met SAT-OBELISK."
        }
      ],
      "demoTitle": "Comprimeer het in je browser",
      "demoIntro": "Dit is de echte SAT-ZIP-codec, gecompileerd naar WebAssembly (10,6 KB). Typ tekst of sleep een bestand hierheen. Alles draait op je eigen apparaat; er wordt niets geupload.",
      "demoEyebrow": "Live demo"
    },
    "satObelisk": {
      "intro": "SAT-OBELISK is een compleet cryptosysteem gebouwd op een enkele bouwsteen: een 384-bit permutatie die ik zelf ontwierp. Het is een onderzoeks- en leerproject, en daar is het eerlijk over.",
      "facts": [
        {
          "value": "384-bit",
          "label": "permutatiestaat, zes lanes van 64 bit"
        },
        {
          "value": "16 / 10",
          "label": "rondes voor setup en voor data"
        },
        {
          "value": "128-bit",
          "label": "beveiligingsdoel"
        },
        {
          "value": "3",
          "label": "rondes tot volledige diffusie"
        }
      ],
      "sections": [
        {
          "title": "Een permutatie, alles",
          "text": "Net als Ascon, de winnaar van de NIST-competitie voor lichtgewicht cryptografie, gebruikt OBELISK een sponge- en duplexconstructie. Een permutatie levert geauthenticeerde encryptie, hashing, sleutelafleiding, key wrapping en bestandsencryptie. Een bouwsteen goed temmen is veiliger dan vier middelmatige combineren."
        },
        {
          "title": "In de permutatie",
          "text": "De staat bestaat uit zes lanes van 64 bit. Elke ronde mengt ze met ARX-boxen (optellen, roteren, xor) en een lineaire laag van rotaties. De rondeconstanten komen uit de cijfers van pi, dus er is geen plek om een achterdeur te verstoppen. Setup en hashing gebruiken 16 rondes, dataverwerking 10."
        },
        {
          "title": "Eerlijk over veiligheid",
          "text": "De eigen cipher is nooit onafhankelijk beoordeeld, dus hij is niet voor echte geheimen. Voor echte data gebruikt de app beproefde backends: ChaCha20 of AES-256-GCM. In plaats van te beweren dat hij onkraakbaar is, nodigt de repository iedereen uit om hem te kraken, en aanvallen op minder rondes tellen ook."
        },
        {
          "title": "Gemeten, niet aangenomen",
          "text": "Avalanchetests, known-answer-tests en manipulatietests controleren het ontwerp. Een enkele gewijzigde invoerbit flipt ongeveer de helft van de uitvoerbits, en na slechts drie rondes is de diffusie volledig. De zwakke plekken staan gedocumenteerd naast de sterke."
        }
      ],
      "demoTitle": "Hash en versleutel in je browser",
      "demoIntro": "Deze demo draait de echte OBELISK-Pythoncode in je browser met Pyodide. Bij het starten wordt eenmalig een Python-runtime van ongeveer 10 MB gedownload. Niets wat je typt verlaat je apparaat.",
      "demoEyebrow": "Live demo"
    },
    "satExplorer": {
      "intro": "SAT Explorer is mijn eigen Windows-verkenner: alle functies van de standaard Verkenner, maar sneller, met tabbladen en gesplitste panelen, en een uiterlijk dat zich aanpast aan de computer waarop hij draait.",
      "facts": [
        {
          "value": "3",
          "label": "lagen, afhankelijkheden maar een kant op"
        },
        {
          "value": "4",
          "label": "kwaliteitsmodi, gekozen op basis van je GPU"
        },
        {
          "value": "0",
          "label": "regels WPF in de engine"
        },
        {
          "value": ".NET 10",
          "label": "C#, WPF en MVVM"
        }
      ],
      "sections": [
        {
          "title": "Waarom een eigen verkenner",
          "text": "Ik zit de hele dag in mappen, en de standaard Verkenner laat me vaak wachten. Ik wilde iets in de geest van Total Commander: gesplitste panelen, tabbladen, eigen commando's en kolommen zoals git- en SVN-status, met alle functies van het origineel er nog in."
        },
        {
          "title": "Core en skin",
          "text": "De app bestaat uit drie lagen: App (de WPF-interface), Core (de engine) en Shell (de Win32-aanroepen). Afhankelijkheden wijzen alleen naar beneden. De engine raakt WPF nooit aan, en het uiterlijk zit in verwisselbare skins, dus een feature die een keer in Core gebouwd is werkt in elke skin."
        },
        {
          "title": "Pijlers van snelheid",
          "text": "Mappen worden gelezen met native FindFirstFileEx-aanroepen in plaats van de tragere .NET-hulpmethodes. Al het lezen gebeurt buiten de UI-thread en navigatie is te annuleren, dus snel klikken stapelt nooit op. De bestandslijst is gevirtualiseerd, dus alleen de rijen op het scherm worden getekend, hoe groot de map ook is."
        },
        {
          "title": "Schaalt mee met je hardware",
          "text": "Bij het opstarten kijkt de app hoe goed de GPU kan renderen. Een gaming-pc krijgt schaduwen, afgeronde hoeken, animaties en live thumbnails. Een oude laptop of extern bureaublad krijgt een vlakke, directe interface. Een build, geen aparte lite-versie."
        }
      ],
      "demoTitle": "In de app",
      "demoIntro": "Een echte screenshot van SAT Explorer: twee panelen met eigen tabbladen, snelle toegang, schijven en een werkbalk voor dagelijks bestandswerk. Een paar persoonlijke mapnamen zijn voor publicatie aangepast.",
      "demoEyebrow": "Screenshot",
      "screenshotAlt": "SAT Explorer met twee panelen naast elkaar, een zijbalk met snelle toegang en schijven, en een werkbalk",
      "openFull": "Volledige grootte openen",
      "layersTitle": "Wie doet wat",
      "layers": [
        {
          "name": "App",
          "text": "WPF-vensters, skins en kwaliteitsdetectie"
        },
        {
          "name": "Core",
          "text": "Engine: modellen, services, viewmodels. Geen WPF"
        },
        {
          "name": "Shell",
          "text": "Win32-aanroepen: enumeratie, iconen, contextmenu's"
        }
      ]
    }
  }
}

Sleep een bestand ergens in dit vak

Meer projecten

SAT-OBELISKEen klein sponge-cryptosysteem

SAT ExplorerEen snellere, eigen bestandsverkenner