Log Analyzer white paper

De Digital Climax Log Analyzer is een kleine tool (gemaakt in Python) waarmee je de logfiles van je server kan analyseren. Logfiles zijn technische bestanden die bijhouden wie of wat jouw website bezoekt: mensen, bots, crawlers, advertentieplatformen en ook AI-systemen zoals OpenAI/ChatGPT.

In plaats van losse logregels te moeten lezen (wat niemand graag doet), zet de tool alles om naar één duidelijk dashboard. Daarin zie je bijvoorbeeld welke bots langskomen, welke pagina’s ze opvragen en welke statuscodes er terugkomen (zoals 404’s of redirects).

1.2 Hoe deze tool jou helpt

Met deze white paper als praktische handleiding kan je onze Log Analyzer downloaden, installeren en gebruiken. Alles wordt stap voor stap uitgelegd zodat deze gids makkelijk te volgen is voor iedereen die ook maar een beetje technische kennis heeft van SEO of logfiles.

Na deze white paper kan je zelf:

• In één oogopslag zien wie en vanwaar je websiteverkeer komt. Zijn het echte mensen of bots (Google, Bing, OpenAI/ChatGPT, SEO crawlers, scripts,…)
• Makkelijk technische issues spotten zoals 404’s, redirects en crawl waste
• Je SEO- en AI-acties baseren op serverdata in plaats van buikgevoel.

1.3 Waarom we dit zelf gebouwd hebben

“Waarom niet gewoon Google Analytics (GA4)?” Omdat Google Analytics een andere rol heeft. GA4 vertelt je vooral wat er gebeurt aan de voorkant (gebruikersgedrag), maar niet altijd wat er achter de schermen gebeurt op je server. En dat is nu net de grote beperking als je 100% accurate data wilt analyseren.

We hebben deze tool gebouwd omdat we in echte projecten telkens dezelfde beperkingen zagen met standaard tracking:

Tracking is niet altijd compleet: Adblockers, cookie-consent, ontbrekende tags, script-errors… zorgen ervoor dat je altijd een deel mist. Serverlogs registreren elke request die je server krijgt, ongeacht cookies of scripts.

Bots en crawlers zitten niet netjes in je analytics: Bots gedragen zich niet als bezoekers met sessies, events en conversions. Ze crawlen URL’s maar bieden geen kwalitatief verkeer. Dat wil je op serverniveau zien: welke URL’s worden opgevraagd, hoe vaak, door wie en met welke statuscode.

AI-zichtbaarheid wil je kunnen meten: De trend is duidelijk. We researchen meer en meer met AI-platformen en steeds minder met zoekmachines. De content van je website optimaliseren voor dit verkeer is een must, maar het verkeer dat die platformen achterlaat is nog niet betrouwbaar.

Momenteel kan GA4 wel zien als iemand een link aanklinkt vanuit bijvoorbeeld ChatGPT, maar het crawlen door de AI-platformen zelf wordt nog niet accuraat weergegeven.

In essentie: Analytics blijft nuttig, maar raken meer en meer vervuild door partijen die ‘rommelverkeer’ naar je website sturen. Logfiles geven je een betrouwbaarder beeld onder de motorkap en dat je nodig hebt om écht technisch en strategisch te optimaliseren.

2.1 Wat wordt er precies gelogd?

Een logfile is een technisch logboek van je server. Elke keer dat iets of iemand jouw website laadt, komt er een regel bij. Die regel bevat typisch informatie zoals: tijdstip, opgevraagde URL, bron (user-agent/bot) en de statuscode (200/301/404…).

2.2 Waarom logfiles betrouwbaarder zijn dan tracking

Trackingtools zoals Google Analytics zijn gebouwd om menselijk gedrag te meten: sessies, paginaweergaven, events, conversies… Dat is waardevol, maar het blijft een laag boven op je website.

Serverlogfiles zitten lager in de keten. Ze registreren op serverniveau elke request die jouw server binnenkrijgt. Daarom zijn logfiles in veel situaties objectiever en vollediger.

Tracking kan verdwijnen, logs niet

Om tracking te kunnen meten, moeten er een hoop dingen goed lopen: scripts laden, toestemming hebben om cookies te plaatsen, bezoekers moeten hun consent geven, de tag moet correct staan, enzovoort. Als één schakel in de ketting faalt, wordt de data onbruikbaar.

Logfiles hebben dat probleem niet. Als jouw server een pagina, bestand of API-call moet leveren (of net niet), dan staat die request in de logs. Je meet dus niet wat de web browser doorgaf, maar wat de server effectief zag.

2.3 Bots vs. mensen: cruciaal is voor SEO & AI-zichtbaarheid

Mensen vertonen menselijk gedrag online. Ze browsen, klikken, pauzeren en lezen. Menselijke interactie op je website vertaalt zich in logische output. Ze vragen een offerte, vullen een formulier in, vertonen pagina engagement van bijvoorbeeld 57 seconden, …

Bots crawlen en gedragen zich niet als mensen. Ze laden vaak geen tracking scripts, accepteren geen cookies en zullen al zeker geen kwalitatieve acties ondernemen op je website (buttons klikken, offertes aanvragen, video’s kijken,…) Bovendien wordt hun aanwezigheid niet weergegeven in Google Analytics.

Kortom, bots en crawlers vervuilen je websitedata en het vraagt tijd en inzicht om hun aanwezigheid uit tracking tools te filteren.

Je hebt drie dingen nodig om te starten:

• Je logfiles
• De Digital Climax Log Analyzer
• Python om de tool te kunnen uitvoeren.

Geen stress, het kan allemaal wat technisch lijken maar je hoeft zelf niets te programmeren. Python is gewoon de motor die het script doet draaien.

3.1 Welke bestandsformaten werken?

De tool werkt met logbestanden in .log en in .gz (gecomprimeerde logs). Dat is handig, want veel hostings bewaren logs standaard gecomprimeerd.

3.2 Mapstructuur maken: zo hou je het overzichtelijk

Zo hou je het overzichtelijk. Maak het jezelf gemakkelijk en werk vanuit één duidelijke map. Bijvoorbeeld:

Logfile-Analyzer/

loganalyser.py

logs/ (hier zet je al je .log en/of .gz bestanden)

De tool werkt met logbestanden in .log en in .gz (gecomprimeerde logs). Dat is handig, want veel hostings bewaren logs standaard gecomprimeerd.

4.1 Python downloaden

Als je nog geen Python hebt, download je Python 3.x via de officiële website van Python.

Kies de versie voor jouw besturingssysteem (Windows of Mac).

4.1.1 Python Installeren

Stappen (Windows):

1. Download Python 3.x
2. Start de installer
3. Vink Add Python to PATH aan
4. Klik op Install

LET OP: Op Windows is er één detail dat vaak misloopt: tijdens de installatie moet je “Add Python to PATH” aanvinken. Dat zorgt ervoor dat je computer Python herkent wanneer je de tool start.

Installeren op Mac

Op Mac is installeren meestal rechttoe rechtaan: downloaden, openen, installeren. In veel gevallen werkt python3 standaard na installatie.

4.2 Controleren of Python werkt

Na installatie check je of het goed zit:

• Open Command Prompt in Windows (Windows-toets + R, dan cmd); of Terminal voor Mac (Command + spatie, dan Terminal intypen)
• Typ exact: “python –version”
• Zie je een versienummer? Dan is alles oké.

5.1 Route A: via je hostingpanel

Bij veel hostingpartijen kan je logfiles downloaden via het control panel (cPanel/DirectAdmin/Plesk). Zoek naar termen zoals “Access logs”, “Raw access logs” of “Log files”.

Download de bestanden naar je computer en bewaar ze samen in je logs-map.

5.2 Route B: via FTP (FileZilla)

Soms vind je logs niet makkelijk in het panel of heb je meer controle nodig. Dan kan je via FTP-verbinden met je server (bv. met FileZilla) en de logs manueel downloaden. Je hebt daarvoor je FTP-gegevens nodig (host, username, password, poort).

FTP-stappen:

1. Installeer FileZilla
2. Vul je FTP-gegevens in
3. Verbind met je server
4. Zoek naar logbestanden of een logs-map
5. Download naar je logs-map op je computer

5.3 Tips om je logs netjes te organiseren

Werk per periode. Als je logs per dag gedownload worden, zet ze dan bijvoorbeeld allemaal in een map voor elke één maand. Zo kan je een rapport per maand maken, maar je kan ook de verschillende maanden importeren om langere trends te analyseren.

6.1 Alles in één map zetten (script + logmap)

Zet loganalyser.py en je logs-map samen in één hoofdmap. Dat bespaart later zoekwerk en fouten.

6.2 Startmethode 1: dubbelklikken op het .py-bestand

Klik op de loganalyser.py.

Als Python correct geïnstalleerd is, opent er een terminalvenster en zie je de tool starten.

7.1 Logfiles selecteren

Open je logs-map en selecteer één of meerdere bestanden. (.gz en .log werken allebei)

7.2 Slepen in de analyzer

Sleep de geselecteerde logfiles naar het venster van de analyzer en laat los. De verwerking start automatisch en het enige wat je nog moet doen is op ‘enter’ drukken.

Achterliggend worden je logregels samengevat, gegroepeerd en omgezet naar een dashboard.

7.3 Verwerking afronden: welke output krijg je?

Na verwerking krijg je een nieuw bestand: Dit is je dashboard dat automatisch opent in je webbrowser.

Het HTML-bestand zal ook verschijnen in je map zodat je deze later terug kan raadplegen.

8.1 Dashboard openen (HTML in je browser)

Open het HTML-dashboardbestand door erop te dubbelklikken, of via rechtsklik → openen.

Het opent in je browser en toont één overzicht met alle inzichten.

• Aantal bezoekers per dag met de bron
• Top bronnen en bots
• Fouten en status codes
• Populaire URL’s
• Top 10 URL’s per bron

8.2 Bronnen begrijpen

In het dashboard zie je bronnen zoals Organic, Bing, Bingbot, Googlebot, SEO crawlers, scripts, direct, social, ads… en als het voorkomt ook OpenAI/ChatGPT.

Dit is belangrijk, omdat je zo meteen ziet welk type verkeer er achter de schermen speelt.

• Referral = klik vanaf een andere website (referrer bekend)
• Direct/Onbekend = geen referrer info (bookmark/typed URL/apps/privacy/bots)
• Google organisch = klik vanuit gratis Google zoekresultaat (mensen)
• Googlebot = Google’s crawler (geen mens, maar indexatie)

8.3 Filteren per bron

Je kan bronnen aan- of uitzetten door erop te klikken. De aangeklikte bron zal doorstreept staan en uit het overzicht verdwijnen. Dat is superhandig om even te focussen op één bron, bijvoorbeeld alleen ChatGPT. Zo zie je de evolutie over dagen: komen ze vaker langs, of amper?

9.1 Evolutie per dag: pieken en dalingen begrijpen

Een piek kan veel dingen betekenen: In een ideaal scenario heb je een campagne gelanceerd die ineens een bom organisch, referral trafic, paid search of direct verkeer naar je website haalt.

Maar het betekent vaak ook dat een bot vaker is komen crawlen, een nieuwe set pagina’s heeft opgevraagd, of er was extra activiteit door tools/crawlers.

Een daling kan betekenen dat die bot minder crawlbudget besteedt, of dat je periode (dag) nog niet “vol” is. Belangrijk is dat je je niet blindstaart op één dag, maar focust op het patroon over meerdere dagen.

9.2 Populairste pagina’s

Algemeen:
Het dashboard toont ook welke pagina’s het vaakst opgevraagd worden per bron. Dat is uitermate nuttig omdat je meteen ziet welke URL’s het meest leven op serverniveau. Als die populaire pagina’s niet hoog scoren in de SERP (Search Engine Results Page), weet je dat daar de SEO-prioriteiten liggen.

Per bron (Google/Bing/AI):
Het krachtige stuk van het dashboard zit in de uitsplitsing per bron. Je kan bijvoorbeeld zien welke pagina’s veel worden bezocht door AI-gedreven platformen en welke door bots.

In onderstaand voorbeeld zien we dat ChatGPT zich compleet anders focust dan de Googlebot.

OpenAI/ChatGPT-crawlers vragen opvallend vaak /robots.txt op omdat ze regelmatig opnieuw controleren welke delen van je site ze mogen crawlen en gebruiken. Ze bezoeken vooral informatieve SEO-pagina’s (zoals robots.txt, indexatieproblemen, Search Console) omdat die content goed bruikbaar is om vragen van gebruikers te beantwoorden. Daardoor zie je bij AI-bots sneller herhaalde bezoeken aan dezelfde “kennis”-URLs dan bij Google.

Googlebot crawlt doorgaans selectiever omdat het werkt met crawlbudget en prioriteiten op basis van belangrijkheid en updatefrequentie van pagina’s. Het focust daarom vooral op kernpagina’s (zoals /seo/ en commerciële/structurele landingspagina’s) en minder op elke informatieve blogpost, tenzij die sterk intern gelinkt is of vaak verandert. Dat Googlebot ook een LiteSpeed-cachebestand raakt, wijst erop dat die URL publiek bereikbaar is en niet duidelijk genoeg wordt uitgesloten voor crawlers.

9.3 Statuscodes: 200/ 301-302/ 404

Statuscodes zijn pure serverfeedback. Zie je veel 404’s? Dan worden er URL’s opgevraagd die niet bestaan. Zie je veel redirects (301/302)? Dan is er kans dat bots en gebruikers via omwegen op de juiste pagina belanden.

Hieruit volgen meestal heel concrete acties: 404’s corrigeren met redirects of herstelde pagina’s, en interne links opschonen zodat ze meteen naar de eind-URL gaan.

9.4 Interne links & content-upgrades op basis van botgedrag

Als je ziet dat bepaalde pagina’s vaak bezocht worden door Google/Bing/AI, dan zijn dat ideale hub-kandidaten. Deze pagina’s zijn perfect om verkeer doorheen je website te leiden.

Je kan die pagina’s versterken door:

• interne links te leggen naar die pagina’s (zodat bots er sneller komen),
• interne links te leggen vanuit die pagina’s (zodat bots dieper in je content raken),
• en de content te verbeteren: duidelijkere structuur, extra uitleg, FAQ’s, voorbeelden, interne verwijzingen.

Dit is exact het soort optimalisatie dat tegelijk werkt voor klassieke SEO én voor AI-zichtbaarheid.

9.5 Performance-kansen: zware pagina’s/assets optimaliseren

In het dashboard kan je ook hints zien naar zware pagina’s of assets. Als een pagina veel wordt opgevraagd én tegelijk zwaar is (bv. een grote afbeelding/gif), dan is dat een snelle win. Probeer afbeeldingen of video’s te comprimeren of te vervangen.

Dat helpt laadtijd, crawl–efficiëntie én gebruikerservaring.

10.1 “Python is not recognized” (PATH-probleem)

Dit betekent bijna altijd dat Python niet in je PATH staat (Windows).

Oplossing: herinstalleer Python en vink Add Python to PATH aan.

Test daarna opnieuw met python –version.

10.2 Geen logfiles gevonden op je hosting

Kijk in je hostingpanel naar access logs/raw access logs. Vind je het niet, gebruik FTP en zoek naar logs-mappen.

Als dat nog steeds niet lukt: vraag je hosting expliciet waar je “access logs” staan en hoe je ze kan exporteren.

10.3 Dashboard lijkt leeg of opent vreemd

Open het HTML-bestand in Chrome/Edge en controleer of je logs wel data bevatten (soms is je periode te kort of heb je per ongeluk lege logs).

11. Conclusie + volgende stap

Je hebt nu geleerd hoe je serverlogfiles downloadt, in de Digital Climax Log Analyzer laadt en het dashboard leest. Daarmee zie je eindelijk objectief wie of wat jouw website bezoekt, inclusief bots en AI-systemen, en waar je technische en inhoudelijke optimalisatie het meeste impact zal hebben.