Start gratis

Fabrikken-Crawler

Senest opdateret 29. oktober 2026.

Fabrikken-Crawler er den robot, der henter indhold til chatbots bygget på fabrikken.ai. Når en organisation opretter en chatbot hos os og vælger et website som datakilde, besøger crawleren det website og de dokumenter, siderne linker til, så chatbotten kan svare ud fra det offentlige indhold.

Sådan genkender du os

Crawleren sender altid denne User-Agent:

Mozilla/5.0 (Fabrikken-Crawler/1.0; +https://fabrikken.ai/crawler-info)

Er du i tvivl, om et besøg er fra os, kan du få det bekræftet ved at skrive til kontakt@fabrikken.ai.

Hvad vi henter

  • Kun offentligt tilgængelige sider og dokumenter (HTML, PDF og Office-filer) fra de websites, vores kunder selv har valgt, plus dokumenter, som de sider linker direkte til.
  • Vi logger aldrig ind, udfylder ikke formularer og forsøger ikke at omgå login, captchas eller anden adgangskontrol. Møder vi et sikkerhedstjek, springer vi siden over.
  • Vi henter én side ad gangen med pause imellem. Et website gennemgås typisk dagligt eller ugentligt, og vi bruger betingede forespørgsler, så uændret indhold ikke hentes igen.
  • Sider, der kræver JavaScript, kan blive vist i en headless browser. Den bruger samme User-Agent.

Hvad indholdet bruges til

Indholdet bruges kun til at besvare spørgsmål i den kundes chatbot, som har valgt websitet. Vi sælger det ikke, deler det ikke med andre kunder og træner ikke AI-modeller på det. Data behandles i EU, jf. vores underdatabehandlere. Forsvinder en side fra dit website, eller spærrer du for den, fjernes den fra chatbottens viden ved næste gennemgang.

Sådan styrer du vores adgang

Vi overholder robots.txt for hver side og hvert dokument. Du kan udelukke os helt:

User-agent: Fabrikken-Crawler
Disallow: /

Eller kun fra dele af sitet, fx /intern/. Regler for "User-agent: *" gælder også os, medmindre du har en gruppe specifikt for Fabrikken-Crawler. Kan robots.txt ikke hentes, behandler vi det, som om der ikke er nogen begrænsninger.

Kontakt

Har du spørgsmål, oplever du belastning fra crawleren, eller vil du give os adgang til materiale bag et sikkerhedstjek, så skriv til kontakt@fabrikken.ai. Vi svarer typisk inden for én arbejdsdag.