crawlerbase.de / trace Bot-Datenbank
httpbin.org 5 Hops/2347 ms/200 HTTP/2

Übersicht

final URL: https://httpbin.org/get
5
Hops
2347 ms
Total
60
Bots erlaubt
0
Bots blockiert

Redirect-Chain

5 Hops
  1. 00
    302 HTTP/2 https://httpbin.org/redirect/4
    TTFB 462 ms Total 462 ms Size 247 B IP 52.73.30.72 Server gunicorn/19.9.0
    https://httpbin.org/relative-redirect/3
    TLS Issuer C = US, O = Amazon, CN = Amazon RSA 2048 M03 Gültig noch 99 Tage
    Alle Header (7)
    dateSun, 10 May 2026 00:59:24 GMT
    content-typetext/html; charset=utf-8
    content-length247
    servergunicorn/19.9.0
    location/relative-redirect/3
    access-control-allow-origin*
    access-control-allow-credentialstrue
  2. 01
    302 HTTP/2 https://httpbin.org/relative-redirect/3
    TTFB 470 ms Total 470 ms Size 0 B IP 52.73.30.72 Server gunicorn/19.9.0
    https://httpbin.org/relative-redirect/2
    TLS Issuer C = US, O = Amazon, CN = Amazon RSA 2048 M03 Gültig noch 99 Tage
    Alle Header (7)
    dateSun, 10 May 2026 00:59:24 GMT
    content-typetext/html; charset=utf-8
    content-length0
    servergunicorn/19.9.0
    location/relative-redirect/2
    access-control-allow-origin*
    access-control-allow-credentialstrue
  3. 02
    302 HTTP/2 https://httpbin.org/relative-redirect/2
    TTFB 472 ms Total 472 ms Size 0 B IP 34.197.4.100 Server gunicorn/19.9.0
    https://httpbin.org/relative-redirect/1
    TLS Issuer C = US, O = Amazon, CN = Amazon RSA 2048 M03 Gültig noch 99 Tage
    Alle Header (7)
    dateSun, 10 May 2026 00:59:25 GMT
    content-typetext/html; charset=utf-8
    content-length0
    servergunicorn/19.9.0
    location/relative-redirect/1
    access-control-allow-origin*
    access-control-allow-credentialstrue
  4. 03
    302 HTTP/2 https://httpbin.org/relative-redirect/1
    TTFB 471 ms Total 471 ms Size 0 B IP 44.199.179.5 Server gunicorn/19.9.0
    https://httpbin.org/get
    TLS Issuer C = US, O = Amazon, CN = Amazon RSA 2048 M03 Gültig noch 99 Tage
    Alle Header (7)
    dateSun, 10 May 2026 00:59:25 GMT
    content-typetext/html; charset=utf-8
    content-length0
    servergunicorn/19.9.0
    location/get
    access-control-allow-origin*
    access-control-allow-credentialstrue
  5. 04
    200 HTTP/2 https://httpbin.org/get
    TTFB 472 ms Total 472 ms Size 445 B IP 107.23.218.37 Server gunicorn/19.9.0
    TLS Issuer C = US, O = Amazon, CN = Amazon RSA 2048 M03 Gültig noch 99 Tage
    Alle Header (6)
    dateSun, 10 May 2026 00:59:26 GMT
    content-typeapplication/json
    content-length445
    servergunicorn/19.9.0
    access-control-allow-origin*
    access-control-allow-credentialstrue

robots.txt / httpbin.org

vorhanden 1 Gruppe 0 Sitemaps
robots.txt Quelltext (30 B)
httpbin.org/robots.txt
User-agent: * Disallow: /deny

Bot-Matrix

Pfad /get 60 erlaubt 0 blockiert
Suchmaschinen (13)
BotUA-TokenmatchedRegelVerdict
Googlebot
Google
Googlebot * implizit erlaubt
Googlebot-Image
Google
Googlebot-Image * implizit erlaubt
Googlebot-News
Google
Googlebot-News * implizit erlaubt
AdsBot-Google
Google
AdsBot-Google * implizit erlaubt
Mediapartners-Google
Google
Mediapartners-Google * implizit erlaubt
Bingbot
Microsoft
bingbot * implizit erlaubt
DuckDuckBot
DuckDuckGo
DuckDuckBot * implizit erlaubt
YandexBot
Yandex
YandexBot * implizit erlaubt
Baiduspider
Baidu
Baiduspider * implizit erlaubt
Applebot
Apple
Applebot * implizit erlaubt
Sogou web spider
Sogou
Sogou web spider * implizit erlaubt
Yeti (Naver)
Naver
Yeti * implizit erlaubt
SeznamBot
Seznam.cz
SeznamBot * implizit erlaubt
AI / LLM (17)
BotUA-TokenmatchedRegelVerdict
Google-Extended
Google
Google-Extended * implizit erlaubt
Applebot-Extended
Apple
Applebot-Extended * implizit erlaubt
GPTBot
OpenAI
GPTBot * implizit erlaubt
ChatGPT-User
OpenAI
ChatGPT-User * implizit erlaubt
OAI-SearchBot
OpenAI
OAI-SearchBot * implizit erlaubt
ClaudeBot
Anthropic
ClaudeBot * implizit erlaubt
Claude-User
Anthropic
Claude-User * implizit erlaubt
Claude-SearchBot
Anthropic
Claude-SearchBot * implizit erlaubt
PerplexityBot
Perplexity
PerplexityBot * implizit erlaubt
Perplexity-User
Perplexity
Perplexity-User * implizit erlaubt
CCBot
Common Crawl
CCBot * implizit erlaubt
Bytespider
ByteDance
Bytespider * implizit erlaubt
meta-externalagent
Meta
meta-externalagent * implizit erlaubt
Amazonbot
Amazon
Amazonbot * implizit erlaubt
cohere-ai
Cohere
cohere-ai * implizit erlaubt
Diffbot
Diffbot
Diffbot * implizit erlaubt
MistralAI-User
Mistral
MistralAI-User * implizit erlaubt
SEO-Tools (10)
BotUA-TokenmatchedRegelVerdict
AhrefsBot
Ahrefs
AhrefsBot * implizit erlaubt
AhrefsSiteAudit
Ahrefs
AhrefsSiteAudit * implizit erlaubt
SemrushBot
Semrush
SemrushBot * implizit erlaubt
MJ12bot (Majestic)
Majestic
MJ12bot * implizit erlaubt
DotBot (Moz)
Moz
DotBot * implizit erlaubt
rogerbot (Moz)
Moz
rogerbot * implizit erlaubt
BLEXBot (WebMeUp)
WebMeUp
BLEXBot * implizit erlaubt
DataForSeoBot
DataForSEO
DataForSeoBot * implizit erlaubt
Screaming Frog SEO Spider
Screaming Frog
Screaming Frog SEO Spider * implizit erlaubt
Sitebulb
Sitebulb
Sitebulb * implizit erlaubt
Social / Messenger (11)
BotUA-TokenmatchedRegelVerdict
facebookexternalhit
Meta
facebookexternalhit * implizit erlaubt
meta-externalfetcher
Meta
meta-externalfetcher * implizit erlaubt
Twitterbot
X (Twitter)
Twitterbot * implizit erlaubt
LinkedInBot
LinkedIn
LinkedInBot * implizit erlaubt
Slackbot-LinkExpanding
Slack
Slackbot-LinkExpanding * implizit erlaubt
Discordbot
Discord
Discordbot * implizit erlaubt
TelegramBot
Telegram
TelegramBot * implizit erlaubt
WhatsApp
Meta
WhatsApp * implizit erlaubt
Pinterestbot
Pinterest
Pinterestbot * implizit erlaubt
Reddit Bot
Reddit
Reddit * implizit erlaubt
TikTokSpider
ByteDance
TikTokSpider * implizit erlaubt
Archive (1)
BotUA-TokenmatchedRegelVerdict
archive.org_bot
Internet Archive
archive.org_bot * implizit erlaubt
Monitoring (3)
BotUA-TokenmatchedRegelVerdict
UptimeRobot
UptimeRobot
UptimeRobot * implizit erlaubt
Pingdom
SolarWinds
Pingdom * implizit erlaubt
StatusCake
StatusCake
StatusCake * implizit erlaubt
Security-Scanner (5)
BotUA-TokenmatchedRegelVerdict
CensysInspect
Censys
CensysInspect * implizit erlaubt
Shodan
Shodan
Shodan * implizit erlaubt
Palo Alto Expanse
Palo Alto
expanse * implizit erlaubt
l9scan / leakix
LeakIX
l9scan * implizit erlaubt
NetcraftSurveyAgent
Netcraft
NetcraftSurveyAgent * implizit erlaubt

Mehr Details, Verifikations-Hinweise und ein robots.txt-Generator in der Bot-Datenbank.