dont need to keep a copy of the dynamic robots.txt

robots.txt

@@ -1,264 +0,0 @@
-user-agent:AwarioRssBot
-disallow:/~bayang/
-
-user-agent:YouBot
-disallow:/~bayang/
-disallow:/~jbd/
-
-user-agent:PerplexityBot
-disallow:/~bayang/
-disallow:/~jbd/
-
-user-agent:ImagesiftBot
-disallow:/~bayang/
-disallow:/~jbd/
-
-user-agent:search.marginalia.nu
-allow:/~xwindows/
-
-user-agent:Dataprovider
-disallow:/~xwindows/
-
-user-agent:ChatGPT-User
-disallow:/~bayang/
-disallow:/~jbd/
-
-user-agent:Barkrowler
-disallow:/~xwindows/
-
-user-agent:peer39_crawler
-disallow:/~bayang/
-
-user-agent:ia_archiver
-allow:/~xwindows/
-
-user-agent:GTPBot
-disallow:/~miccaman/
-
-user-agent:magpie-crawler
-disallow:/~bayang/
-
-user-agent:Qwantify
-allow:/~xwindows/
-
-user-agent:GPTBot
-disallow:/~bayang/
-disallow:/~jbd/
-
-user-agent:ClaudeBot
-disallow:/~bayang/
-disallow:/~jbd/
-
-user-agent:YandexFavicons
-disallow:/~xwindows/
-
-user-agent:peer39_crawler/1.0
-disallow:/~bayang/
-
-user-agent:Linespider
-disallow:/~xwindows/
-
-user-agent:Applebot
-disallow:/~bayang/
-disallow:/~jbd/
-
-user-agent:SearchMySiteBot
-allow:/~xwindows/
-
-user-agent:Duckduckbot
-allow:/~xwindows/
-
-user-agent:AwarioSmartBot
-disallow:/~bayang/
-
-user-agent:PetalBot
-disallow:/~xwindows/
-
-user-agent:Yandex
-disallow:/~gareppa/
-
-user-agent:Twitterbot
-disallow:/~bayang/
-
-user-agent:bingbot
-allow:/~xwindows/$
-allow:/~xwindows/index.html$
-disallow:/~xwindows/
-
-user-agent:FacebookBot
-disallow:/~bayang/
-disallow:/~jbd/
-
-user-agent:SemrushBot
-disallow:/~xwindows/
-
-user-agent:MJ12bot
-disallow:/~xwindows/
-
-user-agent:Amazonbot
-disallow:/~bayang/
-disallow:/~jbd/
-disallow:/~xwindows/
-
-user-agent:Neevabot
-disallow:/~xwindows/
-
-user-agent:Googlebot-image
-disallow:/~harvettfox96/
-
-user-agent:Wibybot
-allow:/~xwindows/
-
-user-agent:DataForSeoBot
-disallow:/~bayang/
-disallow:/~xwindows/
-
-user-agent:Omgili
-disallow:/~jbd/
-
-user-agent:Googlebot
-disallow:/~gareppa/
-allow:/~xwindows/$
-allow:/~xwindows/index.html$
-disallow:/~xwindows/
-
-user-agent:MegaIndex.ru
-disallow:/~xwindows/
-
-user-agent:Bingbot
-disallow:/~gareppa/
-
-user-agent:omgili
-disallow:/~bayang/
-
-user-agent:AdsBot-Google
-disallow:/~bayang/
-
-user-agent:Bytespider
-disallow:/~bayang/
-disallow:/~jbd/
-disallow:/~xwindows/
-
-user-agent:webprosbot
-disallow:/~xwindows/
-
-user-agent:Diffbot
-disallow:/~jbd/
-
-user-agent:dotbot
-disallow:/~xwindows/
-
-user-agent:cohere-ai
-disallow:/~bayang/
-
-user-agent:Google-Extended
-disallow:/~bayang/
-disallow:/~jbd/
-
-user-agent:Omgilibot
-disallow:/~jbd/
-disallow:/~jbd/
-
-user-agent:Claude-Web
-disallow:/~bayang/
-disallow:/~jbd/
-
-user-agent:anthropic-ai
-disallow:/~bayang/
-disallow:/~jbd/
-
-user-agent:MojeekBot
-allow:/~xwindows/
-
-user-agent:BuiltWith
-disallow:/~xwindows/
-
-user-agent:YandexBot
-allow:/~xwindows/$
-allow:/~xwindows/index.html$
-disallow:/~xwindows/
-
-user-agent:CCBot
-disallow:/~bayang/
-disallow:/~xwindows/
-
-user-agent:AhrefsBot
-disallow:/~xwindows/
-
-user-agent:omgilibot
-disallow:/~bayang/
-
-user-agent:*
-disallow:/~alf/
-disallow:/~almaren/log/
-disallow:/~almaren/md/
-disallow:/~andre4ik3/
-disallow:/~ant/
-allow:/~atamblingpoder/
-allow:/~bayang/
-disallow:/~bazz/.github/
-disallow:/~bazz/.phan/
-disallow:/~bazz/assets/
-disallow:/~bazz/backup/
-disallow:/~bazz/bin/
-disallow:/~bazz/cache/
-disallow:/~bazz/logs/
-disallow:/~bazz/system/
-disallow:/~bazz/tests/
-disallow:/~bazz/tmp/
-disallow:/~bazz/user/
-disallow:/~bazz/vendor/
-disallow:/~bazz/webserver-configs/
-allow:/~bazz/user/pages/
-allow:/~bazz/user/themes/
-allow:/~bazz/user/images/
-allow:/~bazz/
-allow:/~bazz*.css$
-allow:/~bazz*.js$
-allow:/~bazz/system/*.js$
-allow:/~cfw/
-allow:/~claytron/
-disallow:/~cosmiceye/
-disallow:/~dbcohn/
-disallow:/~dikiaap/
-disallow:/~dmi3/
-disallow:/~endling/
-disallow:/~fenris/
-disallow:/~fiveoverfour/
-allow:/~fran/
-disallow:/~freespeech/
-disallow:/~gareppa/
-disallow:/~harvettfox96/c/
-disallow:/~hj/
-allow:/~hnp/# from a pending header
-disallow:/~indoneziva/
-allow:/~jamiemichelle/
-disallow:/~jbgoldberg/
-disallow:/~jozi/
-allow:/~jpurnell/
-allow:/~levin/
-allow:/~levin/
-disallow:/~meskin/
-allow:/~mjk/
-disallow:/~mlot/
-allow:/~mrkumar/
-allow:/~mydeardiary/
-allow:/~numbermumbler/
-disallow:/~pb/
-disallow:/~silver/wp-admin/
-allow:/~skk/
-disallow:/~somecarbon/
-allow:/~speleo/
-allow:/~srw/
-disallow:/~surfingreg/
-allow:/~talhah/
-disallow:/~tivrusky/
-disallow:/~turbo/test
-disallow:/~uslesshumans.txt
-allow:/~ve3zsh/
-disallow:/~ve3zsh/api
-allow:/~xwindows/$
-allow:/~xwindows/index.html$
-disallow:/~xwindows/
-disallow:/~zihtt/
-