extra/robots/robots.txt

   1
   2
   3 # robots.txt
   4
   5 Sitemap: http://www.chiplist.com/sitemap.txt
   6
   7 User-Agent: *
   8
   9 Disallow: /cgi-bin/
  10 Disallow: /scripts/
  11 Disallow: /ChipList2/scripts/
  12 #Disallow: /styles/
  13 Disallow: /ChipList2/styles/
  14
  15 Disallow: /ads/
  16 Disallow: /ChipList2/ads/
  17 Disallow: /advertisements/
  18 Disallow: /ChipList2/advertisements/
  19
  20 Disallow: /graphics/
  21 Disallow: /ChipList2/graphics/
  22
  23 #Disallow: /ChipList1/
  24
  25
  26 # robots.txt for http://www.wikipedia.org/ and friends
  27 #
  28 # Please note: There are a lot of pages on this site, and there are
  29 # some misbehaved spiders out there that go _way_ too fast. If you're
  30 # irresponsible, your access to the site may be blocked.
  31
  32 # Inktomi's "Slurp" can read a minimum delay between hits; if your
  33 # bot supports such a thing using the 'Crawl-delay' or another
  34 # instruction, please let us know.
  35
  36 # *at least* 1 second please. preferably more :D
  37 #User-agent: *
  38 Crawl-delay: 1
  39 Request-rate: 1/1
  40 Visit-time: 0200-0500
  41
  42 # Crawlers that are kind enough to obey, but which we'd rather not have
  43 # unless they're feeding search engines.
  44 User-agent: UbiCrawler
  45 Disallow: /
  46
  47 User-agent: DOC
  48 Disallow: /
  49
  50 User-agent: Zao
  51 Disallow: /
  52
  53 # Some bots are known to be trouble, particularly those designed to copy
  54 # entire sites. Please obey robots.txt.
  55 User-agent: sitecheck.internetseer.com
  56 Disallow: /
  57
  58 User-agent: Zealbot
  59 Disallow: /
  60
  61 User-agent: MSIECrawler
  62 Disallow: /
  63
  64 User-agent: SiteSnagger
  65 Disallow: /
  66
  67 User-agent: WebStripper
  68 Disallow: /
  69
  70 User-agent: WebCopier
  71 Disallow: /
  72
  73 User-agent: Fetch
  74 Disallow: /
  75
  76 User-agent: Offline Explorer
  77 Disallow: /
  78
  79 User-agent: Teleport
  80 Disallow: /
  81
  82 User-agent: TeleportPro
  83 Disallow: /
  84
  85 User-agent: WebZIP
  86 Disallow: /
  87
  88 User-agent: linko
  89 Disallow: /
  90
  91 User-agent: HTTrack
  92 Disallow: /
  93
  94 User-agent: Microsoft.URL.Control
  95 Disallow: /
  96
  97 User-agent: Xenu
  98 Disallow: /
  99
 100 User-agent: larbin
 101 Disallow: /
 102
 103 User-agent: libwww
 104 Disallow: /
 105
 106 User-agent: ZyBORG
 107 Disallow: /
 108
 109 User-agent: Download Ninja
 110 Disallow: /
 111
 112 #
 113 # Sorry, wget in its recursive mode is a frequent problem.
 114 # Please read the man page and use it properly; there is a
 115 # --wait option you can use to set the delay between hits,
 116 # for instance.
 117 #
 118 User-agent: wget
 119 Disallow: /
 120
 121 #
 122 # The 'grub' distributed client has been *very* poorly behaved.
 123 #
 124 User-agent: grub-client
 125 Disallow: /
 126
 127 #
 128 # Doesn't follow robots.txt anyway, but...
 129 #
 130 User-agent: k2spider
 131 Disallow: /
 132
 133 #
 134 # Hits many times per second, not acceptable
 135 # http://www.nameprotect.com/botinfo.html
 136 User-agent: NPBot
 137 Disallow: /
 138
 139 # A capture bot, downloads gazillions of pages with no public benefit
 140 # http://www.webreaper.net/
 141 User-agent: WebReaper
 142 Disallow: /
 143
 144
 145 # Provided courtesy of http://browsers.garykeith.com.
 146 # Created on February 13, 2008 at 7:39:00 PM GMT.
 147 #
 148 # Place this file in the root public folder of your website.
 149 # It will stop the following bots from indexing your website.
 150 #
 151 User-agent: abot
 152 User-agent: ALeadSoftbot
 153 User-agent: BeijingCrawler
 154 User-agent: BilgiBot
 155 User-agent: bot
 156 User-agent: botlist
 157 User-agent: BOTW Spider
 158 User-agent: bumblebee
 159 User-agent: Bumblebee
 160 User-agent: BuzzRankingBot
 161 User-agent: Charlotte
 162 User-agent: Clushbot
 163 User-agent: Crawler
 164 User-agent: CydralSpider
 165 User-agent: DataFountains
 166 User-agent: DiamondBot
 167 User-agent: Dulance bot
 168 User-agent: DYNAMIC
 169 User-agent: EARTHCOM.info
 170 User-agent: EDI
 171 User-agent: envolk
 172 User-agent: Exabot
 173 User-agent: Exabot-Images
 174 User-agent: Exabot-Test
 175 User-agent: exactseek-pagereaper
 176 User-agent: Exalead NG
 177 User-agent: FANGCrawl
 178 User-agent: Feed::Find
 179 User-agent: flatlandbot
 180 User-agent: Gigabot
 181 User-agent: GigabotSiteSearch
 182 User-agent: GurujiBot
 183 User-agent: Hatena Antenna
 184 User-agent: Hatena Bookmark
 185 User-agent: Hatena RSS
 186 User-agent: HatenaScreenshot
 187 User-agent: Helix
 188 User-agent: HiddenMarket
 189 User-agent: HyperEstraier
 190 User-agent: iaskspider
 191 User-agent: IIITBOT
 192 User-agent: InfociousBot
 193 User-agent: iVia
 194 User-agent: iVia Page Fetcher
 195 User-agent: Jetbot
 196 User-agent: Kolinka Forum Search
 197 User-agent: KRetrieve
 198 User-agent: LetsCrawl.com
 199 User-agent: Lincoln State Web Browser
 200 User-agent: Links4US-Crawler
 201 User-agent: LOOQ
 202 User-agent: Lsearch/sondeur
 203 User-agent: MapoftheInternet.com
 204 User-agent: NationalDirectory
 205 User-agent: NetCarta_WebMapper
 206 User-agent: NewsGator
 207 User-agent: NextGenSearchBot
 208 User-agent: ng
 209 User-agent: nicebot
 210 User-agent: NP
 211 User-agent: NPBot
 212 User-agent: Nudelsalat
 213 User-agent: Nutch
 214 User-agent: OmniExplorer_Bot
 215 User-agent: OpenIntelligenceData
 216 User-agent: Oracle Enterprise Search
 217 User-agent: Pajaczek
 218 User-agent: panscient.com
 219 User-agent: PeerFactor 404 crawler
 220 User-agent: PeerFactor Crawler
 221 User-agent: PlantyNet
 222 User-agent: PlantyNet_WebRobot
 223 User-agent: plinki
 224 User-agent: PMAFind
 225 User-agent: Pogodak!
 226 User-agent: QuickFinder Crawler
 227 User-agent: Radiation Retriever
 228 User-agent: Reaper
 229 User-agent: RedCarpet
 230 User-agent: ScorpionBot
 231 User-agent: Scrubby
 232 User-agent: Scumbot
 233 User-agent: searchbot
 234 User-agent: Seeker.lookseek.com
 235 User-agent: SeznamBot
 236 User-agent: ShowXML
 237 User-agent: snap.com
 238 User-agent: snap.com beta crawler
 239 User-agent: Snapbot
 240 User-agent: SnapPreviewBot
 241 User-agent: sohu
 242 User-agent: SpankBot
 243 User-agent: Speedy Spider
 244 User-agent: Speedy_Spider
 245 User-agent: SpeedySpider
 246 User-agent: spider
 247 User-agent: SquigglebotBot
 248 User-agent: SurveyBot
 249 User-agent: SynapticSearch
 250 User-agent: T-H-U-N-D-E-R-S-T-O-N-E
 251 User-agent: Talkro Web-Shot
 252 User-agent: Tarantula
 253 User-agent: TerrawizBot
 254 User-agent: TheInformant
 255 User-agent: TMCrawler
 256 User-agent: TridentSpider
 257 User-agent: Tutorial Crawler
 258 User-agent: Twiceler
 259 User-agent: unwrapbot
 260 User-agent: URI::Fetch
 261 User-agent: VengaBot
 262 User-agent: Vonna.com b o t
 263 User-agent: Vortex
 264 User-agent: Votay bot
 265 User-agent: WebAlta Crawler
 266 User-agent: Webbot
 267 User-agent: Webclipping.com
 268 User-agent: WebCorp
 269 User-agent: Webinator
 270 User-agent: WIRE
 271 User-agent: WISEbot
 272 User-agent: Xerka WebBot
 273 User-agent: XSpider
 274 User-agent: YodaoBot
 275 User-agent: Yoono
 276 User-agent: yoono
 277 Disallow: /
 278
 279