Alla fine Matteo si e’ arrabbiato e sembra averne tutte le ragioni. Splinder continua a rifiutare a SkipPop di indicizzare i suoi blog e non si degna nemmeno di rispondere ad una gentile mail di richiesta spiegazioni. (lo spider di SkipPop visita i siti su splinder alle 5 del mattino e l’unica motivazione tecnica plausibile per un simile rifiuto, quella di un eccesso di traffico generato, non ha cosi’ alcun senso). Scelte del genere (se di scelte si tratta) sono del tutto incomprensibili.
Novembre 26th, 2003 at 17:52
Ma come mai http://www.splinder.it (e di conseguenza tutti i blog ivi ospitati, che hanno il proprio alias al posto di www) ha un file robots.txt di questo tipo?
User-agent: *
Disallow: /
forse che desiderano non essere indicizzati da alcun tipo di crawler? Mah…
Novembre 27th, 2003 at 04:57
Occhiatina qui :)
Novembre 27th, 2003 at 07:38
Pare che qui ci sia la versione di Splinder:
Splinder
Novembre 29th, 2003 at 06:46
La versione di splinder, a oggi, non sta in piedi.
Robots.txt è rimasto su "disallow" totale per i miei blog.
Grazie per aver sollevato il problema.