Comments on: Wikileaks - MLXXXIV http://trilema.com/2011/wikileaks-mlxxxiv/ Moving targets for a fast crowd. Mon, 25 May 2026 19:45:51 +0000 http://polimedia.us hourly 1 By: Mircea Popescu http://trilema.com/2011/wikileaks-mlxxxiv/#comment-60896 Mircea Popescu Sun, 04 Sep 2011 23:19:13 +0000 http://trilema.com/?p=24431#comment-60896 Deci. Scopul robots.txt e ca sa precizeze ce <em>nu doresti</em> indexat. Ala e scopul. Sigur, exista htaccess pentru a stabili ce nu doresti livrat deloc, si cui doresti/nu doresti sa livrezi. Dar aia e altceva. robots.txt exista strict pentru a interzice indexarea. Declaratia pozitiva se face in sitemap. Deci. Scopul robots.txt e ca sa precizeze ce nu doresti indexat. Ala e scopul. Sigur, exista htaccess pentru a stabili ce nu doresti livrat deloc, si cui doresti/nu doresti sa livrezi. Dar aia e altceva. robots.txt exista strict pentru a interzice indexarea. Declaratia pozitiva se face in sitemap.

]]> By: Juice http://trilema.com/2011/wikileaks-mlxxxiv/#comment-60893 Juice Sun, 04 Sep 2011 23:02:36 +0000 http://trilema.com/?p=24431#comment-60893 Posibil ca sa excluzi gen /admin/ si etc. Plus ca allow ar ajuta sa-i spuna imediat unde sa caute. daca e un directoriu de imagini, numai bun sa trimita direct la folderele cu imagini pentru indexare rapida. in fine. Posibil ca sa excluzi gen /admin/ si etc.

Plus ca allow ar ajuta sa-i spuna imediat unde sa caute. daca e un directoriu de imagini, numai bun sa trimita direct la folderele cu imagini pentru indexare rapida.

in fine.

]]> By: Mircea Popescu http://trilema.com/2011/wikileaks-mlxxxiv/#comment-60892 Mircea Popescu Sun, 04 Sep 2011 22:54:39 +0000 http://trilema.com/?p=24431#comment-60892 Nu vad de ce-ar face cineva un robots.txt care sa contina altceva decit disallow x disallow y etc. Nu vad de ce-ar face cineva un robots.txt care sa contina altceva decit disallow x disallow y etc.

]]> By: Juice http://trilema.com/2011/wikileaks-mlxxxiv/#comment-60890 Juice Sun, 04 Sep 2011 22:50:25 +0000 http://trilema.com/?p=24431#comment-60890 jewu might be intehrested in http://blog.semetrical.com/googles-secret-approach-to-robots-txt/ jewu might be intehrested in http://blog.semetrical.com/googles-secret-approach-to-robots-txt/

]]> By: Mircea Popescu http://trilema.com/2011/wikileaks-mlxxxiv/#comment-60889 Mircea Popescu Sun, 04 Sep 2011 22:14:45 +0000 http://trilema.com/?p=24431#comment-60889 Asteptam cu contrafactura pregatita, pai ce-i aici, b2b sau ne-b2b ?! Asteptam cu contrafactura pregatita, pai ce-i aici, b2b sau ne-b2b ?!

]]>