Streng genommen ist diese Art dem Bots mit zu teilen überholt und es sollte etwas sichereres her.
Angenommen man lädt Urlaubsbilder oder Sonstiges hoch und will diese an seine Kumpels weiter geben.
Jetzt kommen aber die Bots und wissen ah haaa, das Verzeichnis mit dem Inhalt steht nicht in der robots.txt also darf ich da rein und sämtlichen Inhalt verfügbar machen für Google, Yahoo usw.
Da sollte es etwas geben wie:
Deny all exept
/img/*
/sites/*

Oder so ähnlich.