A chi di voi sta imparando a fare siti web (Dio sto pensando a te ;) ) credo sia bene imparare questo nuovo approccio, se avete presente cos'è un robot.txt, credo che questo ne sia l'alter ego, se non sapete cos'è un robot.txt andate oltre.
Official Google Blog: Search engines united

Clicca qui per andare subito al sodo