robots.txtって何?

ものぐさなので積極的にすることはないのですが、
事情があってVPSのApacheのログを見たところ
"/robots.txt"へのアクセスが多発しているではありませんか。
そんなファイル存在しないのに。
で、そのアクセス元のユーザエージェントを見ると

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

となっています。
もしやボットが巡回しているのか?
ググッたところビンゴのようです。
さらにログを調べたところどうもいろんなボットからアクセスを受けているようです。
第三者からアクセスされるようなサイトではないんですけどね。

で、"robots.txt"はどう書いておけばいいかというと、
ここの[robots.txt ファイルを作成する]に詳細がありますが、
とにかくボットはくるなという設定にするには

User-agent: *
Disallow: /

でいいようです。
ただしちゃんと言うことを聞いてくれるかどうかはボット次第です。