ロボットのアクセスを許可するか否か考える AWSの場合、ロボットのアクセスで維持費が大きく変わることもある （とは言え、一般的なロボットは弾くべきではない） 不正アクセス対策に、HTTPヘッダも設定しておく 商用環境で設定しておきたいセキュリティ関連 HTTP ヘッダまとめ - A Memorandum http://etc9.hatenablog.com/entry/2018/01/18/215626 ApacheでPHPを使用する場合の.htaccess - Qiita https://qiita.com/refirio/items/a1d5f2675bb853bba23f