Vercelデプロイを検索結果に乗せるまで - robots.tsの実装 -
techはじめに
今回は「Vercelデプロイを検索結果に乗せるまで」の第3回目です。
この記事では、Next.jsプロジェクトにおけるrobots.tsの作り方について解説します。
robots.tsとは
検索エンジンのクローラーに対して、サイト内のページに対するクロールの許可を明示するテキストファイルです。
Next.jsの場合、app/robots.tsから自動でapp/robots.txtを生成します。
robots.tsのテンプレート
import { MetadataRoute } from "next";
export default function robots(): MetadataRoute.Robots {
return {
rules: {
userAgent: "*", // userAgentの名称
allow: "/", // 許可するページのURL
disallow: "/private/", // 許可しないページのURL
},
sitemap: `${process.env.NEXT_PUBLIC_SITE_URL}/sitemap.xml`,
};
}
特定のユーザーエージェントに対して指定したい場合
以下のように指定可能です。
{
userAgent: "<user-agent-name>",
allow: "<allow-page-url>",
disallow:"<disallow-page-url>"
}
注意点 robots.txtはあくまで紳士協定！
robots.txt自体は検索エンジンのための道案内です。
悪意あるクローラー・Botに対する防護壁ではありません。
もし必要であれば、より強固な対策を講じる必要があります。
おわりに
さて、次回はmetadataの実装を行います！
ヾ('ω'⊂ )))Σ≡ｻﾗﾊﾞ!!