ダディ伯爵がGCPで独自ドメインSSL対応ブログを無料で簡単に立ち上げた方法を分かりやすく解説します。
本記事では「hexoでrobots.txtlを自動生成する方法」について記載します。
1.「robots.txt」とは
「robots.txt」とは、検索エンジンのクローラー（ロボット）が自動巡回してきたときに「自動登録許可するもの」と「自動登録許可しないもの」を明示的に伝えるためのファイルです。
「robots.txt」は、コンテンツがあるディレクトリ直下に配置します。
「robots.txt」の構成要素としては「user-agent」「disallow」「allow」「sitemap」の4個があります。 詳しくは「robots.txt の仕様」をご確認ください。
2.Plugin「hexo-generator-robotstxt」をインストール
「sitmap.xml」を自動生成してくれるPlugin「hexo-generator-robotstxt」をインストールします。「HEXOディレクトリ」で実行してください。
npm install hexo-generator-robotstxt --saveコマンドを入力し、Enterキーを押下します。
6秒ぐらいで終わります。npm WARN ～が2行出ますが動作上問題はありません。
「プロンプト（$）」が表示された終了です。
daddy_trevia ~/hexo $ npm install hexo-generator-robotstxt --save
npm WARN optional SKIPPING OPTIONAL DEPENDENCY: fsevents@1.2.7 (node_modules/fsevents):
npm WARN notsup SKIPPING OPTIONAL DEPENDENCY: Unsupported platform for fsevents@1.2.7: wanted {"os":"darwin","arch":"any"} (current: {"os":"linux","arch":"x64"})
+ hexo-generator-robotstxt@0.2.0
added 1 package from 4 contributors and audited 4705 packages in 6.813s
found 3 vulnerabilities (2 low, 1 moderate)
run `npm audit fix` to fix them, or `npm audit` for details
daddy_trevia ~/hexo $3.Plugin「hexo-generator-robotstxt」の設定追加
HEXOディレクトリ/_config.ymlの最終行にPlugin「hexo-generator-robotstxt」の設定を追加します。
ダディ伯爵は、検索エンジンに登録不要なディレクトリが自動登録されないように「robots.txt」用に以下の設定を追加しています。
robotstxt:
useragent: "*"
disallow:
- /about-me/
- /privacy-policy/
- /archives/
- /css/
- /img/
- /js/
allow:
sitemap: /sitemap.xmlなお、開発環境での動作確認、本番環境への適用手順は「hexoの使い方」と同じです。
「hexo server」コマンドで開発環境での動作確認を行い、問題がなければ、「hexo generate」コマンドと「gcloud app deploy」コマンドで本番環境へ適用し動作確認しましょう。
「robots.txt」について理解が出来たら、「SEO対策（atom.xml）をしてみた」へ進みましょう。
