クラウドフレアを使っていて、cdn-cgiをクロールできないといわれた時

無料で使えるCDN（コンテンツデリバリー・ネットワーク）のCloudFlare（クラウドフレア）を愛用しています。

Googleのサーチコンソール（旧ウェブマスターツール）で存在しないはずの/cdn-cgi/へアクセスできないよと怒られました。対処法は、robots.txtを編集するだけです。

cdn-cgi

クラウドフレアの動作に必要なディレクトリですが、ユーザーのサイト内に存在しません。robots.txtに設定していなくても、サーチコンソールでエラーがでるので、クラウドフレア内にも存在しないの、かもしれません。

クラウドフレアの公式サイト上に、簡単な対処法が載っていました。

Just a moment...

support.cloudflare.com

Disallow: /cdn-cgi/

クローラーを制御するrobots.txtに上記の一行を付け加えるだけです。

やらなくても問題ない

クローラーがアクセスできなくても問題ないはずですが、not foundが増えるのは精神衛生上よくありません。

WordPressの場合

WordPressを使っていてサーバーへのアクセス権限がないなどの理由でrobots.txtが編集できない場合、テーマを編集して乗り切るという方法が同じ公式ページに載っていました。

Functions.php内に

function do_robots() {
header( ‘Content-Type: text/plain; charset=utf-8’ );

do_action( ‘do_robotstxt’ );

$output = “User-agent: *\n”;
$public = get_option( ‘blog_public’ );
if ( ‘0’ == $public ) {
$output .= “Disallow: /\n”;
} else {
$site_url = parse_url( site_url() );
$path = ( !empty( $site_url[‘path’] ) ) ? $site_url[‘path’] : ”;
$output .= “Disallow: $path/wp-admin/\n”;
$output .= “Disallow: $path/wp-includes/\n”;
$output .= “Disallow: $path/cdn-cgi/\n”;
}

を書き込めばよいようです。

wp-adminやwp-includesはcdn-cgiとは関係ないですが、クロールされても良いことはないので、robots.txtかここで設定しておきましょう。