گوگل دارای الگوریتم های بسیار پیچیده ای جهت تشخیص مقدار Crawlingیا خزیدن یک وب سایت از طریق روبات های خود میباشد و همواره این الگوریتم در جهت ایندکس کردن کلیه صفحات وب سایت شما در هر بازدید مورد استفاده قرار می گیرد و به گونه ای بهینه سازی شده است که معمولا مصرف پهنای باند زیادی را برای شما به همراه ندارد.
اما با این حال در برخی از مواقع که روبات های گوگل با ایندکس بیش از حد صفحات وب سایت باعث مصرف زیاد پهنای باند برای سرویس شما می گردند، میتوانید از امکانی با نام "crawl rate " یا نرخ خزیدن که مدت زمان مراجعه روبات های گوگل جهت خزیدن وب سایت شما را مشخص مینماید ، استفاده نمایید و این مقدار را بهینه سازی کنید.
جهت این منظور ابتدا باید وب سایت خود را به Google Webmasters Support, Tools اضافه نمایید(میتوانید از لینک زیر جهت آشنایی با نحوه اضافه کردن وب سایت خود به Google Webmaster Tools استفاده نمایید)
http://support.iranhost.com/KB/a561/google-webmaster-tools.aspx
پس از طی مرحله بالا در صفحه اصلی Webmaster Tools سایت مورد نظر خود را انتخاب نمایید و در منوی "Configuration " بر روی Settings کلیک نمایید.
سپس Crawl rate را بر روی گزینه "limit google's maximum crawl rate" قرار داده و rate مورد نظر را بر روی مقداری نزدیک به low قرار دهید و تغییرات را ذخیره نمایید.
در ورود به سیستم مشکل دارید؟ برای بازیابی رمز عبور خود، فقط آدرس ایمیل یا نام کاربری خود را وارد کنید.
برای تحویل سریعتر و قابل اعتمادتر، example@example.com را به فهرست فرستندههای قابل اعتماد خود در نرمافزار ایمیل خود اضافه کنید.