1. آموزش دیجیتال مارکتینگ
  2. سئو
  3. اصطلاحات سئو
  4. ربات گوگل چیست؟ نحوه کار crawler robot spider

ربات گوگل چیست؟ نحوه کار crawler robot spider

crawler robot spider چیست؟ نحوه کار جاسوس های گوگل

اولین بار وقتی فهمیدم گوگل چطوری کار میکنه خیلی از دلایل و تکنیک های سئو رو بهتر فهمیدم، تو این ویدیو خیلی راحت میفهمی گوگل چطوری ریز ترین بخش های سایتت رو تشخیص میده، خیلی از تکنیک های کلاه سیاهم که بیخیالشون میشی و میفهمی نمیشه گوگل رو دور زد.

متن ویدئو ربات گوگل چیست؟ نحوه کار crawler robot spider

این که گوگل چه طوری تشخیص می­دهد محتوای یک صفحه و حتی تصاویر آن صفحه کپی هستند یا نه و همچنین می­تواند اطلاعاتی بهمون دهد که فونت و سایزمون مناسب است از نظر اندازه و همچنین می­تواند بهمون بگوید که تو نسخه موبایل منو سایت به خوبی دارد نمایش داده می­شود این اطلاعات توسط ربات­های گوگل یا خزنده­ها جمع­آوری می­شود اگر می­خواهید ببینید چه جوری دارد سایت را بررسی می­کند روی یکی از صفحات سایتت دکمه کنترل یو را بزنید با کدها و متن­هایی روبه­رو می­شوی که مربوط به همین صفحه­ای هست شورتکاد رو زدی حالا یک سئوکار وقتی می­خواد سئو فنی یک صفحه رو بررسی کند تو همین بخش می­اید کارهایی از قبیل سرعت سایت تگ­های مثل تگ:

  • Title
  • Open graph
  • Meta description
  • Canonical
حتما بخون  بحران کرونا در سئو

و طرح­های دیگری را بررسی می­کند این مباحثی است که در ادامه می­خواهیم مفصل در موردش حرف بزنیم.

crawler robot spider چیست؟

وقتی یک کلمه یا عبارت کلیدی رو در موتور جستجوی گوگل سرچ می‌کنیم، مسلماً باید زمان زیادی به بره تا نتایج رو به ما نشون بده؛ چراکه ممکنه کلمه کلیدی ما در میلیون‌ها سایت قرار داشته باشه. اما سرعت نمایش نتایج فقط چند میلی ثانیه‌س! اینجاست که بحث Crawler Robot Spider در موتورهای جستجو به میان میاد.

گوگل هیچ گاه بعد از سرچ کاربر سایت‌ها رو بررسی نمی کنه بلکه موتور جستجوی گوگل از قبل توسط ربات خزنده اسپایدر (عنکبوت) تمام سایت‌ها و مطالبشون رو بررسی، ایندکس و در دیتابیس خودش ذخیره کرده.

بنابراین هر موقع کاربر شروع به جستجو می‌کنه، به جای بررسی مجدد سایت‌ها، به دیتابیس خودش مراجعه می‌کنه و موارد ایندکس شده رو نمایش میده. Spider یا Crawler هر دو نرم افزار یا اسکریپت اتوماتیکی هستند که لینک‌های اینترنتی رو با یک الگوریتم مشخص و هدفمند دنبال می کنن، به سایت‌های مختلف سر می‌زنند و موضوعات و مطالب درون سایت‌ها رو در پایگاه‌های داده گوگل ایندکس و ذخیره می کنن.

Crawler ها در واقع یک نوع رباتن که روزانه به سایت‌های مختلف سر می زنن و عملیات معرفی شده رو انجام میدن. بهینه سازی و سئو سایت به همین جهت مهمه؛ چون لینک سازی و انجام چک لیست سئو باعث میشه ربات‌های خزنده راحت‌تر و سریع‌تر وارد سایت به شن، لینک‌ها رو بررسی کنن و در آخر سایت رو سریع‌تر ایندکس کنن.

حتما بخون  کار دانشجویی اینترنتی ( 3 روش تست شده و 100% موفق در منزل)

در کنار خزنده‌ها، هر چقدر لینک سازی در سایت شما با کیفیت‌تر و بهتر باشد (لینک از سایت‌های دیگر به سایت شما)، بنابراین Spider ها بهتر تغذیه میشن و بیشتر در سایت شما می مونند و صفحه‌های بیشتری از سایت شما رو بازدید می کنن.

البته ایندکس صفحات سایت‌ها توسط ربات خزنده گوگل انتهای کارشون نیست و این ربات‌ها وظیفه دارن که برای به‌روزرسانی لینک‌ها مجدداً به سایت‌ها بروند و لینک‌ها رو بررسی کنن.

نحوه ایندکس سایت‌ها توسط crawler robot spider

crawler robot spider : ربات های خزنده گوگل

متنوع بودن لینک‌ها، سایت‌ها و موضوعات باعث شدن در این ربات‌ها اولویت بندی خاصی برای انجام عملیات ایندکس ایجاد به شه که توسط 4 policy اجرا میشن:

  • Selection policy یا خط مشی انتخاب: که تعیین می کنه چه صفحاتی برای crawl باید دانلود به شن.
  • Re-visit policy یا خط مشی بازدید مجدد: که تعیین می کنه صفحات وب برای دریافت تغییرات چه زمانی باید بررسی به شن.
  • Politeness policy یا خط مشی ادب: که تعیین می کنه سایت‌ها چگونه crawl به شن تا overload نداشته باشن.
  • Parallelization policy یا خط مشی موازی کاری: که تعیین می کنه چگونه distributed crawler ها هماهنگ باشن.

البته ربات‌های خزنده و اسپایدر گوگل فقط از این 4 policy تبعیت نمی کنن بلکه این موارد در صدر قوانینشون هستن.

حتما بخون  تاثیر ریدایرکت 301 در سئو
نوشتهٔ پیشین
بهینه سازی بیش از حد چیست؟ و چطور از over optimization جلوگیری کنیم
نوشتهٔ بعدی
لینک فالو چیست؟ 2 نکته مهم follow link

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد.

این فیلد را پر کنید
این فیلد را پر کنید
لطفاً یک نشانی ایمیل معتبر بنویسید.

عضویت ویژه

با تهیه عضویت ویژه در هر شاخه ای از سئو که نیاز دارید میتونید به ویدئوهای کامل اون دسته بندی دسترسی داشته باشید.

با اضافه شدن آپدیت هم به همه ی مطالب دسترسی خواهید داشت.

برای خرید اینجا کلیک کنید

آخرین آموزش ها

فهرست