اولین بار وقتی فهمیدم گوگل چطوری کار میکنه خیلی از دلایل و تکنیک های سئو رو بهتر فهمیدم، تو این ویدیو خیلی راحت میفهمی گوگل چطوری ریز ترین بخش های سایتت رو تشخیص میده، خیلی از تکنیک های کلاه سیاهم که بیخیالشون میشی و میفهمی نمیشه گوگل رو دور زد.
فهرست این صفحه
متن ویدئو ربات گوگل چیست؟ نحوه کار crawler robot spider
این که گوگل چه طوری تشخیص میدهد محتوای یک صفحه و حتی تصاویر آن صفحه کپی هستند یا نه و همچنین میتواند اطلاعاتی بهمون دهد که فونت و سایزمون مناسب است از نظر اندازه و همچنین میتواند بهمون بگوید که تو نسخه موبایل منو سایت به خوبی دارد نمایش داده میشود این اطلاعات توسط رباتهای گوگل یا خزندهها جمعآوری میشود اگر میخواهید ببینید چه جوری دارد سایت را بررسی میکند روی یکی از صفحات سایتت دکمه کنترل یو را بزنید با کدها و متنهایی روبهرو میشوی که مربوط به همین صفحهای هست شورتکاد رو زدی حالا یک سئوکار وقتی میخواد سئو فنی یک صفحه رو بررسی کند تو همین بخش میاید کارهایی از قبیل سرعت سایت تگهای مثل تگ:
- Title
- Open graph
- Meta description
- Canonical
و طرحهای دیگری را بررسی میکند این مباحثی است که در ادامه میخواهیم مفصل در موردش حرف بزنیم.
crawler robot spider چیست؟
وقتی یک کلمه یا عبارت کلیدی رو در موتور جستجوی گوگل سرچ می‌کنیم، مسلماً باید زمان زیادی به بره تا نتایج رو به ما نشون بده؛ چراکه ممکنه کلمه کلیدی ما در میلیون‌ها سایت قرار داشته باشه. اما سرعت نمایش نتایج فقط چند میلی ثانیه‌س! اینجاست که بحث Crawler Robot Spider در موتورهای جستجو به میان میاد.
گوگل هیچ گاه بعد از سرچ کاربر سایت‌ها رو بررسی نمی کنه بلکه موتور جستجوی گوگل از قبل توسط ربات خزنده اسپایدر (عنکبوت) تمام سایت‌ها و مطالبشون رو بررسی، ایندکس و در دیتابیس خودش ذخیره کرده.
بنابراین هر موقع کاربر شروع به جستجو میکنه، به جای بررسی مجدد سایت‌ها، به دیتابیس خودش مراجعه میکنه و موارد ایندکس شده رو نمایش میده. Spider یا Crawler هر دو نرم افزار یا اسکریپت اتوماتیکی هستند که لینک‌های اینترنتی رو با یک الگوریتم مشخص و هدفمند دنبال می کنن، به سایت‌های مختلف سر می‌زنند و موضوعات و مطالب درون سایت‌ها رو در پایگاه‌های داده گوگل ایندکس و ذخیره می کنن.
Crawler ها در واقع یک نوع رباتن که روزانه به سایت‌های مختلف سر می زنن و عملیات معرفی شده رو انجام میدن. بهینه سازی و سئو سایت به همین جهت مهمه؛ چون لینک سازی و انجام چک لیست سئو باعث میشه رباتهای خزنده راحت‌تر و سریع‌تر وارد سایت به شن، لینک‌ها رو بررسی کنن و در آخر سایت رو سریع‌تر ایندکس کنن.
در کنار خزندهها، هر چقدر لینک سازی در سایت شما با کیفیت‌تر و بهتر باشد (لینک از سایت‌های دیگر به سایت شما)، بنابراین Spider ها بهتر تغذیه میشن و بیشتر در سایت شما می مونند و صفحه‌های بیشتری از سایت شما رو بازدید می کنن.
البته ایندکس صفحات سایت‌ها توسط ربات خزنده گوگل انتهای کارشون نیست و این ربات‌ها وظیفه دارن که برای به‌روزرسانی لینک‌ها مجدداً به سایت‌ها بروند و لینک‌ها رو بررسی کنن.
نحوه ایندکس سایت‌ها توسط crawler robot spider
متنوع بودن لینک‌ها، سایت‌ها و موضوعات باعث شدن در این ربات‌ها اولویت بندی خاصی برای انجام عملیات ایندکس ایجاد به شه که توسط 4 policy اجرا میشن:
- Selection policy یا خط مشی انتخاب: که تعیین می کنه چه صفحاتی برای crawl باید دانلود به شن.
- Re-visit policy یا خط مشی بازدید مجدد: که تعیین می کنه صفحات وب برای دریافت تغییرات چه زمانی باید بررسی به شن.
- Politeness policy یا خط مشی ادب: که تعیین می کنه سایت‌ها چگونه crawl به شن تا overload نداشته باشن.
- Parallelization policy یا خط مشی موازی کاری: که تعیین می کنه چگونه distributed crawler ها هماهنگ باشن.
البته رباتهای خزنده و اسپایدر گوگل فقط از این 4 policy تبعیت نمی کنن بلکه این موارد در صدر قوانینشون هستن.
