ایندکس شدن توسط موتور های جستجو از جمله گوگل، اولین مرحله برای ورود به دنیای سئو است که بخصوص در دوره بعد از همه گیری کرونا و افزایش تعداد وبسایت ها، به فعالیتی مهم و بعضا سخت گیرانه توسط گوگل تبدیل شده است. در این مقاله به تشریح چیستی ایندکس توسط گوگل یا سایر موتور های جستجو می پردازیم و تمامی دلایلی که باعث عدم ایندکس و بهبود وضعیت ایندکسینگ (نمایه سازی-فهرست بندی) صفحات وبسایت شما می شوند را بررسی خواهیم کرد.
ایندکس چیست؟
در مفاهیم سئو به مراحلی که کرولر های گوگل (ربات های خزنده) طی می کنند و شامل Discover، Indexing و Ranking است، اشاره کردیم. وظیفه ربات های خزنده گوگل، سر زدن به وبسایت های سطح اینترنت و فهرست بندی مطالب آن ها شامل HTML، CSS، تصاویر و … است.
یک موتور جستجو برای نشان دادن محتوا به مخاطب، نیاز دارد مخزنی از داده ها از قبل داشته باشد و ایندکس کردن صفحات وبسایت ها برطرف کننده این نیاز است. این موضوع که برخی از صفحات یک وبسایت ایندکس نمی شدند در گذشته آنچنان بحرانی نبود و با رعایت نکاتی مانند سئو داخلی، معرفی به سرچ کنسول، سایت مپ و … می توانستیم وضعیت ایندکس سایت را بهبود ببخشیم اما بخصوص در یک سال اخیر وضعیت ایندکس گوگل بشدت متفاوت شد.
این وضعیت ایندکس نشدن صفحات بخصوص برای وبسایت های تازه کار به معضلی بزرگ تبدیل شده است و به همین دلیل تصمیم داشتیم در این مقاله علاوه بر تشریح مفهوم ایندکس گوگل، به برخی راهکار های تست شده برای افزایش سرعت ایندکس سایت اشاره کنیم.
ایندکس صفحات در گوگل
عقیده ای که متاسفانه به دلیل تازه بودن مفهوم سئو در ایران وجود دارد این است که به محض ایجاد یک وبسایت هنگامی که جستجویی انجام می شود باید آن وبسایت در رتبه های بالا دیده شود اما همین که یک وبسایت در مخزن دیتای گوگل قرار بگیرد؛ هم اکنون دارای اما و اگر های مختلفی است.
چرا ایندکس شدن وبسایت توسط گوگل مهم است؟
برای شروع فرایند سئو و دیده شدن توسط میلیون ها کاربر آنلاین، وبسایت ها ناگزیر باید توسط ربات های گوگل دیده و در صورت مناسب بودن ایندکس شوند و تازه فرایند سئو آغاز می شود.
در اینجا هم بد نیست نگاهی به آمار موتور های جستجو بخصوص گوگل بیاندازیم تا اهمیت ایندکس شدن را بیشتر متوجه شویم:
ایندکس شدن سایت توسط گوگل اولین و مهم ترین قدم برای افزایش ترافیک ارگانیک روی سایت، درآمد و شناخته شدن برند شما در کمپین های دیجیتال مارکتینگ است.
ایندکس گوگل چگونه کار می کند؟
بطور کلی نتایجی که صفحه SERP گوگل مشاهده می کنیم از 3 مرحله گذشته اند:
خزیدن (Crawling) یا Discover
اولین نقطه تماسی که گوگل با هر وبسایت دارد، زمانی است که کرولر یا خزنده گوگل، صفحات را به روش های مختلف می بیند و محتوای آن را مورد بررسی قرار می دهد. (معرفی دستی به گوگل، نقشه سایت، بک لینک از سایت های دیگر و …)
نمای سازی یا Indexing
هنگامی که صفحات مختلف سایت توسط گوگل دیده می شوند، مرحله اصلی یعنی ایندکس شدن آغاز می گردد. برنامه نویس بصورت دستی می تواند از ایندکس شدن صفحاتی از سایت جلوگیری کند و یا خود کرولر اقدام به اکسکلود (کنار گذاشتن) صفحاتی از سایت بکند. در زیر برخی از عواملی که باعث می شود گوگل سایتی را ایندکس نکند؛ آورده شده است:
استفاده از تگ Noindex
استفاده از تگ HTML نوایندکس روی هدر صفحات سایت، از کرولر درخواست می کند تا آن صفحات را ایندکس نکند. اگر وبسایت وردپرسی دارید و از افزونه های سئو مانند رنک مث یا یوست استفاده می کنید، به راحتی می تواند متا ربات noindex را روی یک صفحه یا تمامی صفحات اعمال کنید.
نوایندکس کردن کل سایت وردپرسی
در پیشخوان وردپرس مسیر زیر را طی کنید:
تنظیمات -> خواندن-> نمایش به موتورهای جستجو-> از موتورهای جستجو درخواست کن تا محتوای سایت را بررسی نکنند.
با زدن تیک این گزینه، متا ربات نوایندکس روی سایت فعال می شود.
در ابتدای شروع فعالیت هر وبسایت و تا زمان تکمیل شدن محتوای اولیه، معمولا طراحان سایت از این تگ برای جلوگیری از ایندکس شدن صفحات اضافی و بدون محتوا جلوگیری می کنند.
نوایندکس کردن یک صفحه
در افزونه Rank math پس از ورود به پنل، وارد صفحه مورد نظر شوید و از طریق نوار بالای صفحه، گزینه Rank Math SEO، سپس علامت گذاری این صفحه و سپس به عنوان NoIndex را انتخاب کنید و تگ نوایندکس روی صفحه مورد نظر اعمال می شود.
محتوا
در این نقطه، تصمیم گیرنده نهایی کرولر گوگل است که تشخیص دهد این محتوا ارزشی برای کاربر دارد یا خیر. الگوریتم های گوگل مانند گوگل پاندا نیز در این مرحله وارد عمل می شوند و با محتوای کپی و بی ارزش مقابله می کنند.
مشکلات اخیر وبمستران بخصوص در وبسایت های تازه کار نیز در این قسمت خودنمایی می کند. جایی که مدیران سایت فکر می کنند که محتوا توسط گوگل دیده نشده و به همین علت فعلا آن را ایندکس نکرده است.
اما اگر از طریق گوگل سرچ کنسول و سایت مپ مشاهده کنید، محتوا را در دسته اکسکلود (کنار گذاشته شده) می توانید ببینید و در توضیح آن دو ارور زیر را می توانید مشاهده کنید:
- Discovered – currently not indexed
- Crawled – currently not indexed
در حقیقت محتوایی که شما انتظار رتبه گرفتن از آن داشتید و تمامی موارد سئو محتوا را روی آن اجرا کردید، به راحتی توسط گوگل کنار گذاشته می شود! در قسمت راهکار های بهبود وضعیت ایندکس سایت حتما به موارد تست شده برای این دست صفحات اشاره می کنیم.
نقشه سایت یا Sitemap
ایجاد نقشه سایت و معرفی آن در سرچ کنسول به گوگل، در راهنمایی کرولر از صفحات سایت موثر است و می تواند احتمال ایندکس شدن صفحات را افزایش دهد.
تگ Canonical
برخی مواقع پیش می آید که چند صفحه با محتوای تکراری ایجاد کرده ایم و قصد داریم صرفا یکی از آن ها توسط گوگل ایندکس شود. در این مواقع یکی از کاربرد های تگ کنونیکال پیش می آید و به کرولر صفحه اصلی که باید ایندکس کند را نشان می دهد. البته باز هم ربات گوگل اختیار کامل در پیروی کردن یا نادیده گرفتن این دستور دارد.
رتبه بندی یا Ranking
در مرحله آخر که بخش اعظمی از فرایند سئو در آن دیده می شود، گوگل اقدام به رتبه دهی وبسایت در کلمات کلیدی خاص می کند. بعد از ایندکس شدن، تازه وبسایت به نقطه ای رسیده است که اقداماتی برای بهینه سازی و بهبود رتبه روی آن انجام شود. در مقاله بهترین شرکت های سئو بطور مختصر در مورد نحوه فعالیت شرکت ها در حوزه بهینه سازی وبسایت صحبت کردیم.
ایندکس نشدن در گوگل
همانطور که در ابتدای مقاله هم گفتیم، ایندکس نشدن سایت توسط گوگل دغدغه ای مهم برای وبمستران شده است. شما می توانید از طریق چک کردن موارد زیر، دلایل ایندکس نشدن وبسایت خود توسط گوگل را شناسایی کنید:
وبسایت موبایل فرندلی نیست. (بخصوص ریسپانسیو)
بعد از معرفی Mobile-First Indexing توسط گوگل، اهمیت متناسب سازی صفحات وبسایت با حالت های واکنش گرا موبایل چند برابر شد تا جایی که گوگل رسما به عدم ایندکس کردن وبسایت هایی که ریسپانسیو موبایل را رعایت نکرده اند، اشاره کرد. (developers.google)
با استفاده از قسمت Mobile Usability در سرچ کنسول گوگل می توانید صفحاتی از سایت که ایراداتی به هنگام استفاده از موبایل دارند را شناسایی و مرتفع کنید. همچنین از ابزار رایگان و فوق العاده Mobile Friendly test نیز می توانید استفاده کنید:
زبان برنامه نویسی
استفاده از زبان استاندارد برنامه نویسی تحت وب یا HTML برای شناسایی راحت تر و ایندکس کردن محتوای هر وبسایتی الزام آور است. اگر بیشتر کرول باجت سایت شما را فایل هایی مانند JavaScript گرفته اند؛ باید برای ایندکسینگ وبسایت نگران باشید.
سرعت وبسایت
بارگذاری آهسته محتوای وبسایت بخصوص با توجه به مشکلات سرور و هاست، برای کرولر های گوگل بسیار آزار دهنده است و همین سرعت ضعیف امکان اکسکلود کردن محتوا را افزایش می دهد. استفاده از وبسایت هایی مانند GTmetrix یا Google Page Speed Insights برای تست سرعت می تواند بسیار کمک کننده باشد.
محتوا
نگارش محتوای خوب و با کیفیت یکی از پایه های اساسی سئو است و محتوای نگارش شده باید بتواند با رقبا مطابقت داشته یا حتی از آن ها بهتر باشد. بر اساس آمار های وبسایت SEJ محتوا های بیش از 1000 کلمه از کمتر از 1000 کلمه شانس بیشتری برای ایندکس و رتبه گرفتن دارند.
آیا تعداد کلمات یک مقاله، محصول یا کتگوری به عنوان یک عامل رتبه بندی گوگل در نظر گرفته می شود؟ قطعا پاسخ خیر است اما باید بدانیم هنگامی که رقبا محتوایی در حدود 2000 کلمه دارند، شما باید با همین حجم کلمات به رقابت با آن ها بپردازید و به سوالات بیشتری در یک حوزه پاسخ دهید.
فایل robots.txt را چک کنید.
فایل robots.txt در انتهای URL وبسایت www.yourdomain.com/robots.txt قرار می گیرد. اطلاعات درج شده در این فایل تکست اجازه دسترسی تمامی ربات ها از جمله گوگل بات به محتوای سایت را مشخص می کند. اگر از وبسایت وردپرسی استفاده می کنید، بصورت پیش فرض این فایل حاوی اطلاعات زیر است:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.iranweblife.com/sitemap_index.xml
اگر می خواهید دسترسی یک ربات خاص را محدود کنید با درج نام ربات در این فایل می توانید این عمل را انجام دهید. برای اطمینان از وضعیت ایندکس سایت، بررسی کنید این فایل حاوی آدرس زیر نباشد:
User-agent: *Disallow: /
روی صفحه تگ نوایندکس یا نوفالو خورده است.
برخی موارد سهوا تگ Noindex روی یک صفحه خورده یا لینک داخلی به نوفالو تغییر پیدا کرده است. برای یک صفحه که ایندکس نشده است بررسی کنید از این اشتباهات اتفاق نیفتاده باشد. پس از رفع این مشکل می توانید در سرچ کنسول درخواست بررسی و ایندکس مجدد را بدهید.
استفاده از سایت مپ
استفاده از نقشه سایت بخصوص برای وبسایت های تازه کار از اهمیت بالایی برخوردار است. نکته ای که باید حتما رعایت کنید استفاده از فرمت XML برای نقشه سایت بجای HTML منسوخ شده است.
پنالتی گوگل
اگر از طرف گوگل جریمه و یا پنالتی شده اید، سعی کنید با تولید محتوای جدید، غنی و با رعایت سئو محتوا به همراه لینک سازی طبیعی به گوگل بازنگری خود را نشان دهید. ممکن است تا چند وقت محتوای شما کنار گذاشته شود اما با ادامه روند صحیح قطعا موفق به خروج از پنالتی می شوید. برای رسیدن به یک راه حل جامع در این موارد، توصیه می کنیم با متخصصین این حوزه مشاوره سئو انجام دهید.
مشاهده ایندکس یک سایت در گوگل
این که یک وبسایت ایندکس نشود با اینکه رتبه ای در کلمه کلیدی موردنظر نداشته باشد متفاوت است. برای مشاهده وضعیت ایندکس شدن یک وبسایت در گوگل، عبارت site:yourdomain را با حروف کوچک و بدون فاصله در گوگل سرچ کنید تا نتیجه بصورت دقیق برای شما بیاید.
راهکار های عملی ایندکس شدن محتوای سایت
لینک سازی داخلی
لینک سازی داخلی بخصوص برای مقاله یا محصولی که نیاز به ایندکس شدن دارد، مورد اهمیت است. در صفحات مختلف سایت بخصوص صفحاتی که رتبه و ورودی خوبی دارند؛ لینک داخلی به صفحه مورد نظر بدهید.
درخواست ایندکس از طریق سرچ کنسول
از طریق ابزار URL inspection در سرچ کنسول، می توانید از وضعیت کرول، ایندکس و موبایل فرندلی بودن صفحه مطلع شوید و اگر صفحه ایندکس نشده بود، درخواست ایندکس دهید.
درخواست ریموال و سپس ایندکس
Removal ابزاری است که به تازگی در سرچ کنسول اضافه شده و از طریق آن می توانید برای محتواهایی که دیده و اکسکلود شده اند، درخواست حذف کش بدهید و پس از آن، مجددا درخواست ایندکس را ثبت کنید.
آپدیت محتوا
برخی مواقع، آپدیت محتوا و اضافه کردن تصویر، متن، ویدئو و یا سایر محتوای غنی به صفحه می تواند گوگل را مجاب به ایندکس کردن صفحه کند.
بررسی سئو داخلی و تکنیکال
سئو تکنیکال و بررسی ساختار سایت (نقشه سایت، کدنویسی، فایل های Robots و …) ممکن است راه حل هایی برای بهبود پیشپای شما بگذارد.
بک لینک و رپورتاژ آگهی
در مرحله آخر و بعد از انجام دادن و چک کردن تمامی موارد، بهتر است کمی لینک سازی طبیعی و از جمله رپورتاژ آگهی را در برنامه خود قرار دهیم. بک لینک و بخصوص رپورتاژ در وبسایت های قوی خبری (ایلنا، ایسنا، رجانیوز، شما نیوز، فردانیوز و …) که ایندکس سریع دارند؛ می تواند بین چند ساعت تا چند روز محتوای شما را ایندکس کند. (تست شده)
