موتورهای جستجو چگونه کار می‌کنند؟
امروزه با پیشرفت تکنولوژی و همچنین تجارت الکترونیک، کسب و کارهای بسیاری برای رونق تجارت خود وارد دنیای الکترونیک شده و وب سایت‌های بسیاری در این راستا در حال ایجاد و توسعه هستند. در بازار رقابت این کسب و کارهای آنلاین، همواره رقابت برای بهتر دیده شدن سایت‌های فروشگاهی و رسیدن به رتبه‌های بالاتر در نتایج گوگل، بسیار داغ است. از آنجایی که رتبه‌بندی وب سایت‌های مختلف توسط موتورهای جستجو صورت می‌گیرد و فاکتورهای متعددی در رتبه دهی موتورهای جستجو به صفحات سایت‌ها دخیل است در این مقاله قصد داریم درباره هدف و عملکرد موتورهای جستجو بیشتر صحبت کنیم؛ اما قبل از هر چیزی شاید بهتر باشد به تعریفی از موتورهای جستجو بپردازیم.
آشنایی با موتور جستجو
موتورهای جستجو به نرم‌افزارها یا سخت‌افزارهایی گفته می‌شود که در میان حجم بسیاری از اطلاعات در یک فضای مشخص، داده‌های مشخصی که مدنظر کاربران است را جستجو می‌کند. جستجوی عبارت مدنظر، به‌وسیله کاربر می‌تواند در کامپیوتر، لپ‌تاپ، موبایل و یا سایر دستگاه‌های الکترونیکی انجام شود همچنین نتایج عبارت‌های جستجو شده می‌تواند متن، تصویر، ویدئو، صوت، مپ و... باشد. در واقع وظیفه اصلی موتورهای جستجو پیدا کردن و یافتن محتوا است؛ محتوایی که بیشترین ارتباط را با عبارت جستجو شده توسط افراد و کاربران یک وب سایت را داشته باشد.
هدف موتورهای جستجو چیست؟
هنگامی که کاربری عبارتی را در نرم‌افزار جستجوگری مانند گوگل سرچ می‌کند در واقع می‌خواهد به محتوای مورد نظر خود برسد و اگر پس از جستجوی عبارت مورد نظر خود به چیزی که می‌خواهد نرسد به سراغ نرم‌افزار دیگری می‌رود. در حقیقت موتورهای جستجو برای این به وجود آمدند که کاربران را به هدفشان که همان محتوای وب سایت‌های مختلف است، برسانند. به عبارت دیگر می‌توان گفت کار اصلی موتورهای جستجو پیدا کردن محتوای مربوط به عبارت‌هایی است که کاربران در فضای وب در جستجوی آن‌ها هستند. البته کلمات کلیدی که توسط کاربران جستجو می‌شود باید به چیزی که می‌خواهند نزدیک باشد تا آنچه که موتورهای جستجو پیدا می‌کنند دقیقاً همان چیزی باشد که یک کاربر به دنبال آن است؛ زیرا موتورهای جستجو در نهایت محتوایی را به کاربر نشان خواهند داد که بیشترین ارتباط و نزدیکی را با کلمات و عبارت‌های وارد شده در بخش جستجوی وب را داشته باشد، در این صورت موتورهای جستجو بسیار بهینه‌تر عمل خواهند کرد.
نحوه کار موتورهای جستجو
موتورهای جستجو برای اینکه بتوانند مطالب و عبارت‌های جستجو شده توسط کاربران را از بین میلیون‌ها وب سایت موجود در فضای اینترنت به‌درستی جستجو و کشف کنند، باید سه فرایند متداول خود را که شامل کرال کردن (Crawling)، ایندکس کردن (Indexing) و رتبه‌بندی کردن (Ranking) سایت‌هاست، طی کنند. با گذراندن این سه مرحله، موتورهای جستجو محتوای مورد نظر کاربران را می‌یابند و در نتایج جستجو آن‌ها را در معرض نمایش قرار می‌دهند. در ادامه به بررسی هر یک از این سه فرایند می‌پردازیم.
کرال کردن (Crawling)
موتورهای جستجو ربات‌هایی را برای جستجو و کشف URLهای مختلف به کار می‌گیرند که به آن‌ها کراولر (Crawler) یا خزنده می‌گویند. وظیفه این ربات‌ها کشف وب سایت‌ها و URLهای جدید و همچنین به‌روزرسانی وب سایت‌های مختلف است. کراولرها پس از کشف محتوای جدید، آن‌ها را ایندکس کرده و به پایگاه داده‌های خود که حاوی وب سایت‌ها و URLهای بسیاری است اضافه می‌کنند و هنگامی که کاربران عبارت و محتوای مورد نظر خود را سرچ می‌کنند به داده‌هایی که بیشترین ارتباط را با محتوای جستجو شده دارد برای کاربران بازیابی می‌کنند. به عنوان مثال موتور جستجوی گوگل هنگامی که وب سایت یا URL جدیدی کشف می‌کنند ابتدا محتوای آن را بررسی و تجزیه و تحلیل می‌کند تا بفهمد دقیقاً محتوای شما چیست و کجا باید آن را طبقه‌بندی کند. در این مسیر هرچه خزنده‌های گوگل بهتر بتوانند سایت شما را درک کنند طبیعتاً بهتر می‌توانند آن‌ها را در نتایج عبارات جستجو شده مرتبط با سایت شما نمایش دهند.
کراولرها صفحاتی از وب سایتی را که قبلاً شناسایی کرده‌اند مجدداً بررسی می‌کنند تا ببینند از آخرین باری که آن‌ها را شناسایی و طبقه‌بندی کرده‌اند چه تغییراتی در آن ایجاد شده است، اگر تغییری در آن‌ها کشف کنند آن‌ها را به‌روزرسانی می‌کنند. این کار خزنده‌های موتورهای جستجو به صورت دوره‌ای انجام می‌شود.
یکی از روش‌های کاربردی برای اینکه موتورهای جستجو بتوانند سریع‌تر صفحات جدید یک سایت را کشف کنند، استفاده از سایت مپ است. با در اختیار قرار دادن نقشه سایت به موتورهای جستجو که به صورت فایل XML بر روی سرور ذخیره شده به ربات‌های خزنده موتورهای جستجو این امکان را می‌دهید که به لیستی از تمام صفحات و URLهای سایت شما دسترسی داشته باشند و به راحتی آن‌ها را در گوگل ایندکس کنند. در واقع شما با این کار مسیر صفحات سایت خود را به این خزنده‌ها نشان می‌دهید و درک آن‌ها را از محتوای سایت خود بالا می‌برید و در نتیجه باعث سرعت بخشیدن به شناسایی و ارزیابی صفحات سایت خود توسط کراولرهای موتورهای جستجو می‌شوید.
ایندکس کردن (Indexing)
هنگام ایندکس شدن یک سایت یا صفحاتی از یک سایت، موتورهای جستجو باید تصمیم بگیرند که چگونه صفحات شناسایی شده را طبقه‌بندی، لیست یا ایندکس کنند. در واقع به طبقه‌بندی و ذخیره‌سازی صفحات شناسایی شده توسط ربات‌های خزنده موتورهای جستجو و ذخیره در دیتابیس‌های آن، ایندکس کردن می‌گویند. هر موتور جستجویی برای فهرست کردن اطلاعات به دست آمده از کراولینگ سایت‌ها دیتایی مخصوص به خود را دارد. با ایندکس کردن یا همان دسته‌بندی و ذخیره اطلاعات کشف شده در فرایند کروال موتورهای جستجو، نمایش اطلاعات درخواست شده از سوی کاربران بسیار راحت‌تر در اختیار آن‌ها قرار خواهد گرفت. سایت شما هرچند که محتوای باکیفیت و گرافیک جذابی داشته باشد ولی نتواند در گوگل ایندکس شود از دید ربات‌های موتورهای جستجو مخفی بوده و در نتیجه در نتایج گوگل ظاهر نخواهد شد.
روش‌های مختلفی برای بهبود ایندکس کردن صفحات در گوگل وجود دارد که با توجه به آن‌ها URLهای صفحات مد نظر شما راحت‌تر در گوگل ایندکس می‌شود. به طور مثال از عناوین کوتاه و معنی‌دار برای URL صفحات سایت خود استفاده کنید و برای تصاویر و ویدئوهای داخل محتوا، alt مناسب بنویسید.
رتبه‌بندی کردن (Ranking)
هنگامی که یک کاربر کلمه یا عبارتی را در قسمت جستجوی گوگل سرچ می‌کند، ربات‌های خزنده موتورهای جستجو به سراغ فهرست صفحاتی که از قبل شناسایی و ایندکس شده می‌روند و بر مبنای فاکتورهای مختلف و بررسی کیفیت و ارتباط محتوا با کوئری‌ها (عبارت‌هایی که سرچ می‌شود) صفحات موجود در لیست را رتبه‌بندی کرده و در نتایج جستجوی گوگل به نمایش می‌گذارند، به این فرایند در اصطلاح رنکینگ گفته می‌شود. به عبارت دیگر رتبه دهی موتورهای گوگل به صفحات ایندکس شده در آن و نمایش در نتایج جستجوی کاربر را رتبه دهی یا رنک کردن می‌گویند. هدف گوگل از این کار ارائه بهترین محتوا بر اساس نیاز و خواسته کاربری است که با کلمات کلیدی خود به دنبال این هدف می‌گردد.
اگر ربات‌های خزنده گوگل فاکتورهای مورد نیاز را در بررسی‌های خود موقع ایندکس کردن نیابند آن صفحه ایندکس نمی‌شود در نتیجه در فهرست موتورهای جستجو قرار نمی‌گیرد و رنکینگ نمی‌شود. همچنین بسته به فاکتورهای مدنظر برای رتبه‌بندی صفحات، معمولاً صفحاتی در نتایج اولیه ظاهر می‌شوند که نزدیکی بیشتری به عبارات جستجو شده از سوی کاربر داشته باشند. موارد بسیار متعددی در رتبه‌بندی صفحات سایت‌های مختلف توسط موتورهای جستجو نقش دارد که در مقاله‌های پیشین مفصل درباره آن‌ها صحبت کرده‌ایم. به طور کلی برای اینکه یک صفحه از سایت شما در نتایج بالاتری در جستجوی گوگل قرار بگیرد باید دارای محتوای مناسب از لحاظ سئو باشد تا در رتبه‌بندی نتیجه خوبی به دست آورد.
الگوریتم موتورهای جستجو چیست؟
الگوریتم موتورهای جستجو مجموعه قواعدی است که نحوه رتبه‌بندی محتوای صفحات سایت‌ها را برای موتورهای جستجو مشخص می‌کند. به عبارت دیگر موتورهای جستجو برای رتبه دهی به صفحات سایت‌ها از اصول و قواعدی پیروی می‌کنند که به آن قواعد الگویتم موتورهای جستجو گفته می‌شود. هر موتور جستجویی الگوریتم‌های خاص خود را برای رتبه دهی سایت‌ها دارد. در واقع الگوریتم‌های موتورهای جستجو تعیین می‌کنند که کدام محتوا در صفحه وب، حقیقی یا اسپم است یا کدام محتوا دارای مطالب باارزش‌تری به لحاظ اصول سئو است.
همان طور که گفتیم هر موتور جستجویی الگوریتم‌های خاصی برای تعیین رتبه‌بندی صفحات سایت‌ها دارد اما یک سری قواعد وجود دارد که در بین اکثر موتورهای جستجو مشترک است. در ادامه به چند نمونه از این قواعد اشاره می‌کنیم.
ارتباط یا Relevancy
مرتبط بودن صفحه‌ای که در نتیجه جستجو یافت می‌شود با کلمات کلیدی سرچ شده یکی از مواردی است که در الگوریتم تمام موتورهای جستجو وجود دارد. هدف اصلی موتورهای جستجو که در واقع همان یافتن محتوای مرتبط با عبارات جستجو شده است با استفاده از الگوریتم‌های خاصی توسط موتورهای جستجو انجام می‌شود. استفاده منظم از کلمات کلید مناسب و قرارگیری آن‌ها در جای مناسب در محتوا می‌تواند به این الگوریتم موتورهای جستجو کمک کند. به‌کارگیری کلمات کلیدی اگر بیش از حد و برای فریب دادن ربات‌های خزنده گوگل استفاده نشود محتوای آن صفحه و سایت را در رتبه‌های بالاتری نسبت به سایر سایت‌ها قرار خواهد داد. در استفاده از کلمات کلیدی همواره باید از نگاه مخاطب به محتوای سایت خود نگاه کنید و ببینید یک مخاطب عام یا خاص برای یافتن و مطالعه محتوای صفحه شما از چه کلمات یا عباراتی استفاده می‌کند.
فاکتورهای ویژه یا Individual Factors
از دیگر الگوریتم‌های موتورهای جستجو وجود فاکتورهای ویژه‌ای است که منجر به ظاهر شدن صفحات متعددی در نتایج موتورهای جستجو می‌شود. بر اساس این فاکتورها ممکن است تعداد صفحاتی که در موتورهای جستجو ایندکس شود متفاوت باشد و برای هر موتور جستجویی یک عنوان خاص، تعداد نتایج متفاوتی را ارائه دهد. همچنین بعضی از مدیران سایت‌ها ممکن است صفحاتی از سایت خود را چندین بار ایندکس کنند که این موضوع در رتبه‌بندی و نمایش یک صفحه تأثیرگذار است. البته معمولاً این صفحات به صورت هرزنامه شناخته شده و آن سایت توسط موتورهای جستجو جریمه می‌شود.
فاکتورهای خارج از صفحه یا Off-Page Factors
منظور از فاکتورهای خارج از صفحه مواردی مانند لینک دهی صفحات برای اعتبار بخشیدن به محتوای یک سایت است. لینک‌ها و بک‌لینک‌ها می‌توانند به کاربران برای رسیدن به یک محتوای جامع‌تر و حقیقی کمک کنند که این موضوع به اعتبار و محتوای آن صفحات ارزش بیشتری می‌دهد. در نهایت محتوای ایجاد شده با این الگوریتم‌ها سکویی می‌شود برای آن سایت‌ها تا طبق این قواعد الگوریتم‌های موتورهای جستجو، در رتبه‌های بالاتری قرار بگیرند.
موتورهای جستجو و سئو
به طور کلی هدف موتورهای جستجو کشف، طبقه‌بندی و رتبه‌بندی سایت‌ها و URLهایی است که در فضای وب ایجاد می‌شود و در نهایت مواردی را که کاربران در بخش جستجوی یک موتور جستجو می‌جویند را به نمایش می‌گذارند تا کاربران و مخاطبان آن سایت به‌درستی به هدف خود دست پیدا کنند. در این بین سایت‌های مختلف برای اینکه بتوانند در طی مسیر خزنده‌های موتورهای جستجو، بالاترین رتبه را کسب کنند باید محتوایی با سئوی مناسب در صفحات خود جای دهند؛ زیرا قطعاً بدون داشتن یک سئوی مناسب، رتبه‌بندی و رنکینگ صفحات سایت موفق عمل نخواهد کرد و در نتیجه محتوای سایت شما در نتایج اولیه موتورهای جستجو ظاهر نخواهند شد و همان طور که می‌دانید محتوایی برای کاربران از درجه اعتبار بیشتری برخوردار است و از آن بازدید می‌کنند که در نتایج اولیه به آن دست پیدا کنند. برای اینکه یک سئوی مناسب را در محتوای خود پیاده کنید باید به مواردی همچون محتوای باکیفیت، استفاده از لینک‌ها و بک‌لینک‌ها، استفاده از تصاویر و ویدئوهای مرتبط با موضوع صفحه، استفاده از کلمات کلیدی هدف و... توجه ویژه‌ای داشت.
انواع موتورهای جستجوی برتر جهان
همان طور که گفتیم به هر نرم‌افزاری که به جستجوی داده‌های خاصی از سوی کاربران از بین حجم بسیاری از اطلاعات بگردد موتور جستجو می‌گویند. این کار در فضای تحت وب صورت می‌گیرد. موتورهای جستجو انواع مختلفی دارند که در این بین موتور جستجوی گوگل از محبوبیت ویژه‌ای برخوردار است. موتورهای جستجوی دیگر عبارت‌اند از:
موتور جستجوی بینگ، موتور جستجوی یاهو، موتور جستجوی ASK، موتور جستجوی AOL Search، موتور جستجوی WOW، موتور جستجوی Web Crawler، موتور جستجوی Baidu، موتور جستجوی info.com، موتور جستجوی DuckDuckGo، موتور جستجوی Wolframapha، موتور جستجوی Yandex، موتور جستجو Wiki.com، موتور جستجوی Lycos، موتور جستجوی Excite، موتور جستجوی Cc Search، موتور جستجوی Search encrypt و موتور جستجوی Swisscows
کلام آخر درباره موتورهای جستجو
درباره موتورهای جستجو مسائل فنی متعددی وجود دارد که کمی تخصصی‌تر از مباحث عنوان شده در این مقاله است. شما می‌توانید برای کسب دانش بیشتر درباره عملکرد موتورهای جستجو با سئوکارهای حرفه‌ای و با تجربه در شرکت‌های طراحی سایت ارتباط برقرار کنید و اطلاعات جامع‌تری از آن‌ها دریافت نمایید تا به این طریق درصد خطاهای ممکن برای ایندکس کردن و رتبه‌بندی صفحات سایتتان و موانع دیده شدن بهتر محصولات و کالاهای فروشگاه آنلاین شما به حداقل برسد. اگر دارنده یک سایت فروشگاهی هستید و بازدهی بیشتر وب سایتتان دغدغه اصلی شماست حتماً در مورد موتورهای جستجو و سئوی سایت خود بیشتر مطالعه کنید تا استراتژی‌های جدیدی را برای بهبود عملکرد وب سایتتان کشف نمایید. برای اطلاعات بیشتر می‌توانید به مقاله «سئو چیست؟» گروه آریووب سری بزنید و موارد مؤثر برای داشتن یک سئوی خوب برای سایت فروشگاهی خود را کشف و در سایتتان به کار ببرید.