العناكب وزواحف الويب: ما تحتاج إلى معرفته لحماية بيانات الموقع الإلكتروني
العناكب ، والتي يشار إليها أيضًا باسم 'برامج زحف الويب' هي التي تبحث في الويب وليست كلها ودية في نواياها.
Spammers مواقع العنكبوت لجمع المعلومات
جوجل ، ياهو!
ومحركات البحث الأخرى ليست هي الوحيدة المهتمة بالزحف إلى مواقع الويب - وكذلك المخادعون ومرسلي الرسائل غير المرغوب فيها.
يتم استخدام العناكب والأدوات الآلية الأخرى من قبل مرسلي البريد العشوائي للعثور على عناوين البريد الإلكتروني (على الإنترنت غالباً ما يشار إلى هذه الممارسة باسم "الحصاد") على مواقع الويب ثم تستخدمها لإنشاء قوائم البريد العشوائي.
تعتبر Spiders أيضًا أداة تستخدمها محركات البحث للعثور على مزيد من المعلومات حول موقع الويب الخاص بك ، ولكنها تركت دون تحديد ، ويمكن لموقع ويب بدون تعليمات (أو "أذونات") حول كيفية الزحف إلى موقعك أن يمثل مخاطر كبيرة على أمن المعلومات. تنتقل العناكب من خلال الروابط ، وهم بارعون جدًا في العثور على روابط لقواعد البيانات وملفات البرامج وغيرها من المعلومات التي قد لا ترغب في الوصول إليها.
يمكن لمشرفي المواقع عرض السجلات لمعرفة ما قد زارته العناكب وبرامج الروبوت الأخرى مواقعهم. تساعد هذه المعلومات مشرفي المواقع في معرفة من يقوم بفهرسة مواقعهم ، وعدد المرات.
هذه المعلومات مفيدة لأنها تتيح لمشرفي المواقع تحسين SEO وتحديث ملفات robot.txt لمنع برامج الروبوت المعينة من الزحف إلى موقعها في المستقبل.
نصائح حول حماية موقع الويب الخاص بك من الزواحف روبوت غير المرغوب فيها
هناك طريقة بسيطة إلى حد ما لإبعاد برامج الزحف غير المرغوب فيها من موقعك على الويب. حتى إذا لم تكن مهتمًا بالعناكب الخبيثة التي تزحف إلى موقعك (لن يحميك عنوان البريد الإلكتروني الغامض من معظم برامج الزحف) ، فلا يزال يتعين عليك تزويد محركات البحث بتعليمات مهمة.
يجب أن تحتوي جميع مواقع الويب على ملف موجود في الدليل الجذر يسمى ملف robots.txt. يسمح لك هذا الملف بإرشاد برامج زحف الويب حيث تريد منهم أن يبحثوا عن صفحات الفهرس (ما لم ينص على خلاف ذلك في البيانات الوصفية لصفحة معينة بحيث لا تتم فهرستها) إذا كانت محرك بحث.
مثلما يمكنك إخبار برامج الزحف المرغوبة التي تريد أن يتصفحها ، يمكنك أيضًا إخبارهم بالمكان الذي قد لا يذهبون إليه وحتى حظر برامج الزحف المحددة من موقعك على الويب بالكامل.
من المهم أن تضع في اعتبارك أن ملف robots.txt الذي يتم وضعه بشكل جيد سيكون له قيمة هائلة لمحركات البحث ويمكن أن يكون حتى عنصرًا أساسيًا في تحسين أداء موقعك على الويب ، ولكن بعض برامج زحف الروبوت ستظل تتجاهل تعليماتك. لهذا السبب ، من المهم الحفاظ على تحديث جميع البرامج والمكونات الإضافية والتطبيقات في جميع الأوقات.
المواد والمعلومات ذات الصلة
بسبب انتشار حصاد المعلومات المستخدمة في الأغراض الشائنة (البريد المزعج) ، تم تمرير التشريع في عام 2003 لجعل بعض الممارسات غير قانونية. هذه قوانين حماية المستهلك تندرج تحت قانون CAN-SPAM لعام 2003.
من المهم أن تأخذ الوقت الكافي لقراءة قانون CAN-SPAM إذا كان عملك ينخرط في أي بريد جماعي أو جمع المعلومات.
يمكنك معرفة المزيد عن قوانين مكافحة البريد العشوائي وكيفية التعامل مع مرسلي الرسائل غير المرغوب فيها ، وما قد لا تفعله بصفتك مالكًا لنشاط تجاري ، وذلك بقراءة المقالات التالية:
- CAN-SPAM Act 2003
- قواعد قانون CAN-SPAM للمنظمات غير الربحية
- 5 قواعد CAN-SPAM يجب على أصحاب الأعمال الصغيرة فهمها