آپ کی ویب سائٹ کی جڑ میں ذخیرہ کردہ روبوٹ.txt فائل ویب روبوٹ کو تلاش انجن مکڑیوں کی طرح بتائے گی جو ڈائریکٹریز اور فائلوں کو کرال کرنے کی اجازت ہے. روبوٹ.txt فائل کا استعمال کرنا آسان ہے، لیکن کچھ ایسی چیزیں ہیں جو آپ کو یاد رکھنا چاہئے:
- سیاہ ٹوپی ویب روبوٹ آپ کے روبوٹ.txt فائل کو نظر انداز کریں گے. سب سے زیادہ عام اقسام میلویئر بوٹ اور روبوٹ فصلوں کو ای میل پتے کی تلاش کر رہے ہیں.
- کچھ نئے پروگرامرز روبوٹ لکھتے ہیں جو روبوٹ.txt فائل کو نظر انداز کرتے ہیں. یہ عام طور پر غلطی سے ہوتا ہے.
- کوئی بھی آپ کے روبوٹ.txt فائل دیکھ سکتا ہے. وہ ہمیشہ روبوٹ.txt کہا جاتا ہے اور ہمیشہ ویب سائٹ کی جڑ میں ذخیرہ کر رہے ہیں.
- آخر میں، اگر کوئی کسی فائل یا ڈائرکٹری سے منسلک ہوتا ہے جو کسی روبوٹ.txt فائل کے ذریعہ کسی صفحے سے خارج ہوجاتا ہے جس کو ان کے روبوٹ.txt فائل سے خارج نہیں کیا جاسکتا ہے تو، تلاش کے انجن بھی اسے تلاش کرسکتے ہیں.
کسی بھی چیز کو چھپانے کیلئے روبوٹ.txt فائلوں کا استعمال نہ کریں. اس کے بجائے، آپ کو ضروری معلومات کو محفوظ پاس ورڈ کے پیچھے رکھنا چاہئے یا اسے ویب سے مکمل طور پر چھوڑ دینا چاہئے.
یہ نمونہ فائلوں کا استعمال کیسے کریں
اس نمونہ سے متن کاپی کاپی کریں جو آپ کو کیا کرنا چاہتے ہیں، اور اپنے روبوٹ.txt فائل میں پیسٹ کریں. اپنی ترجیحی ترتیب سے ملنے کے لئے روبوٹ، ڈائریکٹری، اور فائل کے نام کو تبدیل کریں.
دو بنیادی روبوٹ.txt فائلیں
صارف ایجنٹ: *
اجازت دیں: /
اس فائل کا کہنا ہے کہ کسی بھی روبوٹ (صارف-ایجنٹ: *) جو اس تک رسائی حاصل کرتا ہے اس پر سائٹ پر ہر صفحے کو نظر انداز کرنا چاہئے (نااہل: /).
صارف ایجنٹ: *
اجازت دیں:
اس فائل کا کہنا ہے کہ کسی بھی روبوٹ (صارف-ایجنٹ: *) جو اس تک رسائی حاصل کرتا ہے اس پر سائٹ پر ہر صفحے کو دیکھنے کی اجازت ہے (نایل:).
آپ اپنے روبوٹ.txt فائل کو چھوڑ کر اپنے سائٹ پر کسی کو نہیں چھوڑ کر بھی ایسا کرسکتے ہیں.
روبوٹ سے مخصوص ڈائریکٹریز کی حفاظت کریں
صارف ایجنٹ: *
اجازت دیں: / cgi-bin /
اجازت دیں: / temp /
اس فائل کا کہنا ہے کہ کسی بھی روبوٹ (صارف-ایجنٹ: *) جو اس تک رسائی حاصل کرتا ہے وہ ڈائریکٹریز / cgi-bin / اور / temp / (Disallow: / cgi-bin / disallow: / temp /) کو نظر انداز کرنا چاہئے.
روبوٹ سے مخصوص صفحات کی حفاظت کریں
صارف ایجنٹ: *
اجازت دیں: / جیننس- اسٹاف
غیر فعال کریں: /private.php
اس فائل کا کہنا ہے کہ کسی بھی روبوٹ (صارف-ایجنٹ: *) فائلوں / jenns-stuff.htm اور /private.php (Disallow: /jenns-stuff.htm غیر فعال: /private.php) کو نظر انداز کرنا چاہئے.
اپنی سائٹ تک رسائی حاصل کرنے سے مخصوص روبوٹ کو روکیں
صارف کا ایجنٹ: Lycos / XX
اجازت دیں: /
یہ فائل یہ کہتا ہے کہ Lycos بوٹ (صارف-ایجنٹ: Lycos / XX) سائٹ پر کسی بھی جگہ تک رسائی نہیں ہے (Disallow: /).
واحد ایک مخصوص روبوٹ تک رسائی کی اجازت دیں
صارف ایجنٹ: *
اجازت دیں: /
صارف کا ایجنٹ: Googlebot
اجازت دیں:
یہ فائل سب سے پہلے تمام روبوٹ کو ناپسند کرتا ہے جیسا کہ ہم نے اوپر کیا تھا، اور پھر واضح طور پر Googlebot (صارف-ایجنٹ: Googlebot) کو سب کچھ تک رسائی حاصل ہے (Disallow:).
آپ چاہتے ہیں بالکل وہی نتائج نکالنے کے لئے ایک سے زیادہ لائنز کو یکجا کریں
اگرچہ صارف کے ایجنٹ کی طرح ایک بہت ہی جامع صارف کا ایجنٹ استعمال کرنا بہتر ہے، *، آپ کو خاص طور پر جیسے ہی آپ کی پسند ہوسکتی ہے. یاد رکھیں کہ روبوٹ فائل کو پڑھتے ہیں. لہذا اگر یہ ایرر برقرار رہے تو ہمارے ہیلپ ڈیسک سے رابطہ کریں. غلط استعمال کی اطلاع دیتے ہوئے ایرر آ گیا ہے. براہ مہربانی دوبارہ کوشش کریں. اگر یہ ایرر برقرار رہے تو ہمارے ہیلپ ڈیسک سے رابطہ کریں. غلط استعمال رپورٹ نہیں کیا جا سکا. ایک یا زیادہ ایرر آ گئے ہیں. براہ مہربانی ایرر پیغام سے نشان زدہ فیلڈز کو ٹھیک کریں.
اگر آپ اس بات کا یقین نہیں کر رہے ہیں کہ آپ نے اپنے روبوٹ.txt فائل کو درست طریقے سے لکھا ہے، تو آپ اپنے robots.txt فائل کو چیک کرنے کے لئے گوگل کا ویب ماسٹر ٹولز استعمال کرسکتے ہیں یا ایک نیا لکھ سکتے ہیں.