نه، یک روبات. فایل txt برای یک وب سایتلازم نیست. اگر رباتی به وب‌سایت شما بیاید و رباتی نداشته باشد، فقط وب‌سایت شما را می‌خزد و صفحات را فهرست می‌کند. فایل txt فقط در صورتی مورد نیاز است که بخواهید کنترل بیشتری بر آنچه در حال خزیدن است داشته باشید.
اگر ربات های txt نداشته باشید چه اتفاقی می افتد؟
رباتها. txt کاملاً اختیاری است. اگر یکی داشته باشید، خزنده‌های منطبق با استانداردها به آن احترام می‌گذارند، اگر ندارید، هر چیزی که در عناصر HTML-META (ویکی‌پدیا) مجاز نیست، قابل خزیدن است. سایت بدون محدودیت ایندکس خواهد شد.
آیا می توانم robots txt را حذف کنم؟
باید هر دو خط را از روبات های خود حذف کنید. فایل txt فایل روبات ها در دایرکتوری ریشه پوشه میزبانی وب شما قرار دارد، معمولاً می توانید آن را در /public_html/ پیدا کنید و باید بتوانید با استفاده از: FTP با استفاده از یک کلاینت FTP مانند FileZilla یا WinSCP این فایل را ویرایش یا حذف کنید.
آیا روبات txt ایمن است؟
ربات ها. txt فایل به خودی خود یک تهدید امنیتی نیست، و استفاده صحیح از آن می تواند نشان دهنده عملکرد خوبی برای دلایل غیر امنیتی باشد. شما نباید تصور کنید که همه ربات های وب دستورالعمل های فایل را رعایت می کنند.
چرا روبات txt بد است؟
به سادگی فهرستی از نشانی‌های اینترنتی را که قرار است خصوصی باشند به روبات اضافه کنید. فایل txt یکی از بدترین روش‌ها برای پنهان نگه داشتن آدرس‌های اینترنتی است و در بیشتر موارد، نتیجه دقیقاً برعکس نتیجه مورد نظر است.
