നിങ്ങളുടെ വെബ്സൈറ്റിലെ റൂട്ടുകളിൽ സൂക്ഷിച്ചിരിക്കുന്ന ഒരു robots.txt ഫയൽ, സെർച്ച് എഞ്ചിൻ ചിലന്തികൾ, ക്രാൾ ചെയ്യാൻ അനുവദിച്ചിരിക്കുന്ന തട്ടുകളും ഫയലുകളും പോലുള്ള റോബോട്ടുകളെ അറിയിക്കും. ഒരു robots.txt ഫയൽ ഉപയോഗിക്കുന്നത് എളുപ്പമാണ്, എന്നാൽ നിങ്ങൾ ഓർക്കേണ്ട ചില കാര്യങ്ങളുണ്ട്:
- ബ്ലാക്ക് ഹാറ്റ് വെബ് റോബോടുകൾ നിങ്ങളുടെ robots.txt ഫയൽ അവഗണിക്കപ്പെടും. ഏറ്റവും സാധാരണമായ തരം മാൽവെയർ ബോട്ടുകളും റോബോട്ടുകളും കൊയ്തെടുക്കുന്ന ഇമെയിൽ വിലാസങ്ങൾക്കായി തിരയുന്നവയാണ്.
- ചില പുതിയ പ്രോഗ്രാമർമാർ robots.txt ഫയൽ അവഗണിക്കുന്ന റോബോടുകൾ എഴുതുന്നു. ഇത് സാധാരണയായി തെറ്റായാണ് ചെയ്യുന്നത്.
- ആർക്കും നിങ്ങളുടെ robots.txt ഫയൽ കാണാൻ കഴിയും. അവ എല്ലായ്പ്പോഴും robots.txt എന്ന് വിളിക്കപ്പെടുന്നു, അവ എല്ലായ്പ്പോഴും വെബ്സൈറ്റിലെ റൂട്ടിലാണ് സംഭരിക്കുന്നത്.
- അന്തിമമായി, നിങ്ങളുടെ robots.txt ഫയലിൽ നിന്ന് ഒഴിവാക്കിയിട്ടില്ലാത്ത ഒരു പേജിൽ നിന്ന് നിങ്ങളുടെ ഫയൽ robots.txt ഫയലിൽ നിന്ന് പുറത്തുള്ള ഒരു ഫയൽ അല്ലെങ്കിൽ ഡയറക്ടറിയിലേക്ക് ആരെങ്കിലും ലിങ്കുചെയ്യുകയാണെങ്കിൽ, തിരയൽ എഞ്ചിനുകൾ അത് കണ്ടെത്തിയേയ്ക്കാം.
പ്രധാനപ്പെട്ട എന്തെങ്കിലും ഒളിപ്പിക്കാൻ robots.txt ഫയലുകൾ ഉപയോഗിക്കരുത്. പകരം, നിങ്ങൾ സുരക്ഷിത പാസ്വേർഡുകൾക്ക് പിന്നിലുള്ള പ്രധാന വിവരങ്ങൾ വെളിപ്പെടുത്തണം, അല്ലെങ്കിൽ വെബിൽ നിന്ന് അത് പൂർണമായും ഒഴിവാക്കും.
ഈ സാമ്പിൾ ഫയലുകൾ എങ്ങനെയാണ് ഉപയോഗിക്കുക
നിങ്ങൾ എന്ത് ചെയ്യണമെന്നതിനെക്കാൾ അടുത്തുള്ള സാമ്പിളിൽ നിന്ന് ടെക്സ്റ്റ് പകർത്തി നിങ്ങളുടെ robots.txt ഫയലിൽ പേസ്റ്റ് ചെയ്യുക. നിങ്ങൾക്ക് ഇഷ്ടമുള്ള കോൺഫിഗറേഷനുമായി പൊരുത്തപ്പെടുത്തുന്നതിന് റോബോട്ട്, ഡയറക്ടറി, ഫയൽ പേരുകൾ മാറ്റുക.
രണ്ട് അടിസ്ഥാന Robots.txt ഫയലുകൾ
ഉപയോക്തൃ-ഏജന്റ്: *
അനുവദിക്കരുത്: /
ഇത് ആക്സസ് ചെയ്യുന്ന ഏതൊരു റോബോട്ടും (ഉപയോക്താവ്-ഏജൻറ്: *) സൈറ്റിലെ എല്ലാ പേജുകളും അവഗണിക്കണം എന്ന് നിർദ്ദേശിക്കുന്നു (അനുവദിക്കാതിരിക്കുക: /).
ഉപയോക്തൃ-ഏജന്റ്: *
അനുവദിക്കരുത്:
ഇത് ആക്സസ് ചെയ്യുന്ന ഏതൊരു റോബോട്ടും (ഉപയോക്താവ്-ഏജന്റ്: *) സൈറ്റിലെ എല്ലാ പേജുകളും കാണുന്നതിന് അനുവദിക്കുന്നുവെന്നാണ് ഈ ഫയൽ പറയുന്നത് (അനുവദിക്കാതിരിക്കുക:).
നിങ്ങളുടെ robots.txt ഫയൽ ശൂന്യമാക്കിയിടാനോ അല്ലെങ്കിൽ നിങ്ങളുടെ സൈറ്റിലൊരെണ്ണം ഇല്ലാതെ മറ്റൊന്നും ഇല്ലാതെ ഇത് ചെയ്യാം.
റോബോട്ടുകളിൽ നിന്നും നിർദ്ദിഷ്ട ഡയറക്ടറികൾ പരിരക്ഷിക്കുക
ഉപയോക്തൃ-ഏജന്റ്: *
അനുവദിക്കരുത്: / cgi-bin /
അനുവദനീയമല്ല: / താൽക്കാലം /
ഇതു് ലഭ്യമാക്കുന്ന ഏതു് റോബോട്ടും (യൂസർ ഏജൻറ്: *) ഡയറക്ടറികൾ / cgi-bin / and / temp / (അനുവദിക്കാതിരിക്കുക: / cgi-bin / അനുവദിച്ചിട്ടില്ല: / temp /) ഉപേക്ഷിക്കേണ്ടതുണ്ടു്.
റോബോട്ടുകളിൽ നിന്നുള്ള നിർദ്ദിഷ്ട പേജുകൾ പരിരക്ഷിക്കുക
ഉപയോക്തൃ-ഏജന്റ്: *
അനുവദിക്കരുത്: /jenns-stuff.htm
അനുവദിക്കരുത്: /private.php
ഇത് ആക്സസ് ചെയ്യുന്ന ഏതൊരു റോബോട്ടും (user-agent: *) ഫയലുകൾ /jenns-stuff.htm കൂടാതെ /private.php എന്നിവ ഒഴിവാക്കണം (അനുവദിക്കരുത്: /jenns-stuff.htm അനുവദിക്കാതിരിക്കുക: /private.php).
നിങ്ങളുടെ സൈറ്റ് ആക്സസ് ചെയ്യുന്നതിൽ നിന്നും ഒരു പ്രത്യേക റോബോട്ട് തടയുക
ഉപയോക്തൃ-ഏജന്റ്: Lycos / xx
അനുവദിക്കരുത്: /
ലൈക്കോസ് ബോട്ട് (User-agent: Lycos / xx) സൈറ്റിൽ എവിടെയും പ്രവേശനം അനുവദനീയമല്ലെന്ന് ഈ ഫയൽ പറയുന്നു (അനുവദനീയമല്ല: /).
ഒരു പ്രത്യേക റോബോ ആക്സസ് മാത്രം അനുവദിക്കുക
ഉപയോക്തൃ-ഏജന്റ്: *
അനുവദിക്കരുത്: /
ഉപയോക്തൃ-ഏജന്റ്: Googlebot
അനുവദിക്കരുത്:
ഞങ്ങൾ ആദ്യം ചെയ്തതുപോലുള്ള എല്ലാ റോബോട്ടുകളും ഈ ഫയൽ ആദ്യം അനുവദിക്കുന്നില്ല, തുടർന്ന് Googlebot (ഉപയോക്തൃ-ഏജന്റ്: Googlebot) എല്ലാം ആക്സസ് ചെയ്യാൻ അനുവദിക്കുകയും ചെയ്യുന്നു (അനുവദിക്കാതിരിക്കുക:).
നിങ്ങൾക്ക് ആവശ്യമുള്ള ഒഴിവാക്കലുകൾ ലഭിക്കുന്നതിന് ഒന്നിലധികം വരികൾ സംയോജിപ്പിക്കുക
ഉപയോക്താവ്-ഏജന്റ് പോലെയുള്ള വളരെ ഉൾക്കൊള്ളുന്ന ഉപയോക്തൃ-ഏജന്റ് ലൈൻ ഉപയോഗിക്കുന്നതിന് നല്ലത്: *, നിങ്ങൾക്ക് ഇഷ്ടമുള്ളതുപോലെ വ്യക്തമാകും. ഓർമ്മയിൽ സൂക്ഷിക്കാൻ റോബോട്ടുകൾ ആ ഫയൽ വായിച്ചിട്ടുണ്ട്. അതുകൊണ്ട് എല്ലാ റോബോട്ടുകളും എല്ലാം തടഞ്ഞുവെന്നും തുടർന്ന് അത് ഫയലിലെ എല്ലാ റോബോട്ടുകളും എല്ലാം ആക്സസ് ചെയ്യാൻ അനുവദിക്കുന്നുവെന്നും, റോബോട്ടുകൾ എല്ലാം ആക്സസ് ചെയ്യുമെന്നും ആദ്യ വരികൾ പറയുന്നു.
നിങ്ങളുടെ robots.txt ഫയൽ ശരിയായി എഴുതിയിട്ടുണ്ടെന്ന് ഉറപ്പില്ലെങ്കിൽ, നിങ്ങളുടെ robots.txt ഫയൽ പരിശോധിക്കുന്നതിനോ അല്ലെങ്കിൽ പുതിയത് എഴുതുന്നതിനോ നിങ്ങൾക്ക് Google ന്റെ വെബ്മാസ്റ്റർ ടൂളുകൾ ഉപയോഗിക്കാം.