ትክክለኛዎቹ ሮቦቶች txt ለኤችቲኤምኤል ሳይት ለፍለጋ ሞተር ቦቶች የተግባር መሳለቂያዎችን ይፈጥራል፣ ምን ማረጋገጥ እንደሚችሉ ይነግራል። ይህ ፋይል ብዙውን ጊዜ የሮቦት ማግለል ፕሮቶኮል ተብሎ ይጠራል። ቦቶች ድህረ ገጽን ከመጎተትዎ በፊት የሚፈልጉት የመጀመሪያው ነገር robots.txt ነው። የተወሰኑ ንዑስ ጎራዎችን እንዳያጣራ ለጣቢያ ካርታው ሊያመለክት ወይም ሊነግሮት ይችላል። የፍለጋ ፕሮግራሞች በጣም በተደጋጋሚ የተገኘውን ለመፈለግ ሲፈልጉ, ከዚያ robots.txt አያስፈልግም. በዚህ ሂደት ፋይሉ በትክክል መቀረጹ እና የተጠቃሚውን ገጽ ከተጠቃሚው የግል መረጃ ጋር አለማሳየቱ በጣም አስፈላጊ ነው።
የሮቦት መቃኛ መርህ
አንድ የፍለጋ ሞተር ፋይል ሲያጋጥመው እና የተከለከለ ዩአርኤል ሲያይ አይጎበኘውም ነገር ግን መረጃ ጠቋሚ ሊያደርግ ይችላል። ምክንያቱም ሮቦቶቹ ይዘቱን እንዲመለከቱ ባይፈቀድላቸውም ወደ የተከለከለው ዩአርኤል የሚጠቁሙ የኋላ ማገናኛዎችን ማስታወስ ስለሚችሉ ነው። በተዘጋው የአገናኙ መዳረሻ ምክንያት ዩአርኤሉ በፍለጋ ሞተሮች ውስጥ ይታያል፣ ግን ያለ ቁርጥራጭ። ከሆነለገቢው የግብይት ስትራቴጂ ትክክለኛው ሮቦቶች txt ለ bitrix (Bitrix) ያስፈልጋል፣ በተጠቃሚው ጥያቄ መሠረት የጣቢያ ማረጋገጫን በስካነሮች ይሰጣሉ።
በሌላ በኩል ፋይሉ በትክክል ካልተቀረጸ ይህ ጣቢያ በፍለጋ ውጤቶች ላይ እንዳይታይ እና እንዳይገኝ ሊያደርግ ይችላል። የፍለጋ ፕሮግራሞች ይህን ፋይል ማለፍ አይችሉም። ፕሮግራመር የማንኛውም ድረ-ገጽ ሮቦቶች.txtን ወደ ጎራው በመሄድ በ robots.txt ለምሳሌ www.domain.com/robots.txt መመልከት ይችላል። እንደ Unamo's SEO ማበልጸጊያ ክፍል ያለ መሳሪያ በመጠቀም ወደ ማንኛውም ጎራ የሚገቡበት እና አገልግሎቱ ስለፋይሉ መኖር መረጃ ያሳያል።
የመቃኘት ገደቦች፡
- ተጠቃሚው ጊዜ ያለፈበት ወይም ሚስጥራዊነት ያለው ይዘት አለው።
- በገጹ ላይ ያሉ ምስሎች በምስል ፍለጋ ውጤቶች ውስጥ አይካተቱም።
- ገጹ በሮቦት ለመጠቆም ገና ዝግጁ አይደለም::
አንድ ተጠቃሚ ከፍለጋ ሞተር መቀበል የሚፈልገው መረጃ ዩአርኤሉን ለገባ ማንኛውም ሰው የሚገኝ መሆኑን ያስታውሱ። ሚስጥራዊነት ያለው ውሂብ ለመደበቅ ይህን የጽሑፍ ፋይል አይጠቀሙ። ጎራው 404 (አልተገኘም) ወይም 410 (ያለፈ) ስህተት ካለበት, የፍለጋ ፕሮግራሙ ሮቦቶች.txt ቢኖርም ጣቢያውን ይፈትሻል, በዚህ ጊዜ ፋይሉ እንደጠፋ ይቆጠራል. እንደ 500 (የውስጥ አገልጋይ ስህተት)፣ 403 (የተከለከለ)፣ ጊዜ ያለፈበት ወይም "የማይገኙ" የመሳሰሉ ስህተቶች robots.txt መመሪያዎችን ያክብሩ፣ ነገር ግን ማለፊያ ፋይሉ እስኪገኝ ድረስ ሊዘገይ ይችላል።
የፍለጋ ፋይል በመፍጠር ላይ
ብዙእንደ ዎርድፕረስ ያሉ የሲኤምኤስ ፕሮግራሞች ቀድሞውኑ የrobots.txt ፋይል አላቸው። ሮቦቶች txt ዎርድፕረስን በትክክል ከማዋቀርዎ በፊት ተጠቃሚው እንዴት እንደሚደርስበት ለማወቅ በችሎታው እራሱን ማወቅ አለበት። ፕሮግራመር ፋይሉን ራሱ ከፈጠረው የሚከተሉትን ቅድመ ሁኔታዎች ማሟላት አለበት፡
- በአነስተኛ ፊደል መሆን አለበት።
- የUTF-8 ኢንኮዲንግ ይጠቀሙ።
- በጽሑፍ አርታኢ ውስጥ እንደ ፋይል (.txt) ያስቀምጡ።
አንድ ተጠቃሚ የት እንደሚያስቀምጠው የማያውቅ ከሆነ፣የድርን አገልጋይ ሶፍትዌር አቅራቢን በማነጋገር የጎራውን ስር እንዴት ማግኘት እንደሚቻል ለማወቅ ወይም ወደ ጎግል ኮንሶል ሄደው ማውረድ ይችላሉ። በዚህ ተግባር ጎግል ቦቱ በትክክል እየሰራ መሆኑን እና ፋይሉን ተጠቅመው የታገዱትን የጣቢያዎች ዝርዝር ማረጋገጥ ይችላል።
የትክክለኛዎቹ ሮቦቶች txt ለቢትሪክስ (Bitrix) ዋና ቅርጸት፡
- Legend robots.txt.
- ፣ እንደ ማስታወሻ ብቻ የሚያገለግሉ አስተያየቶችን ይጨምራል።
- እነዚህ አስተያየቶች ከየትኛውም የተጠቃሚ ትየባ ጋር በስካነሮች ችላ ይባላሉ።
- የተጠቃሚ-ወኪል - የፋይሉ መመሪያዎች በየትኛው የፍለጋ ሞተር ላይ እንደተዘረዘሩ ያሳያል።
- ኮከብ ምልክት ማከል () መመሪያው ለሁሉም ሰው እንደሆነ ለስካነሮች ይነግራል።
አንድ የተወሰነ ቦት በማመልከት፣ ለምሳሌ፣ Googlebot፣ Baiduspider፣ Applebot። ዲሰሎው የትኞቹ የድረ-ገጹ ክፍሎች መጎተት እንደሌለባቸው ለጎብኚዎች ይነግራል። ይህን ይመስላል፡ የተጠቃሚ ወኪል፡. ኮከብ ምልክት ማለት "ሁሉም ቦቶች" ማለት ነው. ነገር ግን, ገጾችን ለተወሰኑ ነገሮች መግለጽ ይችላሉቦቶች. ይህንን ለማድረግ፣ ምክሮች የተቀናበሩበትን የቦት ስም ማወቅ ያስፈልግዎታል።
ትክክለኛዎቹ ሮቦቶች txt ለ Yandex ይህን ሊመስሉ ይችላሉ፡
ቦቱ ጣቢያውን መጎብኘት የማይገባው ከሆነ ሊገልጹት ይችላሉ፣ እና የተጠቃሚ ወኪሎችን ስም ለማግኘት እራስዎን ከuseragentstring.com የመስመር ላይ ችሎታዎች ጋር በደንብ እንዲያውቁ ይመከራል።
ገጽ ማመቻቸት
የሚቀጥሉት ሁለት መስመሮች እንደ ሙሉ የrobots.txt ፋይል ተደርገው ይወሰዳሉ፣ እና ነጠላ የሮቦቶች ፋይል መጎተትን የሚያሰናክሉ ወይም የሚያነቃቁ የተጠቃሚ ወኪሎችን እና መመሪያዎችን ሊይዝ ይችላል። ትክክለኛው የሮቦቶች ዋና ቅርጸት txt፡
- የተጠቃሚ ወኪል፡ [የወኪል ተጠቃሚ ስም]።
- አትፍቀድ፡ [ያልተሳበ የዩአርኤል ሕብረቁምፊ።
በፋይሉ ውስጥ፣ እያንዳንዱ የመመሪያዎች እገዳ በመስመር ተለያይቶ እንደ ግልጽ ሆኖ ይታያል። ከተወካዩ ተጠቃሚ ማውጫ ቀጥሎ ባለው ፋይል ውስጥ፣ እያንዳንዱ ህግ በአንድ የተወሰነ ክፍል-የተለያዩ መስመሮች ላይ ይተገበራል። አንድ ፋይል የብዝሃ-ወኪል ህግ ካለው፣ ሮቦቱ በጣም ልዩ የሆኑትን የመመሪያዎች ቡድን ብቻ ነው የሚያየው።
የቴክኒካል አገባብ
የሮቦት.txt ፋይሎች "ቋንቋ" ተብሎ ሊታሰብ ይችላል። በዚህ ቅርጸት ሊኖሩ የሚችሉ አምስት ቃላት አሉ፡ ዋናዎቹ የሚከተሉትን ያካትታሉ፡
- የተጠቃሚ-ወኪል - የድር ጎብኚ ከጉበኝነት መመሪያዎች ጋር፣ብዙውን ጊዜ የፍለጋ ሞተር።
- አትፍቀድ የተጠቃሚውን ወኪሉ እንዲያልፍ ለመንገር የሚያገለግል ትእዛዝ ነው።የአንድ የተወሰነ ዩአርኤል (መተው)። ለእያንዳንዳቸው አንድ የተከለከለ ሁኔታ ብቻ አለ።
- ፍቀድ። ለGooglebot መዳረሻ ለሚሰጠው የተጠቃሚ ገጹ እንኳን ተከልክሏል።
- ጎበኘ-ዘገየ - ጎብኚው ከመሳቡ በፊት ምን ያህል ሴኮንዶች እንደሚያስፈልገው ይገልጻል። ቦቱ ካላረጋገጠው ፍጥነቱ በGoogle ኮንሶል ውስጥ ይዘጋጃል።
- የጣቢያ ካርታ - ከዩአርኤል ጋር የተያያዙ ማናቸውንም የኤክስኤምኤል ካርታዎች ለማግኘት ይጠቅማል።
ጥለት ተዛማጆች
ዩአርኤሎችን ለመከልከል ወይም ትክክለኛ ሮቦቶች txtን ወደ መፍቀድ ሲመጣ፣ በርካታ ሊሆኑ የሚችሉ የዩአርኤል መለኪያዎችን ለመሸፈን ስርዓተ-ጥለት ማዛመድን ለመጠቀም ስለሚያስችሉት ክዋኔዎቹ በጣም አስቸጋሪ ሊሆኑ ይችላሉ። Google እና Bing ሁለቱም SEO ሊያገለላቸው የሚፈልጓቸውን ገጾችን ወይም ንዑስ አቃፊዎችን የሚለዩ ሁለት ቁምፊዎችን ይጠቀማሉ። ሁለቱ ቁምፊዎች የኮከብ ምልክት () እና የዶላር ምልክት ($) ሲሆኑ፡የትኛውንም የቁምፊዎች ቅደም ተከተል የሚወክል ምልክት ነው። $ - ከዩአርኤል መጨረሻ ጋር ይዛመዳል።
Google ለተጠቃሚው የRobots txt ፋይልን እንዴት በትክክል ማዋቀር እንደሚቻል የሚያብራራ ትልቅ የአብነት አገባብ ዝርዝር ያቀርባል። አንዳንድ የተለመዱ የአጠቃቀም አጋጣሚዎች የሚከተሉትን ያካትታሉ፡
- የተባዛ ይዘት በፍለጋ ውጤቶች ውስጥ እንዳይታይ ይከልክሉ።
- የድር ጣቢያውን ሁሉንም ክፍሎች ግላዊ ያድርጉት።
- የፍለጋ ውጤቶች የውስጥ ገጾችን በክፍት መግለጫ መሰረት ያስቀምጡ።
- አካባቢን ያመልክቱ።
- የፍለጋ ፕሮግራሞች የተወሰኑትን መረጃ ጠቋሚ እንዳያደርጉ ይከልክሉ።ፋይሎች።
- በርካታ የይዘት አካባቢዎችን በተመሳሳይ ጊዜ ሲቃኝ ዳግም መጫን ለማቆም የጉብኝት መዘግየትን በመግለጽ።
የሮቦት ፋይል መኖሩን ማረጋገጥ
በገጹ ላይ መጎተት ያለባቸው ቦታዎች ከሌሉ ሮቦቶች.txt በጭራሽ አያስፈልግም። ተጠቃሚው ይህ ፋይል ስለመኖሩ እርግጠኛ ካልሆነ፣ ወደ ስርወ ጎራ አስገብቶ በዩአርኤል መጨረሻ ላይ መተየብ ይኖርበታል፣ እንደዚህ ያለ ነገር፡ moz.com/robots.txt። በርካታ የፍለጋ ቦቶች እነዚህን ፋይሎች ችላ ይሏቸዋል። ሆኖም፣ እንደ ደንቡ፣ እነዚህ ተሳቢዎች ታዋቂ ከሆኑ የፍለጋ ሞተሮች ውስጥ አይደሉም። በበይነመረብ ላይ በብዛት የሚገኙ አይፈለጌ መልዕክት ሰሪዎች፣ የመልዕክት ሰብሳቢዎች እና ሌሎች አውቶሜትድ ቦቶች አይነት ናቸው።
የሮቦት ማግለያ ስታንዳርድን መጠቀም ውጤታማ የደህንነት መለኪያ አለመሆኑን ማስታወሱ በጣም አስፈላጊ ነው። በእርግጥ አንዳንድ ቦቶች ተጠቃሚው ወደ ቅኝት ሁነታ ባዘጋጃቸው ገፆች ሊጀምሩ ይችላሉ። ወደ መደበኛ ልዩ ፋይል የሚገቡ ብዙ ክፍሎች አሉ። ለሮቦት በየትኞቹ ገጾች ላይ መሥራት እንደሌለበት ከመንገርዎ በፊት የትኛውን ሮቦት ማነጋገር እንዳለቦት መግለጽ ያስፈልግዎታል። በአብዛኛዎቹ አጋጣሚዎች ተጠቃሚው "ሁሉም ቦቶች" የሚል ቀላል መግለጫ ይጠቀማል።
SEO ማመቻቸት
ከማሳደጉ በፊት ተጠቃሚው ማለፍ ያለባቸውን የጣቢያው ይዘቶች ወይም ክፍሎች እንደማይከለክል ማረጋገጥ አለበት። በትክክለኛው Robots txt ወደ የታገዱ ገጾች የሚወስዱ አገናኞች አይከበሩም። ይህ ማለት፡
- ከሌሎች የፍለጋ ፕሮግራሞች ከሚገኙ ገፆች ጋር ካልተገናኙ ማለትም። ገጾች ፣በRobots.txt ወይም በሜታ ሮቦት ያልተከለከሉ እና ተዛማጅ ግብዓቶች አይጎበኟቸውም እና ስለዚህ መጠቆሚያ ሊሆኑ አይችሉም።
- ከታገደው ገጽ ወደ ማገናኛ መድረሻ ምንም አይነት አገናኝ ማስተላለፍ አይቻልም። እንደዚህ አይነት ገጽ ካለ ከrobots.txt. የተለየ የማገጃ ዘዴ መጠቀም የተሻለ ነው።
ሌሎች ገፆች የግል መረጃ ወደያዘው ገጽ በቀጥታ ሊገናኙ ስለሚችሉ እና ይህን ገጽ ከፍለጋ ውጤቶች ማገድ ስለሚፈልጉ የተለየ ዘዴ ይጠቀሙ ለምሳሌ የይለፍ ቃል ጥበቃ ወይም noindex ሜታ ዳታ። አንዳንድ የፍለጋ ፕሮግራሞች ብዙ የተጠቃሚ ወኪሎች አሏቸው። ለምሳሌ፣ Google ለኦርጋኒክ ፍለጋዎች ጎግልቦትን እና Googlebot-Imageን ለምስል ፍለጋዎች ይጠቀማል።
አብዛኞቹ ከተመሳሳይ የፍለጋ ሞተር የመጡ የተጠቃሚ ወኪሎች ተመሳሳይ ህጎችን ይከተላሉ፣ስለዚህ ለእያንዳንዱ ተሳቢዎች መመሪያዎችን መግለጽ አያስፈልግም፣ነገር ግን ይህን ማድረግ መቻል የጣቢያውን ይዘት መጎተትን ማስተካከል ይችላል። የፍለጋ ሞተሩ የፋይሉን ይዘቶች ይሸፍናል እና በተለምዶ ቢያንስ በቀን አንድ ጊዜ የተሸጎጡ ይዘቶችን ያሻሽላል። ተጠቃሚው ፋይሉን ከለወጠው እና ከተለመደው በበለጠ ፍጥነት ማዘመን ከፈለገ የrobots.txt URL ለGoogle ማስገባት ይችላሉ።
የፍለጋ ፕሮግራሞች
Robots txt እንዴት እንደሚሰራ ለመረዳት የፍለጋ ፕሮግራሞችን አቅም ማወቅ አለቦት። ባጭሩ አቅማቸው “ስካነሮችን” የሚልክ ሲሆን እነሱም ፕሮግራሞች ናቸው።ለመረጃ በይነመረቡን ማሰስ። ከዚያ የተወሰነውን መረጃ ለተጠቃሚው ለማስተላለፍ ያከማቻሉ።
ለበርካታ ሰዎች ጎግል አስቀድሞ በይነመረብ ነው። እንዲያውም ይህ ምናልባት የእሱ በጣም አስፈላጊ ፈጠራ ስለሆነ ትክክል ናቸው. እና ምንም እንኳን የፍለጋ ፕሮግራሞች ከተፈጠሩበት ጊዜ ጀምሮ ብዙ ተለውጠዋል, መሰረታዊ መርሆች አሁንም ተመሳሳይ ናቸው. "ቦቶች" ወይም "ሸረሪቶች" በመባልም የሚታወቁት ጎብኚዎች በቢሊዮኖች ከሚቆጠሩ ድረ-ገጾች ገጾችን ያገኛሉ። የፍለጋ ፕሮግራሞች ወዴት መሄድ እንዳለባቸው አቅጣጫዎችን ይሰጣሉ፣ ነጠላ ገፆች ደግሞ ከቦቶች ጋር መገናኘት እና የትኞቹን ልዩ ገፆች መመልከት እንዳለባቸው ሊነግሩ ይችላሉ።
በአጠቃላይ የጣቢያ ባለቤቶች በፍለጋ ሞተሮች ውስጥ መታየት አይፈልጉም፡ የአስተዳዳሪ ገፆች፣ የኋላ መግቢያዎች፣ ምድቦች እና መለያዎች እና ሌሎች የመረጃ ገፆች። የRobots.txt ፋይል የፍለጋ ፕሮግራሞች ገፆችን እንዳይፈትሹ ለመከላከል ጥቅም ላይ ሊውል ይችላል። በአጭሩ፣ robots.txt ለድር ጎብኚዎች ምን ማድረግ እንዳለባቸው ይነግራል።
ገጾችን አግድ
ይህ የሮቦት ማግለል ፋይል ዋና አካል ነው። በቀላል መግለጫ፣ ተጠቃሚው አንድ ቦት ወይም ቡድን የተወሰኑ ገጾችን እንዳይጎበኝ ይነግራቸዋል። አገባቡ ቀላል ነው፣ ለምሳሌ፣ በገጹ "አስተዳዳሪ" ማውጫ ውስጥ ያለውን ሁሉንም ነገር መዳረሻ ለመከልከል፣ ይፃፉ፡ አትፍቀድ፡/አስተዳዳሪ። ይህ መስመር ቦቶች የእርስዎንsite.com/admin፣ yoursite.com/admin/login፣ yoursite.com/admin/files/secret.html፣ እና ማንኛውንም በአስተዳዳሪ ማውጫ ስር እንዳይገቡ ይከላከላል።
አንድ ገጽ ላለመፍቀድ በቀላሉ በተከለከለው መስመር ላይ ይግለጹ፡ አትፍቀድ፡ /public/exception.html። አሁን "ልዩ" ገጽአይሰደድም፣ ነገር ግን በ"ይፋዊ" አቃፊ ውስጥ ያለው ሁሉም ነገር ይሄዳል።
በርካታ ገጾችን ለማካተት በቀላሉ ይዘርዝራቸው፡
እነዚህ አራት ትክክለኛ ሮቦቶች txt ለሲምፎኒ በ robots.txt ክፍል አናት ላይ ለተዘረዘረው ማንኛውም ተጠቃሚ ወኪል ለ https://www.symphonyspace.org/. ተግባራዊ ይሆናሉ።
የጣቢያ ካርታ፡
ሌሎች ትዕዛዞች፡ቀጥታ - የድር ጎብኚዎች cpresources/ወይም አቅራቢ/ን እንዲጠቁሙ አይፍቀዱ።
የተጠቃሚ ወኪል፡አትፍቀድ፡ /cpresources/.
ክድ፡ / ሻጭ / አትፍቀድ፡ /.env.
ደረጃዎችን በማዘጋጀት ላይ
ተጠቃሚው የቀደሙትን ሁለት አካላት በማጣመር የተወሰኑ ገጾችን ለተለያዩ ቦቶች መግለጽ ይችላል፣ይህን ይመስላል። ለሁሉም የፍለጋ ፕሮግራሞች ትክክለኛዎቹ ሮቦቶች txt ምሳሌ ከዚህ በታች ቀርቧል።
የ"አስተዳዳሪ" እና "የግል" ክፍሎቹ ለGoogle እና Bing የማይታዩ ይሆናሉ፣ነገር ግን ጎግል አሁንም "ሚስጥራዊ" ማውጫውን ያያል፣ Bing ግን አያየውም። የኮከብ ተጠቃሚ ወኪልን በመጠቀም ለሁሉም ቦቶች አጠቃላይ ህጎችን መግለጽ እና በሚከተሉት ክፍሎች ውስጥ ለቦቶች ልዩ መመሪያዎችን መስጠት ይችላሉ ። ከላይ ባለው እውቀት ተጠቃሚው ለሁሉም የፍለጋ ሞተሮች ትክክለኛዎቹን ሮቦቶች txt ምሳሌ መፃፍ ይችላል። የሚወዱትን የጽሑፍ አርታዒ ብቻ ያቃጥሉ እና ለቦቶቹ በተወሰኑ የጣቢያው ክፍሎች እንደማይመጡ ይንገሩ።
የአገልጋይ አፈጻጸምን ለማሻሻል ጠቃሚ ምክሮች
SublimeText ነው።ሁለገብ የጽሑፍ አርታኢ እና ለብዙ ፕሮግራመሮች የወርቅ ደረጃ። የእሱ የፕሮግራም ምክሮች በተቀላጠፈ ኮድ ላይ የተመሰረቱ ናቸው, በተጨማሪም. ተጠቃሚዎች በፕሮግራሙ ውስጥ አቋራጮች መኖራቸውን ያደንቃሉ። ተጠቃሚው የRobots.txt ፋይልን ምሳሌ ማየት ከፈለገ ወደ ማንኛውም ጣቢያ ሄደው "/robots.txt" ወደ መጨረሻው ማከል አለባቸው። የRobots.txt ፋይል GiantBicycles አካል ይኸውል።
ፕሮግራሙ ተጠቃሚዎች በፍለጋ ሞተሮች ውስጥ ማሳየት የማይፈልጓቸውን ገጾች መፍጠር ያቀርባል። እና ጥቂት ሰዎች የሚያውቋቸው ጥቂት ልዩ ነገሮችም አሉት። ለምሳሌ የRobots.txt ፋይል ቦቶች የት መሄድ እንደሌለባቸው ሲነግራቸው የሳይት ካርታው ፋይል ተቃራኒውን ይሠራል እና የሚፈልጉትን እንዲያገኙ ያግዛቸዋል እና የፍለጋ ፕሮግራሞች ምናልባት የጣቢያ ካርታው የት እንደሚገኝ ያውቁ ይሆናል ፣ ግን አያገኝም። በመንገድ ላይ።
ሁለት አይነት ፋይሎች አሉ፡ HTML ገጽ ወይም XML ፋይል። የኤችቲኤምኤል ገጽ በድር ጣቢያ ላይ ያሉትን ሁሉንም ገፆች ለጎብኚዎች የሚያሳይ ነው። በራሱ ሮቦቶች.txt ውስጥ፣ ይህን ይመስላል፡ Sitemap://www.makeuseof.com/sitemap_index.xml። ጣቢያው በፍለጋ ሞተሮች ካልተጠቆመ ምንም እንኳን በድር ሮቦቶች ብዙ ጊዜ ቢጎበኝም ፋይሉ እንዳለ እና ፈቃዶቹ በትክክል መዘጋጀታቸውን ማረጋገጥ አለብዎት።
በነባሪ፣ ይህ በሁሉም የ SeoToaster ጭነቶች ላይ ይከሰታል፣ አስፈላጊ ከሆነ ግን እንደዚህ ዳግም ማስጀመር ይችላሉ፡ File robots.txt - 644. እንደ ፒኤችፒ አገልጋይ ይህ ለተጠቃሚው የማይሰራ ከሆነ የሚከተሉትን እንዲሞክሩ ይመከራል፡ ፋይል robots.txt - 666.
የፍተሻ መዘግየቱን በማዘጋጀት ላይ
የማለፊያው መዘግየት መመሪያ የተወሰኑትን ያሳውቃልየፍለጋ ፕሮግራሞች በጣቢያው ላይ አንድ ገጽ ምን ያህል ጊዜ ሊጠቁሙ ይችላሉ። የሚለካው በሴኮንዶች ነው፣ ምንም እንኳን አንዳንድ የፍለጋ ፕሮግራሞች በጥቂቱ ቢተረጉሙትም። አንዳንድ ሰዎች ከእያንዳንዱ ቅኝት በኋላ ቀጣዩን ለመጀመር አምስት ሰከንድ እንዲቆዩ ሲነገራቸው የጉብኝት መዘግየት 5 ያያሉ።
ሌሎች ይህንን በየአምስት ሰከንድ አንድ ገጽ ብቻ ለመቃኘት እንደ መመሪያ ይተረጉማሉ። የአገልጋይ ባንድዊድዝ ለመቆጠብ ሮቦቱ በፍጥነት መቃኘት አይችልም። አገልጋዩ ከትራፊክ ጋር ማዛመድ ከፈለገ፣ ማለፊያ መዘግየትን ሊያዘጋጅ ይችላል። በአጠቃላይ, በአብዛኛዎቹ ሁኔታዎች, ተጠቃሚዎች ስለዚህ ጉዳይ መጨነቅ አያስፈልጋቸውም. የስምንት ሰከንድ የጉብኝት መዘግየት በዚህ መንገድ ተቀናብሯል - Crawl-delay: 8.
ነገር ግን ሁሉም የፍለጋ ፕሮግራሞች ይህንን መመሪያ አይታዘዙም፣ ስለዚህ ገጾችን በሚከለክሉበት ጊዜ ለተወሰኑ የፍለጋ ፕሮግራሞች የተለያዩ የጉብኝት መዘግየቶችን ማዘጋጀት ይችላሉ። በፋይሉ ውስጥ ያሉት ሁሉም መመሪያዎች ከተዘጋጁ በኋላ ወደ ጣቢያው መስቀል ይችላሉ ፣ በመጀመሪያ ቀላል የጽሑፍ ፋይል መሆኑን እና ሮቦቶች.txt የሚል ስም ያለው መሆኑን ያረጋግጡ እና በ yoursite.com/robots.txt. ማግኘት ይችላሉ።
ምርጥ የዎርድፕረስ ቦት
በአንድ ጊዜ መቆለፍ የሚያስፈልጋቸው አንዳንድ ፋይሎች እና ማውጫዎች በዎርድፕረስ ጣቢያ ላይ አሉ። ተጠቃሚዎች መከልከል ያለባቸው ማውጫዎች cgi-bin ማውጫ እና መደበኛ የ WP ማውጫዎች ናቸው። አንዳንድ አገልጋዮች የcgi-bin ማውጫን መድረስን አይፈቅዱም ነገር ግን ተጠቃሚዎች Robots txt WordPressን በትክክል ከማዋቀርዎ በፊት በተፈቀደው መመሪያ ውስጥ ማካተት አለባቸው።
መደበኛ የዎርድፕረስ ማውጫዎች፣ማገድ ያለባቸው wp-አድሚን፣ wp-content፣ wp-ያካትታል። እነዚህ ማውጫዎች መጀመሪያ ላይ ለፍለጋ ፕሮግራሞች ጠቃሚ የሆኑ መረጃዎችን አልያዙም ነገር ግን የተለየ ነገር አለ ማለትም በ wp-content directory ውስጥ የተሰየሙ ንዑስ ማውጫ አለ. ይህ ንዑስ ማውጫ የ WP ሚዲያ ሰቀላ ባህሪን በመጠቀም የተጫኑትን ነገሮች ሁሉ ስለሚያካትት በ robot.txt ፋይል ውስጥ መፍቀድ አለበት። WordPress ይዘትን ለማዋቀር መለያዎችን ወይም ምድቦችን ይጠቀማል።
ምድቦች ጥቅም ላይ ከዋሉ በፕሮግራሙ አምራች እንደተገለፀው ትክክለኛውን ሮቦቶች txt ለ Wordpress ለመስራት ከፍለጋው ውስጥ የመለያ ማህደሮችን ማገድ አስፈላጊ ነው ። በመጀመሪያ ወደ "አስተዳደር" ፓነል> "Settings"> "Permalink" በመሄድ ዳታቤዙን ይፈትሹታል።
በነባሪ፣ መሰረቱ መለያው ነው፣ መስኩ ባዶ ከሆነ፡ አትፍቀድ፡ / tag /። ምድብ ጥቅም ላይ የሚውል ከሆነ በ robot.txt ፋይል ውስጥ ያለውን ምድብ ማሰናከል አለብዎት: አይፈቀድም: / ምድብ /. በነባሪ፣ መሰረቱ መለያው ነው፣ መስኩ ባዶ ከሆነ፡ አትፍቀድ፡ / tag /። ምድብ ጥቅም ላይ ከዋለ፣ በ robot.txt ፋይል ውስጥ ያለውን ምድብ ማሰናከል አለብህ፡ አትፍቀድ፡ / ምድብ /.
በዋነኛነት ይዘትን ለማሳየት የሚያገለግሉ ፋይሎች፣ በትክክለኛው የRobots txt ፋይል ለWordpress ይታገዳሉ፡
Joomla መሰረታዊ ማዋቀር
ተጠቃሚው Joomlaን ከጫነ በኋላ፣በመቆጣጠሪያ ፓኔል ውስጥ በሚገኘው በአለምአቀፍ ውቅረት ውስጥ ትክክለኛውን የ Joomla Robots txt መቼት ማየት አለቦት። እዚህ አንዳንድ ቅንብሮች ለ SEO በጣም አስፈላጊ ናቸው። በመጀመሪያ የጣቢያውን ስም ይፈልጉ እና ያረጋግጡየጣቢያው አጭር ስም ጥቅም ላይ ይውላል. ከዚያ ከተመሳሳዩ ማያ ገጽ በስተቀኝ በኩል የቅንጅቶች ቡድን ያገኛሉ, እሱም SEO መቼቶች ይባላል. በእርግጠኝነት መለወጥ ያለበት ሁለተኛው ነው፡ ዩአርኤልን እንደገና መፃፍ ይጠቀሙ።
ይህ የተወሳሰበ ይመስላል፣ነገር ግን በመሠረቱ Joomla ንጹህ ዩአርኤሎችን እንዲፈጥር ያግዘዋል። የኢንዴክስ.php መስመርን ከዩአርኤሎች ካስወገዱ በጣም የሚደንቅ ነው። በኋላ ከቀየሩት፣ ዩአርኤሎቹ ይለወጣሉ እና Google አይወደውም። ነገር ግን፣ ይህን ቅንብር ሲቀይሩ፣ ትክክለኛዎቹን ሮቦቶች txt ለJoomla ለመፍጠር በተመሳሳይ ጊዜ ብዙ እርምጃዎች መወሰድ አለባቸው፡
- የ htaccess.txt ፋይልን በJoomla root አቃፊ ውስጥ አግኝ።
- እንደ.htaccess (ቅጥያ የለውም) ምልክት ያድርጉበት።
- የጣቢያ ስም በገጽ አርእስቶች ውስጥ ያካትቱ።
- ከአለምአቀፉ የውቅር ስክሪኑ ግርጌ የዲበ ዳታ ቅንብሮችን ያግኙ።
ሮቦት በደመና ውስጥ MODX
ከዚህ ቀደም MODX ክላውድ ለተጠቃሚዎች የrobots.txt ፋይል በዳሽቦርድ ውስጥ መቀያየርን መሰረት በማድረግ እንዲቀርብ የመፍቀድ ባህሪን የመቆጣጠር ችሎታን ሰጥቷል። ይህ ጠቃሚ ቢሆንም፣ በዳሽቦርድ ውስጥ ያለውን አማራጭ በመቀያየር በመድረክ/በዴቭ ጣቢያዎች ላይ መረጃ ጠቋሚን በድንገት መፍቀድ ተችሏል። በተመሳሳይ፣ በምርት ቦታው ላይ መረጃ ጠቋሚን ማሰናከል ቀላል ነበር።
ዛሬ አገልግሎቱ የሮቦትስ.txt ፋይሎች በፋይል ስርዓቱ ውስጥ እንዳሉ ከሚከተሉት በስተቀር፡ ማንኛውም በ modxcloud.com የሚያልቅ ጎራ እንደ ውድቅ ሆኖ ያገለግላል፡/መመሪያ ለሁሉም ተጠቃሚ ወኪሎች፣ መገኘት ምንም ይሁን ምን ወይም የፋይሉ አለመኖር.እውነተኛ የጎብኝዎች ትራፊክ የሚቀበሉ የምርት ጣቢያዎች ተጠቃሚው ጣቢያቸውን መረጃ ጠቋሚ ማድረግ ከፈለገ የራሳቸውን ጎራ መጠቀም አለባቸው።
አንዳንድ ድርጅቶች አውዶችን በመጠቀም ከአንድ ጭነት ብዙ ድር ጣቢያዎችን ለማስኬድ ትክክለኛውን ሮቦቶች txt ለሞድክስ ይጠቀማሉ። ይህ ሊተገበር የሚችልበት ሁኔታ ይፋዊ የግብይት ጣቢያ ከማረፊያ ገጽ ማይክሮ ሳይቶች እና ምናልባትም ይፋዊ ያልሆነ ኢንተርኔት ነው።
በተለምዶ ይህ ለብዙ ተጠቃሚ ጭነቶች አንድ አይነት የአውታረ መረብ ስር ስለሚጋሩ ማድረግ ከባድ ነበር። በ MODX ክላውድ ይህ ቀላል ነው። በቀላሉ ተጨማሪ ፋይል ወደ ሮቦቶች-intranet.example.com.txt ከሚከተለው ይዘት ጋር ይስቀሉ እና በደንብ በሚሰሩ ሮቦቶች ኢንዴክስን ይከለክላል እና ሁሉም ሌሎች የአስተናጋጅ ስሞች ሌላ የተለየ የስም ኖዶች ከሌለ ወደ መደበኛ ፋይሎች ይመለሳሉ።
Robots.txt ተጠቃሚው ጎግል፣ዋና ዋና የፍለጋ ፕሮግራሞች እና ሌሎች ድህረ ገጾች ላይ ከጣቢያው ጋር እንዲገናኝ የሚያግዝ አስፈላጊ ፋይል ነው። በድር ሰርቨር ስር የሚገኘው ፋይሉ ቦት ማግለል ፕሮቶኮል የተባለውን መመሪያ በመጠቀም የድር ሮቦቶችን ድረ-ገጽ እንዲጎበኝ፣ የትኞቹን ማህደሮች መጠቆም እንዳለበት ወይም እንደሌለበት ያዛል። ለሁሉም የፍለጋ ፕሮግራሞች obots.txt ትክክለኛ የRobots txt ምሳሌ በተለይ በ SeoToaster ለመስራት ቀላል ነው። በመቆጣጠሪያ ፓኔል ውስጥ ልዩ ሜኑ ተፈጥሯል፣ ስለዚህ ቦት ለመድረስ በጭራሽ ከመጠን በላይ መሥራት አይኖርበትም።
