የSEO-optimizer ስራ በጣም ትልቅ ነው። ጀማሪዎች ማንኛውንም እርምጃዎች እንዳያመልጡ የማመቻቸት ስልተ ቀመር እንዲጽፉ ይመከራሉ። ያለበለዚያ ፣ጣቢያው በቋሚነት ለረጅም ጊዜ መስተካከል ያለባቸውን ውድቀቶች እና ስህተቶች ስለሚያጋጥመው ማስተዋወቂያው ስኬታማ ሊባል አይችልም።
ከማዳበር እርምጃዎች አንዱ ከrobots.txt ፋይል ጋር አብሮ መስራት ነው። እያንዳንዱ ምንጭ ይህ ሰነድ ሊኖረው ይገባል, ምክንያቱም ያለሱ ማመቻቸትን ለመቋቋም የበለጠ አስቸጋሪ ይሆናል. እርስዎ ሊረዱዋቸው የሚገቡ ብዙ ተግባራትን ያከናውናል።
ሮቦት ረዳት
የRobots.txt ፋይል በስርዓቱ መደበኛ ኖትፓድ ላይ የሚታይ ግልጽ የጽሁፍ ሰነድ ነው። ሲፈጥሩ በትክክል እንዲነበብ ኢንኮዲንግ ወደ UTF-8 ማቀናበር አለብዎት። ፋይሉ ከ http፣ https እና FTP ፕሮቶኮሎች ጋር ይሰራል።
ይህ ሰነድ ሮቦቶችን ለመፈለግ ረዳት ነው። የማታውቁ ከሆነ፣ እያንዳንዱ ሲስተም ለጥያቄዎች ተዛማጅ የሆኑ ድረ-ገጾችን ለመመለስ ዓለም አቀፍ ድርን በፍጥነት የሚጎትቱ "ሸረሪቶችን" ይጠቀማል።ተጠቃሚዎች. እነዚህ ሮቦቶች የንብረት ውሂቡን መድረስ አለባቸው፣ robots.txt ለዚህ ይሰራል።
ሸረሪቶቹ መንገዳቸውን እንዲያገኙ የrobots.txt ሰነዱን ወደ ስርወ ማውጫው መላክ ያስፈልግዎታል። ጣቢያው ይህ ፋይል እንዳለው ለማረጋገጥ፣ በአሳሹ የአድራሻ አሞሌ ውስጥ “https://site.com.ua/robots.txt” ያስገቡ። ከ"site.com.ua" ይልቅ የሚፈልጉትን መገልገያ ማስገባት አለቦት።
የሰነድ ተግባራት
የRobots.txt ፋይል ለጎብኚዎች ብዙ አይነት መረጃዎችን ይሰጣል። "ሸረሪት" የንብረቱን ልዩ ንጥረ ነገሮች እንዲቃኝ ከፊል መዳረሻ ሊሰጥ ይችላል. ሙሉ መዳረሻ ሁሉንም የሚገኙትን ገጾች እንዲያረጋግጡ ያስችልዎታል። ሙሉ በሙሉ እገዳው ሮቦቶች መፈተሽ እንኳን እንዳይጀምሩ ይከለክላል እና ከጣቢያው ይወጣሉ።
ምንጩን ከጎበኙ በኋላ "ሸረሪቶች" ለጥያቄው ተገቢውን ምላሽ ያገኛሉ። ብዙዎቹ ሊኖሩ ይችላሉ, ሁሉም በ robots.txt ላይ ባለው መረጃ ላይ የተመሰረተ ነው. ለምሳሌ፣ ፍተሻው የተሳካ ከሆነ ሮቦቱ ኮዱን 2xx ይቀበላል።
ምናልባት ጣቢያው ከአንድ ገጽ ወደ ሌላ ተዘዋውሯል። በዚህ አጋጣሚ ሮቦቱ ኮድ 3xx ይቀበላል. ይህ ኮድ ብዙ ጊዜ የሚከሰት ከሆነ, ሌላ ምላሽ እስኪያገኝ ድረስ ሸረሪው ይከተላል. ምንም እንኳን እንደ አንድ ደንብ, 5 ሙከራዎችን ብቻ ይጠቀማል. አለበለዚያ ታዋቂው 404 ስህተት ይታያል።
መልሱ 4xx ከሆነ፣ ሮቦቱ የገጹን አጠቃላይ ይዘት እንዲጎበኝ ይፈቀድለታል። ነገር ግን በ5xx ኮድ ላይ፣ ይህ ብዙ ጊዜ ጊዜያዊ የአገልጋይ ስህተቶችን ስለሚያመለክት ቼኩ ሙሉ በሙሉ ሊቆም ይችላል።
ለምንድነውrobots.txt ይፈልጋሉ?
እርስዎ እንደገመቱት ይህ ፋይል የገጹን ስር የሚያመለክት የሮቦቶች መመሪያ ነው። አሁን አግባብ ያልሆነ የይዘት መዳረሻን በከፊል ለመገደብ ጥቅም ላይ ይውላል፡
- ገጾች ከተጠቃሚዎች የግል መረጃ ጋር፤
- የመስታወት ጣቢያዎች፤
- የፍለጋ ውጤቶች፤
- የመረጃ ማስረከቢያ ቅጾች፣ ወዘተ.
በጣቢያው ውስጥ ምንም የrobots.txt ፋይል ከሌለ ሮቦቱ ሙሉ በሙሉ ይዘቱን ይሳባል። በዚህ መሠረት በፍለጋ ውጤቶቹ ውስጥ የማይፈለጉ መረጃዎች ሊታዩ ይችላሉ, ይህም ማለት እርስዎ እና ጣቢያው እርስዎም ይጎዳሉ. በRobots.txt ሰነድ ውስጥ ልዩ መመሪያዎች ካሉ "ሸረሪት" ይከተላቸዋል እና በንብረቱ ባለቤት የሚፈልገውን መረጃ ይሰጣል።
ከፋይል ጋር በመስራት ላይ
ገጹን ከመረጃ ጠቋሚ ለማገድ robots.txtን ለመጠቀም ይህን ፋይል እንዴት መፍጠር እንደሚችሉ ማወቅ ያስፈልግዎታል። ይህንን ለማድረግ መመሪያዎቹን ይከተሉ፡
- በማስታወሻ ደብተር ወይም በማስታወሻ ደብተር++ ውስጥ ሰነድ ፍጠር።
- የፋይል ቅጥያውን ".txt" ያዘጋጁ።
- የሚፈለገውን ውሂብ እና ትዕዛዞች ያስገቡ።
- ሰነዱን ያስቀምጡ እና ወደ ጣቢያው ስር ይስቀሉት።
እንደምታየው ከደረጃዎቹ በአንዱ ላይ ለሮቦቶች ትዕዛዞችን ማዘጋጀት አስፈላጊ ነው። እነሱም ሁለት ዓይነት ናቸው፡ መፍቀድ (ፍቀድ) እና መከልከል (አይፈቀድም)። እንዲሁም አንዳንድ አመቻቾች የጉብኝቱን ፍጥነት፣ አስተናጋጅ እና ከሀብቱ ገጽ ካርታ ጋር ያለውን ግንኙነት ሊገልጹ ይችላሉ።
ከrobots.txt ጋር መስራት ለመጀመር እና ጣቢያውን ሙሉ በሙሉ ከመረጃ ጠቋሚ ለማገድ እንዲሁም ጥቅም ላይ የዋሉ ምልክቶችን መረዳት አለቦት። ለምሳሌ, በሰነድ ውስጥ"/" ተጠቀም, ይህም መላው ጣቢያ መመረጡን ያመለክታል. "" ጥቅም ላይ ከዋለ, የቁምፊዎች ቅደም ተከተል ያስፈልጋል. በዚህ መንገድ፣ ወይም ሊቃኘው ወይም ሊቃኘው የሚችል የተወሰነ አቃፊ መለየት ይቻላል።
የቦቶች ባህሪ
"ሸረሪቶች" ለፍለጋ ሞተሮች የተለያዩ ናቸው፣ ስለዚህ በአንድ ጊዜ ለብዙ የፍለጋ ፕሮግራሞች ከሰሩ፣ ይህን ጊዜ ግምት ውስጥ ማስገባት አለብዎት። ስሞቻቸው የተለያዩ ናቸው፣ ይህም ማለት አንድን የተወሰነ ሮቦት ማግኘት ከፈለጉ ስሙን መግለጽ አለቦት፡- “User Agent: Yandex” (ያለ ጥቅሶች)።
መመሪያን ለሁሉም የፍለጋ ፕሮግራሞች ማቀናበር ከፈለግክ ትዕዛዙን መጠቀም አለብህ፡- "User Agent: "(ያለ ጥቅሶች)። በRobots.txt በመጠቀም ጣቢያውን ከመረጃ ጠቋሚ በትክክል ለማገድ የታዋቂ የፍለጋ ፕሮግራሞችን ማወቅ ያስፈልግዎታል።
እውነታው ግን በጣም ታዋቂዎቹ የፍለጋ ፕሮግራሞች Yandex እና Google በርካታ ቦቶች አሏቸው። እያንዳንዳቸው የራሳቸው ተግባራት አሏቸው. ለምሳሌ, Yandex Bot እና Googlebot ጣቢያውን የሚጎትቱ ዋናዎቹ "ሸረሪቶች" ናቸው. ሁሉንም ቦቶች ማወቅ፣የሀብትህን መረጃ ጠቋሚ ማስተካከል ቀላል ይሆናል።
ምሳሌዎች
ስለዚህ በrobots.txt እገዛ ድረ-ገጹን ከመረጃ ጠቋሚ በቀላል ትዕዛዞች መዝጋት ይችላሉ፣ ዋናው ነገር በተለይ የሚፈልጉትን መረዳት ነው። ለምሳሌ, Googlebot ወደ መገልገያዎ እንዳይቀርብ ከፈለጉ ተገቢውን ትዕዛዝ መስጠት አለብዎት. የሚከተለውን ይመስላል፡- "የተጠቃሚ-ወኪል፡ ጎግልቦት አይፈቀድም፡/"(ያለ ጥቅሶች)።
አሁን በዚህ ትእዛዝ ውስጥ ምን እንዳለ እና እንዴት እንደሚሰራ መረዳት አለብን። ስለዚህ "የተጠቃሚ-ወኪል"ወደ አንዱ ቦቶች ቀጥተኛ ጥሪ ለመጠቀም ጥቅም ላይ ይውላል። በመቀጠል, የትኛውን, በእኛ ሁኔታ ጎግል እንደሆነ እንጠቁማለን. "አትፈቀድ" የሚለው ትዕዛዝ በአዲስ መስመር መጀመር አለበት እና ሮቦቱ ወደ ጣቢያው እንዳይገባ መከልከል አለበት. በዚህ ጉዳይ ላይ ያለው የጭረት ምልክት የሚያመለክተው ሁሉም የንብረቱ ገጾች ለትዕዛዝ አፈፃፀም የተመረጡ መሆናቸውን ያሳያል።
በRobots.txt ውስጥ ለሁሉም የፍለጋ ፕሮግራሞች መረጃ ጠቋሚ ማሰናከል ትችላለህ በቀላል ትእዛዝ፡ "ተጠቃሚ-ወኪል፡አትፍቀድ: /" (ያለ ጥቅሶች)። በዚህ ጉዳይ ላይ ያለው የኮከብ ምልክት ሁሉንም የፍለጋ ሮቦቶችን ያመለክታል። በተለምዶ እንደዚህ ያለ ትእዛዝ የጣቢያውን መረጃ ጠቋሚ ለአፍታ ለማቆም እና ካርዲናል ስራ በላዩ ላይ ለመጀመር ያስፈልጋል፣ ይህ ካልሆነ ግን ማመቻቸት ላይ ተጽዕኖ ሊያሳርፍ ይችላል።
ሀብቱ ትልቅ ከሆነ እና ብዙ ገፆች ካሉት ብዙ ጊዜ የባለቤትነት መረጃን ይይዛል ወይ ለመግለፅ የማይፈለግ ወይም ማስተዋወቅ ላይ አሉታዊ ተጽዕኖ ሊያሳድር ይችላል። በዚህ አጋጣሚ በrobots.txt. ላይ ገጹን ከመጠቆም እንዴት እንደሚዘጋ መረዳት አለቦት።
አቃፊን ወይም ፋይልን መደበቅ ትችላለህ። በመጀመሪያው ጉዳይ ላይ አንድ የተወሰነ ቦት ወይም ሁሉንም ሰው በማነጋገር እንደገና መጀመር አለብዎት, ስለዚህ "የተጠቃሚ-ወኪል" ትዕዛዝ እንጠቀማለን, እና ከዚህ በታች ለተወሰነ አቃፊ "አትፍቀድ" የሚለውን ትዕዛዝ እንገልጻለን. እንደዚህ ይመስላል: "አትፍቀድ: / አቃፊ /" (ያለ ጥቅሶች). በዚህ መንገድ መላውን አቃፊ ይደብቃሉ. ሊያሳዩት የሚፈልጉት ጠቃሚ ፋይል ካለ፣ “ፍቀድ: /folder/file.php” (ያለ ጥቅሶች) የሚለውን ከዚህ በታች መፃፍ ያስፈልግዎታል።
ፋይሉን ያረጋግጡ
ቦታውን ለመዝጋት robots.txt የሚጠቀሙ ከሆነመረጃ ጠቋሚ በማውጣት ተሳክቶልሃል፣ነገር ግን ሁሉም መመሪያዎችህ በትክክል እንደሰሩ አታውቅም፣የስራውን ትክክለኛነት ማረጋገጥ ትችላለህ።
በመጀመሪያ የሰነዱን አቀማመጥ እንደገና ማረጋገጥ ያስፈልግዎታል። ያስታውሱ በ root አቃፊ ውስጥ ብቻ መሆን አለበት። በ root አቃፊ ውስጥ ከሆነ, ከዚያ አይሰራም. በመቀጠል አሳሹን ይክፈቱ እና የሚከተለውን አድራሻ እዚያ ያስገቡ፡ “https://yoursite. com/robots.txt (ያለ ጥቅሶች)። በድር አሳሽህ ላይ ስህተት ካጋጠመህ ፋይሉ የት መሆን የለበትም።
መመሪያዎች በሁሉም የድር አስተዳዳሪዎች በሚጠቀሙባቸው ልዩ መሳሪያዎች ውስጥ መፈተሽ ይችላሉ። እየተነጋገርን ያለነው ስለ Google እና Yandex ምርቶች ነው። ለምሳሌ፣ በGoogle ፍለጋ ኮንሶል ውስጥ "Crawl" ን ለመክፈት የሚያስፈልግዎ የመሳሪያ አሞሌ አለ፣ እና ከዚያ "Robots.txt File Inspection Tool" ን ያሂዱ። ሁሉንም መረጃዎች ከሰነዱ ወደ መስኮቱ መቅዳት እና መቃኘት መጀመር ያስፈልግዎታል. በትክክል ተመሳሳይ ቼክ በ Yandex. Webmaster ውስጥ ሊከናወን ይችላል።
