Google Robots.txt नियमों की सूची का विस्तार करने की योजना
Google की नई Robots.txt अनुसंधान परियोजना
Google अपनी robots.txt documentation में बदलाव की तैयारी कर रहा है। कंपनी के विशेषज्ञ Gary Illyes और Martin Splitt ने हाल ही में बताया कि वे HTTP Archive के माध्यम से वास्तविक robots.txt डेटा का विश्लेषण कर रहे हैं। यह परियोजना तब शुरू हुई जब एक community member ने दो नए tags को असमर्थित सूची में जोड़ने का सुझाव दिया। Google की टीम ने इस अवसर का उपयोग करके व्यापक दृष्टिकोण अपनाया है। वे केवल उन दो tags तक सीमित नहीं रहे बल्कि शीर्ष 10-15 सबसे अधिक उपयोग किए जाने वाले असमर्थित नियमों की जांच करने का निर्णय लिया। Auto Backlinks Builder और AI Content Aggregator जैसे tools के साथ, यह अनुसंधान digital marketing की दुनिया में महत्वपूर्ण बदलाव ला सकता है।
अनुसंधान पद्धति और डेटा संग्रह प्रक्रिया
Google की टीम ने HTTP Archive का उपयोग करके लाखों websites के robots.txt files का अध्ययन किया। प्रारंभिक प्रयास में चुनौती आई जब पता चला कि default crawl के दौरान robots.txt files का अनुरोध नहीं किया जाता था। इस समस्या के समाधान के लिए Barry Pollard और HTTP Archive community से सलाह लेकर, टीम ने एक custom JavaScript parser विकसित किया। यह parser robots.txt rules को line-by-line extract करता है और February crawl से पहले इसे merge किया गया। अब यह डेटा BigQuery के custom_metrics dataset में उपलब्ध है। AI Post Images Generator और अन्य modern tools की भांति, यह तकनीकी approach data-driven निर्णयों को संभव बनाती है। परिणामस्वरूप, अब researchers वास्तविक उपयोग के patterns का सटीक विश्लेषण कर सकते हैं।
भविष्य की संभावनाएं और SEO पर प्रभाव
वर्तमान में Google केवल चार fields को support करता है: user-agent, allow, disallow, और sitemap। नए अनुसंधान के बाद, असमर्थित directives की एक comprehensive सूची तैयार की जाएगी। Gary Illyes ने यह भी संकेत दिया कि disallow rule की common misspellings को भी स्वीकार करने का विचार है। यह बदलाव Search Console में पहले से दिखाए जा रहे unrecognized tags के documentation को बेहतर बनाएगा। Website owners को अपनी robots.txt files की audit करनी चाहिए और उन directives को हटाना चाहिए जो कभी काम नहीं करते थे। BigQuery पर यह डेटा publicly available है, जिससे researchers अपना विश्लेषण कर सकते हैं। यह development SEO professionals और digital marketers के लिए अधिक clarity प्रदान करेगी।
