الوحدة urllib.robotparser في بايثون
تقدّم هذه الوحدة صنفًا مفردًا هو RobotFileParser والذي يحدّد ما إذا كان بإمكان وكيل المستخدم user agent جلب عنوان URL من الموقع الإلكتروني الذي نشر ملف robots.txt. للاطلاع على المزيد من التفاصيل حول بنية ملفات robots.txt يمكن الرجوع إلى http://www.robotstxt.org/orig.html.
الصنف urllib.robotparser.RobotFileParser
يقدّم هذا الصنف توابع لقراءة الأسئلة عن ملف robots.txt وتحليلها والإجابة عن الأسئلة المتعلّقة بها في عنوان URL المعطى.