hi , I need help as to how i can fetch a wikipedia article i tried changing my user agent but it did not work . Although as far as my knowledge of robots.txt goes , looking at <a href="http://en.wikipedia.org/robots.txt">en.wikipedia.org/robots.txt</a> it does not seem it should block a useragent (*, which is what i would normally use) from accesing a simple article like say &quot;<a href="http://en.wikipedia.org/wiki/Sachin_Tendulkar">http://en.wikipedia.org/wiki/Sachin_Tendulkar</a>&quot; but still robotparser returns false <br>
status=rp.can_fetch(&quot;*&quot;, &quot;<a href="http://en.wikipedia.org/wiki/Sachin_Tendulkar">http://en.wikipedia.org/wiki/Sachin_Tendulkar</a>&quot;) where rp is a robot parser object . why is that?<br clear="all"><br>
-- <br>A-M-I-T S|S<br>