<br><br><div class="gmail_quote">On Sat, May 16, 2009 at 2:18 PM, S.Selvam <span dir="ltr"><<a href="mailto:s.selvamsiva@gmail.com">s.selvamsiva@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
Hi all,<br><br>I have to design web parser which will visit the given list of websites and need to fetch a particular set of details.<br>It has to be so generic that even if we add new websites, it must fetch those details if available anywhere.<br>


So it must be something like a framework.<br><br>Though i have done some parsers ,but they will parse for a given format(For. eg It will get the data from <title> tag).But here each website may have different format and the information may available within any tags.<br>

<br>I know its a tough task for me,but i feel with python it should be possible.<br>My request is, if such thing is already available please let me know ,also your suggestions are welcome.<br>
<br>Note: I planned to use BeautifulSoup for parsing.<br clear="all"><br>-- <br>Yours,<br><font color="#888888">S.Selvam<br>
</font><br>--<br>
<a href="http://mail.python.org/mailman/listinfo/python-list" target="_blank">http://mail.python.org/mailman/listinfo/python-list</a><br>
<br></blockquote></div><br>I'd recommend mechanize in combination with BeautifulSoup - it greatly simplifies most web-scraping tasks.<br>