I'm trying to scrap a dynamic page with lot of javascript in it. Inorder to get all the data from the page i need to access the javascript. But i've no idea how to do it.<br><br>Say I'm scraping some site htttp://<a href="http://www.xyz.com/xyz">www.xyz.com/xyz</a><br>
<br>request=urllib2.Request("htttp://<a href="http://www.xyz.com/xyz">www.xyz.com/xyz</a>")<br>response=urllib2.urlopen(request)<br>data=response.read()<br><br><br>So i get all the data on the initial page. Now i need to access the javascript on this page to get additional details. I've heard someone telling me to use spidermonkey. But no idea  on how to send javscript as request and get the response. How hsuld i be sending the javascript request as ? how can it be sent? <br>
<br>This is the script I need to access.<br><br><a href=# onclick="groups.render_box('data', {&quot;page&quot;: 2});return false;">Click this to view more items</a><br><br>Can anyone tell me how can i do it very clearly. I've been breaking my head into this for the past few days with no progress.<br>
<br><br>Thanks<br><br>