<span></span><div>Here is a sample of the output, It almost instantly uses 2GB and then starts using VMem. This is probably the right suggestion but it's another thing to install</div><div><blockquote class="gmail_quote" style="margin-top: 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 0.8ex; border-left-width: 1px; border-left-color: rgb(204, 204, 204); border-left-style: solid; padding-left: 1ex; ">
It's probably also worth being aware of guppy's heapy stuff:</blockquote><span class="Apple-style-span" style="font-family: arial, sans-serif; font-size: 13px; border-collapse: collapse; "><blockquote><a href="http://guppy-pe.sourceforge.net/heapy_tutorial.html" rel="nofollow" target="_blank"><font class="Apple-style-span" color="#000000">http://guppy-pe.sourceforge.net/heapy_tutorial....</font></a>I find it quite nice to have the following to get a quick point-in-time estimate of my app's memory usage:</blockquote>
<blockquote>print 'Current memory usage: %iMB' % (hpy().heap().stat.size/(1024*1024))</blockquote></span></div><div><span class="Apple-style-span" style="font-family: arial, sans-serif; font-size: 13px; border-collapse: collapse; "><br>
</span></div><div>19 files of 43 using 3352 bytes of memory</div><div>Loading into memory: 3_veg_nm_rep1.txt</div><div>3_veg_nm_rep1.txt has 228484 rows of data</div><div>3_veg_nm_rep1.txt has 0 rows of masked data</div><div>
3_veg_nm_rep1.txt has 141 rows of outliers</div><div>3_veg_nm_rep1.txt has 0 modified rows of data</div><div>280bytes of memory used for 3_veg_nm_rep1.txt</div><div> </div><div>20 files of 43 using 3352 bytes of memory</div>
<div>Loading into memory: 3_veg_nm_rep2.txt</div><div>3_veg_nm_rep2.txt has 228484 rows of data</div><div>3_veg_nm_rep2.txt has 0 rows of masked data</div><div>3_veg_nm_rep2.txt has 119 rows of outliers</div><div>3_veg_nm_rep2.txt has 0 modified rows of data</div>
<div>280bytes of memory used for 3_veg_nm_rep2.txt</div><div> </div><div>21 files of 43 using 3352 bytes of memory</div><div>Loading into memory: 3_veg_phd_rep1.txt</div><div>3_veg_phd_rep1.txt has 228484 rows of data</div>
<div>3_veg_phd_rep1.txt has 0 rows of masked data</div><div>3_veg_phd_rep1.txt has 63 rows of outliers</div><div>3_veg_phd_rep1.txt has 0 modified rows of data</div><div>280bytes of memory used for 3_veg_phd_rep1.txt</div>
<div> </div><div>22 files of 43 using 6424 bytes of memory</div><div>Loading into memory: 3g_c285-11.txt</div><div>3g_c285-11.txt has 228484 rows of data</div><div>3g_c285-11.txt has 0 rows of masked data</div><div>3g_c285-11.txt has 65 rows of outliers</div>
<div>3g_c285-11.txt has 0 modified rows of data</div><div>280bytes of memory used for 3g_c285-11.txt</div><div> </div><div>23 files of 43 using 6424 bytes of memory</div><div>Loading into memory: 3g_c285-42.txt</div><div>
3g_c285-42.txt has 228484 rows of data</div><div>3g_c285-42.txt has 0 rows of masked data</div><div>3g_c285-42.txt has 27 rows of outliers</div><div>3g_c285-42.txt has 0 modified rows of data</div><div>280bytes of memory used for 3g_c285-42.txt</div>
<div> </div><div>24 files of 43 using 6424 bytes of memory</div><div>Loading into memory: A6AF.txt</div><div>A6AF.txt has 228484 rows of data</div><div>A6AF.txt has 0 rows of masked data</div><div>A6AF.txt has 36 rows of outliers</div>
<div>A6AF.txt has 0 modified rows of data</div><div>280bytes of memory used for A6AF.txt</div><div> </div><div>25 files of 43 using 6424 bytes of memory</div><div>Loading into memory: Grigg_3026_rep1.txt</div><div>Grigg_3026_rep1.txt has 228484 rows of data</div>
<div>Grigg_3026_rep1.txt has 0 rows of masked data</div><div>Grigg_3026_rep1.txt has 949 rows of outliers</div><div>Grigg_3026_rep1.txt has 0 modified rows of data</div><div>280bytes of memory used for Grigg_3026_rep1.txt</div>
<div> </div><div>26 files of 43 using 6424 bytes of memory</div><div>Loading into memory: Grigg_3026_rep2.txt</div><div>Grigg_3026_rep2.txt has 228484 rows of data</div><div>Grigg_3026_rep2.txt has 0 rows of masked data</div>
<div>Grigg_3026_rep2.txt has 361 rows of outliers</div><div>Grigg_3026_rep2.txt has 0 modified rows of data</div><div>280bytes of memory used for Grigg_3026_rep2.txt</div><div> </div><div>27 files of 43 using 6424 bytes of memory</div>
<div>Loading into memory: Grigg_3026_rep3_both.txt</div><div>Grigg_3026_rep3_both.txt has 228484 rows of data</div><div>Grigg_3026_rep3_both.txt has 0 rows of masked data</div><div>Grigg_3026_rep3_both.txt has 41 rows of outliers</div>
<div>Grigg_3026_rep3_both.txt has 0 modified rows of data</div><div>280bytes of memory used for Grigg_3026_rep3_both.txt</div><div> </div><div>28 files of 43 using 6424 bytes of memory</div><div>Loading into memory: Grigg_3131_rep1.txt</div>
<div>Grigg_3131_rep1.txt has 228484 rows of data</div><div>Grigg_3131_rep1.txt has 0 rows of masked data</div><div>Grigg_3131_rep1.txt has 537 rows of outliers</div><div>Grigg_3131_rep1.txt has 0 modified rows of data</div>
<div>280bytes of memory used for Grigg_3131_rep1.txt</div><div> </div><div>29 files of 43 using 6424 bytes of memory</div><div>Loading into memory: Grigg_3131_rep2.txt</div><div>Grigg_3131_rep2.txt has 228484 rows of data</div>
<div>Grigg_3131_rep2.txt has 0 rows of masked data</div><div>Grigg_3131_rep2.txt has 238 rows of outliers</div><div>Grigg_3131_rep2.txt has 0 modified rows of data</div><div>280bytes of memory used for Grigg_3131_rep2.txt</div>
<div> </div><div>30 files of 43 using 6424 bytes of memory</div><div><br></div><div name="mailplane_signature"> <table><tbody><tr><td width="80">
<img src="http://www.gravatar.com/avatar/226e40fdc55d4597a46279296a616384.png">
</td><td width="10"></td><td width="127" align="center">
<div style="padding-right: 5px; padding-left: 5px;
font-size: 11px; padding-bottom: 5px; color: #666666;
padding-top: 5px">
  <p><strong>Vincent Davis<br>
    720-301-3003
  </strong><br>
    
    <a href="mailto:vincent@vincentdavis.net">vincent@vincentdavis.net</a>  </p>
<div style="font-size: 10px">
  <a href="http://vincentdavis.net">my blog</a> |
  <a href="http://www.linkedin.com/in/vincentdavis">LinkedIn</a></div></div></td></tr><tr></tr></tbody></table></div><br><br><div class="gmail_quote">On Sat, Feb 20, 2010 at 7:40 PM, <a href="mailto:ssteinerX@gmail.com">ssteinerX@gmail.com</a> <span dir="ltr"><<a href="mailto:ssteinerx@gmail.com">ssteinerx@gmail.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;"><div style="word-wrap:break-word"><br><div><div class="im"><div>On Feb 20, 2010, at 9:21 PM, Vincent Davis wrote:</div>
<br><blockquote type="cite"><blockquote class="gmail_quote" style="margin-top:0px;margin-right:0px;margin-bottom:0px;margin-left:0.8ex;border-left-width:1px;border-left-color:rgb(204, 204, 204);border-left-style:solid;padding-left:1ex">

See this article for some more info about the reported sizes of things: <a href="http://www.doughellmann.com/PyMOTW/sys/limits.html" target="_blank"><font>http://www.doughellmann.com/PyMOTW/sys/limits.html</font></a></blockquote>

<div><br></div><div><a href="http://www.doughellmann.com/PyMOTW/sys/limits.html" target="_blank"></a>Nice article but I must have missed something useful to my current issue. Do I get any hints?</div></blockquote><div><br>
</div></div><div>Oh, sorry, there was the part about getsizeof() not including attributes unless the class supplies a __sizeof__ method and a comment at the bottom:</div><div><br></div><div>It's probably also worth being aware of guppy's heapy stuff:<br>
<a href="http://guppy-pe.sourceforge.net/heapy_tutorial.html" rel="nofollow" target="_blank">http://guppy-pe.sourceforge.net/heapy_tutorial....</a><br><br>I find it quite nice to have the following to get a quick point-in-time estimate of my app's memory usage:<br>
<br>print 'Current memory usage: %iMB' % (hpy().heap().stat.size/(1024*1024))</div><div><br></div><div>Put a few of those in at various places in the collection process and you should see where you're taking a substantial hit on each pass.</div>
<div><br></div><div>If I remember those numbers right, 5mb != 2.5gb so something along the way is doing something very strange.</div><div><br></div><font color="#888888"><div>S</div><div><br></div></font></div></div></blockquote>
</div><br>