You guys are right. If I disable the gc it will use all the virtual RAM in my test.<br><br>The application I have been running these tests for is a port of a program written in a LISP-based tool running on Unix.<br>It does a mass of stress calculations.<br>
<br>The port has been written using a python-based toolkit I am responsible for. This toolkit offers much of the same functionlity as the LISP tool.<br>It is based around the use of demand-driven/declarative programming.<br>
<br>When the porting project started no one realised just how much memory the heaviest of the test cases used.<br>It uses 40+ GB on an HP Unix machine.<br><br>It is easy to see now that the port should have been written differently, but it is essentially complete now.<br>
<br>This has lead me to see if a hardware solution can be found using 64 bit windows machnes.<br><br>I will try running one the tests next to see what impact disabling the gc will have.<br><br>Thanks,<br>Rob.<br><br><br><div class="gmail_quote">
On 9 December 2010 22:44, John Nagle <span dir="ltr"><<a href="mailto:nagle@animats.com">nagle@animats.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin: 0pt 0pt 0pt 0.8ex; border-left: 1px solid rgb(204, 204, 204); padding-left: 1ex;">
<div class="im">On 12/8/2010 10:42 PM, Dennis Lee Bieber wrote:<br>
</div><blockquote class="gmail_quote" style="margin: 0pt 0pt 0pt 0.8ex; border-left: 1px solid rgb(204, 204, 204); padding-left: 1ex;"><div class="im">
On Wed, 8 Dec 2010 14:44:30 +0000, Rob Randall<<a href="mailto:rob.randall2@gmail.com" target="_blank">rob.randall2@gmail.com</a>><br>
declaimed the following in gmane.comp.python.general:<br>
<br>
</div><div class="im"><blockquote class="gmail_quote" style="margin: 0pt 0pt 0pt 0.8ex; border-left: 1px solid rgb(204, 204, 204); padding-left: 1ex;">
I am trying to understand how much memory is available to a 64 bit python<br>
process running under Windows XP 64 bit.<br>
<br>
When I run tests just creating a series of large dictionaries containing<br>
string keys and float values I do not seem to be able to grow the process<br>
beyond the amount of RAM present.<br>
</blockquote></div></blockquote>
<br>
   If you get to the point where you need multi-gigabyte Python<br>
dictionaries, you may be using the wrong tool for the job.<br>
If it's simply that you need to manage a large amount of data,<br>
that's what databases are for.<br>
<br>
   If this is some super high performance application that needs to keep a big database in memory for performance reasons, CPython<br>
is probably too slow.  For that, something like Google's BigTable<br>
may be more appropriate, and will scale to terabytes if necessary.<br><font color="#888888">
<br>
                                John Nagle</font><div><div></div><div class="h5"><br>
-- <br>
<a href="http://mail.python.org/mailman/listinfo/python-list" target="_blank">http://mail.python.org/mailman/listinfo/python-list</a><br>
</div></div></blockquote></div><br>