<html>
<body>
At 12:11 PM 2/5/2014, Richard Hattersley wrote:<br>
<blockquote type=cite class=cite cite="">On 4 February 2014 15:01, RayS
<<a href="mailto:rays@blue-cove.com">rays@blue-cove.com</a>>
wrote:<br>

<dl>
<dd><font color="#800000">I was struggling with  methods of reading
large disk files into numpy efficiently (not FITS or .npy, just raw files
of IEEE floats from numpy.tostring()). When loading arbitrarily large
files it would be nice to not bother reading more than the plot can
display before zooming in. There apparently are no built in methods that
allow skipping/striding...<br>
</font><br>

</dl><br>
Since you mentioned the plural "files", are your datasets
entirely contained within a single file? If not, you might be interested
in Biggus
(<a href="https://pypi.python.org/pypi/Biggus">
https://pypi.python.org/pypi/Biggus</a>). It's a small pure-Python module
that lets you "glue-together" arrays (such as those from smmap)
into a single arbitrarily large virtual array. You can then step over the
virtual array and it maps it back to the underlying sources.<br><br>
Richard<br>
</blockquote><br>
<font color="#800000">ooh, that might help<br>
they are individual GB files from medical trial studies<br><br>
I see there are some examples about<br>
<a href="https://github.com/SciTools/biggus/wiki/Sample-usage" eudora="autourl">
https://github.com/SciTools/biggus/wiki/Sample-usage</a><br>
<a href="http://nbviewer.ipython.org/gist/pelson/6139282" eudora="autourl">
http://nbviewer.ipython.org/gist/pelson/6139282<br><br>
</a></font>Thanks!<br>
</body>
</html>