<div dir="ltr"><div class="gmail_extra"><div class="gmail_extra"><div class="gmail_quote">On 4 February 2014 15:01, RayS <span dir="ltr"><<a href="mailto:rays@blue-cove.com" target="_blank">rays@blue-cove.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<div>
<font color="#800000">I was struggling with  methods of reading
large disk files into numpy efficiently (not FITS or .npy, just raw files
of IEEE floats from numpy.tostring()). When loading arbitrarily large
files it would be nice to not bother reading more than the plot can
display before zooming in. There apparently are no built in methods that
allow skipping/striding...</font></div></blockquote><div><br></div><div>Since
 you mentioned the plural "files", are your datasets entirely contained 
within a single file? If not, you might be interested in Biggus 
(<a href="https://pypi.python.org/pypi/Biggus">https://pypi.python.org/pypi/Biggus</a>). It's a small pure-Python module 
that lets you "glue-together" arrays (such as those from smmap) into a single arbitrarily large 
virtual array. You can then step over the virtual array and it maps it 
back to the underlying sources.<br><br>Richard<br></div></div></div><br></div></div>