<div dir="ltr"><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Sep 15, 2017 at 2:37 PM, Elliot Hallmark <span dir="ltr"><<a href="mailto:Permafacture@gmail.com" target="_blank">Permafacture@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><p dir="ltr">Nope. Numpy only works on in memory arrays. You can determine your own chunking strategy using hdf5, or something like dask can figure that strategy out for you. With numpy you might worry about not accidentally making duplicates or intermediate arrays, but that's the extent of memory optimization you can do in numpy itself.</p></blockquote></div><br>NumPy does have it's own memory map variant on ndarray:</div><div class="gmail_extra"><br></div><div class="gmail_extra"><a href="https://docs.scipy.org/doc/numpy/reference/generated/numpy.memmap.html">https://docs.scipy.org/doc/numpy/reference/generated/numpy.memmap.html</a><br></div><div class="gmail_extra"><br></div><div class="gmail_extra"><br clear="all"><div><br></div>-- <br><div class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr">Robert McLeod, Ph.D.</div><div><a href="mailto:robbmcleod@gmail.com" target="_blank">robbmcleod@gmail.com</a><br></div><div><a href="mailto:robbmcleod@protonmail.com" target="_blank">robbmcleod@protonmail.com</a></div><div><br></div></div></div></div></div></div></div></div></div></div></div>
</div></div>