<div><br></div><div><br><div class="gmail_quote"><div dir="ltr">On Mon, Jul 2, 2018 at 7:42 PM Andrew Nelson <<a href="mailto:andyfaff@gmail.com">andyfaff@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><snip><br><br><div class="gmail_quote"></div></div><div dir="ltr"><div class="gmail_quote"><div dir="ltr">On Tue, 3 Jul 2018 at 09:31, Charles R Harris <<a href="mailto:charlesr.harris@gmail.com" target="_blank">charlesr.harris@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><br><div>ISTR that some parallel processing applications sent pickled arrays around to different processes, I don't know if that is still the case, but if so, no copy might be a big gain for them.</div></div></div></div></blockquote><div><br></div></div></div><div dir="ltr"><div class="gmail_quote"><div>That is very much correct. One example is using MCMC, which is massively parallel. I do parallelisation with mpi4py, and this requires distribution of pickled data of a reasonable size to the entire MPI world. This pickling introduces quite a bit of overhead.</div></div></div></blockquote><div dir="auto"><br></div><div dir="auto">Doesn’t mpi4py have support for buffered low-level communication of numpy arrays? See e.g. </div><div dir="auto"><div dir="auto"><a href="https://mpi4py.scipy.org/docs/usrman/tutorial.html">https://mpi4py.scipy.org/docs/usrman/tutorial.html</a></div><div dir="auto"><br></div><div dir="auto">Although I guess with Antoine’s proposal uses of the “lowercase” mpi4py API where data might get pickled will see speedups.</div></div><div dir="auto"><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_quote"><div></div></div></div>
_______________________________________________<br>
NumPy-Discussion mailing list<br>
<a href="mailto:NumPy-Discussion@python.org" target="_blank">NumPy-Discussion@python.org</a><br>
<a href="https://mail.python.org/mailman/listinfo/numpy-discussion" rel="noreferrer" target="_blank">https://mail.python.org/mailman/listinfo/numpy-discussion</a><br>
</blockquote></div></div>