<div dir="ltr"><div><div><div><div><div>Dear all,<br><br></div>I often find myself in the situation where I use IPython.parallel to push a bunch of data to the kernels (around 2 GB) and then do calculations over a large parameter space on that data. This is convenient and simple enough to do but copying the data takes a large amount of time (it scales with the number of kernels).<br>
<br></div>Is this something to be avoided altogether, are there ways to speed it up?<br><br></div>I'd welcome any pointers.<br><br></div>Best,<br></div>Moritz<br></div>