<div dir="ltr"><div>Hi Wes,<br><br></div>Thank you for the quick response.<br><div><div><div class="gmail_extra"><br><br><div class="gmail_quote">On Mon, Aug 11, 2014 at 3:06 PM, Wes Turner <span dir="ltr"><<a href="mailto:wes.turner@gmail.com" target="_blank">wes.turner@gmail.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">If I understand your use case correctly, each computation node needs a<br>
copy of all 2GB of the same data?<br>
<br>
For reference, how does the transfer rate compare to rsync-ing the<br>
same data over SSH?<br></blockquote><div><br></div><div>I should have been more clear, it's actually a local cluster, i.e., same host just multiple local kernels. So I have one process that loads the data, does some pre-processing and then creates a dictionary that it pushes to the namespace of the other kernels. I understand that the data needs to go through ZMQ but since it's on the same machine I expected it to be faster (with 64 kernels it takes about 15 min). If desired I can come up with a minimal notebook.<br>
</div><div><br></div><div>Cheers,<br></div><div>Moritz<br></div></div></div></div></div></div>