<div dir="ltr">Thanks Brian. ;)<div><br></div><div>I'm currently running a setup where I'm subdividing a machine with .5 TB of RAM, where each user gets 512 MB of RAM (~1000 users). Not quite ready to show off beyond a handful of people. Email me directly if you want to check it out.</div><div><br></div><div>If anyone wants specs or to talk about the environment, feel free to ask. ;) All tools are built agnostic of providers, but I am working cloud configs that optimize for the hardware its being run on, primarily for how /var/lib/docker is mounted.</div><div><br></div><div>-- Kyle</div><div><br></div><div><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Oct 3, 2014 at 1:57 PM, Brian Granger <span dir="ltr"><<a href="mailto:ellisonbg@gmail.com" target="_blank">ellisonbg@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">(Kyle, working at Rackspace, might not volunteer this information in<br>
this context)<br>
<br>
I highly recommend looking at Rackspace's OnMetal Servers for<br>
performance critical things that you want to cost contain.<br>
<br>
Cheers,<br>
<br>
Brian<br>
<div class="HOEnZb"><div class="h5"><br>
On Fri, Oct 3, 2014 at 11:18 AM, ssanderson <<a href="mailto:ssanderson@quantopian.com">ssanderson@quantopian.com</a>> wrote:<br>
> Kyle,<br>
><br>
> Currently we're spinning up new containers manually over SSH using Fabric.<br>
> The container we're running is conceptually pretty similar to the<br>
> scipyserver container in  docker-notebook<br>
> <<a href="https://github.com/ipython/docker-notebook" target="_blank">https://github.com/ipython/docker-notebook</a>>  .  At the moment we're not<br>
> doing any sort of proxying, so each single user server just gets its own<br>
> unique URL and password, which is supplied to its user.<br>
><br>
> As far as how many containers we run per host, we're still playing around<br>
> with different instance types and resource limits, so we haven't settled on<br>
> a specific number.  One of the challenges for us is that different research<br>
> activities have radically different performance profiles.  For example,<br>
> querying historical financial data is mostly IO-bound, analyses of large<br>
> datasets are often constrained by RAM, and backtesting with in-memory data<br>
> is primarily CPU-bound (in my dream world, we can farm out the CPU-bound<br>
> tasks to pool of worker containers using IPython Parallel, but that's a ways<br>
> off).   That said, I think our current ballpark is to run on the order of 10<br>
> containers per host.<br>
><br>
><br>
><br>
> --<br>
> View this message in context: <a href="http://python.6.x6.nabble.com/Multi-user-IPython-Notebook-tp5073520p5073582.html" target="_blank">http://python.6.x6.nabble.com/Multi-user-IPython-Notebook-tp5073520p5073582.html</a><br>
> Sent from the IPython - Development mailing list archive at Nabble.com.<br>
> _______________________________________________<br>
> IPython-dev mailing list<br>
> <a href="mailto:IPython-dev@scipy.org">IPython-dev@scipy.org</a><br>
> <a href="http://mail.scipy.org/mailman/listinfo/ipython-dev" target="_blank">http://mail.scipy.org/mailman/listinfo/ipython-dev</a><br>
<br>
<br>
<br>
</div></div><span class="HOEnZb"><font color="#888888">--<br>
Brian E. Granger<br>
Cal Poly State University, San Luis Obispo<br>
@ellisonbg on Twitter and GitHub<br>
<a href="mailto:bgranger@calpoly.edu">bgranger@calpoly.edu</a> and <a href="mailto:ellisonbg@gmail.com">ellisonbg@gmail.com</a><br>
</font></span><div class="HOEnZb"><div class="h5">_______________________________________________<br>
IPython-dev mailing list<br>
<a href="mailto:IPython-dev@scipy.org">IPython-dev@scipy.org</a><br>
<a href="http://mail.scipy.org/mailman/listinfo/ipython-dev" target="_blank">http://mail.scipy.org/mailman/listinfo/ipython-dev</a><br>
</div></div></blockquote></div><br><br clear="all"><div><br></div>-- <br><div dir="ltr">Kyle Kelley (<a href="https://twitter.com/rgbkrk" target="_blank">@rgbkrk</a>; <a href="http://lambdaops.com/" style="color:rgb(17,85,204)" target="_blank">http://lambdaops.com</a>)<br></div>
</div>