<div dir="ltr">hi folks,<div><br></div><div>on the note of slightly more general package management.</div><div><br></div><div>for our most recent cluster we have switched to a project specific versioning system with modulefiles. each project creates its own environment (not just python but across other tools as well). for python, most of our cluster users use miniconda/anaconda for their environments and it has worked really well. particularly, when they need to install other non-python dependencies that conda folks have already built. each project can maintain or update their stack themselves.<div><br></div><div>unlike personal computers or the cloud, on our cluster we need simultaneous access to multiple versions of packages and libraries and we cannot run docker (requires uid==0 privileges since the kernels we run have no namespace support). so traditional packaging solutions simply don't work. modulefiles and lmod is what TACC uses to support packages across their userbase, and for us following that model got us up and running relatively quickly. further, we are able to share such packaging across local institutions co-located in a central cluster computing facility. setting up openstack was not possible because of GPU needs. we also allow running vm's with vagrant, where people can use more traditional environments with package management. however, GPU passthroughs are still not clean. we encourage users to do their own testing.</div><div><br></div><div>this project offers an alternative cross-platform solution to creating certain software stacks.</div><div> </div><div><a href="https://hashdist.github.io/">https://hashdist.github.io/</a><br></div><div><br></div><div>i would love to hear if there are other solutions that can provide user/group-level software install in an HPC setting. we do need support for access to hardware such as GPUs and these solutions have to be usable within queuing systems.</div><div><br></div><div>cheers,<br></div><div class="gmail_extra"><div><div class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><br>satra<br><br></div></div></div></div></div></div></div><div class="gmail_quote">On Mon, Aug 3, 2015 at 6:06 PM, JB Poline <span dir="ltr"><<a href="mailto:jbpoline@gmail.com" target="_blank">jbpoline@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote"><span class="">On Mon, Aug 3, 2015 at 2:10 PM, Matthew Brett <span dir="ltr"><<a href="mailto:matthew.brett@gmail.com" target="_blank">matthew.brett@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span>On Mon, Aug 3, 2015 at 5:49 PM, JB Poline <<a href="mailto:jbpoline@gmail.com" target="_blank">jbpoline@gmail.com</a>> wrote:<br>
> That's a very useful page to me -<br>
> A quick possible addition : why / when use the  --user option ? (and get<br>
> packages in .local/... )<br>
<br>
</span>I personally don't use --user very often, just because I have got used<br>
to starting a new virtualenv whenever I do something.   For example,<br>
if I am working on dipy I might do:<br>
<br>
mkvirtualenv dipy-work<br>
pip install -r requirements.txt<br>
<br>
This takes a few seconds on my machine because the relevant wheels are<br>
built and cached.<br></blockquote><div><br></div></span><div>Looks like this would be a nice little addition to your explanations <br></div><span class=""><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<span><br>
> I also wonder if examples of trouble shooting or install that raised<br>
> difficulties could be added there in a "use cases" section : by reading how<br>
> some issues where solved I'm sure I could learn a bit more how to debug<br>
> install that go wrong.<br>
<br>
</span>How about raising an Issue on that repo when you run into trouble, and<br>
we can try and add something useful on solving the problem?<br>
<br>
<a href="https://github.com/matthew-brett/pydagogue/issues" rel="noreferrer" target="_blank">https://github.com/matthew-brett/pydagogue/issues</a><br>
<br>
I'll add something at the bottom of the page.<br></blockquote><div><br><br></div></span><div>ok - will do when I run into trouble (so probably often and soon)<br></div><div>see ya<span class="HOEnZb"><font color="#888888"><br></font></span></div><span class="HOEnZb"><font color="#888888"><div>JB<br></div><br></font></span></div></div></div>
<br>_______________________________________________<br>
Neuroimaging mailing list<br>
<a href="mailto:Neuroimaging@python.org">Neuroimaging@python.org</a><br>
<a href="https://mail.python.org/mailman/listinfo/neuroimaging" rel="noreferrer" target="_blank">https://mail.python.org/mailman/listinfo/neuroimaging</a><br>
<br></blockquote></div><br></div></div></div>