hi justin,<br><br>this is fantastic. i think it will be good to at least put the queue to be used as a user option. most of the time installations of torque or sge have multiple queues. <br><br clear="all">cheers,<br><br>satra<br>

<br><br><div class="gmail_quote">On Sun, Jul 18, 2010 at 1:02 PM, Justin Riley <span dir="ltr"><<a href="mailto:justin.t.riley@gmail.com">justin.t.riley@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin: 0pt 0pt 0pt 0.8ex; border-left: 1px solid rgb(204, 204, 204); padding-left: 1ex;">
Forgot to mention, in my fork PBS now automatically generates a launch script as well if one is not specified. So, assuming you have either SGE or Torque/PBS working it *should* be as simple as:<br>
<br>
$ ipcluster sge -n 4<br>
<br>
or<br>
<br>
$ ipcluster pbs -n 4<br>
<br>
You can of course still pass the --sge-script/--pbs-script options but the user is no longer required to create a launch script themselves.<br><font color="#888888">
<br>
~Justin</font><div><div></div><div class="h5"><br>
<br>
On 07/18/2010 12:58 PM, Justin Riley wrote:<br>
<blockquote class="gmail_quote" style="margin: 0pt 0pt 0pt 0.8ex; border-left: 1px solid rgb(204, 204, 204); padding-left: 1ex;">
Turns out that torque/pbs also support job arrays. I've updated my<br>
0.10.1-sge branch with PBS job array support. Works well with torque<br>
2.4.6. Also tested SGE support against 6.2u3.<br>
<br>
Since the code is extremely similar between PBS/SGE I decided to update<br>
the BatchEngineSet base class to handle the core job array logic. Given<br>
that PBS/SGE are the only subclasses I figured this was OK. If not,<br>
should be easy to break it out again.<br>
<br>
~Justin<br>
<br>
On 07/18/2010 03:43 AM, Justin Riley wrote:<br>
<blockquote class="gmail_quote" style="margin: 0pt 0pt 0pt 0.8ex; border-left: 1px solid rgb(204, 204, 204); padding-left: 1ex;">
Hi Satra/Brian,<br>
<br>
I modified your code to use the job array feature of SGE. I've also made<br>
it so that users don't need to specify --sge-script if they don't need a<br>
custom SGE launch script. My guess is that most users will choose not to<br>
specify --sge-script first and resort to using --sge-script when the<br>
generated launch script no longer meets their needs. More details in the<br>
git log here:<br>
<br>
<a href="http://github.com/jtriley/ipython/tree/0.10.1-sge" target="_blank">http://github.com/jtriley/ipython/tree/0.10.1-sge</a><br>
<br>
Also, I need to test this, but I believe this code will fail if the<br>
folder containing the furl file is not NFS-mounted on the SGE cluster.<br>
Another option besides requiring NFS is to scp the furl file to each<br>
host as is done in the ssh mode of ipcluster, however, this would<br>
require password-less ssh to be configured properly (maybe not so bad).<br>
Another option is to dump the generated furl file into the job script<br>
itself. This has the advantage of only needing SGE installed but<br>
certainly doesn't seem like the safest practice. Any thoughts on how to<br>
approach this?<br>
<br>
Let me know what you think.<br>
<br>
~Justin<br>
<br>
On 07/18/2010 12:05 AM, Brian Granger wrote:<br>
<blockquote class="gmail_quote" style="margin: 0pt 0pt 0pt 0.8ex; border-left: 1px solid rgb(204, 204, 204); padding-left: 1ex;">
Is the array jobs feature what you want?<br>
<br>
<a href="http://wikis.sun.com/display/gridengine62u6/Submitting+Jobs" target="_blank">http://wikis.sun.com/display/gridengine62u6/Submitting+Jobs</a><br>
<br>
Brian<br>
<br>
On Sat, Jul 17, 2010 at 9:00 PM, Brian Granger<<a href="mailto:ellisonbg@gmail.com" target="_blank">ellisonbg@gmail.com</a>><br>
wrote:<br>
<blockquote class="gmail_quote" style="margin: 0pt 0pt 0pt 0.8ex; border-left: 1px solid rgb(204, 204, 204); padding-left: 1ex;">
On Sat, Jul 17, 2010 at 6:23 AM, Satrajit Ghosh<<a href="mailto:satra@mit.edu" target="_blank">satra@mit.edu</a>> wrote:<br>
<blockquote class="gmail_quote" style="margin: 0pt 0pt 0pt 0.8ex; border-left: 1px solid rgb(204, 204, 204); padding-left: 1ex;">
hi ,<br>
<br>
i've pushed my changes to:<br>
<br>
<a href="http://github.com/satra/ipython/tree/0.10.1-sge" target="_blank">http://github.com/satra/ipython/tree/0.10.1-sge</a><br>
<br>
notes:<br>
<br>
1. it starts cleanly. i can connect and execute things. when i kill<br>
using<br>
ctrl-c, the messages appear to indicate that everything shut down<br>
well.<br>
however, the sge ipengine jobs are still running.<br>
</blockquote>
<br>
What version of Python and Twisted are you running?<br>
<br>
<blockquote class="gmail_quote" style="margin: 0pt 0pt 0pt 0.8ex; border-left: 1px solid rgb(204, 204, 204); padding-left: 1ex;">
2. the pbs option appears to require mpi to be present. i don't<br>
think one<br>
can launch multiple engines using pbs without mpi or without the<br>
workaround<br>
i've applied to the sge engine. basically it submits an sge job for<br>
each<br>
engine that i want to run. i would love to know if a single job can<br>
launch<br>
multiple engines on a sge/pbs cluster without mpi.<br>
</blockquote>
<br>
I think you are right that pbs needs to use mpirun/mpiexec to start<br>
multiple engines using a single PBS job. I am not that familiar with<br>
SGE, can you start mulitple processes without mpi and with just a<br>
single SGE job? If so, let's try to get that working.<br>
<br>
Cheers,<br>
<br>
Brian<br>
<br>
<blockquote class="gmail_quote" style="margin: 0pt 0pt 0pt 0.8ex; border-left: 1px solid rgb(204, 204, 204); padding-left: 1ex;">
cheers,<br>
<br>
satra<br>
<br>
On Thu, Jul 15, 2010 at 8:55 PM, Satrajit Ghosh<<a href="mailto:satra@mit.edu" target="_blank">satra@mit.edu</a>> wrote:<br>
<blockquote class="gmail_quote" style="margin: 0pt 0pt 0pt 0.8ex; border-left: 1px solid rgb(204, 204, 204); padding-left: 1ex;">
<br>
hi justin,<br>
<br>
i hope to test it out tonight. from what fernando and i discussed,<br>
this<br>
should be relatively straightforward. once i'm done i'll push it to<br>
my fork<br>
of ipython and announce it here for others to test.<br>
<br>
cheers,<br>
<br>
satra<br>
<br>
<br>
On Thu, Jul 15, 2010 at 4:33 PM, Justin<br>
Riley<<a href="mailto:justin.t.riley@gmail.com" target="_blank">justin.t.riley@gmail.com</a>><br>
wrote:<br>
<blockquote class="gmail_quote" style="margin: 0pt 0pt 0pt 0.8ex; border-left: 1px solid rgb(204, 204, 204); padding-left: 1ex;">
<br>
This is great news. Right now StarCluster just takes advantage of<br>
password-less ssh already being installed and runs:<br>
<br>
$ ipcluster ssh --clusterfile /path/to/cluster_file.py<br>
<br>
This works fine for now, however, having SGE support would allow<br>
ipcluster's load to be accounted for by the queue.<br>
<br>
Is Satra on the list? I have experience with SGE and could help<br>
with the<br>
code if needed. I can also help test this functionality.<br>
<br>
~Justin<br>
<br>
On 07/15/2010 03:34 PM, Fernando Perez wrote:<br>
<blockquote class="gmail_quote" style="margin: 0pt 0pt 0pt 0.8ex; border-left: 1px solid rgb(204, 204, 204); padding-left: 1ex;">
On Thu, Jul 15, 2010 at 10:34 AM, Brian<br>
Granger<<a href="mailto:ellisonbg@gmail.com" target="_blank">ellisonbg@gmail.com</a>><br>
wrote:<br>
<blockquote class="gmail_quote" style="margin: 0pt 0pt 0pt 0.8ex; border-left: 1px solid rgb(204, 204, 204); padding-left: 1ex;">
Thanks for the post. You should also know that it looks like<br>
someone<br>
is going to add native SGE support to ipcluster for 0.10.1.<br>
</blockquote>
<br>
Yes, Satra and I went over this last night in detail (thanks to<br>
Brian<br>
for the pointers), and he said he might actually already have some<br>
code for it. I suspect we'll get this in soon.<br>
<br>
Cheers,<br>
<br>
f<br>
</blockquote>
<br>
_______________________________________________<br>
IPython-dev mailing list<br>
<a href="mailto:IPython-dev@scipy.org" target="_blank">IPython-dev@scipy.org</a><br>
<a href="http://mail.scipy.org/mailman/listinfo/ipython-dev" target="_blank">http://mail.scipy.org/mailman/listinfo/ipython-dev</a><br>
</blockquote>
<br>
</blockquote>
<br>
<br>
_______________________________________________<br>
IPython-dev mailing list<br>
<a href="mailto:IPython-dev@scipy.org" target="_blank">IPython-dev@scipy.org</a><br>
<a href="http://mail.scipy.org/mailman/listinfo/ipython-dev" target="_blank">http://mail.scipy.org/mailman/listinfo/ipython-dev</a><br>
<br>
<br>
</blockquote>
<br>
<br>
<br>
--<br>
Brian E. Granger, Ph.D.<br>
Assistant Professor of Physics<br>
Cal Poly State University, San Luis Obispo<br>
<a href="mailto:bgranger@calpoly.edu" target="_blank">bgranger@calpoly.edu</a><br>
<a href="mailto:ellisonbg@gmail.com" target="_blank">ellisonbg@gmail.com</a><br>
<br>
</blockquote>
<br>
<br>
<br>
</blockquote>
<br>
</blockquote>
<br>
</blockquote>
<br>
</div></div></blockquote></div><br>