<div dir="ltr">While Olivier Grisel may hang out here, I strongly suggest you repost on the sklearn list. He's a core dev for sklearn and an expert precisely on the intersection of sklearn and IPython.parallel (a topic on which he's teaching a tutorial next week at Strata).<div>

<br></div><div>The only catch is that he's likely traveling precisely for his Strata tutorial... But he's much more likely to give you an authoritative response on that than any of us from the IPython team.</div>
<div>
<br></div><div>Note also that sklearn supports simple parallelization with joblib for many of its tools (though I don't know if their RF classifier does). That *may* do the trick for you.</div><div><br></div><div>Cheers,</div>

<div><br></div><div>f</div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Fri, Feb 7, 2014 at 12:36 PM, Alessandro Gagliardi <span dir="ltr"><<a href="mailto:alessandro.gagliardi@glassdoor.com" target="_blank">alessandro.gagliardi@glassdoor.com</a>></span> wrote:<br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">



<div style="font-size:14px;font-family:Calibri,sans-serif;word-wrap:break-word">
<div>Not sure if I’m addressing the best list for this question, so if there’s a more appropriate list, please direct me to it.</div>
<div><br>
</div>
<div>I want to run a large sklearn.ensemble.RandomForestClassifier (with maybe a dozens or maybe hundreds of trees and 100,000 samples). My desktop won’t handle this so I want to try using StarCluster. RandomForestClassifier seems to parallelize easily, but
 I don’t know how I would split it across many IPython.parallel engines (if that’s even possible). (Or maybe I should be foregoing IPython.parallel and using MPI?)</div>
<div><br>
</div>
<div>Any help would be greatly appreciated.</div>
<div><br>
</div>
<div>Thanks,</div>
<div><br>
</div>
<div>
<p class="MsoNormal" style="margin:0in 0in 0.0001pt;font-size:11pt"><span style="font-size:9pt;color:gray">Alessandro Gagliardi</span><span style="font-size:9pt"><span style="color:rgb(0,102,0)">|</span> <span style="color:rgb(0,102,0)">Glassdoor</span><span style="color:rgb(0,102,0)">| <a href="mailto:alessandro@glassdoor.com" target="_blank">alessandro@glassdoor.com</a></span></span></p>


<p class="MsoNormal" style="margin:0in 0in 0.0001pt;font-size:11pt"><i><span style="font-size:9pt">We’re hiring! Check out our <span style="color:gray"><a href="http://www.glassdoor.com/about/careers.htm" style="color:purple" target="_blank">open jobs</a>.<u></u><u></u></span></span></i></p>


<p class="MsoNormal" style="margin:0in 0in 0.0001pt;font-size:11pt"><i><span style="font-size:9pt;color:rgb(51,163,225)"><a href="https://twitter.com/Glassdoor" style="color:purple" target="_blank">Twitter</a></span></i><i><span style="font-size:9pt"> | <span style="color:rgb(51,163,225)"><a href="https://www.facebook.com/Glassdoor" style="color:purple" target="_blank">Facebook</a></span> 
 |<span style="color:rgb(51,163,225)"> </span><span style="color:gray"><a href="http://www.glassdoor.com/blog/" style="color:purple" target="_blank">Glassdoor Blog</a><u></u><u></u></span></span></i></p>
<p class="MsoNormal" style="margin:0in 0in 0.0001pt;font-size:11pt"><i><span style="font-size:9pt;color:gray">2012 Webby Award Winner: Best Employment Site<u></u><u></u></span></i></p>
<p class="MsoNormal" style="margin:0in 0in 0.0001pt;font-size:11pt"><i><span style="font-size:9pt;color:gray">2013 Webby Award Winner: Best Guides/Ratings/Review Site</span></i></p>
</div>
</div>

<br>_______________________________________________<br>
IPython-dev mailing list<br>
<a href="mailto:IPython-dev@scipy.org">IPython-dev@scipy.org</a><br>
<a href="http://mail.scipy.org/mailman/listinfo/ipython-dev" target="_blank">http://mail.scipy.org/mailman/listinfo/ipython-dev</a><br>
<br></blockquote></div><br><br clear="all"><div><br></div>-- <br>Fernando Perez (@fperez_org; <a href="http://fperez.org" target="_blank">http://fperez.org</a>)<br>fperez.net-at-gmail: mailing lists only (I ignore this when swamped!)<br>

fernando.perez-at-berkeley: contact me here for any direct mail<br>
</div>