<div dir="ltr"><div>Hi,</div><div dir="ltr"><br></div><div dir="ltr">I'm writing since I performed some other attempts to figure out the issue, using scikit-learn and it turned out that may be an issue with cross_* functions since I had also a similar problem with a scikit-learn script without any nilearn's line of code as reported here <a href="https://github.com/dask/distributed/issues/2532">https://github.com/dask/distributed/issues/2532</a>.</div><div dir="ltr"><br></div><div>Bests,</div><div>R</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, 15 Feb 2019 at 13:11, Roberto Guidotti <<a href="mailto:robbenson18@gmail.com">robbenson18@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr">Hi all,<div><br></div><div>I tried to run nilearn on a kubernetes cluster with dask distributed.</div><div><div>Here's the snippet.</div><div><br></div><div>from dask_kubernetes import KubeCluster</div><div>from dask.distributed import Client</div><div>cluster = KubeCluster.from_yaml('pods.yaml')</div><div>cluster.scale(3)<br></div><div>client = Client(cluster.scheduler_address)<br></div><div><br></div><div>Then I ran the plot_haxby_searchlight.py example, using following line for fitting.</div><div><br></div><div><div>from sklearn.externals import joblib</div><div>with joblib.parallel_backend('dask'):</div><div>  Â  searchlight.fit(fmri_img, y)</div></div><div><br></div><div><div>[Parallel(n_jobs=-1)]: Using backend DaskDistributedBackend with 6 concurrent workers.</div><div>tornado.application - ERROR - Exception in callback functools.partial(<function wrap.<locals>.null_wrapper at 0x7f886a7cd730>, <Future finished exception=CancelledError(['_group_iter_search_light-batch-18a44db2f247402da4955d757c513610'],)>) ...</div></div><div><br></div><div>CancelledError: _fit_and_score-batch-cb239abe1e714386b5a5607c78d927e8<br></div><div><br></div><div>I can run sklearn examples with dask without any problem, but with nilearn I had this.</div><div><br></div><div>On the kubernetes cluster, I use a docker image that is based on this repo:</div><div><a href="https://github.com/robbisg/docker-dask-k8s" target="_blank">https://github.com/robbisg/docker-dask-k8s</a><br></div><div><br></div><div>Basically I need to run some nilearn analyses using HPC, is this the less painful way to do this or you suggest something else.</div><div><br></div><div>Thank you,</div><div>Roberto</div><div><br></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail-m_-3206143405974254267gmail_signature"><div dir="ltr"><div style="font-size:12.8px">Ing. Roberto Guidotti, PhD.</div><div style="font-size:12.8px">PostDoc Fellow</div><div style="font-size:12.8px">Institute for Advanced Biomedical Technologies - ITAB</div><div style="font-size:12.8px">Department of Neuroscience and Imaging<br>University of Chieti "G. D'Annunzio"<br>Via dei Vestini, 33<br>66013 Chieti, Italy<br>tel: +39 0871 3556919</div><div style="font-size:12.8px">e-mail: <a href="mailto:r.guidotti@unich.it" target="_blank">r.guidotti@unich.it</a>; <a href="mailto:rguidotti@acm.org" target="_blank">rguidotti@acm.org</a><br>linkedin: <a href="http://it.linkedin.com/in/robertogui/" target="_blank">http://it.linkedin.com/in/robertogui/</a></div><div style="font-size:12.8px">twitter: @robbisg</div><div style="font-size:12.8px">github: <a href="https://github.com/robbisg" target="_blank">https://github.com/robbisg</a></div></div></div></div></div></div></div></div></div></div></div></div>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div style="font-size:12.8px">Ing. Roberto Guidotti, PhD.</div><div style="font-size:12.8px">PostDoc Fellow</div><div style="font-size:12.8px">Institute for Advanced Biomedical Technologies - ITAB</div><div style="font-size:12.8px">Department of Neuroscience and Imaging<br>University of Chieti "G. D'Annunzio"<br>Via dei Vestini, 33<br>66013 Chieti, Italy<br>tel: +39 0871 3556919</div><div style="font-size:12.8px">e-mail: <a href="mailto:r.guidotti@unich.it" target="_blank">r.guidotti@unich.it</a>; <a href="mailto:rguidotti@acm.org" target="_blank">rguidotti@acm.org</a><br>linkedin: <a href="http://it.linkedin.com/in/robertogui/" target="_blank">http://it.linkedin.com/in/robertogui/</a></div><div style="font-size:12.8px">twitter: @robbisg</div><div style="font-size:12.8px">github: <a href="https://github.com/robbisg" target="_blank">https://github.com/robbisg</a></div></div></div>