<div dir="ltr"><div class="markdown-here-wrapper" id="markdown-here-wrapper-705542" style><p style="margin:1.2em 0px!important">On Wed, Feb 12, 2014 at 6:39 AM, Dinesh Vadhia <<a href="mailto:dineshvadhia@outlook.com" target="_blank">dineshvadhia@outlook.com</a>> wrote:</p>


<p style="margin:1.2em 0px!important"></p><div class="markdown-here-exclude"><p></p><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><u></u>



<div style="PADDING-LEFT:10px;PADDING-RIGHT:10px;PADDING-TOP:15px" name="Compose message area">
<div><font size="4" face="Garamond">Hi! New to the list and have a few questions 
about ipython.parallel for building a </font><font size="4" face="Garamond">request/response system:</font></div>
<div><font face="Garamond"><font size="4"><font size="4" face="Garamond"></font></font></font> </div>
<div><font size="4" face="Garamond">a. Does ipython.parallel support computations on 
persistent data objects at the nodes or does it (always) recreate the data 
objects for each new request?</font></div></div></blockquote><p></p></div><p style="margin:1.2em 0px!important"></p>
<p style="margin:1.2em 0px!important">Each task is just a Python function, evaluated in the namespace of the engine(s). So any objects created in that namespace are persistent until explicitly deleted. The namespace is persistent for the lifetime of the engine. Nothing is created except by explicit request of the Client.</p>


<p style="margin:1.2em 0px!important"></p><div class="markdown-here-exclude"><p></p><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div style="PADDING-LEFT:10px;PADDING-RIGHT:10px;PADDING-TOP:15px" name="Compose message area">


<div><font face="Garamond"><font size="4"><font size="4" face="Garamond"></font></font></font> </div>
<div><font size="4" face="Garamond">b. Assuming a), each core runs a python program 
that operates on persistent data objects in-memory and the programs are running 
continuously servicing requests from the controller.</font></div>
<div><font size="4" face="Garamond">- How are the programs started up (and stopped) 
on each core using ipython.parallel without using any of the magic commands 
because the system is not "interactive" in the ipython sense?  
</font></div>
<div><font size="4" face="Garamond">- Are 3rd party distributed/cluster systems 
management tools needed to achieve these functions?</font></div></div></blockquote><p></p></div><p style="margin:1.2em 0px!important"></p>
<p style="margin:1.2em 0px!important">The IPython Engine is actually the exact same code as the IPython Kernel used in the Notebook, so it is ‘interactive’ in the very same way. Each task submitted with <code style="font-size:0.85em;font-family:Consolas,Inconsolata,Courier,monospace;margin:0px 0.15em;padding:0px 0.3em;white-space:nowrap;border:1px solid rgb(234,234,234);background-color:rgb(248,248,248);border-top-left-radius:3px;border-top-right-radius:3px;border-bottom-right-radius:3px;border-bottom-left-radius:3px;display:inline">View.apply</code> (I assume this is what you mean by ‘program’) is just a Python function. The function is serialized, sent to the Engine, where it is deserialized and just called. There is no ‘stopping’, the functions just return.</p>


<p style="margin:1.2em 0px!important">-MinRK</p>
<p style="margin:1.2em 0px!important"></p><div class="markdown-here-exclude"><p></p><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div style="PADDING-LEFT:10px;PADDING-RIGHT:10px;PADDING-TOP:15px" name="Compose message area">


<div><font size="4" face="Garamond"> </font></div>
<div>Best ...</div><span class="HOEnZb"><font color="#888888">
<div>Dinesh<br></div></font></span></div>
<br>_______________________________________________<br>
IPython-dev mailing list<br>
<a href="mailto:IPython-dev@scipy.org">IPython-dev@scipy.org</a><br>
<a href="http://mail.scipy.org/mailman/listinfo/ipython-dev" target="_blank">http://mail.scipy.org/mailman/listinfo/ipython-dev</a><br>
<br></blockquote><p></p></div><p style="margin:1.2em 0px!important"></p>
</div></div>