<div dir="ltr">To be clear, the proposal for Idle would be to still use the RPC protocol, but run it over a pipe instead of a socket, right?<br></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Fri, Mar 28, 2014 at 1:58 PM, Terry Reedy <span dir="ltr"><<a href="mailto:tjreedy@udel.edu" target="_blank">tjreedy@udel.edu</a>></span> wrote:<br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="">On 3/28/2014 6:20 AM, Victor Stinner wrote:<br>
<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Full example of asynchronous communication with a subprocess (the<br>
python interactive interpreter) using asyncio high-level API:<br>
</blockquote>
<br></div>
Thank you for writing this. As I explained in response to Josiah, Idle communicates with a python interpreter subprocess through a socket. Since making the connection is not dependable, I would like to replace the socket with the pipes. <a href="http://bugs.python.org/issue18823" target="_blank">http://bugs.python.org/<u></u>issue18823</a><br>


<br>
However, the code below creates a subprocess for one command and one response, which can apparently be done now with subprocess.communicate. What I and others need is a continuing (non-blocking) conversion with 1 and only 1 subprocess (see my response to Josiah), and that is much more difficult. So this code does not do what he claims his will do.<br>


<br>
However it is done, I agree with the intent of the PEP to make it much easier to talk with a subprocess. Victor, if you can rewrite the below with a run_forever loop that can accept new write-read task pairs and also make each line read immediately accessible, that would be really helpful. Post it on the  issue above if you prefer.<br>


<br>
Another difference from what you wrote below and what Idle does today is that the shell, defined in idlelib/PyShell.py, does not talk to the subprocess interpreter directly but to a run supervisor defined in idlelib/run.py through an rpc protocol ('cmd', 'arg string'). To use the pipes, the supervisor would grab all input from stdin (instead of the socket) and exec user code as it does today, or it could be replaced by a supervisor class with an instance with a name like _idle_supervisor_3_4_0_ that would be extremely unlikely to clash with any name created by users.<div>

<div class="h5"><br>
<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
---<br>
import asyncio.subprocess<br>
import time<br>
import sys<br>
<br>
@asyncio.coroutine<br>
def eval_python_async(command, encoding='ascii', loop=None):<br>
     proc = yield from asyncio.subprocess.create_<u></u>subprocess_exec(<br>
                          sys.executable, "-u", "-i",<br>
                          stdin=asyncio.subprocess.PIPE,<br>
                          stdout=asyncio.subprocess.<u></u>PIPE,<br>
                          stderr=asyncio.subprocess.<u></u>STDOUT,<br>
                          loop=loop)<br>
<br>
     # wait for the prompt<br>
     buffer = bytearray()<br>
     while True:<br>
         data = yield from proc.stdout.read(100)<br>
         buffer.extend(data)<br>
         if buffer.endswith(b'>>> '):<br>
             break<br>
<br>
     proc.stdin.write(command.<u></u>encode(encoding) + b"\n")<br>
     yield from proc.stdin.drain()<br>
     proc.stdin.close()<br>
<br>
     output = yield from proc.stdout.read()<br>
<br>
     output = output.decode(encoding)<br>
     output = output.rstrip()<br>
     if output.endswith('>>>'):<br>
         output = output[:-3].rstrip()<br>
     return output<br>
<br>
def eval_python(command, timeout=None):<br>
     loop = asyncio.get_event_loop()<br>
     task = asyncio.Task(eval_python_<u></u>async(command, loop=loop), loop=loop)<br>
     return loop.run_until_complete(<u></u>asyncio.wait_for(task, timeout))<br>
<br>
def test_sequential(nproc, command):<br>
     t0 = time.monotonic()<br>
     for index in range(nproc):<br>
         eval_python(command)<br>
     return time.monotonic() - t0<br>
<br>
def test_parallel(nproc, command):<br>
     loop = asyncio.get_event_loop()<br>
     tasks = [asyncio.Task(eval_python_<u></u>async(command, loop=loop), loop=loop)<br>
              for index in range(nproc)]<br>
     t0 = time.monotonic()<br>
     loop.run_until_complete(<u></u>asyncio.wait(tasks))<br>
     return time.monotonic() - t0<br>
<br>
print("1+1 = %r" % eval_python("1+1", timeout=1.0))<br>
<br>
slow_code = "import math; print(str(math.factorial(<u></u>20000)).count('7'))"<br>
<br>
dt = test_sequential(10, slow_code)<br>
print("Run 10 tasks in sequence: %.1f sec" % dt)<br>
<br>
dt2 = test_parallel(10, slow_code)<br>
print("Run 10 tasks in parallel:  %.1f sec (speed=%.1f)" % (dt2, dt/dt2))<br>
<br>
# cleanup asyncio<br>
asyncio.get_event_loop().<u></u>close()<br>
</blockquote>
<br>
<br>
-- <br></div></div>
Terry Jan Reedy<div class="HOEnZb"><div class="h5"><br>
<br>
______________________________<u></u>_________________<br>
Python-Dev mailing list<br>
<a href="mailto:Python-Dev@python.org" target="_blank">Python-Dev@python.org</a><br>
<a href="https://mail.python.org/mailman/listinfo/python-dev" target="_blank">https://mail.python.org/<u></u>mailman/listinfo/python-dev</a><br>
Unsubscribe: <a href="https://mail.python.org/mailman/options/python-dev/guido%40python.org" target="_blank">https://mail.python.org/<u></u>mailman/options/python-dev/<u></u>guido%40python.org</a><br>
</div></div></blockquote></div><br><br clear="all"><br>-- <br>--Guido van Rossum (<a href="http://python.org/~guido">python.org/~guido</a>)
</div>