<div dir="ltr">Hah, yes, that was un-intuitive for me.  I was looking for something labelled "logs" to click on.  thanks.  (I hope MS is taking notes on UX issues here)<div><br></div><div>So these failures were in fact the known flakes and not infrastructure.  good!</div><div><br></div><div>On the high level view of VSTS output on a failure:</div><div><br></div><div>"Issues:</div><div>phase1</div><div>Cmd.exe exited with code '2'."</div><div><br></div><div>is not useful.  Can we make that display the tail of the failing phase's log?  that'd avoid needing to find the inner most red X and click on it which is what I'll always need to do otherwise as there doesn't appear to be a direct hyperlink to that.</div><div><br></div><div>It looks like VSTS also had an API for surfacing individual test results into their Tests / Test Results summary pane?  Doing something to integrate with that would likely be a nicer UI.  We have something similar at work, here's how we make unittest.TestCase emit the JUnit XML files of test results for CI systems to display:</div><div>  <a href="https://github.com/abseil/abseil-py/blob/master/absl/testing/xml_reporter.py">https://github.com/abseil/abseil-py/blob/master/absl/testing/xml_reporter.py</a> </div><div><br></div><div>If there are industry standard format(s) that make Python test suites play nicer for reporting on CI systems such as that, they'd be worthy of stdlib inclusion.</div><div><br></div><div>-gps</div><div><div><br></div></div></div><br><div class="gmail_quote"><div dir="ltr">On Fri, May 18, 2018 at 5:35 PM Nathaniel Smith <<a href="mailto:njs@pobox.com">njs@pobox.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">On Fri, May 18, 2018 at 1:13 PM, Steve Dower <<a href="mailto:steve.dower@python.org" target="_blank">steve.dower@python.org</a>> wrote:<br>
> According to the VSTS dev team, an easy “rerun this build” button and<br>
> filtering by changed paths are coming soon, which should clean things up.<br>
<br>
If you're talking to them, please ask them to make sure that the<br>
"rerun this build" button doesn't erase the old log. (That's what it<br>
does on Travis. Appveyor is better.) The problem is that when you have<br>
a flaky/intermittent failure, your todo list is always (a) rerun the<br>
build so at least it's not blocking whatever this unrelated change is,<br>
(b) file some sort of bug, or comment on some existing bug, and link<br>
to the log to help track down the intermittent failure. If you click<br>
the "rebuild" button on Travis, then it solves (a), while deleting the<br>
information you need for (b) – and for rare intermittent bugs you<br>
might not have much information to go on besides that build log.<br>
<br>
-n<br>
<br>
-- <br>
Nathaniel J. Smith -- <a href="https://vorpus.org" rel="noreferrer" target="_blank">https://vorpus.org</a><br>
_______________________________________________<br>
Python-Dev mailing list<br>
<a href="mailto:Python-Dev@python.org" target="_blank">Python-Dev@python.org</a><br>
<a href="https://mail.python.org/mailman/listinfo/python-dev" rel="noreferrer" target="_blank">https://mail.python.org/mailman/listinfo/python-dev</a><br>
Unsubscribe: <a href="https://mail.python.org/mailman/options/python-dev/greg%40krypto.org" rel="noreferrer" target="_blank">https://mail.python.org/mailman/options/python-dev/greg%40krypto.org</a><br>
</blockquote></div>