<div dir="ltr"><div class="gmail_quote"><div dir="ltr">On Fri, May 18, 2018 at 9:45 AM Terry Reedy <<a href="mailto:tjreedy@udel.edu">tjreedy@udel.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">On 5/18/2018 12:25 AM, Gregory P. Smith wrote:<br>
> VSTS is clearly not yet a stable continuous integration platform.  It <br>
> needs to be made non-blocking, and AppVeyor and Travis need to be <br>
> brought back!<br>
> <br>
> Examples:<br>
> <a href="https://github.com/python/cpython/pull/6938#issuecomment-389908094" rel="noreferrer" target="_blank">https://github.com/python/cpython/pull/6938#issuecomment-389908094</a><br>
>     Windows broke - <br>
> <a href="https://python.visualstudio.com/cpython/_build?buildId=522" rel="noreferrer" target="_blank">https://python.visualstudio.com/cpython/_build?buildId=522</a><br>
> <a href="https://github.com/python/cpython/pull/6939" rel="noreferrer" target="_blank">https://github.com/python/cpython/pull/6939</a><br>
>     Linux broke - <a href="https://python.visualstudio.com/cpython/_build?buildId=523" rel="noreferrer" target="_blank">https://python.visualstudio.com/cpython/_build?buildId=523</a><br>
<br>
Travis and AppVeyor are there on both issues, and both can be merged -- <br>
manually -- by pressing 'Squach and merge', even though not green.  The <br>
VSTS results are not blocking -- they are not marked as 'Required'.</blockquote><div><br></div><div>Sorry! A combination of github UX flaws led me to misunderstand what I was seeing. The things I wanted to see were still run, but they are not displayed, so I assumed they were gone.  That plus the no green button made me assume the new things that were displayed containing one red item were all that there was to see and that they were blocking everything.</div><div><br></div><div>There is a hidden secret scrolling region when "show all checks" is active on github instead of actually showing all.  It only shows five (read: not the five I want).  The things I wanted to see were at the bottom and thus not displayed as it puts the VSTS builds up top for some unknown to me reason.</div><div><br></div><div>I am intentionally not merging those PRs yet as I referred to them from several places as examples of this problem.</div><div><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">The <br>
problem is that miss-islington was not changed, and sees any VSTS <br>
failure as a status check failure and a reason to not do the automerge <br>
you requested by approving the change.<br></blockquote><div><br></div><div>That at least we can fix until we trust VSTS to be reliable.  As is, the more checkers we have to block on, the more likely anything flaky (either infrastructure or tests+code itself) is to block any given change.</div><div><br></div><div>What do people think about teaching miss-islington how to re-launch specific CI runs a few times to deflake failures? ("1 out of n passes counts as a pass") - That requires compute resources, but when it is what the human is going to need to do anyways... why not reduce the need and just automate it the first couple of times? I don't know how feasible this is for any given CI system we use today on CPython given the various ways in which they operate.</div><div><br></div><div>-gps</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
> This was on a documentation-only change.<br>
> <br>
> We cannot be changing to new PR-merge-blocking continuous integration <br>
> services at this point during a release cycle.  This is preventing <br>
> changes from making it in.<br>
<br>
What *is* blocking merges and making them painful at times are the <br>
haphazard failures of test_asyncio on the blocking bots, Travis and <br>
AppVeyor, at a rate as high as 1/4 of individual test runs.  See<br>
<a href="https://bugs.python.org/issue33531" rel="noreferrer" target="_blank">https://bugs.python.org/issue33531</a><br>
On one backport last night, I had to run Travis 4 times, which means I <br>
had to periodically monitor the backport instead of approve and forget. <br>
And then I had to manually merge.<br>
<br>
tjr<br>
<br>
<br>
_______________________________________________<br>
python-committers mailing list<br>
<a href="mailto:python-committers@python.org" target="_blank">python-committers@python.org</a><br>
<a href="https://mail.python.org/mailman/listinfo/python-committers" rel="noreferrer" target="_blank">https://mail.python.org/mailman/listinfo/python-committers</a><br>
Code of Conduct: <a href="https://www.python.org/psf/codeofconduct/" rel="noreferrer" target="_blank">https://www.python.org/psf/codeofconduct/</a><br>
</blockquote></div></div>