<div dir="ltr">I think the current problem with codecov is that on the master branch azure uploads coverage reports but it does not an the PR runs which leads to the drop in coverage due to the edge cases that are hit slightly differently on azure than on travis / appveyor.<div><div><div><br></div><div>Tom</div></div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, May 5, 2020 at 11:21 PM Jody Klymak <<a href="mailto:jklymak@uvic.ca">jklymak@uvic.ca</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Hi Eric, <br>
<br>
I agree for the codecov/project check.  I don’t see how it helps, and I routinely ignore it during reviews because it is pretty obscure how you are supposed to fix it.    <br>
<br>
In my opinion, codecov/patch is pretty helpful to know if someone’s new code actually ever gets exercised.  <br>
<br>
Cheers,   Jody<br>
<br>
> On May 5, 2020, at  18:55 PM, Eric Firing <<a href="mailto:efiring@hawaii.edu" target="_blank">efiring@hawaii.edu</a>> wrote:<br>
> <br>
> <a href="https://codecov.io/gh/matplotlib/matplotlib/compare/5455bab77e75cee46d260c0f27110d6b4fa78270...3eb471dadd2fd397c840bc98db90a06845697131/changes" rel="noreferrer" target="_blank">https://codecov.io/gh/matplotlib/matplotlib/compare/5455bab77e75cee46d260c0f27110d6b4fa78270...3eb471dadd2fd397c840bc98db90a06845697131/changes</a><br>
> <br>
> The link above is what I find for the "failing" codecov test for <a href="https://github.com/matplotlib/matplotlib/pull/17266" rel="noreferrer" target="_blank">https://github.com/matplotlib/matplotlib/pull/17266</a>, which is passing all the other tests.<br>
> <br>
> The <a href="http://codecov.io" rel="noreferrer" target="_blank">codecov.io</a> output looks like complete garbage, listing a huge number of untouched files.<br>
> <br>
> I added 2 tests for the code I modified.  As far as I can see, from a practical standpoint, codecov is incorrectly flagging the PR as failing, leading to a misleading red X in the PR list.<br>
> <br>
> I can see how a mechanized code coverage test could be useful for a project at an early stage, when it is building up its test infrastructure, and at a later stage, to be run occasionally, especially when major code additions are made.<br>
> <br>
> As it is being run now, however, I think it is impeding, not aiding, the development process.<br>
> <br>
> I recommend that we remove it from the suite of tests run for every PR, or at least keep it out of the accounting for the overall "pass/fail" rating of the PR.<br>
> <br>
> Eric<br>
> _______________________________________________<br>
> Matplotlib-devel mailing list<br>
> <a href="mailto:Matplotlib-devel@python.org" target="_blank">Matplotlib-devel@python.org</a><br>
> <a href="https://mail.python.org/mailman/listinfo/matplotlib-devel" rel="noreferrer" target="_blank">https://mail.python.org/mailman/listinfo/matplotlib-devel</a><br>
<br>
_______________________________________________<br>
Matplotlib-devel mailing list<br>
<a href="mailto:Matplotlib-devel@python.org" target="_blank">Matplotlib-devel@python.org</a><br>
<a href="https://mail.python.org/mailman/listinfo/matplotlib-devel" rel="noreferrer" target="_blank">https://mail.python.org/mailman/listinfo/matplotlib-devel</a><br>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature">Thomas Caswell<br><a href="mailto:tcaswell@gmail.com" target="_blank">tcaswell@gmail.com</a></div>