<div dir="ltr"><div class="gmail_quote"><div>Dear CW,<br></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Linear regression is not a black-box. I view prediction accuracy as an overkill on interpretable models. Especially when you can use R-squared, coefficient significance, etc. <br></div></blockquote><div><br></div><div>Following on my previous note about being cautious with cross-validated evaluation for classification, the same applies for regression.</div><div>About 20 years ago, chemoinformatics researchers pointed out the caution needed with using CV-based R^2 (q^2) as a measure of performance.</div><div>"Beware of q2!"  Golbraikh and Tropsha, J Mol Graph Modeling (2002) 20:269<br></div><div><a href="https://www.sciencedirect.com/science/article/pii/S1093326301001231">https://www.sciencedirect.com/science/article/pii/S1093326301001231</a></div><div><br></div><div>In this article, they propose to measure correlation by using both known-VS-predicted _and_ predicted-VS-known calculations of the correlation coefficient, and importantly, that the regression line to fit in both cases goes through the origin.</div><div>The resulting coefficients are checked as a pair, and the authors argue that only if they are both high can one say that the model is fitting the data well.<br></div><div><br></div><div>Contrast this to Pearson Product Moment Correlation (R), where the fit of the line has no requirement to go through the origin of the fit.</div><div><br></div><div>I found the paper above to be helpful in filtering for more robust regression models, and have implemented my own version of their method, which I use as my first evaluation metric when performing regression modelling.</div><div> </div><div>Hope this provides you some thought.</div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>Prediction accuracy also does not tell you which feature is important.</div></div></blockquote><div><br></div><div>The contributions of the scikit-learn community have yielded a great set of tools for performing feature weighting separate from model performance evaluation.<br></div><div>All you need to do is read the documentation and try out some of the examples, and you should be ready to adapt to your situation.</div><div><br></div><div>J.B.<br></div></div></div>