<div dir="ltr"><div><div><div><div><div><div>Thanks a lot, Sebastian! Very nicely written.<br><br></div>I have a few follow-up questions:<br></div>1. Just to make sure I understand correctly, using the .632+ bootstrap method, the ACC_lower and ACC_upper are the lower and higher percentile of the ACC_h,i distribution?<br></div>2. For regression algorithms, is there a recommended equation for the no-information rate gamma?<br></div>3. I need to plot the confidence interval and prediction interval for my Support Vector Regression prediction (just to clarify these intervals, please see an analogy from linear model on slide 14: <a href="http://www2.stat.duke.edu/~tjl13/s101/slides/unit6lec3H.pdf">http://www2.stat.duke.edu/~tjl13/s101/slides/unit6lec3H.pdf</a>) - can I derive the intervals from .632+ bootstrap method or is there a different way of getting these intervals?<br><br></div>Thank you!<br></div>Raga<br><div><div><br></div></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Mar 1, 2017 at 3:13 PM, Sebastian Raschka <span dir="ltr"><<a href="mailto:se.raschka@gmail.com" target="_blank">se.raschka@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi, Raga,<br>
I have a short section on this here (<a href="https://sebastianraschka.com/blog/2016/model-evaluation-selection-part2.html#the-bootstrap-method-and-empirical-confidence-intervals" rel="noreferrer" target="_blank">https://sebastianraschka.com/<wbr>blog/2016/model-evaluation-<wbr>selection-part2.html#the-<wbr>bootstrap-method-and-<wbr>empirical-confidence-intervals</a><wbr>) if it helps.<br>
<br>
Best,<br>
Sebastian<br>
<div><div class="h5"><br>
> On Mar 1, 2017, at 3:07 PM, Raga Markely <<a href="mailto:raga.markely@gmail.com">raga.markely@gmail.com</a>> wrote:<br>
><br>
> Hi everyone,<br>
><br>
> I wonder if you could provide me with some suggestions on how to determine the confidence and prediction intervals of SVR? If you have suggestions for any machine learning algorithms in general, that would be fine too (doesn't have to be specific for SVR).<br>
><br>
> So far, I have found:<br>
> 1. Bootstrap: <a href="http://stats.stackexchange.com/questions/183230/bootstrapping-confidence-interval-from-a-regression-prediction" rel="noreferrer" target="_blank">http://stats.stackexchange.<wbr>com/questions/183230/<wbr>bootstrapping-confidence-<wbr>interval-from-a-regression-<wbr>prediction</a><br>
> 2. <a href="http://journals.plos.org/plosone/article/file?id=10.1371/journal.pone.0048723&type=printable" rel="noreferrer" target="_blank">http://journals.plos.org/<wbr>plosone/article/file?id=10.<wbr>1371/journal.pone.0048723&<wbr>type=printable</a><br>
> 3. <a href="ftp://ftp.esat.kuleuven.ac.be/sista/suykens/reports/10_156_v0.pdf" rel="noreferrer" target="_blank">ftp://ftp.esat.kuleuven.ac.be/<wbr>sista/suykens/reports/10_156_<wbr>v0.pdf</a><br>
><br>
> But, I don't fully understand the details in #2 and #3 to the point that I can write a step by step code. If I use bootstrap method, I can get the confidence interval as follows?<br>
> a. Draw bootstrap sample of size n<br>
> b. Fit the SVR model (with hyperparameters chosen during model selection with grid search cv) to this bootstrap sample<br>
> c. Use this model to predict the output variable y* from input variable X*<br>
> d. Repeat step a-c for, for instance, 100 times<br>
> e. Order the 100 values of y*, and determine, for instance, the 10th percentile and 90th percentile (if we are looking for 0.8 confidence interval)<br>
> f. Repeat a-e for different values of X* to plot the prediction with confidence interval<br>
><br>
> But, I don't know how to get the prediction interval from here.<br>
><br>
> Thank you very much,<br>
> Raga<br>
</div></div>> ______________________________<wbr>_________________<br>
> scikit-learn mailing list<br>
> <a href="mailto:scikit-learn@python.org">scikit-learn@python.org</a><br>
> <a href="https://mail.python.org/mailman/listinfo/scikit-learn" rel="noreferrer" target="_blank">https://mail.python.org/<wbr>mailman/listinfo/scikit-learn</a><br>
<br>
______________________________<wbr>_________________<br>
scikit-learn mailing list<br>
<a href="mailto:scikit-learn@python.org">scikit-learn@python.org</a><br>
<a href="https://mail.python.org/mailman/listinfo/scikit-learn" rel="noreferrer" target="_blank">https://mail.python.org/<wbr>mailman/listinfo/scikit-learn</a><br>
</blockquote></div><br></div>