<div dir="ltr"><div dir="ltr">Hi,<div><br></div><div>I have been looking for stochastic optimization algorithms in scikit-learn that are faster than SGD and so far I have come across Adam and momentum. Are there other methods implemented in scikit-learn? Particularly, the variance reduction methods such as SVRG (<a href="https://ml-trckr.com/link/https%3A%2F%2Fpapers.nips.cc%2Fpaper%2F4937-accelerating-stochastic-gradient-descent-using-predictive-variance-reduction.pdf/W7SK8K47xGR7dKCC8Wlv">https://papers.nips.cc/paper/4937-accelerating-stochastic-gradient-descent-using-predictive-variance-reduction.pdf</a>) ? These variance reduction methods are the current state of the art in terms of convergence speed while maintaining runtime complexity of order n -- number of features. If they are not implemented yet, I think it would be really great to implement(I am happy to do so) them since nowadays working on large datasets(where LBGFS may not be practical) is the norm where the improvements are definitely worth it.</div><div><br>Cheers,</div><div>Touqir<br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature">Computing Science Master's student at University of Alberta, Canada, specializing in Machine Learning. Website : <a href="https://ml-trckr.com/link/https%3A%2F%2Fca.linkedin.com%2Fin%2Ftouqir-sajed-6a95b1126/W7SK8K47xGR7dKCC8Wlv" target="_blank">https://ca.linkedin.com/in/touqir-sajed-6a95b1126</a></div></div></div><img src="https://ml-trckr.com/pixel/W7SK8K47xGR7dKCC8Wlv?rid=W7SK8K47xGR7dKCC8Wlv" width="1" height="1" border="0"></div>