Note that EM can be very slow to converge:<br><br><a href="http://www.cs.toronto.edu/~roweis/papers/emecgicml03.pdf">http://www.cs.toronto.edu/~roweis/papers/emecgicml03.pdf</a><br><br>EM is great for churning-out papers, not so great for getting real work done.  Conjugate gradient is a much better tool, at least in my (and Salakhutdinov's) experience.  Btw, have you considered how much the Gaussianity assumption is hurting you?<br>
<br>Jason<br><br><div class="gmail_quote">On Mon, Jun 8, 2009 at 1:17 AM, David Cournapeau <span dir="ltr"><<a href="mailto:david@ar.media.kyoto-u.ac.jp">david@ar.media.kyoto-u.ac.jp</a>></span> wrote:<br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
<div class="im">Gael Varoquaux wrote:<br>
> I am using the heuristic exposed in<br>
> <a href="http://ieeexplore.ieee.org/xpl/freeabs_all.jsp?arnumber=4562996" target="_blank">http://ieeexplore.ieee.org/xpl/freeabs_all.jsp?arnumber=4562996</a><br>
><br>
> We have very noisy and long time series. My experience is that most<br>
> model-based heuristics for choosing the number of PCs retained give us<br>
> way too much on this problem (they simply keep diverging if I add noise<br>
> at the end of the time series). The algorithm we use gives us ~50<br>
> interesting PCs (each composed of 50 000 dimensions). That happens to be<br>
> quite right based on our experience with the signal. However, being<br>
> fairly new to statistics, I am not aware of the EM algorithm that you<br>
> mention. I'd be interested in a reference, to see if I can use that<br>
> algorithm.<br>
<br>
</div>I would not be surprised if David had this paper in mind :)<br>
<br>
<a href="http://www.cs.toronto.edu/%7Eroweis/papers/empca.pdf" target="_blank">http://www.cs.toronto.edu/~roweis/papers/empca.pdf</a><br>
<br>
cheers,<br>
<font color="#888888"><br>
David<br>
</font><div><div></div><div class="h5">_______________________________________________<br>
Numpy-discussion mailing list<br>
<a href="mailto:Numpy-discussion@scipy.org">Numpy-discussion@scipy.org</a><br>
<a href="http://mail.scipy.org/mailman/listinfo/numpy-discussion" target="_blank">http://mail.scipy.org/mailman/listinfo/numpy-discussion</a><br>
</div></div></blockquote></div><br><br clear="all"><br>-- <br>Jason Rennie<br>Research Scientist, ITA Software<br>617-714-2645<br><a href="http://www.itasoftware.com/">http://www.itasoftware.com/</a><br><br>