<div dir="ltr"><div class="gmail_default" style="font-size:small;color:rgb(0,0,0)">Hi Piotr,</div><div class="gmail_default" style="font-size:small;color:rgb(0,0,0)"><br></div><div class="gmail_default" style="font-size:small;color:rgb(0,0,0)">the SVC performs quite well, slightly better than random forests on the same data. By training error do you mean this?</div><div class="gmail_default" style="font-size:small;color:rgb(0,0,0)"><br></div><div class="gmail_default" style="font-size:small;color:rgb(0,0,0)"><div class="gmail_default">clf = svm.SVC(probability=True)</div><div class="gmail_default">clf.fit(train_list_resampled3, train_activity_list_resampled3)</div><div class="gmail_default">print "training error=", clf.score(train_list_resampled3, train_activity_list_resampled3)</div><div class="gmail_default"><br></div><div class="gmail_default">If this is what you mean by "skip the sample_weights":</div><div class="gmail_default"><div class="gmail_default">clf = svm.NuSVC(probability=True)</div><div class="gmail_default">clf.fit(train_list_resampled3, train_activity_list_resampled3, sample_weight=None)</div><div class="gmail_default"><br></div><div class="gmail_default">then no, it does not converge. After all "sample_weight=None" is the default value.</div><div class="gmail_default"><br></div><div class="gmail_default">I am out of ideas about what may be the problem.</div><div class="gmail_default"><br></div><div class="gmail_default">Thomas</div><div class="gmail_default"><br></div></div></div></div><div class="gmail_extra"><br><div class="gmail_quote">On 8 December 2016 at 08:56, Piotr Bialecki <span dir="ltr"><<a href="mailto:piotr.bialecki@hotmail.de" target="_blank">piotr.bialecki@hotmail.de</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">



<div bgcolor="#FFFFFF" text="#000000">
Hi Thomas,<br>
<br>
the doc says, that nu gives an upper bound on the fraction of training errors and a lower bound of the fractions<br>
of support vectors.<br>
<a class="m_5827525226881394743moz-txt-link-freetext" href="http://scikit-learn.org/stable/modules/generated/sklearn.svm.NuSVC.html" target="_blank">http://scikit-learn.org/<wbr>stable/modules/generated/<wbr>sklearn.svm.NuSVC.html</a><br>
<br>
Therefore, it acts as a hard bound on the allowed misclassification on your dataset.<br>
<br>
To me it seems as if the error bound is not feasible.<br>
How well did the SVC perform? What was your training error there?<br>
<br>
Will the NuSVC converge when you skip the sample_weights?<br>
<br>
<br>
Greets,<br>
Piotr<div><div class="h5"><br>
<br>
<div class="m_5827525226881394743moz-cite-prefix">On 08.12.2016 00:07, Thomas Evangelidis wrote:<br>
</div>
</div></div><blockquote type="cite"><div><div class="h5">
<div dir="ltr">
<div class="gmail_default" style="font-size:small;color:rgb(0,0,0)">Greetings,</div>
<div class="gmail_default" style="font-size:small;color:rgb(0,0,0)"><br>
</div>
<div class="gmail_default" style="font-size:small;color:rgb(0,0,0)">I want  to  use the Nu-Support Vector Classifier with the following input data:</div>
<div class="gmail_default" style="font-size:small;color:rgb(0,0,0)"><br>
</div>
<div class="gmail_default" style="font-size:small;color:rgb(0,0,0)">X= [</div>
<div class="gmail_default" style="font-size:small;color:rgb(0,0,0)">
<div class="gmail_default">array([  3.90387012,   1.60732281,  -0.33315799,   4.02770896,</div>
<div class="gmail_default">         1.82337731,  -0.74007214,   6.75989219,   3.68538903,</div>
<div class="gmail_default">         ..................</div>
<div class="gmail_default">         0.        ,  11.64276776,   0.        ,   0.        ]),</div>
<div class="gmail_default">
<div class="gmail_default">array([  3.36856769e+00,   1.48705816e+00,   4.28566992e-01,</div>
<div class="gmail_default">         3.35622071e+00,   1.64046508e+00,   5.66879661e-01,</div>
<div class="gmail_default">         .....................</div>
<div class="gmail_default">         4.25335335e+00,   1.96508829e+00,   8.63453394e-06]),</div>
<div class="gmail_default"> array([  3.74986249e+00,   1.69060713e+00,  -5.09921270e-01,</div>
<div class="gmail_default">         3.76320781e+00,   1.67664455e+00,  -6.21126735e-01,</div>
<div class="gmail_default">         ..........................</div>
<div class="gmail_default">         4.16700259e+00,   1.88688784e+00,   7.34729942e-06]),</div>
<div class="gmail_default">.......</div>
<div class="gmail_default">]</div>
<div><br>
</div>
<div>and</div>
<div><br>
</div>
<div>Y=  [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, ............................</div>
<div>0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]</div>
</div>
<div><br>
</div>
<blockquote style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex" class="gmail_quote">
<br>
​Each array of X contains 60 numbers and the dataset consists of 48 positive and 1230 negative observations. When I train an svm.SVC() classifier I get quite good predictions, but wit the ​svm.NuSVC​() I keep getting the following error no matter which value
 of nu in [0.1, ..., 0.9, 0.99, 0.999, 0.9999] I try:<br>
<font color="#000000">/usr/local/lib/python2.7/dist-<wbr>packages/sklearn/svm/base.pyc in fit(self, X, y, sample_weight)<br>
</font><font color="#000000">    187 <br>
</font><font color="#000000">    188         seed = rnd.randint(np.iinfo('i').max)<br>
</font><font color="#000000">--> 189         fit(X, y, sample_weight, solver_type, kernel, random_seed=seed)<br>
</font><font color="#000000">    190         # see comment on the other call to np.iinfo in this file<br>
</font><font color="#000000">    191 </font><font color="#000000"><br>
</font><font color="#000000">/usr/local/lib/python2.7/dist-<wbr>packages/sklearn/svm/base.pyc in _dense_fit(self, X, y, sample_weight, solver_type, kernel, random_seed)<br>
</font><font color="#000000">    254                 cache_size=self.cache_size, coef0=self.coef0,<br>
</font><font color="#000000">    255                 gamma=self._gamma, epsilon=self.epsilon,<br>
</font><font color="#000000">--> 256                 max_iter=self.max_iter, random_seed=random_seed)<br>
</font><font color="#000000">    257 <br>
</font><font color="#000000">    258         self._warn_from_fit_status()</font><font color="#000000"><br>
</font><font color="#000000">/usr/local/lib/python2.7/dist-<wbr>packages/sklearn/svm/libsvm.so in sklearn.svm.libsvm.fit (sklearn/svm/libsvm.c:2501)()</font><font color="#000000"><br>
</font><font color="#000000">ValueError: specified nu is infeasible</font></blockquote>
</div>
<div>
<div class="gmail_default" style="font-size:small;color:rgb(0,0,0)"><br>
</div>
<div class="gmail_default" style="font-size:small;color:rgb(0,0,0)">​</div>
<div class="gmail_default" style="font-size:small;color:rgb(0,0,0)">​Does anyone know what might be wrong? Could it be the input data?</div>
<div class="gmail_default" style="font-size:small;color:rgb(0,0,0)"><br>
</div>
<div class="gmail_default" style="font-size:small;color:rgb(0,0,0)">thanks in advance for any advice</div>
<div class="gmail_default" style="font-size:small;color:rgb(0,0,0)">Thomas​</div>
<br>
</div>
<div><br>
</div>
<div><br>
</div>
-- <br>
<div class="m_5827525226881394743gmail_signature">
<div dir="ltr">
<div>
<div>
<p style="margin-bottom:0cm" align="LEFT"><span style="font-family:arial,helvetica,sans-serif"><font size="2">==============================<wbr>==============================<wbr>==========</font></span></p>
<p style="margin-bottom:0cm" align="LEFT"><span style="font-family:arial,helvetica,sans-serif"><font size="2">Thomas Evangelidis</font></span></p>
<p style="margin-bottom:0cm" align="LEFT"><span style="font-family:arial,helvetica,sans-serif"><font size="2">Research Specialist<br>
</font></span></p>
<span style="font-family:arial,helvetica,sans-serif"><font size="2"><span style="color:rgb(0,0,0)">CEITEC - Central European Institute of Technology<br>
Masaryk University<br>
Kamenice 5/A35/1S081, <br>
62500 Brno, Czech Republic <br>
</span></font></span></div>
<div dir="ltr"><br>
<p style="margin-bottom:0cm" align="LEFT"><span style="font-family:arial,helvetica,sans-serif"><font size="2">email:
<a href="mailto:tevang@pharm.uoa.gr" target="_blank">tevang@pharm.uoa.gr</a></font></span></p>
<p style="margin-bottom:0cm" align="LEFT"><span style="font-family:arial,helvetica,sans-serif"><font size="2">         
<a href="mailto:tevang3@gmail.com" target="_blank">tevang3@gmail.com</a></font></span></p>
<p style="margin-bottom:0cm" align="LEFT"><span style="font-family:arial,helvetica,sans-serif"><font size="2"><br>
website: <a href="https://sites.google.com/site/thomasevangelidishomepage/" target="_blank">
https://sites.google.com/site/<wbr>thomasevangelidishomepage/</a></font></span></p>
<br>
<p style="margin-bottom:0cm" align="LEFT"></p>
</div>
</div>
</div>
</div>
</div>
<br>
<fieldset class="m_5827525226881394743mimeAttachmentHeader"></fieldset> <br>
</div></div><pre>______________________________<wbr>_________________
scikit-learn mailing list
<a class="m_5827525226881394743moz-txt-link-abbreviated" href="mailto:scikit-learn@python.org" target="_blank">scikit-learn@python.org</a>
<a class="m_5827525226881394743moz-txt-link-freetext" href="https://mail.python.org/mailman/listinfo/scikit-learn" target="_blank">https://mail.python.org/<wbr>mailman/listinfo/scikit-learn</a>
</pre>
</blockquote>
<br>
</div>

<br>______________________________<wbr>_________________<br>
scikit-learn mailing list<br>
<a href="mailto:scikit-learn@python.org">scikit-learn@python.org</a><br>
<a href="https://mail.python.org/mailman/listinfo/scikit-learn" rel="noreferrer" target="_blank">https://mail.python.org/<wbr>mailman/listinfo/scikit-learn</a><br>
<br></blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div>


        
        
        
        

<p style="margin-bottom:0cm" align="LEFT"><span style="font-family:arial,helvetica,sans-serif"><font size="2">======================================================================</font></span></p>
<p style="margin-bottom:0cm" align="LEFT"><span style="font-family:arial,helvetica,sans-serif"><font size="2">Thomas Evangelidis</font></span></p>
<p style="margin-bottom:0cm" align="LEFT"><span style="font-family:arial,helvetica,sans-serif"><font size="2">Research Specialist<br></font></span></p><span style="font-family:arial,helvetica,sans-serif"><font size="2"><span style="color:rgb(0,0,0)">CEITEC - Central European Institute of Technology<br>Masaryk University<br>Kamenice 5/A35/1S081, <br>62500 Brno, Czech Republic <br></span></font></span></div><div dir="ltr"><br><p style="margin-bottom:0cm" align="LEFT"><span style="font-family:arial,helvetica,sans-serif"><font size="2">email: <a href="mailto:tevang@pharm.uoa.gr" target="_blank">tevang@pharm.uoa.gr</a></font></span></p>
<p style="margin-bottom:0cm" align="LEFT"><span style="font-family:arial,helvetica,sans-serif"><font size="2">               <a href="mailto:tevang3@gmail.com" target="_blank">tevang3@gmail.com</a></font></span></p>
<p style="margin-bottom:0cm" align="LEFT"><span style="font-family:arial,helvetica,sans-serif"><font size="2"><br>website:
<a href="https://sites.google.com/site/thomasevangelidishomepage/" target="_blank">https://sites.google.com/site/thomasevangelidishomepage/</a></font></span></p><br><p style="margin-bottom:0cm" align="LEFT">
</p>
</div></div></div></div>
</div>