<div dir="ltr">Hello everyone, <div><br></div><div>I have successfully created a few versions of the BM25Transformer. I looked at TFIDFTransformer for guidance and I noticed that it outputs a sparse matrix when given a sparse termcount matrix as an input. </div><div><br></div><div>Unfortunately, the fastest implementation of BM25Transformer that I have been able to come up with does NOT output a sparse matrix, it will return a regular numpy matrix. </div><div><br></div><div>Benchmarked against the entire 20newsgroups corpus, here is how they perform (assuming input is csr_matrix for all):</div><div><br></div><div>1.) finishes in 4 seconds, outputs a regular numpy matrix</div><div>2.) finishes in 30 seconds, outputs a dok_matrix</div><div>3.) finishes in 130 seconds, outputs a regular numpy matrix</div><div><br></div><div>It's worth noting that using algorithm 1 and converting the output to a sparse matrix still takes less time than 3, and takes about as long as 2. </div><div><br></div><div>So my question is, how important is it that my BM25Transformer outputs a sparse matrix? </div><div><br></div><div>I'm going to try another implementation which looks directly at the data, indices, and indptr attributes of the inputted csr_matrix. I just wanted to check in and see what people thought.</div><div><br></div><div>Sincerely,</div><div>Basil Beirouti</div></div>