<div dir="ltr"><div>=======================</div><div>Announcing bcolz 0.12.0</div><div>=======================</div><div><br></div><div>What's new</div><div>==========</div><div><br></div><div>This release copes with some compatibility issues with NumPy 1.10.</div><div>Also, several improvements have happened in the installation procedure,</div><div>allowing for a smoother process.  Last but not least, the tutorials</div><div>haven been migrated to the IPython notebook format (a huge thank you to</div><div>Francesc Elies for this!).  This will hopefully will allow users to</div><div>better exercise the different features of bcolz.</div><div><br></div><div>For a more detailed change log, see:</div><div><br></div><div><a href="https://github.com/Blosc/bcolz/blob/master/RELEASE_NOTES.rst">https://github.com/Blosc/bcolz/blob/master/RELEASE_NOTES.rst</a></div><div><br></div><div><br></div><div>What it is</div><div>==========</div><div><br></div><div>*bcolz* provides columnar and compressed data containers that can live</div><div>either on-disk or in-memory.  Column storage allows for efficiently</div><div>querying tables with a large number of columns.  It also allows for</div><div>cheap addition and removal of column.  In addition, bcolz objects are</div><div>compressed by default for reducing memory/disk I/O needs. The</div><div>compression process is carried out internally by Blosc, an</div><div>extremely fast meta-compressor that is optimized for binary data. Lastly,</div><div>high-performance iterators (like ``iter()``, ``where()``) for querying</div><div>the objects are provided.</div><div><br></div><div>bcolz can use numexpr internally so as to accelerate many vector and</div><div>query operations (although it can use pure NumPy for doing so too).</div><div>numexpr optimizes the memory usage and use several cores for doing the</div><div>computations, so it is blazing fast.  Moreover, since the carray/ctable</div><div>containers can be disk-based, and it is possible to use them for</div><div>seamlessly performing out-of-memory computations.</div><div><br></div><div>bcolz has minimal dependencies (NumPy), comes with an exhaustive test</div><div>suite and fully supports both 32-bit and 64-bit platforms.  Also, it is</div><div>typically tested on both UNIX and Windows operating systems.</div><div><br></div><div>Together, bcolz and the Blosc compressor, are finally fulfilling the</div><div>promise of accelerating memory I/O, at least for some real scenarios:</div><div><br></div><div><a href="http://nbviewer.ipython.org/github/Blosc/movielens-bench/blob/master/querying-ep14.ipynb#Plots">http://nbviewer.ipython.org/github/Blosc/movielens-bench/blob/master/querying-ep14.ipynb#Plots</a></div><div><br></div><div>Other users of bcolz are Visualfabriq (<a href="http://www.visualfabriq.com/">http://www.visualfabriq.com/</a>) the</div><div>Blaze project (<a href="http://blaze.pydata.org/">http://blaze.pydata.org/</a>), Quantopian</div><div>(<a href="https://www.quantopian.com/">https://www.quantopian.com/</a>) and Scikit-Allel</div><div>(<a href="https://github.com/cggh/scikit-allel">https://github.com/cggh/scikit-allel</a>) which you can read more about by</div><div>pointing your browser at the links below.</div><div><br></div><div>* Visualfabriq:</div><div><br></div><div>  * *bquery*, A query and aggregation framework for Bcolz:</div><div>  * <a href="https://github.com/visualfabriq/bquery">https://github.com/visualfabriq/bquery</a></div><div><br></div><div>* Blaze:</div><div><br></div><div>  * Notebooks showing Blaze + Pandas + BColz interaction: </div><div>  * <a href="http://nbviewer.ipython.org/url/blaze.pydata.org/notebooks/timings-csv.ipynb">http://nbviewer.ipython.org/url/blaze.pydata.org/notebooks/timings-csv.ipynb</a></div><div>  * <a href="http://nbviewer.ipython.org/url/blaze.pydata.org/notebooks/timings-bcolz.ipynb">http://nbviewer.ipython.org/url/blaze.pydata.org/notebooks/timings-bcolz.ipynb</a></div><div><br></div><div>* Quantopian:</div><div><br></div><div>  * Using compressed data containers for faster backtesting at scale:</div><div>  * <a href="https://quantopian.github.io/talks/NeedForSpeed/slides.html">https://quantopian.github.io/talks/NeedForSpeed/slides.html</a></div><div><br></div><div>* Scikit-Allel</div><div><br></div><div>  * Provides an alternative backend to work with compressed arrays</div><div>  * <a href="https://scikit-allel.readthedocs.org/en/latest/model/bcolz.html">https://scikit-allel.readthedocs.org/en/latest/model/bcolz.html</a></div><div><br></div><div>Installing</div><div>==========</div><div><br></div><div>bcolz is in the PyPI repository, so installing it is easy::</div><div><br></div><div>    $ pip install -U bcolz</div><div><br></div><div><br></div><div>Resources</div><div>=========</div><div><br></div><div>Visit the main bcolz site repository at:</div><div><a href="http://github.com/Blosc/bcolz">http://github.com/Blosc/bcolz</a></div><div><br></div><div>Manual:</div><div><a href="http://bcolz.blosc.org">http://bcolz.blosc.org</a></div><div><br></div><div>Home of Blosc compressor:</div><div><a href="http://blosc.org">http://blosc.org</a></div><div><br></div><div>User's mail list:</div><div><a href="mailto:bcolz@googlegroups.com">bcolz@googlegroups.com</a></div><div><a href="http://groups.google.com/group/bcolz">http://groups.google.com/group/bcolz</a></div><div><br></div><div>License is the new BSD:</div><div><a href="https://github.com/Blosc/bcolz/blob/master/LICENSES/BCOLZ.txt">https://github.com/Blosc/bcolz/blob/master/LICENSES/BCOLZ.txt</a></div><div><br></div><div>Release notes can be found in the Git repository:</div><div><a href="https://github.com/Blosc/bcolz/blob/master/RELEASE_NOTES.rst">https://github.com/Blosc/bcolz/blob/master/RELEASE_NOTES.rst</a></div><div><br></div><div>----</div><div><br></div><div>  **Enjoy data!**</div><div><br></div><div>-- <br></div><div class="gmail_signature">Francesc Alted</div>
</div>