On Wed, Dec 22, 2010 at 1:58 PM, Francesc Alted <span dir="ltr"><<a href="mailto:faltet@pytables.org">faltet@pytables.org</a>></span> wrote:<br><div class="gmail_quote"><blockquote class="gmail_quote" style="margin: 0pt 0pt 0pt 0.8ex; border-left: 1px solid rgb(204, 204, 204); padding-left: 1ex;">
 >>> %time b = ca.zeros(1e12)<br>
  CPU times: user 54.76 s, sys: 0.03 s, total: 54.79 s<br>
  Wall time: 55.23 s<br></blockquote><div><br>I know this is somewhat missing the point of your demonstration, but 55 seconds to create an empty 3 GB data structure to represent a multi-TB dense array doesn't seem all that fast to me.  Compression can do a lot of things, but isn't this a case where a true sparse data structure would be the right tool for the job?  I'm more interested in seeing what a carray can do with census data, web logs, or somethat vaguely real world where direct binary representations are used by default and assumed to be reasonable optimal (i.e., anything sensibly stored in sqlite tables).<br>
<br>-Kevin<br></div></div>