[Python-es] Paython trabaja en memoria?

[Chema Cortes]

El jue., 12 may. 2016 a las 10:51, Javier Sangalo (<jjsangalo en gmail.com>)
escribió:

> muchas gracias!
> No tengo ningun problema en particular, tan solo que me hen hecho esa
> pregunta y no estaba seguro de que responder jeje.
>

La diferencia entre trabajar con datos en memoria en lugar de en disco
supone un factor multiplicativo de x200000. Con los nuevos discos SSD
mejora bastante bajando a unos x10000. Vamos, que es muy recomendable tener
todos los datos en memoria, aunque sea como matrices dispersas (sparse
matrices), con el fin de operar más rápido sin pasar por disco. Tanto R
como numpy tienen técnicas para optimizar el espacio ocupado en memoria.

Pero no siempre es la mejor opción. A veces tu datos vienen como streams de
datos desde algún servidor web o desde algún nodo de la base de datos. En
estos casos, los tiempos invertidos en traerte los datos pueden ser mucho
mayor que el que inviertes escribiendo/leyendo del disco local, con lo que
puedes usar el disco como almacenamiento secundario para liberar RAM. Es en
parte lo que hace Hadoop para poder procesar colecciones de datos enormes
(aunque luego venga Spark y pulverize los tiempos de proceso cacheándolo
todo en RAM).

Una comparativa tecnológica e histórica de los tiempos de latencia:

https://gist.github.com/jboner/2841832
http://www.eecs.berkeley.edu/~rcs/research/interactive_latency.html



>
> El 12 de mayo de 2016, 10:40, Kiko <kikocorreoso en gmail.com> escribió:
>
>>
>> El 12 de mayo de 2016, 10:23, Javier Sangalo <jjsangalo en gmail.com>
>> escribió:
>>
>>> Buenos días,
>>>
>>> Me surge una duda, R trabaja en memoria con el inconveniente que tiene
>>> si no dispones de suficiente memoria ram, pero...y Python? trabaja de la
>>> misma forma?
>>>
>>>
>> Sí. R, Python y el resto del universo. Tendrás que encargarte de
>> gestionar la memoria. Hay formas más o menos eficientes de hacerlo. Si
>> describes un poco mejor tu problema relacionado con Python quizá te puedan
>> ofrecer mejor ayuda.
>>
>>
>>> Gracias!
>>>
>>> _______________________________________________
>>> Python-es mailing list
>>> Python-es en python.org
>>> https://mail.python.org/mailman/listinfo/python-es
>>> FAQ: http://python-es-faq.wikidot.com/
>>>
>>>
>>
>> _______________________________________________
>> Python-es mailing list
>> Python-es en python.org
>> https://mail.python.org/mailman/listinfo/python-es
>> FAQ: http://python-es-faq.wikidot.com/
>>
>>
> _______________________________________________
> Python-es mailing list
> Python-es en python.org
> https://mail.python.org/mailman/listinfo/python-es
> FAQ: http://python-es-faq.wikidot.com/
>
-- 
Hyperreals *R  "Quarks, bits y otras criaturas infinitesimales":
http://ch3m4.org/blog
------------ próxima parte ------------
Se ha borrado un adjunto en formato HTML...
URL: <http://mail.python.org/pipermail/python-es/attachments/20160512/c7e222bc/attachment.html>