Hello the list,<div><br></div><div>I have a, let say 'special' , request.</div><div>I would like to make a very specific type of distributed computing. </div><div>Let me explain myself :</div><div><br></div><div>I have a HUUUUUGE(everything is relative) amount of data coming from UDP/514 ( good old syslog), and one process alone could not handle them ( it's full of regex, comparison and counting. all this at about 100K lines of data per seconds and each line is about 1500o long. I tried to handle it on one process, 100% core time in htop. )</div>
<div><br></div><div>So i said to myself : why not distribute the computing ?</div><div>I looked for a good library that could do the distribution/process management job for me (<a href="http://wiki.python.org/moin/ParallelProcessing">http://wiki.python.org/moin/ParallelProcessing</a>).</div>
<div><br></div><div>What i found was not really usable by me ( distributed processing with a lot of processing but almost no process communication wich is the opposite of the thing i would like to do: distribute the events in real time so it is processed in real time.).</div>
<div><br></div><div>My question is : is their any library or API or anything that is able to do that ?</div><div><br></div><div>Sincerly </div><div>Julien</div><div><br></div><div>PS: This is my first time posting on any mailing list, my explanation/syntax could look a little bite, messy.</div>
<div><br></div><div><br></div><div><br></div><div><br></div>