<div dir="ltr">PS: took 2 hours to parse the dataset into the linearized version (stored as "parsed.json") on my notebook.<br></div><div class="gmail_extra"><br clear="all"><div><div class="gmail_signature" data-smartmail="gmail_signature"><br>--<br>Paul Eipper</div></div>
<br><div class="gmail_quote">On Thu, Mar 9, 2017 at 7:39 PM, Paul Eipper <span dir="ltr"><<a href="mailto:lkraider@gmail.com" target="_blank">lkraider@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><div>I had some fun parsing and plotting the data (very simple, just the top packages for now). See here:<br><a href="https://github.com/lkraider/requirements-dataset/blob/master/index.ipynb" target="_blank">https://github.com/lkraider/<wbr>requirements-dataset/blob/<wbr>master/index.ipynb</a><br><br></div>Let me know if you would accept a pull request so others can use that as a starting point.<br><br></div>att,<br></div><div class="gmail_extra"><br clear="all"><div><div class="m_-5559183769153674407gmail_signature" data-smartmail="gmail_signature"><br>--<br>Paul Eipper</div></div><div><div class="h5">
<br><div class="gmail_quote">On Wed, Mar 8, 2017 at 1:36 PM, Nick Timkovich <span dir="ltr"><<a href="mailto:prometheus235@gmail.com" target="_blank">prometheus235@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Looks like a fun chunk of data, what's the query you used? Can you add a README to the repo with some description if others want to iterate on it (maybe look into setup.py's?)<div><br></div><div>Nick</div></div><div class="gmail_extra"><br><div class="gmail_quote"><div><div class="m_-5559183769153674407h5">On Tue, Mar 7, 2017 at 5:06 AM, Jannis Gebauer <span dir="ltr"><<a href="mailto:ja.geb@me.com" target="_blank">ja.geb@me.com</a>></span> wrote:<br></div></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><div class="m_-5559183769153674407h5"><div style="word-wrap:break-word">Hi,<div><br></div><div>I ran a couple of queries against GitHubs public big query dataset [0] last week. I’m interested in requirement files in particular, so I ran a query extracting all available requirement files.</div><div><br></div><div>Since queries against this dataset are rather expensive ($7 on all repos), I thought I’d share the raw data here [1]. The data contains the repo name, the requirements file path and the contents of the file. Every line represents a JSON blob, read it with:</div><div><br></div><div><div>with open('data.json') as f:</div><div>    for line in f.readlines():</div><div>        data = json.loads(line)</div></div><div><br></div><div>Maybe that’s of interest to some of you.</div><div><br></div><div>If you have any ideas on what to do with the data, please let me know.</div><div><br></div><div>—</div><div><br></div><div>Jannis Gebauer</div><div><br></div><div><br></div><div><br></div><div>[0]: <a href="https://cloud.google.com/bigquery/public-data/github" target="_blank">https://cloud.google.com/<wbr>bigquery/public-data/github</a></div><div>[1]: <a href="https://github.com/jayfk/requirements-dataset" target="_blank">https://github.com/jayfk/<wbr>requirements-dataset</a></div></div><br></div></div>______________________________<wbr>_________________<br>
Distutils-SIG maillist  -  <a href="mailto:Distutils-SIG@python.org" target="_blank">Distutils-SIG@python.org</a><br>
<a href="https://mail.python.org/mailman/listinfo/distutils-sig" rel="noreferrer" target="_blank">https://mail.python.org/mailma<wbr>n/listinfo/distutils-sig</a><br>
<br></blockquote></div><br></div>
<br>______________________________<wbr>_________________<br>
Distutils-SIG maillist  -  <a href="mailto:Distutils-SIG@python.org" target="_blank">Distutils-SIG@python.org</a><br>
<a href="https://mail.python.org/mailman/listinfo/distutils-sig" rel="noreferrer" target="_blank">https://mail.python.org/mailma<wbr>n/listinfo/distutils-sig</a><br>
<br></blockquote></div><br></div></div></div>
</blockquote></div><br></div>