<div dir="ltr">Hi Omar,<div><br></div><div>Thanks for the suggestions! </div><div><br></div><div>Your point about question difficulty is well taken. We previously organized questions into sections based on difficulty or topic, but have been experimenting with doing away with sections entirely. We are developing a way to intelligently deliver questions to a user based on their perceived skill level.</div>

<div><br></div><div>You're right that our checks can be defeated with sneakiness, but in the end we believe that it makes more sense to implement incentives to encourage people to post high quality answers, than to build full-proof validation tools.</div>

<div><br></div><div>Thanks again!</div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Thu, Nov 7, 2013 at 11:09 PM, Omar Abou Mrad <span dir="ltr"><<a href="mailto:omar.aboumrad@gmail.com" target="_blank">omar.aboumrad@gmail.com</a>></span> wrote:<br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><br><div class="gmail_extra"><div class="gmail_quote">On Thu, Nov 7, 2013 at 2:00 AM, Nathaniel Sokoll-Ward <span dir="ltr"><<a href="mailto:nathanielsokollward@gmail.com" target="_blank">nathanielsokollward@gmail.com</a>></span> wrote:<br>


<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Thought this group would appreciate this: <a href="http://www.metabright.com/challenges/python" target="_blank">www.metabright.com/challenges/python</a><br>



<br>
MetaBright makes skill assessments to measure how talented people are at different skills. And recruiters use MetaBright to find outrageously skilled job candidates.<br>
<br>
Python is a new area of expertise for us. We make "Challenges" for a bunch of languages and we're excited to finally have Python released. Give it a shot -- I'd love to hear what you think.<br>
<span><font color="#888888">--<br>
<a href="https://mail.python.org/mailman/listinfo/python-list" target="_blank">https://mail.python.org/mailman/listinfo/python-list</a></font></span></blockquote><div><br></div><div>Nathaniel,</div><div><br></div>
<div>You may want to classify the questions under some weight. You can't really have a level 6 question about semi colon.</div><div><br></div><div>Also, when the boss questions are being computed, you should run more than the 'example' given as a test, otherwise users can just cheat. For example, I think one of the 'Boss' question was return the first 3 digits of PI as a list, all i did was:</div>


<div><br></div><div>return [3,1,4]</div><div><br></div><div>Hope this helps.</div></div><br></div></div>
</blockquote></div><br></div>