<div dir="ltr">Hi,<div class="gmail_extra"><br><div class="gmail_quote">On Thu, Mar 12, 2015 at 6:06 PM,  <span dir="ltr"><<a href="mailto:jep200404@columbus.rr.com" target="_blank">jep200404@columbus.rr.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">FTP probably can not send a file beginning from an arbitrary point.<br>
wget can.<br></blockquote><div><br></div><div>FTP can resume a download from an arbitrary point, and most servers probably implement it by now.  It's not quite as flexible as an HTTP range request, though.  (And FTP is a horrible protocol by modern standards.)  See the REST command in <a href="http://www.faqs.org/rfcs/rfc959.html">http://www.faqs.org/rfcs/rfc959.html</a>.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">I think rsync tends to resend whole file if any part of<br></blockquote><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
it changes. I'm not sure about rsync.<br></blockquote><div><br></div><div>No, rsync uses a block checksum algorithm and only transfers blocks that are different. See <a href="https://rsync.samba.org/tech_report/">https://rsync.samba.org/tech_report/</a></div><div><br></div><div>They mention that it's primarily optimized for smaller files, so I'm not sure how efficient it is with large chunks of data.</div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
Bittorrent protocol can pick up where it left off,<br>
and could retransmit only the 64 KByte chunks that<br>
have changed. So everyday we could easliy download<br>
just the changes. That would require a change on NWS server.<br>
The hard part would probably be getting them to change their<br>
server. Sales pitch could be that it would reduce the load<br>
on their servers, both my allowing incremental downloads,<br>
and by other peers sharing the load. We would need to test<br>
the ability for bittorrent to only download changes before<br>
pitching it.<br></blockquote><div><br></div><div>If bittorrent is too much to swallow, here are other binary delta/diff options available that don't require a specific transfer protocol:</div><div><ul><li>xdelta - <a href="https://code.google.com/p/xdelta/">https://code.google.com/p/xdelta/</a></li><li>libxdiff (used by git) - <a href="http://www.xmailserver.org/xdiff-lib.html">http://www.xmailserver.org/xdiff-lib.html</a></li><li>bsdiff - <a href="http://www.daemonology.net/bsdiff/">http://www.daemonology.net/bsdiff/</a></li><li>courgette (developed by Google to push Chrome updates) - <a href="http://dev.chromium.org/developers/design-documents/software-updates-courgette">http://dev.chromium.org/developers/design-documents/software-updates-courgette</a><br></li></ul><div>Joe<br></div></div></div></div></div>