New GitHub issue #119496 from ncoghlan:<br>

<hr>

<pre>
# Feature or enhancement

### Proposal:

I just finished an extended Windows bug hunt that I eventually tracked down to a `.pth` file being encoded in UTF_16-LE rather than an ASCII-compatible encoding.

I only figured it out by turning off frozen modules and hacking site.py to dump the output of `.pth` files as it tried to process them (at which point I checked the `.pth` file encoding in VSCode and sure enough, `UTF-16-LE` was down in the corner of the file window).

I hit the bug by porting a Linux shell script to Windows PowerShell, not thinking about the fact that `| Out-File` on Windows defaults to UTF-16-LE.

Given the inevitable presence of NULLs in a UTF-16-LE file, while their shouldn't be any in a UTF-8 or locale encoding file, it seems to me we should be able to handle such situations more gracefully (at the very least logging an error if NULL bytes are present in the file, but potentially even just making UTF-16-LE encoded .pth files straight up work by checking for NULL bytes, and using UTF-16-LE instead of UTF-8 and the locale encoding if we find one)

(This is somewhat related to #77102)

### Has this already been discussed elsewhere?

No response given

### Links to previous discussion of this feature:

_No response_
</pre>

<hr>

<a href="https://github.com/python/cpython/issues/119496">View on GitHub</a>
<p>Labels: type-feature</p>
<p>Assignee: </p>