Michael Ströder, 01.06.2012 21:30:
Thomas 'PointedEars' Lahn wrote:
Michael Ströder wrote:
Thomas 'PointedEars' Lahn wrote:
Bernd Nawothnig wrote:
On 2012-04-21, wb wrote:
Laut sys.maxunicode (= 65535) habe ich wohl auch eine UTF-16 build, was genau das heißen mag...
Es ist dann ein UCS-2-Build:
--enable-unicode[=ucs[24]]beinahe Enable Unicode strings (default is ucs2)
ACK, das ergibt Sinn.
Das heißt, dass dann nicht jedes Unicodezeichen intern abgespeichert werden kann, also nicht nur nicht dargestellt werden kann.
Wie kommst Du auf dies schmale Brett?
Ist sys.maxunicode nicht die max. Anzahl der Unicode Code Points?
Es ist "An integer giving the largest supported code point for a Unicode character." [1], was fast auf dasselbe hinausläuft (die max. Anzahl der dann möglichen Codepunkte ist genau 1 mehr, denn U+0000 wird darin eingeschlossen).
Also hatte Bernd durchaus recht mit der Vermutung, dass bei der betreffenden Python-Installation nicht alle Unicode-Zeichen intern verarbeitet werden können, auch wenn er sich vielleicht bzgl. Unicode-Begrifflichkeiten ungeschickt ausgedrückt haben mag.
Doch, es können alle verarbeitet werden. Schau mal unter "surrogate pairs" nach. Das ist die Hilfskodierung für Zeichen außerhalb der BMP, mit der diese Zeichen gespeichert werden können. Surrogate pairs sind auch der Grund, weshalb manche Ein-Zeichen Strings in "UCS-2" Builds die Länge 2 haben, nämlich genau die, die nicht in der BMP enthalten sind. CPython macht intern einige Klimmzüge, um diese Zeichen trotzdem korrekt zu verarbeiten, z.B. wenn es um das Einordnen dieser Zeichen in Zeichengruppen geht (Buchstaben, Ziffern, ...). Stefan