Karakterkódolások kezdőknek

Mi az a karakterkódolás és miért kell foglalkoznom vele?

Először is, miért kell foglalkoznom vele?

Ha bármi mást használunk mint az angolban megtalálható alap karaktereket, az emberek nem tudják elolvasni a szövegünket hacsak nem mondjuk meg, hogy milyen karakterkódolást használtunk.

Például, azt szeretnénk ha a szöveg így nézne ki:

de valójában így is kinézhet:

A nem megfelelő kódolási információ nem csak a megjelenített szöveg olvashatóságát rontja, hanem azt is jelentheti, hogy az adatunk nem lesz megtalálható keresővel vagy nem lehet megbízhatóan feldolgozni számos más módon.

Tehát mi az a karakterkódolás?

A karakterek egy karakter készletbe/beállításba vannak csoportosítva (másik nevén repertoárba). Azt nevezzük kódolt karakter beállításnak, amikor minden karakter egy bizonyos számmal van meghatározva. Ezeket kódegységnek is nevezzük. Ezek a kódegységek a számítógépben egy vagy több bájttal vannak kifejezve.

Alapvetően ez azt jelenti, hogy minden karakter a számítógépben kód formájában van tárolva, mint a kémkedésnél a titkosírás például. A karakter kódolás a kulcs hogy a kódot úgymond feltörjük. Ez egy feltérképezési beállítás a bájtok között és enélkül a kulcs nélkül az adat úgy néz ki mint a szemét.

A charset félrevezető kifejezést gyakran arra hivatkozva használják, ami a valóságban a karakterkódolás. Figyeljünk oda a használatánál, illetve ragaszkodjunk a karakterkódolás kifejezéshez, amikor csak lehet.

Sajnos sok különböző karakter beállítás és karakterkódolás létezik, azaz sok eltérő mód a bájtok, kódegységek és karakterek közti feltérképezésre. A következő tábla további részletekkel szolgál azok számára akiket ez érdekel.

További bonyodalmak lehetnek a fenti leírtakon túl (mint például a bájt sorrend és a menekülő számsorok). A fentiek megmutatják miért fontos, hogy az applikáció amivel dolgozunk tudja, hogy melyik karakterkódolás a megfelelő az adatunkhoz és hogy kezelni tudja a kódolást.

Legtöbbször azonban nem szükséges tudnunk a részleteket. Elég csak megbizonyosodnunk hogy megfontoljuk a Hogyan érint ez engem? szekció tanácsait lejjebb.

A betűtípusok hogyan illeszkednek bele ebbe az egészbe?

A betűtípus egy írásjel kollekció, azaz olyan meghatározott formák, amelyeket karakterek megjelenítésére használunk.

Amint az applikációnk megállapította hogy milyen karakterekkel van dolga, a betűtípusban megkeresi az írásjelet hogy megjelenítse azokat a karaktereket. (Természetesen ha a kódolási információ rossz volt, akkor a rossz karakterekhez fog írásjelet keresni.)

Egy adott betűtípus rendszerint egy karakterkészletet lefed vagy egy nagyobb karakterkészlet esetében, mint az Unicode csak egy részüket. Ha a betűtípusunknak nincs írásjele egy adott karakterhez, néhány alkalmazás megkeresi a hiányzó karaktert más, a rendszerünkön található betűtípusban (ami azt jelenti, hogy az írásjel másképp fog kinézni mint a körülötte lévő többi szöveg, nagyjából úgy mondjuk mint egy váltságdíj követelés). Egyébként meg tipikusan egy négyzetet, egy kérdőjelet vagy más karaktert fogunk látni helyette. Például:

Hogyan érint ez engem?

Tartalomszerkesztőként vagy fejlesztőként a legjobb karakter kódolást szükséges kiválasztanunk az adatunknak vagy tartalmunknak. Az Unicode kódolás gyakran jó választás, mivel egyetlen kódolással igen sok karaktert tudunk kezelni. Ez nagyban leegyszerűsíti a dolgokat. Emellett ha a teljes rendszerünkben Unicode-ot használunk, az eltünteti annak a szükségét hogy nyomozzunk és konvertáljunk a különféle karakterkódolások között.

A tartalomszerkesztőknek ellenőrizniük kell, hogy milyen kódolásban menti el a szöveget a szerkesztőjük vagy a szkriptjük és hogy hogyan mentsék el a szöveget a kiválasztott kódolásban. Jegyezzük meg, hogy a különböző kódolás deklarálásával nem fognak megváltozni a bájtok; a szöveget is abba a kódolásba kell elmentenünk.

A tartalomszerkesztőknek ki kell találniuk hogy hogyan deklarálják a karakterkódolást amit a dokumentumban használnak. Szükségük lehet arra is, hogy megbizonyosodjanak arról, hogy a szerver a dokumentumot a megfelelő HTTP deklarációkkal tálalja.

A fejlesztőknek meg kell bizonyosodniuk arról hogy a rendszer különféle részei tudnak egymással kommunikálni és értik hogy melyik karakterkódolás van alkalmazva, tovább támogatják az összes szükséges kódolást és karaktert.

A következő szekcióban található linkek további olvasnivalót nyújtanak ebben a témában.