Hogyan lehet a legjobban a többféle nyelvet és szkriptet használó űrlapok kódolási problémáit kezelni?
A legjobb módja az (X)HTML űrlapok kódolási problémáinak kezelésére az, ha minden oldalunknál UTF-8 kódolást használunk. Az UTF-8 a legkülönbözőbb nyelvek karaktereit meg tudja jeleníteni. A böngészők ugyanabban a kódolásban küldik vissza az űrlap adatait, mint amiben az oldal tartalmazza az űrlapot, így a felhasználó az adatokat bármilyen nyelven vagy írásjelet használva megadhatja.
Van azonban néhány apróság, amit figyelembe kell vennünk ahhoz, hogy ez a megközelítés biztosan jól működjön. Először is, tudatni kell a böngészővel, hogy az űrlap UTF-8-ban kódolt. Többféle módon lehet megadni oldalunk kódolását a böngészőnek. Ez minden esetben fontos, különösen akkor, ha az űrlap nem tartalmaz US-ASCII-n kívül más karaktereket, ám felhasználóink esetleg más típusú karaktereket is beírnak.
Másodszor, az űrlap adatait feldolgozó szkripteknél érdemes ellenőrizni, hogy a visszaadott adat valóban UTF-8 kódolású-e (pl. valami elromlott-e, vagy a felhasználó megváltoztatta-e a kódolást). Az ellenőrzés azért lehetséges, mert az UTF-8-nak teljesen egyedi, másra nem jellemző bájt mintázata van. Ha nem UTF-8 kódolású adat érkezik vissza, akkor a rendszernek egy hibaüzenet kell küldeni.
Perlben például egy reguláris kifejezés vizsgálata UTF-8 kódolásra a következőképpen nézhet ki:
$field =~
/\A(
[\x00-\x7F] # ASCII
| [\xC2-\xDF][\x80-\xBF] # non-overlong 2-byte
| \xE0[\xA0-\xBF][\x80-\xBF] # excluding overlongs
| [\xE1-\xEC\xEE\xEF][\x80-\xBF]{2} # straight 3-byte
| \xED[\x80-\x9F][\x80-\xBF] # excluding surrogates
| \xF0[\x90-\xBF][\x80-\xBF]{2} # planes 1-3
| [\xF1-\xF3][\x80-\xBF]{3} # planes 4-15
| \xF4[\x80-\x8F][\x80-\xBF]{2} # plane 16
)*\z/x;
Ez a kifejezés más programozási nyelvekre is átvihető. Ez különböző dolgokat képes kezelni,
mint pl. az illegális, túl hosszú kódolásokat és a helyettesítések illegális használatát. Igaz logikai értéket ad vissza, ha a $field UTF-8 kódolású, máskülönben hamis értékkel tér vissza.
The above regular expression can be tailored by adding application-related restrictions. As an example, many control characters can be excluded by replacing [\x00-\x7F] with [\x09\x0A\x0D\x20-\x7E].