Short how-to about converting WWW-sites from ISO-8859-2 (known also as Latin-2) to utf-8

Krótkie how-to o konwersji stron WWW z ISO-8859-2 do utf-8

Co to jest kodowanie

A to 1
B to 2
C to 3
i tak dalej...

Standardy : ASCII

Standardy : ISO-8859-2 i WINDOWS-1250

Standardy : inne

• W polsce poza Latin-2, używano też często standardu Mazovia. Poza tym system operacyjny DOS (przed rokiem 95 właściwie nie było innych systemów używanych powszechnie w polsce na PC-ty) definiował także swoje standardy. Dla zainteresowanych szerzej: szukajcie na przykład CP790 CP852
  
• Chiny - do zapisu języka Traditional Chinese jednym z najpowszechniejszych kodowań stało się Big5. Kod ten zawiera także m.in. znaki używane na Tajwanie (chiński simplified), Hong Kongu czy Makau. Z nie-chińskich alfabetów, Big5 koduje na przykład cyrylice (Rosja), czy japońską Kanę. Big5 jest kodowaniem wielobajtowym - to oczywiste, że potrzebuje więcej niż jednego bajtu, żeby wszystkie znaki przyporządkować.
  
• Zestawy znaków ISO - kilka tak zwanych stron kodowych, oznaczonych różnymi numerkami (8859-x) - pozwalają zapisać znaki w różnych językach, zdefinowane przez komitet standaryzacyjny.
  
• Zestawy znaków Windows-xxxx i CPxxxx - generalnie używane w systemach microsoft-u.
  
• Kodowanie DVB - używane przez telewizję cyfrową. Realnie zawiera (używa) ISO, Big5, utf i paru innych. Jednak ciekawostką jest to, że każdy tekst może zawierać informację o użytym kodowaniu - teoretycznie umożliwia nawet zmiane kodowania w częściach tekstu. W tym celu zdefiniowany jest zestaw prefixów, określających przełączenie kodowania.
  

Unicode, utf-7, utf-8, utf-16, utf-32

Strona w utf-8 : nagłówek (head)

<meta http-equiv="content-type" content="text/html;charset=utf-8"/>

<meta http-equiv=content-type>

Strona w utf-8 : treść

• używaj edytora, który natywnie wspiera UTF-8, a do tego daje Ci pełną kontrolę nad kodowaniem - czyli pokazuje jakie kodowanie jest fizycznie w dokumencie, umożliwia konwersję itp. (choćby Eclipse)
  
• przy ładowaniu stron FTP-em, sprawdź czy program uploadujący wie o UTF-8 albo lepiej przełącz klienta FTP w tryb binarny binary mode.
  
• jeśli używasz bazy danych (jak MySQL), upewnij się, że baza pracuje w trybie UTF-8. Ewentualnie będziesz musiał przeprowadzić konwersję.
  

Strona w utf-8 : automatyczna konwersja plików w PHP

function processDir($dir)
{
    if ($dh = opendir($dir))
    {
        while (($file = readdir($dh)) !== false)
        {
            $ext = substr($file, -4);
            if (
                ($file != 'a.php')
                &&
                    (
                        ($ext == '.php')
                        ||
                        ($ext == '.txt')
                    )
                )
            {
                $txt = file_get_contents($dir.'/'.$file);
                $txt = str_replace(chr(0xB1), 'ą', $txt);
                $txt = str_replace(chr(0xE6), 'ć', $txt);
                $txt = str_replace(chr(0xEA), 'ę', $txt);
                $txt = str_replace(chr(0xB3), 'ł', $txt);
                $txt = str_replace(chr(0xF1), 'ń', $txt);
                $txt = str_replace(chr(0xF3), 'ó', $txt);
                $txt = str_replace(chr(0xB6), 'ś', $txt);
                $txt = str_replace(chr(0xBC), 'ź', $txt);
                $txt = str_replace(chr(0xBF), 'ż', $txt);
                $txt = str_replace(chr(0xA1), 'Ą', $txt);
                $txt = str_replace(chr(0xC6), 'Ć', $txt);
                $txt = str_replace(chr(0xCA), 'Ę', $txt);
                $txt = str_replace(chr(0xA3), 'Ł', $txt);
                $txt = str_replace(chr(0xD1), 'Ń', $txt);
                $txt = str_replace(chr(0xD3), 'Ó', $txt);
                $txt = str_replace(chr(0xA6), 'Ś', $txt);
                $txt = str_replace(chr(0xAC), 'Ź', $txt);
                $txt = str_replace(chr(0xAF), 'Ż', $txt);
                file_put_contents($dir.'/'.$file, $txt);
            }
        }
        closedir($dh);
    }
}

processDir('/twoj/katalog');
processDir('/twoj/katalog/doc');
processDir('/twoj/katalog/txt');
processDir('/twoj/katalog/blah/bleh');

Strona w utf-8 : baza w mySQL

• powiedz serwerowi, że preferujesz utf-a. Zaraz po połączeniu (po zawołaniu funkcji mysql_select_db), odpal kod:
  

  mysql_query('SET character_set_connection=utf8') or die('character_set_connection failed');
  mysql_query('SET character_set_client=utf8') or die('character_set_client failed');
  mysql_query('SET character_set_results=utf8') or die('character_set_results failed');
  

  
  
• tekstowe kolumny w tabelach deklaruj jako utf-owe (już podczas tworzenia tabeli).
  W tym celu przy każdym polu w definicji, podczas tworzenia dodaj
  

  character set utf8

  Na przykład:
  

  CREATE TABLE properties (path text character set utf8 not null, value text character set utf8, primary key (path(32)))

  
  
• pilnuj właściwego kodowania przy dostępie (zapisie/odczycie) do bazy
  
• aby przeprowadzić konwersję na istniejącej już bazie, często wystarcza export za pomocą phpMyAdmin-a, i ponowny import z właściwymi ustawieniami.
  

O kopiowaniu