Сетевые кодировки японского языка.
Хотя собственно японский язык не очень сложен, он использует одну из самых сложных систем письменности. См. например «Японский для всех» А.Н. Колесникова или введение к книге «Как пишут в Японии». Кроме того, что применяется два разных алфавита : хирагана(hiragana) и катакана (katakana), применяются также и иероглифы (kanji) которых просто очень очень много . В современном японском 1850 только «официальных» иероглифов, куча старинных, а также имена собственные, географические названия и т.д.
Все это, конечно же, вызывает проблемы с использованием японской письменности в вычислительной технике (базы данных (SQL), e-mail, news, WWW). Такое большое количество символов невозможно представить одним байтом. Поэтому применяют многобайтовые кодировки, когда один символ занимает два, три или более байт.
Набор «допустимых» иероглифов неоднократно пересматривался, но к счастью, в настоящее время набор японских символов вполне стандартизован. Основную работу по стандартизации проделала Japanese Standards Association, разработавшая семейство стандартов JIS (Japanese Industrial Standards), например JIS X 0201, JIS X 0208, JIS X 0212 .
JIS X 0201 (1976) — определяет два 7-битных набора символов и один 8-ми битный. Первый 7-ми битный набор — это эквивалент ASCII, за исключением кодовой позиции 5/12 содержащей YEN SIGN вместо BACKSLASH и кодовой позиции 7/14, содержащей OVERSCORE вместо TILDE. Второй 7-ми битный кодовый набор содержит катакану которая в нем называется «hankaku» — то есть буквы половинной ширины. Эти символы занимают только половину ширины обычных японских иероглифов (Kanji) которые называются «zenkaku» — то есть символы полной ширины. Последний 8-ми битный набор — это объединение двух 7-ми битных наборов, где катакана расположена в пространстве G1 ISO-2022 (от 10/0 до 15/15) в котором использованы только позиции от 10/1 до13/15.
JIS X 0208 (1983) — определяет набор из 6353 иероглифов (Kanji), 169 Kana, 166 латинских, греческих, и кириллических символов, 10-ти цифр, 147 специальных символов, и 32 специальных знаков препинания, всего 6877 символов. Символы расположены по секциям, по 94 символа каждая, которые отображаются в пространство G0 ISO-2022 (от 2/1 до 7/14 = 94 кодовых позиций). Иероглифы (kanji) согласно этому стандарту делятся на две группы: 2965 level 1 Kanji, и 3388 level 2 Kanji. Эти два набора отличаются принципом сортировки: level 1 отсортирован согласно фонетическому принципу; level 2 отсортирован по ключам и по количеству черт.
JIS X 0212 (1990) — определяет набор из примерно 6000 дополнительных иероглифов, не определенных в JIS X 0208. Эти kanji отсортированы подобно level 2 в JIS X 0208, то есть по ключам, количествам черт, и по омонимам.
Сетевые кодировки.
Написанием софта для Японии занимались как крупные транснациональные компании (Microsoft, IBM, SUN) так и собственные японские разработчики. И к сожалению (подобно ситуации в русском языке) они наплодили большое количество различных кодировок. Большинство этих кодировок базируются на стандартах JIS (кроме UNICODE).
Вот пять разных HTML файлов в разных японских MultiByte кодировках :
* Первые два символа U+6587 и U+5B57 — «символ» по-японски, потом слово «character» латиницей, потом слово «символ» : шесть букв в кириллице. (Японские кодировки JIS X 0208 содержат кириллицу и греческие буквы).
Кодировки HTML проставлены через META и одновременно через .htaccess. Метод. Надеюсь, ваш броузер их покажет.
Кодировка JIS — самая старая. На самом деле, это кодировка набора символов JIS сделанная по стандарту ISO-2022. Имеет MIME типы ISO-2022-JP (RFC-1468) и ISO-2022-JP-1 (RFC-2237). Отличается тем, что содержит символ ESC (033) прямо в тексте документа. Иногда это удобно (например для вывода на принтер с поддержкой JP) иногда — не очень (для SQL, e-mail, news и web). Для кодирования каждого символа JIS требуется два байта. «Назначателями» для JIS X 0208 в строке ISO-2022 являются следующие последовательности:
Кодировка Shift-JIS, иначе именуемая CP_932 была введена компанией Microsoft в своей операционной системе MS-DOS/V для NEC-PC и MS-Windows 3.1(J). Она основана на механизмах DBCS (Double-Byte Code Set). Младшая половина набора — символы ASCII. Старшая половина — коды многобайтных символов (A0-DF — однобайтовая kana). Эта кодировка стала практически стандартом для личной e-mail и WWW из за своей распространенности на японских персоналках.
Схема организации кодировки Shif-JIS.
Кодировка EUC (Extended Unix Code) точнее EUC-JP применяется на UNIX-машинах и продвигается в основном производителями рабочих станций : SUN, IBM, HP. Иногда применяется на крупных корпоративных сайтах. MIME charset: EUC-JP
Соответствие между Shift-JIS и EUC
Кодировка UTF-8 — UNICODE. Пока не очень активно применяется из за прохладного отношения к идее UNICODE CJK-Unification (то есть объединения японских, китайских и корейских символов, сходных по начертанию), поскольку считается, что UNICODE CJK более ориентировано на Китай. Однако после появления неплохих бесплатных UNICODE True-Type фонтов (например MSMINCHO.TTF) имеющих вполне «японское» начертание, эта кодировка начинает применяться все шире. UTF-8 — весьма перспективная кодировка, поскольку кроме японского языка может кодировать символы любых других языков.
Еще одна кодировка — NCR — это в действительности HTML 4.0 форма UNICODE, где каждый символ представлен в виде NCR (Numeric Character Reference) : &xxxx;, то есть фактически его номером в UNICODE. Работает только для HTML в большинстве современных браузеров (Netscape, Opera, MS IE). Очень удобна, когда надо вставить несколько иероглифов в документ HTML 4.0, например в русский или Latin-1.
Установка поддержки японского языка
Если вы хотите, чтобы в японоязычных программах отображались иероглифы, а не абракадабра, вам необходимо настроить поддержку японского языка в Windows.
Это можно сделать в Windows 2000 или XP (Windows 95 или 98, увы, это не поддерживают).
Для этого необходимо зайти в меню Пуск (Start), далее Настройки (Settings), из них перейти на Контрольную панель (Control panel). В открывшемся окне выберите иконку с надписью «Языки и региональные стандарты» (Regional and Language options).
Для Windows XP — в меню «Языки» (Language) установите галочку рядом с пунктом «Установить поддержку языков с письмом иероглифами». Она также может называться «Включить поддержку восточноазиатских языков» (Install files for East Asian languages):
Для Windows 2000 выберите язык Японский (Japanese), кодировку японскую — при этом откроется еще одно небольшое окошко со списком, там тоже нужно выбрать Japanese.:
Далее потребуется исходный дистрибутив Windows, с которого система скачает нужные файлы. Для Windows XP файлы находятся в дистрибутиве в папке I386\LANG. Если на дистрибутиве папки LANG нет либо она пустая (к сожалению, иногда на пиратских дисках ее удаляют в целях экономии места) — вам необходимо найти полную версию дистрибутива либо — для Windows XP — скачать эту папку в архивированном виде по адресу http://www.auto.vl.ru/files/epc/winxp_lang.exe (внимание — файл весит 100 мегабайт!).
Даже после этой установки часть информации в программах будет все равно отображаться иероглифами, а некоторые программы не будут работать вообще. Поэтому нужно установить полную поддержку японского языка. Существует два варианта работы: установить японский язык как основной в системе либо использовать программу Microsoft AppLocale (только для Windows XP).
Вариант 1. Установка японского языка как основного.
Этот вариант предпочтителен для ежедневной профессиональной работы с несколькими программами, когда есть возможность выделить для этого отдельный компьютер.
Нужно установить японский язык как основной в системе. Установка осуществляется выбором японского языка в закладках «Региональные параметры» и «Дополнительно». После этого нужно перегрузить компьютер.
Однако выбор японского языка вместо русского приведет к тому, что русскоязычные программы в этом режиме будут работать неправильно (теперь абракадабра будет вместо русских букв или спецсимволов), а переключение между языками каждый раз требует перезагрузки компьютера, что вызывает неудобства в работе. Поэтому, если программы требуются время от времени, лучше использовать вариант 2.
Вариант 2. Использование Microsoft AppLocale
Этот вариант предпочтителен, если программы используются время от времени.
Скачайте программу Microsoft AppLocale по адресу http://www.auto.vl.ru/epc/files/apploc.msi (для некоторых каталогов она уже есть в папке RUS_HELP — файл apploc.msi). Запустите ее через Проводник, установите, запустите, и, когда будет предложено выбрать программу для запуска, укажите исполняемый файл программы и параметры(аргументы) командной строки, если требуется (эту информацию можно посмотреть в свойствах ярлыка, который запускает программу. Например, для Daihatsu это «C:\DAIHATSU\APLI\DAIHATSU.exe -r»)
В качестве языка, если он не определится автоматически, укажите самый последний язык в списке (там три иероглифа, они обозначают «Японский»)
(Если далее вы получите сообщение об ошибке «Your system does not have the language support for the selected language installed!», значит, вы не выполнили установку поддержки языков с иероглифами на первом этапе.)
На последнем шаге нажмите Finish, если хотите сразу запустить программу (рекомендуется при запуске установочных программ), либо создайте ярлык, чтобы в дальнейшем не вводить все данные заново (рекомендуется при запуске уже установленных рабочих программ). Для создания ярлыка поставьте галочку в «Create a shortcut. » и задайте название ярлыка. После этого можно будет запускать программу через Пуск — Программы — Microsoft AppLocale — НазваниеПрограммы.
После нажатия кнопки Finish программа запустится с полной поддержкой японского языка.
Для некоторых программ (это довольно редкий случай) даже при использовании Microsoft AppLocale необходимо поставить язык «Японский» в поле «Языковые стандарты и форматы», иначе они могут работать некорректно или не работать вообще. После окончания работы нужно переключить язык обратно на русский. Однако это не является большой проблемой, т.к. при этом не нужно перезагружать компьютер.
Ограничение: AppLocale не поможет при работе с программами, файлы которых называются по-японски, для запуска таких программ требуется обязательная установка японского языка как основного.
Японская кодировка для windows
Сравните текст на японском языке:
すべての人間は、生まれながらにして自由であり、
かつ、尊厳と権利と について平等である。
人間は、理性と良心とを授けられており、
互いに同胞の精神をもって行動しなければならない。
с изображением ниже:
Если изображения одинаковы, проверьте также возможность масштабирования символов:
日本語 [にほんご] = 日本語 [にほんご]
Наведите мышкой на эту ссылку
и сравните с изображением
Для поддержки азиатских текстов в вашем браузере, скачайте и установите Microsoft Global Input Method Editors (IMEs) для японского языка (выберите вариант «Japanese — with Language Pack»). Это набор системных дополнений обеспечивающих поддержку языков в браузере Internet Explorer. Если у Вас установлен пакет Office XP, вместо вышеуказанных пакетов установите последнюю версию Global IME for Office XP.
Если у Вас уже поддерживаются азиатские шрифты, возможно операционная система сама скачала и установила их, когда вы просматривали страницы с азиатскими текстами.
Windows XP и Server 2003 включают поддержку для восточноазиатских языков. Если поддержка не включена, проверьте пункт «Install files for East Asian languages» (Установить файлы для Восточноазиатских языков) в Control Panel > Regional and Language Options > Languages (Панель управления > Региональные и языковые настройки > Языки). Для установки всех пакетов необходимо около 230 Мбайт дискового пространства.
Windows Vista и Windows 7 изначально поддерживают восточноазиатские символы.
Все последние версии Mac OS X поддерживают восточноазиатские символы.
В очень старых версиях Mac OS X (10.1 и ниже), необходимо установить соответствующие языковые пакеты (Languages Kits) от фирмы Apple. Языковой пакет для восточноазиатских языков содержит набор скриптов WorldScript для соответствующих кодировок.
После установки Language Kit, выберите нужные кодировки, отображаемые по умолчанию на интернет-страницах, для каждого языка в пунктах меню View > Encoding (Вид > Кодировка) для браузера Microsoft IE или View > Character set (Вид > Кодовая страница) для Netscape.
GNOME изначально поддерживает восточноазиатские языки. Если GNOME установлен не полностью, возможно, Вам придётся установить дополнительные шрифты.
KDE изначально поддерживает восточноазиатские языки. Если KDE установлен не полностью, возможно, Вам придётся установить дополнительный пакет kde-i18n-ja (в KDE3).
Если установка пакетов не помогла или некоторые символы всё равно не отображаются, запустите программу qtconfig и выберите шрифт с как можно более полной поддержкой символов Юникода (Это поможет для браузеров использующих инструментарий Qt — Opera, Konqueror).
Для поддержки нужного языка, выберите необходимый пакет:
| Язык | Шрифт Sans | Шрифт Sans Serif |
| Китайский | ttf-arphic-uming | ttf-arphic-ukai |
| Японский | ttf-kochi-mincho | ttf-sazanami-gothic |
| Корейский | ttf-unfonts | |
Также существуют альтернативные наборы шрифтов.
Для Fedora Core 3, установите соответствующий пакет из набора ttfonts (ttfonts-ja для японского языка).
Для Fedora 4-7, установите пакет fonts-japanese.
Добавление в значение переменной USE флага cjk (Chinese, Japanese, Korean), собирает пакеты из portage с поддержкой восточноазиатских языков (если программы поддерживают эту опцию).
Пакеты шрифтов для восточноазиатских языков(в разделе media-fonts): arphicfonts (ханьцзы), baekmuk-fonts (хангыль) и kochi-substitute (хирагана, катакана).
Операционная система FreeBSD позволяет установить восточноазиатские шрифты из своей коллекции портов:
#cd /usr/ports/x11-fonts/cyberbit-ttfonts; make install clean
#cd /usr/ports/japanese/kochi-ttfonts; make install clean
или установить уже собранные пакеты:
#pkg_add -r ja-kochi-ttfonts
В операционной системе NetBSD и других ОС использующих систему pkgsrc, установку восточноазиатских шрифтов можно выполнить следующими командами:
#cd /usr/pkgsrc/fonts/kochi-ttf && make install clean
#cd /usr/pkgsrc/fonts/cyberbit-ttf && make install clean
Наилучшими наборами шрифтов для японского языка являются otf-ipafont и ttf-kochi-substitute (шрифты Gothic и Mincho). Для его установки необходимо наличие в системе программы yaourt:
| #yaourt -S otf-ipafont #yaourt -S ttf-kochi-substitute |
Если Вы не хотите устанавливать пакеты из AUR или ставить yaourt, установите шрифт ttf-sazanami из основных репозиториев:
| #pacman -S ttf-sazanami |
Также существуют пакеты ttf-vlgothic, ttf-ume, mikachanfont, ttf-hanazono (кандзи), ttf-dejima, ttf-mona, ttf-ipa-mona, ttf-kiloji, ttf-togoshi-gothic, ttf-togoshi-mincho, ttf-togoshi-monago, ttf-togoshi-mono.
Скачайте из Интернета нужный файл шрифта .ttf (например, kochi-gothic-subst.ttf) и скопируйте его в папку /usr/lib/X11/fonts/TTF/ (для записи файлов в эту папку Вам необходимы привилегии root). Затем выполните команду с привилегиями root:
Перезапустите графический X-сервер (если он запущен) и новые шрифты должны задействоваться.
