• Технологія локалізації
  • З позиції користувача
    • Змінна LANG
    • Змінна LC_MESSAGES
    • Файл /etc/sysconfig/i18n
    • Команда locale
    • Команда localedef
    • Перевірка правильності локалізації
      • Використання LocaleConf
      • Використання команди gettext
  • З позиції перекладача
    • Створення файла з перекладами
      • Формат запису з рядком для перекладу:
      • Синтаксис рядка
    • Повторне використання перекладу
      • Використання msgmerge, msgcat
      • Використання po-tools на linux.org.ua
      • Використання утиліт з KBabel
    • Відбір частіших повідомлень у великих проектах
      • Слідкування за програмою за допомогою gettextlog
    • Програми для праці з .po-файлами
      • KBabel
      • GTranslator
      • poEdit
      • Emacs - po-mode.el
      • po-tools
    • Компіляція файла з перекладами
    • Перевірка файла з перекладами
  • З позиції програміста
    • Написання програми з підтримкою локалізації
  • Автор
  • Додаткові посилання

Технологія локалізації

Багато людей, які недавно познайомилися з Лінуксом, цікавляться, як саме працює локалізація програм у Лінуксі, як нею керувати, та як можна самому створювати переклади для програм чи писати програми, які легко локалізуються.

З позиції користувача

З позиції користувача, налаштування так званої «локалі» відбувається досить просто. Всі основні параметри контролюються декількома змінними, це:

Детальніше про деякі з них:

Змінна LANG

В основному керування локалізацією у Лінуксі здійснюється за допомогою змінної LANG. Присвоєння цій змінній різних значень здійснює зміну мовного оточення, напр.:

bash-2.05$ LANG=uk_UA.KOI8-U date
Пнд Гру  2 19:11:28 EET 2002
bash-2.05$ LANG=de_DE date
Mon Dez  2 19:12:32 EET 2002

Змінна LC_MESSAGES

Присвоєння значення цій змінній дає змогу вибрати мови, на яких ви хотіли б бачити повідомлення програм, напр.:

bash-2.05$ export LANG=uk_UA.KOI8-U
bash-2.05$ date
Пнд Гру  2 19:14:26 EET 2002
bash-2.05$ LC_MESSAGES=de_DE date
Пнд Гру  2 19:14:38 EET 2002
bash-2.05$ LC_MESSAGES=de_DE date -a
date: Ung?ltige Option -- >>a<<
Mit `date --help' bekommen Sie mehr Informationen.

Зверніть увагу, що сьогоднішнє число виводиться українською, але повідомлення про помилку виводиться німецькою.

Файл /etc/sysconfig/i18n

На моїй машині цей файл має такий вигляд:

LANG="uk_UA.KOI8-U"
SYSFONT="cyr-sun16"
SYSFONTACM="koi8-u"

Змінній LANG присвоєно значення "uk_UA.KOI8-U", отже всі правильно локалізовані програми будуть використовувати цю локаль (деякі нелокалізовані, чи некоректно локалізовані програми не звертають на це уваги, наприклад KDE має свої налаштування для локалізації і не звертає уваги на загальносистемні, що часто збиває з пантелику початківців та злить лінуксоїдів зі стажем).

Змінні SYSFONT та SYSFONTACM вказують, який шрифт та яке перекодування слід використовувати для виводу на екран у консольному режимі (на графічні програми це не впливає).

Команда locale

Ця команда виводить значення усіх змінних, які мають відношення до локалізації:

bash-2.05$ LANG=uk_UA.KOI8-U LC_MESSAGES=de_DE locale
LANG=uk_UA.KOI8-U
LC_CTYPE="uk_UA.KOI8-U"
LC_NUMERIC="uk_UA.KOI8-U"
LC_TIME="uk_UA.KOI8-U"
LC_COLLATE="uk_UA.KOI8-U"
LC_MONETARY="uk_UA.KOI8-U"
LC_MESSAGES=de_DE
LC_PAPER="uk_UA.KOI8-U"
LC_NAME="uk_UA.KOI8-U"
LC_ADDRESS="uk_UA.KOI8-U"
LC_TELEPHONE="uk_UA.KOI8-U"
LC_MEASUREMENT="uk_UA.KOI8-U"
LC_IDENTIFICATION="uk_UA.KOI8-U"
LC_ALL=

Зауважте, що у виводі команди locale ті значення, які взяті безпосередньо з оточення, виводяться без лапок, а значення взяті за замовчанням - у лапках. Цю команду корисно використовувати при визначенні проблем з локалізацією (наприклад, програми виводять повідомлення українською, а дату німецькою).

Команда localedef

Описує нову локаль, наприклад:

# localedef -c -v -f CP1251 -i uk_UA uk_UA.CP1251
# LANG=uk_UA.CP1251 date
оМД цПС  2 19:23:25 EET 2003

Створює нову локаль (-с) з кодуванням CP1251 (-f CP1251), яка описана у файлі /usr/share/i18n/locales/uk_UA (-i uk_UA), з назвою uk_UA.CP1251. Ця локаль дає змогу спілкуватися з програмою українською мовою у кодуванні CP1251 (що видно на прикладі виводу команди date).

Перевірка правильності локалізації

Перед початком праці, бажано перевірити правильнісьт налаштувань локалізації.

Використання LocaleConf

Багато користувачів запитують мене, чому їхній комп'ютер малює крякозябри замість українських літер або не має української локалізації. Як правило я відповідаю, що не знаю в чому проблема - це ваш комп'ютер з вашими проблемами та помилками. Спеціально для таких випадків я написав невеличкий набір скриптів, якій перевіряють типові проблеми та помилки у локалізації.

Завантажте зі сторінки Locale Conf скрипт checklocale-uk_UA.KOI8-U.sh і запустіть його ( sh ./checklocale-uk_UA.KOI8-U.sh ). Він робить багато перевірок, які можуть бути орієнтирами для вас при налаштуванні локалізації.

Використання команди gettext

Для перевірки доступності перекладених повідомлень та перевірки правильності локалізації, можна користуватися командою gettext з пакету gettext-tools, наприклад:

bash-2.05$ LANG=uk_UA.KOI8-U gettext -sd gedit "Save"
Зберегти
bash-2.05$ LANG=uk_UA.CP1251 gettext -sd gedit "Save"
гАЕПЕЦРХ
bash-2.05$ LANG=uk_UA.UTF-8 gettext -sd gedit "Save"
пп╠п╣яп╣пЁяп╦

У мене все чудово - всі три варіанти української локалі працюють відмінно.

Але пам'ятайте, що однієї підтримки локалі у GNU libc не досить - необхідно ще мати правильно налаштовані шрифти, розкладку клавіатури, мати підтримку локалі у XFree86 та KDE, які, нажаль, зневажають системні налаштування.

З позиції перекладача

Переклад програми при використанні GNU gettext (стандартного засобу для локалізації програм в проектах GNU) поділяється на декілька етапів:

1. Відмічення в програмі рядків тексту, які повинні бути перекладені.
2. Створення шаблону для перекладу (.pot - PO Template).
3. Переклад файлу з шаблоном на рідну мову перекладача.
4. Компіляція перекладу в двійковий файл та розміщення його в каталозі з іншими перекладами.
5. Відсилання перекладу для включення його в програму.

Відмічення рядків, які необхідно перекласти, робить автор програми. Шаблон для перекладу створюється автоматично. Вам залишилося лише перекласти та скомпілювати його для того, щоб насолоджуватися інтерфейсом на рідній мові.

Створення файла з перекладами

Необхідно знайти .pot чи .po-файл для вашої програми і заповнити поля у заголовку правильними значеннями, наприклад так:

# Ukranian translation of the gnome-games module.
# Copyright (C) 1999,2000 Free Software Foundation, Inc.
# Yuri Syrota <stopspam@stopspam.com>, 1999-2000.
#
msgid ""
msgstr ""
"Project-Id-Version: gnome-games 1.1.0\n"
"POT-Creation-Date: 2002-05-28 21:45+0100\n"
"PO-Revision-Date: 2002-05-24 09:50+0200\n"
"Last-Translator: Yuriy Syrota <stopspam@stopspam.com>\n"
"Language-Team: Ukrainian <translation-team-uk@STOPSPAMlists.sourceforge.net>\n"
"MIME-Version: 1.0\n"
"Content-Type: text/plain; charset=koi8-u\n"
"Content-Transfer-Encoding: 8bit\n"

Це може зробити і програма, якою ви перекладаєте, але не завадить проконтролювати її роботу, бо вони досить часто помиляються.

Зверніть увагу, що при невірно вказаному кодуванні текст перекодується зайвий раз з цього, невірно вказаного кодування, у ваше. Скоріше за все, ви не зможете прочитати те, що утвориться в результаті цього подвійного перекодування.

Краще за все використовувати для файла з перекладом те ж кодування, яке ви використовуєте для роботи з програмою - для уникнення зайвих перекодовувань. Для консольних програм рекомендується KOI8-U, для GNOME2 та KDE - UTF-8.

Тепер можна приступати до перекладу.

Переклад можна виконувати як у звичайному текстовому редакторі, так і за допомогою спеціалізованих програм (дивись нижче).

Формат запису з рядком для перекладу:

#  коментарі перекладача
#. автоматичні коментарі
#: посилання...
#, прапорець...
#* Автор
#@ пакет1, пакет2, пакет3
domain "домен"
msgid "untranslated-string"
msgstr "перекладений рядок"

#  коментарі перекладача
#. автоматичні коментарі
#: посилання...
#, прапорець...
#* Автор
#@ пакет1, пакет2, пакет3
msgid "%d message"
msgid_plural "%d messages"
msgstr[0] "%d повідомлень"
msgstr[1] "%d повідомлення"
msgstr[2] "%d повідомлень"

Типи коментарів:

• # - це коментарі перекладача.
• #. - це автоматичні коментарі.
• #: - це автоматичні коментарі, посилання на рядки у джерельних текстах програми.
• #, - це прапорці повідомлення.
• #* - це автор цього повідомлення (розширення po-tools).
• #@ - це пакети, які використовують це повідомлення (розширення po-tools).

Існують такі прапорці повідомлень:

• fuzzy - нечіткі. Прапорець вказує, що переклад не точний і його потрібно переглянути та, можливо, виправити. Такі прапорці ставлять автомати, коли генерують автоматичні переклади;
• c-format - повідомлення у форматі рядка для Сі. В цьому повідомленні є символи підстановки (такі як "%s","%d") - потрібно бути уважними при їх перекладі. Програми перевірки правильності перекладу виконують більше тестів, коли встановлено цей прапорець;
• no-c-format - рядок містить символи, які подібні до символів підстановки, але ними не є, додаткові тести не будуть виконуватися.

Ключові слова:

• domain - це необов'язкове ключове слово, яке додали для сумісності з catman - системою локалізації для UNIX (Solaris), вказує належність повідомлення до певного домену;
• msgid - це оригінал повідомлення;
• msgstr - це його переклад;
• msgid_plural - це оригінальне повідомлення у формі множини (file -> files);
• msgstr[0..n] - варіанти перекладу для різних значень якоїсь числової величини, напр. "0 файлів", "1 файл", "2 файли".

Між цим і наступним повідомленням повинен бути принаймні один порожній рядок.

Другий формат повідомлень зустрічається рідко.

TODO: про використання форм множини.

Синтаксис рядка

Якщо ви виконуєте переклад без використання спеціальних редакторів (або за допомогою KBabel, який не заміняє спеціальні символи, на відміну від GTranslator), то пам'ятайте, що:

• спеціальні символи в рядку кодуються за правилами мови Сі
  • перевід рядка (Line Feed - LF) - \n
  • перевід каретки (Carriage Return) - \r
  • символ горизонтальної табуляції - \t
  • подвійні лапки - \"
• слід зберігати всі символи підстановки, які були в оригінальному рядку, не змінюючи їх порядок:
  • оригінал "Hello, %s" -> переклад "Привіт, %s" -> вивід "Привіт, Іване".
  • оригінал "Hello, %s" -> переклад "%s - привіт!" -> вивід "Ваня - привіт!".
  • оригінал "Hello, %s" -> переклад "Привіт, %s" -> вивід "Привіт, Іване".
  • оригінал "Hello, %s" -> переклад "%s - привіт!" -> вивід "Іване - привіт!".
• Якщо необхідно змінити порядок символів підстановки, то для цього використовується спеціальний синтаксис, але він різний для різних мов програмування. Типовий синтаксис виглядає так: оригінал "%d %d", переклад "%2$d %1$d". (Якщо друкуватимуться два числа, 1 і 2, то в оригіналі буде - "1 2", в перекладі - "2 1").
• Рядок можна розбивати на декілька рядків, якщо кожен рядок брати у лапки. Символи нового рядка при цьому в переклад автоматично не вставляються.
• Рядки, які починаються з "_: Comment" - це коментарі усередині повідомлення. В перекладі їх не повинно бути.
• Якщо переклад містить рядки "-#-#-#-#-# filename1.po #-#-#-#-#-" - то це означає, що повідомлення склеєне автоматом (напр. msgcat) з декількох різних варіантів перекладу повідомлення. Ви повинні залишити лише один варіант перекладу повідомлення.

Повторне використання перекладу

Для полегшення життя перекладачам, для того, щоб не перекладати один і той самий текст знову і знову в різних файлах, створили декілька систем для повторного використання перекладів. Суть їх проста - спочатку ви збираєте всі тексти у одну велику купу, а потім, коли необхідно перекласти текст, програма дивиться у тій купі, чи немає там повідомлень, які ви колись вже перекладали. Якщо таке повідомлення є, то ми використовуємо його.

Використання msgmerge, msgcat

Найпростіший випадок, який дуже часто зустрічається, це вихід нової версії програми з декількома новими і зміненими повідомленнями. В таких випадках дуже зручно користуватися утилітою msgmerge, яка дозволяє використати старі повідомлення для перекладу новго .pot-файла.

У найпростішому випадку синтаксис команди такий:

msgmerge старий_переклад.po новий_шаблон.pot -o новий_переклад.po

Msgmerge бере повідомлення зі старого файлу перекладів і заповнює ними новий шаблон. Якщо для повідомлення з шаблону не знайдено повідомлення, то msgmerge намагається знайти перекладене повідомлення, яке найподібніше на це, і використати його, відмітивши переклад прапорцем fuzzy (нечітке). Повідомлення, для яких немає відповідника у файлі шаблону, коментуються за допомогою префіксу "#~ ". Їх моєна видалити, якщо в них вже немає потреби.

Результат перекладу зберігається у файлі "новий_переклад.po". Вам достатньо тепер лише переглянути та виправити нечіткі повідомлення та перекласти неперекладені повідомлення.

TODO (про створення compendium і його використання з msgmerge)

Використання po-tools на linux.org.ua

На нашому сайті розміщено веб-інтерфейс до бази перекладених повідомлень на основі po-tools. http://www.linux.org.ua/tools/index.php3

Поки що там є лише такі можливості:

• поновити ваш переклад вже перекладеними повідомленнями з бази;
• порівняти повідомлення в базі і в po-файлі;
• додати нові повідомлення в базу;
• отримати всю базу як один великий po-файл для роботи з нею на власному комп'ютері.

Використання утиліт з KBabel

TODO

Користувачі KBabel - це вам писати.

Відбір частіших повідомлень у великих проектах

У великих проектах часто виникає потреба відібрати повідомлення, які користувач бачить частіше за інші, для того, щоб перекласти спочатку їх, оскільки на переклад усієї програми не вистачає сил. Для цього був створений Get Text Log, який перехоплює запити на переклад повідомлень та зберігає їх у журналі.

Слідкування за програмою за допомогою gettextlog

Get Text Log реалізований у вигляді динамічної бібліотеки, яка заміняє функції gettext своїми заглушками. Вона завантажується в пам'ять перед початком роботи програми при вказані її в LD_PRELOAD, наприклад так:

$ LD_PRELOAD=/usr/local/lib/gettextlog.so gedit

Щоб ви не мучилися, я створив невеликий скриптик, run-with-gettextlog, який приймає як аргумент програму, яку треба виконати, з параметрами. Наприклад:

$ run-with-gettextlog gedit

Файли з повідомленнями зберігаються у каталозі gettextlog. Перед використанням файлів, їм потрібно спочатку підправити заголовок та залишити лише по одному екземпляру повідомлення з допомогою команди msguniq.

Програми для праці з .po-файлами

KBabel

Найпопулярніша програма для перекладу - має багато різних можливостей (користувачі KBabel - агов!, напишіть щось). Рекомендується для використання.

GTranslator

Має менше можливостей, досить багато помилок (особливо при перевірці правопису). Основна перевага(для мене) - більш зручніший дизайн основного вікна та автоматичне розкодовування/закодування спеціальних символів (\n, \r, \t, \") - основна проблема для мене при використанні KBabel чи простого текстового редактора. Рекомендується тим, хто використовує GNOME.

GTranslator має Автоматичний Буфер Навчання, який дозволяє зберігати всі ваші переклади та. пізніше, використовувати їх для автоматично перекладу нових po-файлів, подібно до того, як це робить msgfmt.

Можна внести у базу Ґтрансятора вже існуючі ваші переклади але, при великих об'ємах тексту в буфері, ҐТранслятор (як і msgfmt) працює надзвичайно повільно.

poEdit

Не працював з ним, не знаю про переваги. Для тих, хто працює і під Windows, і під Лінукс.

Emacs - po-mode.el

Для тих, хто користується Emacs. Цей пакет добре описаний в info по gettext. Підтримує усі можливості gettext.

po-tools

Набір утиліт командного рядка та CGI-скрипт для Тенет для маніпулювання po-файлами. Обміном перекладеними повідомленнями через центральну базу на linux.org.ua, побудовану на основі po-tools, можуть скористатися усі бажаючі - це дозволяє не перекладати повідомлення двічі чи тричі. Нажаль не підтримує форми множини (msgstr_plural).

Компіляція файла з перекладами

Скористайтеся командою:

$ msgfmt ім'я_файлу.po -o ім'я_файлу.mo

Вона згенерує двійковий файл з перекладами. Цей двійковий файл слід покласти в каталог

/usr/share/locale/uk/LC_MESSAGES/

Тепер програма може його знайти та використати. Запустіть її та переконайтеся в цьому. Якщо ви все зробили вірно, то ви побачите свої переклади.

Перевірка файла з перекладами

Скористайтеся командою :

$ msgfmt -c -v -o /dev/null ім'я_файлу.po

З позиції програміста

Написання програми з підтримкою локалізації

Наведемо простеньку програму, яка друкує повідомлення "Hello, world!" мовою користувача.

 1 #include <stdio.h>
 2 #include <locale.h>
 3 #include <libintl.h>
 4 #define _(x) gettext(x)
 5 
 6 int main(int argv, char **args)
 7 {
 8   setlocale (LC_ALL,""); 
 9   bindtextdomain ("test", "/tmp");
10   textdomain ("test");
11   
12   printf (_("Hello, world!\n")); 
13   
14   exit(0);
15 }

Спочатку встановлюється локалізація для програми:

• У восьмому рядку ми встановлюємо поточну локалізацію для програми на основі змінних середовища.
• У дев'ятому рядку - вказуємо програмі, де шукати файл з перекладами для нашої програми.
• В десятому - назву файла з перекладом.

Вивід повідомлення здійснюється у дванадцятому рядку. Зауважте, що у четвертому рядку був описаний макрос з назвою "_" який заміняється на виклик gettext().

Компілюємо програму командою:

$ gcc -o test test.c

та запускаємо:

$ ./test
Hello, world!

Як бачимо, програма працює, але вона все ще не перекладена. Для перекладу програми необхідно

1. Створити шаблон для перекладу (pot-файл), який міститиме всі повідомлення в програмі, які необхідно перекласти.
2. Заповнити шаблон правильними значеннями та перекласти його на українську (створити po-файл).
3. Скомпілювати переклад у двійковий файл (mo-файл).
4. Покласти скомпільований файл у каталог, де його шукатиме програма.

Шаблон створюється командою

$ xgettext -o test.pot -k_ test.c

Шаблон виглядає так:

# SOME DESCRIPTIVE TITLE.
# Copyright (C) YEAR THE PACKAGE'S COPYRIGHT HOLDER
# This file is distributed under the same license as the PACKAGE package.
# FIRST AUTHOR <EMAIL@ADDRESS>, YEAR.
#
#, fuzzy
msgid ""
msgstr ""
"Project-Id-Version: PACKAGE VERSION\n"
"POT-Creation-Date: 2003-03-19 18:52+0200\n"
"PO-Revision-Date: YEAR-MO-DA HO:MI+ZONE\n"
"Last-Translator: FULL NAME <EMAIL@ADDRESS>\n"
"Language-Team: LANGUAGE <LL@li.org>\n"
"MIME-Version: 1.0\n"
"Content-Type: text/plain; charset=CHARSET\n"
"Content-Transfer-Encoding: 8bit\n"

#: test.c:12
msgid "Hello, world!\n"
msgstr ""

Тепер ми маємо заповнити заголовок вірними значеннями та перекласти повідомлення, для прикладу, так:

msgid ""
msgstr ""
"Project-Id-Version: test 1.0\n"
"POT-Creation-Date: 2003-03-19 18:52+0200\n"
"PO-Revision-Date: 2003-03-19 18:52+0200\n"
"Last-Translator: Volodymyr M. Lisivka\n"
"Language-Team: Ukrainian\n"
"MIME-Version: 1.0\n"
"Content-Type: text/plain; charset=koi8-u\n"
"Content-Transfer-Encoding: 8bit\n"

#: test.c:12
msgid "Hello, world!\n"
msgstr "Привіт, світ!\n"

Збережемо переклад у файлі uk.po. Тепер ми можемо відкомпілювати його командою:

$ msgfmt -o test.mo uk.po

Тепер треба помістити у каталог, де програма зможе його знайти. Ми вказали, що переклади слід шукати у каталозі /tmp, тому програма шукатиме його там.

Створимо необхідну структуру каталогів, які вимагаються:

$ mkdir -p /tmp/uk_UA.KOI8-U/LC_MESSAGES

та покладемо туди наш переклад:

$ cp test.mo /tmp/uk_UA.KOI8-U/LC_MESSAGES/

та перевіримо роботу програми:

$echo $LANG
uk_UA.KOI8-U
$ ./test
Привіт, світ!

Автор

-- Volodymyr Lisivka - 16-лис-2002

Дякую за допомогу Тарасу Бойчуку та привидам.

Додаткові посилання

Статті на www.kde.org.ua;

Англо-український словник технічних термінів;

Якщо я не помиляюся poEdit під Windows. Треба вказати під якими платформами працюють ці програми і дати лінки звідки можна скачати. Гарно було б мати короткий опис можливостей цих програм.

-- TWiki Guest - 10-гру-2002

Класно було б перерахувати програми, які працюють з ро чи роt файлами. І різноплатформенні.

-- TWiki Guest - 05-гру-2002