Автор Гілка: Транслітерація у glibc  (Прочитано 2051 раз)

Відсутній Володимир Лісівка

  • Адміністратор ЩОДО
  • Видавець
  • *****
  • дописів: 3415
  • Програміст
Транслітерація у glibc
« : 2018-07-17 22:31:05 »
Отримав запит на  зміну таблиці транслітерації у glibc,  відповів відмовою:
Цитата
Egor Kobylkin egor@kobylkin.com via sourceforge.net
to v_lisivka, mkutny
Dear Volodymyr, Max
 
 Requesting your comment as you are listed as glibc locale maintainers
 for uk_UA.
 
 I have prepared a translit_cyrillic table for Russian Cyrillic UTF-8
 characters. https://sourceware.org/bugzilla/show_bug.cgi?id=2872
 
 I am going to send a patch to glibc locales mailing list to fix this bug
 soon.
 
 You have implemented some sort of transliteration inline in your locale
 already. So I would exclude your locale from that patch unless you
 request otherwise.
 
 For all other locales that have translit section I propose to do this:
 translit_start
  include "translit_combining";""
 +include "translit_cyrillic";""
  translit_end
 
 I am looking to hearing from you in the next few days,
 Egor Kobylkin
 
 translit_cyrillic content (mapping) is based on GOST 7.79-2000 official
 source (Federal Agency on Technical Regulating and Metrology Of Russian
 Federation [2]). Technically an independent but identical source [3] was
 used and prepared in a spreadsheet [6].
 
 [2] http://protect.gost.ru/document.aspx?control=7&id=130715 (is only
 available in low quality gif format)
 [3] http://transliteration.ru/gost-7-79-2000/ and
 http://www.yfermer.ru/specifications/285821.html
 [4] Wikipedia article on Cyrillic transliteration with Latin alphabet
 https://ru.wikipedia.org/wiki/%D0%A2%D1%80%D0%B0%D0%BD%D1%81%D0%BB%D0%B8%D1%82%D0%B5%D1%80%D0%B0%D1%86%D0%B8%D1%8F_%D1%80%D1%83%D1%81%D1%81%D0%BA%D0%BE%D0%B3%D0%BE_%D0%B0%D0%BB%D1%84%D0%B0%D0%B2%D0%B8%D1%82%D0%B0_%D0%BB%D0%B0%D1%82%D0%B8%D0%BD%D0%B8%D1%86%D0%B5%D0%B9
 [5] http://man7.org/linux/man-pages/man5/locale.5.html
 [6] https://sourceware.org/bugzilla/attachment.cgi?id=8590
escape_char /
comment_char %

% Transliterations that converts cyrillic letters to ascii symbols inspired by GOST 7.79-2000
% https://sourceware.org/bugzilla/show_bug.cgi?id=2872
% Generated from UnicodeData.txt with
% https://sourceware.org/bugzilla/attachment.cgi?id=8590
% Up to three characters are required to do a reversible transliteration.

LC_CTYPE

translit_start


% CYRILLIC CAPITAL LETTER IO
<U0401> "<U0059><U004F>";<U0059>
% CYRILLIC CAPITAL LETTER A
<U0410> <U0041>
% CYRILLIC CAPITAL LETTER BE
<U0411> <U0042>
% CYRILLIC CAPITAL LETTER VE
<U0412> <U0056>
% CYRILLIC CAPITAL LETTER GHE
<U0413> <U0047>
% CYRILLIC CAPITAL LETTER DE
<U0414> <U0044>
% CYRILLIC CAPITAL LETTER IE
<U0415> <U0045>
% CYRILLIC CAPITAL LETTER ZHE
<U0416> "<U005A><U0048>";<U005A>
% CYRILLIC CAPITAL LETTER ZE
<U0417> <U005A>
% CYRILLIC CAPITAL LETTER I
<U0418> <U0049>
% CYRILLIC CAPITAL LETTER SHORT I
<U0419> <U004A>
% CYRILLIC CAPITAL LETTER KA
<U041A> <U004B>
% CYRILLIC CAPITAL LETTER EL
<U041B> <U004C>
% CYRILLIC CAPITAL LETTER EM
<U041C> <U004D>
% CYRILLIC CAPITAL LETTER EN
<U041D> <U004E>
% CYRILLIC CAPITAL LETTER O
<U041E> <U004F>
% CYRILLIC CAPITAL LETTER PE
<U041F> <U0050>
% CYRILLIC CAPITAL LETTER ER
<U0420> <U0052>
% CYRILLIC CAPITAL LETTER ES
<U0421> <U0053>
% CYRILLIC CAPITAL LETTER TE
<U0422> <U0054>
% CYRILLIC CAPITAL LETTER U
<U0423> <U0055>
% CYRILLIC CAPITAL LETTER EF
<U0424> <U0046>
% CYRILLIC CAPITAL LETTER HA
<U0425> <U0058>
% CYRILLIC CAPITAL LETTER TSE
<U0426> "<U0043><U005A>";<U0043>
% CYRILLIC CAPITAL LETTER CHE
<U0427> "<U0043><U0048>";<U0043>
% CYRILLIC CAPITAL LETTER SHA
<U0428> "<U0053><U0048>";<U0053>
% CYRILLIC CAPITAL LETTER SHCHA
<U0429> "<U0053><U0048><U0048>";<U0053>
% CYRILLIC CAPITAL LETTER HARD SIGN
<U042A> "<U0060><U0060>";<U0060>
% CYRILLIC CAPITAL LETTER YERU
<U042B> "<U0059><U0027>";<U0059>
% CYRILLIC CAPITAL LETTER SOFT SIGN
<U042C> <U0060>
% CYRILLIC CAPITAL LETTER E
<U042D> "<U0045><U0060>";<U0045>
% CYRILLIC CAPITAL LETTER YU
<U042E> "<U0059><U0055>";<U0059>
% CYRILLIC CAPITAL LETTER YA
<U042F> "<U0059><U0041>";<U0059>
% CYRILLIC SMALL LETTER A
<U0430> <U0061>
% CYRILLIC SMALL LETTER BE
<U0431> <U0062>
% CYRILLIC SMALL LETTER VE
<U0432> <U0076>
% CYRILLIC SMALL LETTER GHE
<U0433> <U0067>
% CYRILLIC SMALL LETTER DE
<U0434> <U0064>
% CYRILLIC SMALL LETTER IE
<U0435> <U0065>
% CYRILLIC SMALL LETTER ZHE
<U0436> "<U007A><U0068>";<U007A>
% CYRILLIC SMALL LETTER ZE
<U0437> <U007A>
% CYRILLIC SMALL LETTER I
<U0438> <U0069>
% CYRILLIC SMALL LETTER SHORT I
<U0439> <U006A>
% CYRILLIC SMALL LETTER KA
<U043A> <U006B>
% CYRILLIC SMALL LETTER EL
<U043B> <U006C>
% CYRILLIC SMALL LETTER EM
<U043C> <U006D>
% CYRILLIC SMALL LETTER EN
<U043D> <U006E>
% CYRILLIC SMALL LETTER O
<U043E> <U006F>
% CYRILLIC SMALL LETTER PE
<U043F> <U0070>
% CYRILLIC SMALL LETTER ER
<U0440> <U0072>
% CYRILLIC SMALL LETTER ES
<U0441> <U0073>
% CYRILLIC SMALL LETTER TE
<U0442> <U0074>
% CYRILLIC SMALL LETTER U
<U0443> <U0075>
% CYRILLIC SMALL LETTER EF
<U0444> <U0066>
% CYRILLIC SMALL LETTER HA
<U0445> <U0078>
% CYRILLIC SMALL LETTER TSE
<U0446> "<U0063><U007A>";<U0063>
% CYRILLIC SMALL LETTER CHE
<U0447> "<U0063><U0068>";<U0063>
% CYRILLIC SMALL LETTER SHA
<U0448> "<U0073><U0068>";<U0073>
% CYRILLIC SMALL LETTER SHCHA
<U0449> "<U0073><U0068><U0068>";<U0073>
% CYRILLIC SMALL LETTER HARD SIGN
<U044A> "<U0060><U0060>";<U0060>
% CYRILLIC SMALL LETTER YERU
<U044B> "<U0079><U0027>";<U0079>
% CYRILLIC SMALL LETTER SOFT SIGN
<U044C> <U0060>
% CYRILLIC SMALL LETTER E
<U044D> "<U0065><U0060>";<U0065>
% CYRILLIC SMALL LETTER YU
<U044E> "<U0079><U0075>";<U0079>
% CYRILLIC SMALL LETTER YA
<U044F> "<U0079><U0061>";<U0079>
% CYRILLIC SMALL LETTER IO
<U0451> "<U0079><U006F>";<U0079>


translit_end

END LC_CTYPE

Цитата
Volodymyr Lisivka <vlisivka@gmail.com>
Thank you for your effort for covering Cyrillic locales, but, please,
 exclude Ukrainian locale. Ukrainian locale covered by our national
 standard, which is incompatible with GOST, see
 http://zakon5.rada.gov.ua/laws/show/55-2010-%D0%BF . For example
 Ukrainian «и» is transliterated as «y», unlike Russian or other
 Cyrillic languages.
[Fedora Linux]

Відсутній yurchor

  • Видавець
  • *******
  • дописів: 3531
  • Grateful for our Iron Lung
    • Вікі користувачів KDE
Re: Транслітерація у glibc
« Відповідей #1 : 2018-07-18 09:16:16 »

Дякую.

Тепер треба слідкувати, аби він виконав обіцянку (не включав до латки нашу локаль).
Crossed the border to Morocco
Kashmir to Marrakesh
The lengths we had to go to then
To find a place Trump hadn't fucked up yet

Відсутній DalekiyObriy

  • Літератор
  • ******
  • дописів: 1865
Re: Транслітерація у glibc
« Відповідей #2 : 2018-07-20 17:47:07 »
👍
Fedora 26 (x86-64)

Відсутній Володимир Лісівка

  • Адміністратор ЩОДО
  • Видавець
  • *****
  • дописів: 3415
  • Програміст
Re: Транслітерація у glibc
« Відповідей #3 : 2018-10-10 18:13:02 »
Псц. Знову Кирилиця == Російська.

Цитата
> Unfortunately, I think that distinction of the source language is impossible
 > at the moment so let's assume that we fall back to Russian if there is
 > any ambiguity.
 
 Yeah, it's not optimal but probably the most decent compromise for now.

[Fedora Linux]

Відсутній yurchor

  • Видавець
  • *******
  • дописів: 3531
  • Grateful for our Iron Lung
    • Вікі користувачів KDE
Re: Транслітерація у glibc
« Відповідей #4 : 2018-10-11 10:58:49 »
Псц. Знову Кирилиця == Російська.

Цитата
> Unfortunately, I think that distinction of the source language is impossible
 > at the moment so let's assume that we fall back to Russian if there is
 > any ambiguity.
 
 Yeah, it's not optimal but probably the most decent compromise for now.
...араси, люб'язні пані та панове:


http://kde.6490.n7.nabble.com/VDG-needs-help-td1694029.html
Crossed the border to Morocco
Kashmir to Marrakesh
The lengths we had to go to then
To find a place Trump hadn't fucked up yet

Відсутній DalekiyObriy

  • Літератор
  • ******
  • дописів: 1865
Re: Транслітерація у glibc
« Відповідей #5 : 2018-10-11 16:59:36 »
Перепрошую, але не бачу проблеми, вони вказали мови, а не скрипти, і порядок літер залежить від мови, а не скрипту (або родини мов).В принципі, писала людина не знайома з тонкощами інших мов, тож вказала, те що знає. Напр. я теж не петраю в нюансах арабських або китайських мов, тож теж би просто сказав арабська або китайська (а не мови семітської/синитської родини).
Fedora 26 (x86-64)

Відсутній Володимир Лісівка

  • Адміністратор ЩОДО
  • Видавець
  • *****
  • дописів: 3415
  • Програміст
Re: Транслітерація у glibc
« Відповідей #6 : 2018-10-11 17:03:41 »
Надходять нові цікаві пропозиції:

Цитата
> From this patch I have excluded locales that already mention cyrillic or
 > have a transliteration table for it:
 > az_AZ
 > iso14651_t1_common
 > ky_KG
 > mn_MN
 > sr_RS
 > tg_TJ
 > tk_TM
 > tt_RU
 > uk_UA
 > uz_UZ
 > uz_UZ@cyrillic
 > [...]
 
 I think that eventually we would like to include your translit_cyrillic
 also in these locales because I assume that your rules should work good
 for them as well, also should include more characters than the individual
 language contributors took into account.  Similarly to Mike's work on
 collation: a common rules were created and all locales include them adding
 their own language specific modifications.

Я пропоную не чекати, доки нам впихнуть російську транслітерацію, а підготувати альтернативний патч і як мінімум заблокувати російський, щоб в росіяни залишалися в межах своїх кордонів.
[Fedora Linux]

Відсутній DalekiyObriy

  • Літератор
  • ******
  • дописів: 1865
Re: Транслітерація у glibc
« Відповідей #7 : 2018-10-11 17:52:49 »
Я пропоную не чекати, доки нам впихнуть російську транслітерацію, а підготувати альтернативний патч і як мінімум заблокувати російський, щоб в росіяни залишалися в межах своїх кордонів.
я за, а можна посилання на це листування (десь є архів)?
Fedora 26 (x86-64)

Відсутній Володимир Лісівка

  • Адміністратор ЩОДО
  • Видавець
  • *****
  • дописів: 3415
  • Програміст
Re: Транслітерація у glibc
« Відповідей #8 : 2018-10-11 18:36:06 »
Я пропоную не чекати, доки нам впихнуть російську транслітерацію, а підготувати альтернативний патч і як мінімум заблокувати російський, щоб в росіяни залишалися в межах своїх кордонів.
я за, а можна посилання на це листування (десь є архів)?
Не знаю, Ґуґл не знайшов архіву. Ось останній пач від Кобилкіна:

https://patchwork.ozlabs.org/patch/982123/
[Fedora Linux]

Відсутній DalekiyObriy

  • Літератор
  • ******
  • дописів: 1865
Re: Транслітерація у glibc
« Відповідей #9 : 2018-10-11 18:58:34 »
Володимире, якщо можна я дозволю собі зауваження, мені здається в тій гілці Ви зреагували дещо занадто емоційно.Росіянин, власне, виключив українську локаль зі своїх змін, це інша людина запропонувала їх застосувати ширше. Як на мене краще просто пояснити чому українська не потребує цих змін, ніж сарказмувати щодо поширення українських правил на всі інші. Я розумію, як це добиває, коли багато років російські рішення поширюються на українські, і це все побільшується поточними стосунками, але щоб з нашим поглядом більше рахувалися, найкраще спокійно і виважено викласти свої аргументи.
Fedora 26 (x86-64)

Відсутній Володимир Лісівка

  • Адміністратор ЩОДО
  • Видавець
  • *****
  • дописів: 3415
  • Програміст
Re: Транслітерація у glibc
« Відповідей #10 : 2018-10-11 21:13:52 »
Володимире, якщо можна я дозволю собі зауваження, мені здається в тій гілці Ви зреагували дещо занадто емоційно.Росіянин, власне, виключив українську локаль зі своїх змін, це інша людина запропонувала їх застосувати ширше. Як на мене краще просто пояснити чому українська не потребує цих змін, ніж сарказмувати щодо поширення українських правил на всі інші. Я розумію, як це добиває, коли багато років російські рішення поширюються на українські, і це все побільшується поточними стосунками, але щоб з нашим поглядом більше рахувалися, найкраще спокійно і виважено викласти свої аргументи.
Чому пропозицію Кобилкіна та інших ви сприймаєте серйозно а мою як сарказм? Українцям не можна те, що можна росіянам? Я на повному серйозі пропоную зробити те, що пропонують зробити Кобилкін та інші, тільки замість російської за замовчуванням використати українську за замовчуванням. Хай краще проблеми будуть у росіян чим у нас. Чи ви думаєте навпаки?
[Fedora Linux]

Відсутній DalekiyObriy

  • Літератор
  • ******
  • дописів: 1865
Re: Транслітерація у glibc
« Відповідей #11 : 2018-10-12 02:01:49 »
Можливо я щось пропустив, але ось що написав Кобилкин:
Цитата
From this patch I have excluded locales that already mention cyrillic or have a transliteration table for it: ...
uk_UA ... Their maintainers are requested to make an explicit decision on how and whether at all to include this patch.

Тобто він зробив латку для російської, де не було транслітерації і пропонує її застосувати до інших кирилічних локалей, де транслітерації ще немає (за принципом краще хощ щось подібне ніж нічого). Він виключив зокрема українську вказавши, що супровідники цих локалей мають самі зробити вибір чи вони хочуть зміни.
Що в принципі логічно.
Пропозицію застосувати це до всіх таких локалей видав Rafal Luzynski (поляк, що мабуть не знайомий з кирилицею), кажучи, що нова транслітерація має працювати для них теж краще.
Цитата
I think that eventually we would like to include your translit_cyrillic also in these locales because I assume that your rules should work good for them as well,

От йому варто було б пояснити, що це не так.
Fedora 26 (x86-64)

Відсутній Володимир Лісівка

  • Адміністратор ЩОДО
  • Видавець
  • *****
  • дописів: 3415
  • Програміст
Re: Транслітерація у glibc
« Відповідей #12 : 2018-10-12 02:06:49 »
Можливо я щось пропустив, але ось що написав Кобилкин:
Цитата
From this patch I have excluded locales that already mention cyrillic or have a transliteration table for it: ...
uk_UA ... Their maintainers are requested to make an explicit decision on how and whether at all to include this patch.

Тобто він зробив латку для російської, де не було транслітерації і пропонує її застосувати до інших кирилічних локалей, де транслітерації ще немає (за принципом краще хощ щось подібне ніж нічого). Він виключив зокрема українську вказавши, що супровідники цих локалей мають самі зробити вибір чи вони хочуть зміни.
Що в принципі логічно.
Після того як я і Максим пояснили чому так робити не слід.


Пропозицію застосувати це до всіх таких локалей видав Rafal Luzynski (поляк, що мабуть не знайомий з кирилицею), кажучи, що нова транслітерація має працювати для них теж краще.
Цитата
I think that eventually we would like to include your translit_cyrillic also in these locales because I assume that your rules should work good for them as well,

От йому варто було б пояснити, що це не так.

Задовбало. Краще підтримати ініціативу, і хай тоді Кобилкін пояснює чому так робити не слід.
[Fedora Linux]

Відсутній DalekiyObriy

  • Літератор
  • ******
  • дописів: 1865
Re: Транслітерація у glibc
« Відповідей #13 : 2018-10-12 05:03:37 »
Після того як я і Максим пояснили чому так робити не слід.
Гаразд, перепрошую, цього не побачив, можливо я щось пропустив.
Fedora 26 (x86-64)

Відсутній yurchor

  • Видавець
  • *******
  • дописів: 3531
  • Grateful for our Iron Lung
    • Вікі користувачів KDE
Re: Транслітерація у glibc
« Відповідей #14 : 2018-10-12 08:44:42 »
Загалом, Рафаль не зовсім поляк: він сілезець (лужичанин, якщо хочете). З особистого спілкування, він усе зрозуміє і зробить як слід.
Crossed the border to Morocco
Kashmir to Marrakesh
The lengths we had to go to then
To find a place Trump hadn't fucked up yet