Как настроить кодировку символов с помощью System.Text.Json How to customize character encoding with System.Text.Json

По умолчанию сериализатор экранирует символы, отличные от ASCII. By default, the serializer escapes all non-ASCII characters. То есть он заменяет их на \uxxxx , где xxxx является кодом в кодировке Юникода символа. That is, it replaces them with \uxxxx where xxxx is the Unicode code of the character. Например, если свойству Summary в следующем коде JSON присвоено кириллическое значение жарко , то объект WeatherForecast сериализуется, как показано в этом примере: For example, if the Summary property in the following JSON is set to Cyrillic жарко , the WeatherForecast object is serialized as shown in this example:

Сериализация кодировки языка Serialize language character sets

Чтобы сериализовать кодировки одного или нескольких языков без экранирования, укажите диапазон символов Юникода при создании экземпляра System.Text.Encodings.Web.JavaScriptEncoder, как показано в следующем примере: To serialize the character set(s) of one or more languages without escaping, specify Unicode range(s) when creating an instance of System.Text.Encodings.Web.JavaScriptEncoder, as shown in the following example:

Этот код не поддерживает символы кириллицы или греческого языка. This code doesn’t escape Cyrillic or Greek characters. Если свойству Summary присвоено кириллическое значение жарко , то объект WeatherForecast сериализуется, как показано в этом примере: If the Summary property is set to Cyrillic жарко , the WeatherForecast object is serialized as shown in this example:

Чтобы сериализовать все кодировки языка без экранирования, используйте UnicodeRanges.All. To serialize all language sets without escaping, use UnicodeRanges.All.

Сериализация определенных символов Serialize specific characters

В качестве альтернативного способа вы можете указать отдельные символы, которые нужно разрешить, без экранирования. An alternative is to specify individual characters that you want to allow through without being escaped. В следующем примере сериализуются только первые два символа слова жарко : The following example serializes only the first two characters of жарко :

Ниже приведен пример JSON, созданный с помощью приведенного выше кода. Here’s an example of JSON produced by the preceding code:

Сериализация всех символов Serialize all characters

Чтобы минимизировать экранирование, можно использовать JavaScriptEncoder.UnsafeRelaxedJsonEscaping, как показано в следующем примере: To minimize escaping you can use JavaScriptEncoder.UnsafeRelaxedJsonEscaping, as shown in the following example:

По сравнению с кодировщиком по умолчанию, кодировщик UnsafeRelaxedJsonEscaping более предпочтителен в отношении передачи символов без экранирования: Compared to the default encoder, the UnsafeRelaxedJsonEscaping encoder is more permissive about allowing characters to pass through unescaped:

• Он не выполняет экранирование символов, учитывающих HTML, например , > , & и ‘ . It doesn’t escape HTML-sensitive characters such as , > , & , and ‘ .
• Он не предоставляет никаких дополнительных средств защиты от атак с помощью XSS или раскрытия информации, которые, например, могут возникать из-за того, что клиент и сервер не согласны с кодировкой. It doesn’t offer any additional defense-in-depth protections against XSS or information disclosure attacks, such as those which might result from the client and server disagreeing on the charset.

Используйте ненадежный кодировщик, только если известно, что клиент будет интерпретировать полученные полезные данные как JSON в кодировке UTF-8. Use the unsafe encoder only when it’s known that the client will be interpreting the resulting payload as UTF-8 encoded JSON. Например, его можно использовать, если сервер отправляет заголовок ответа Content-Type: application/json; charset=utf-8 . For example, you can use it if the server is sending the response header Content-Type: application/json; charset=utf-8 . Никогда не допускайте, чтобы необработанные выходные данные UnsafeRelaxedJsonEscaping выводились на HTML-страницу или в элемент

Sending “windows-1251”-encoded string in JSON from python to javascript

What I need to do is best descriped as example. Previously, I had the following code:

Now I want to modify the architecture of my entire app and send the string which is supposed to be the file content to client via JSON and to generate the file via javascript.

So, now my code looks something like this:

The problem is that I get UnicodeDecodeError: ‘ascii’ codec can’t decode byte 0xd4 in position 53: ordinal not in range(128)

I also tried the second option this way:

Then, on client, I try to covert utf8 to windows-1251.

. but. I get distorted symbols. I know I am doing something terribly wrong here and am likely to mess up things with encoding, but still it’s been an entire day I couldn’t solve this issue. Could someone give a hint where my mistake is ?

1 Answer 1

Both XML and JSON contain data that is Unicode text. The XML declaration merely tells your XML parser how to decode the XML serialisation of that data. You wrote the serialisation by hand so to match the XML header, you had to encode to CP-1251.

The JSON standard states that all JSON should be encoded in either UTF-8, UTF-16 or UTF-32, with UTF-8 the standard; again, this is just the encoding for the serialisation.

Leave your data as Unicode, then encode that data to JSON with the json library; the library takes care of ensuring you get UTF-8 data (in Python 2), or gives you Unicode text (Python 3) that can be encoded to UTF-8 later. Your Javascript code will then decode the JSON again at which point you have Unicode text again:

There is no need whatsoever to send binary data over JSON here, you are sending text. If you Javascript code then generates the file, it is responsible for encoding to CP-1251, not your Python code.

If you must put binary data in a JSON payload, you’ll need to encode that payload to some form of text. Binary data (and CP-1251-encoded text is binary data) could be encoded in text as Base-64:

Base64 data is encoded to a bytestring containing only ASCII data, so decode it as ASCII for the JSON library, which expects text to be Unicode text.

Now you are sending binary data, wrapped in a Base64 text encoding, to the Javascript client, which now has to decode the Base64 if you need the binary payload there.

Сложности с кодировкой кириллицы и JSON

Как видите кракозябры.

В другом проекте так писал:

JSON — раскодирование кириллицы
Здравствуйте! разбираюсь с JSON взял код с сайта, все отрабатывает, но выводит кириллицу в виде.

Сложности с кодировкой в cheerio Node JS
Здравствуйте! Возникла проблема с кодировкой. На странице откуда берутся данные кодировка.

Прием байтов через сокеты в консоль — проблема с кодировкой кириллицы
Через сокет принимаю массив байтов, потом достаю из них символы и вывожу на консоль. Когда принимаю.

Чтобы этого не было, текст должен иметь кодировку UTF-8

Вот на всякий случай как менять кодировку текста
$text = mb_convert_encoding($text, ‘utf-8’, ‘cp1251’);
или
$text = iconv(‘CP1251’, ‘UTF-8’, $text);

Решение

Заказываю контрольные, курсовые, дипломные и любые другие студенческие работы здесь или здесь.

Сложности с гибкостью json reader
Добрый вечер, есть код int RKJsonReader::getInt(const char* node, const int iterator, const.

JSON не могу разобраться с кодировкой
Добрый день, отдаю со страницы ajax.html вот такой json .

Ошибки с кодировкой при получении json c сайта
Всем привет. При получении json ответа отображается неправильная кодировка кириллицы. ,»type».

Уже сутки мучаюсь с кодировкой ответа json
Люди добрые, помогите. не могу понять в чем дело, уже сутки бьюсь проблемой. Суть в том, что.

json_encode и кириллица

Надо больше спать!

Мальчишки, девчонки, низкий всем поклон! Больше отдыхайте и всё будет отлично!

У меня не работает пишет ошибку:

Notice: Use of undefined constant JSON_UNESCAPED_UNICODE — assumed ‘JSON_UNESCAPED_UNICODE’ in /var/www/support/MySQL_Datatables/process.php on line 8

Warning: json_encode() expects parameter 2 to be long

эм… я на 99,999 уверен, что у меня utf-8.
на всякий случай перед помещением в массив конвертил так:
iconv(‘cp1251’, ‘utf-8’, ‘значение’);
Действительно, null превратился в последовательность типа u0437u0430 и тд.

То есть снова не могу декодировать. Ещё одна проблема в том, что между encode и decode весь JSON сохраняется в БД и декодируется уже оттуда.

Чувствую, что истина где-то рядом, но туплю 🙁

Или изначально работайте c utf-8, но тогда вам скорее всего придется все скрипты переписать (потому что обычные строковые функции уже не подойдут), или заранее конвертируйте данные.

$ar = array(«name»=>’значение’);
$json=json_encode($ar);
mysql_connect(«localhost», «qwer», «qwer»);
mysql_select_db(«termito»);
mysql_query(‘set names utf8’);
$q=sprintf(«INSERT INTO `cin`(`info`) VALUES(‘%s’)», $json);
echo $q;
mysql_query($q);

mysql_connect(«localhost», «qwer», «qwer»);
mysql_select_db(«termito»);
mysql_query(‘set names utf8’);
$r = mysql_query(«select * from `company_info` WHERE `id`=».mysql_insert_id());
$r = mysql_fetch_array($r);
$a = json_decode($r[‘info’],true);
echo(($a[‘name’]));

/*на выходе упорно u0437u043du0430u0447u0435u043du0438u0435*/

Кириллица в json_encode

Функция json_encode кириллицу utf-8 кодирует в виде \u. . Как её заставить кодировать символы «как есть»?

Примечание: не используя второй параметр json_encode и mb-функции.

7 ответов 7

В PHP начиная с версии 5.4.0 появился флаг JSON_UNESCAPED_UNICODE и все стало намного проще:

Пришлось писать свою функцию. Надеюсь, не сильно накосячил?

в начале файла добавь

Указывать Content-Type свой, по ситуации

Предположу, что данные идут с базы данных. В таком случае при подключении к базе данных необходимо указать кодировку подключения — UTF-8.

Искал как решить проблему, в итоге заработало когда добавил к json_encode флаг — JSON_UNESCAPED_UNICODE и сменил кодировку при выводе

• Improved JSON extension: . Added new json_encode() option JSON_UNESCAPED_UNICODE. FR #53946. (Alexander, Gwynne)

Вот рекурсивная функция, которая может конвертировать в UTF-8 все строки в массиве и объекте:

Также json_last_error() может быть полезным в отладке json_encode()/json_encode() функций.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками json php или задайте свой вопрос.

Связанные

Похожие

Подписаться на ленту

Для подписки на ленту скопируйте и вставьте эту ссылку в вашу программу для чтения RSS.

дизайн сайта / логотип © 2021 Stack Exchange Inc; материалы пользователей предоставляются на условиях лицензии cc by-sa. rev 2021.4.16.39093