Package encoding

Overview ▹

Overview ▾

Package encoding defines interfaces shared by other packages that convert data to and from byte-level and textual representations. Packages that check for these interfaces include encoding/gob, encoding/json, and encoding/xml. As a result, implementing an interface once can make a type useful in multiple encodings. Standard types that implement these interfaces include time.Time and net.IP. The interfaces come in pairs that produce and consume encoded data.

Index ▹

Index ▾

Package files

type BinaryMarshaler ¶ 1.2

BinaryMarshaler is the interface implemented by an object that can marshal itself into a binary form.

MarshalBinary encodes the receiver into a binary form and returns the result.

type BinaryUnmarshaler ¶ 1.2

BinaryUnmarshaler is the interface implemented by an object that can unmarshal a binary representation of itself.

UnmarshalBinary must be able to decode the form generated by MarshalBinary. UnmarshalBinary must copy the data if it wishes to retain the data after returning.

type TextMarshaler ¶ 1.2

TextMarshaler is the interface implemented by an object that can marshal itself into a textual form.

MarshalText encodes the receiver into UTF-8-encoded text and returns the result.

type TextUnmarshaler ¶ 1.2

TextUnmarshaler is the interface implemented by an object that can unmarshal a textual representation of itself.

UnmarshalText must be able to decode the form generated by MarshalText. UnmarshalText must copy the text if it wishes to retain the text after returning.

mcarrowd / main.go

package main

import (

«fmt»

«golang.org/x/text/encoding/charmap»

)

func main () <

for i := 0 ; i 255 ; i ++ <

charnum := uint8 ( i )

orig := [] uint8

utf8 := DecodeWindows1251 ( orig )

win1251 := EncodeWindows1251 ( utf8 )

if string ( orig ) != string ( win1251 ) <

fmt . Printf ( «Oh

.. Failed at charnum 0x%x \n » , i ) fmt . Printf ( «(orig, utf8, win1251) \n » ) fmt . Printf ( «string: %s, %s, %s \n » , string ( orig ), string ( utf8 ), string ( win1251 )) fmt . Printf ( «quoted: %+q, %+q, %+q \n » , string ( orig ), string ( utf8 ), string ( win1251 )) fmt . Printf ( «hex : % x, % x, % x \n » , string ( orig ), string ( utf8 ), string ( win1251 )) > > > func DecodeWindows1251 ( ba [] uint8 ) [] uint8 < dec := charmap . Windows1251 . NewDecoder () out , _ := dec . Bytes ( ba ) return out > func EncodeWindows1251 ( ba [] uint8 ) [] uint8 < enc := charmap . Windows1251 . NewEncoder () out , _ := enc . String ( string ( ba )) return [] uint8 ( out ) >

You can’t perform that action at this time.

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session.

Чтение и запись файлов в разной кодировке в Golang

Всегда нужно быть готовым к тому, что кодировка входных данных из разных источников может различаться . Конечно, большинство используют операционную систему Windows, но не только. Go по умолчанию предполагает, что строки в программах будут в кодировке UTF-8. Если это не так, тогда их требуется декодировать, чтобы в дальнейшем можно было с ними работать. В данной инструкции показано, как читать и записывать файлы в других кодировках, помимо UTF-8.

Как использовать разные кодировками в Golang?

1. Создайте файл charset.go со следующим содержимым:

Рекомендуем вам супер TELEGRAM канал по Golang где собраны все материалы для качественного изучения языка. Удивите всех своими знаниями на собеседовании! 😎

Мы публикуем в паблике ВК и Telegram качественные обучающие материалы для быстрого изучения Go. Подпишитесь на нас в ВК и в Telegram. Поддержите сообщество Go программистов.

2. Запустите код через go run charset.go ;
3. Посмотрите на результат в терминале:

Конвертирование кодировки Windows-1251 в UTF-8

Пакет golang.org/x/text/encoding/charmap содержит константы типа указателя Charmap , что представляют наиболее часто используемые кодировки. Тип Charmap предоставляет методы для создания кодера и декодера для определенного набора символов. Encoder создает Writer для кодировки, что кодирует записанные байты в выбранную кодировку. Также Decoder может создать Reader для декодировки, что декодирует все данные для чтения из выбранной кодировки.

Также можете ознакомиться с инструкцией для изменения кодировки строки, символы которой не относятся к Unicode.

Администрирую данный сайт с целью распространения как можно большего объема обучающего материала для языка программирования Go. В IT с 2008 года, с тех пор изучаю и применяю интересующие меня технологии. Проявляю огромный интерес к машинному обучению и анализу данных.

E-mail: vasile.buldumac@ati.utm.md

Образование

Технический Университет Молдовы (utm.md), Факультет Вычислительной Техники, Информатики и Микроэлектроники

• 2014 — 2018 Universitatea Tehnică a Moldovei, ИТ-Инженер. Тема дипломной работы «Автоматизация покупки и продажи криптовалюты используя технический анализ»
• 2018 — 2020 Universitatea Tehnică a Moldovei, Магистр, Магистерская диссертация «Идентификация человека в киберпространстве по фотографии лица»

Меняем кодировку строки в Golang

Не каждому известно, что кодировкой содержимого файлов .go является UTF-8. Однако, это не единственная возможная кодировка. К примеру, пользователи Windows зачастую используют кодировку Windows-1250.

При работе со строками не в Юникоде вам нужно будет перевести содержимое в Юникод. Далее дана инструкция для кодирования и декодирования строк в Юникод и наоборот.

Рекомендуем вам супер TELEGRAM канал по Golang где собраны все материалы для качественного изучения языка. Удивите всех своими знаниями на собеседовании! 😎

Мы публикуем в паблике ВК и Telegram качественные обучающие материалы для быстрого изучения Go. Подпишитесь на нас в ВК и в Telegram. Поддержите сообщество Go программистов.

Как поменять кодировку строки в Golang?

1. Создайте файл win1250.txt с содержимым Gdańsk . Кодировкой файла должна быть windows-1250. Если вы не знаете, как это сделать, перейдите к шагу 4 и после выполнения шага 5, где создается файл в кодировке windows-1250, вы можете переименовать файл out.txt , а затем вернуться к шагу 2;
2. Создайте файл decode.go со следующим содержимым:

3. Запустите код через go run decode.go ;
4. Посмотрите на вывод в терминале:

5. Создайте файл encode.go со следующим содержимым:

6. Запустите код через go run encode.go ;
7. Посмотрите на вывод в файле out.txt с кодировкой Windows-1250 и UTF-8.

Как создать код для замены кодировки в файле Go?

В пакете charmap есть тип Charset для простого изменения кодировки туда и обратно. Тип имплементирует NewDecoder , что создает структуру Decoder .

В шагах 1-3 показывается использование декодирования через Reader .

Кодирование работает аналогичным образом. Кодирование Writer создается, затем каждая строка записывается данным Writer и кодируется в кодировку Windows-1250.

Обратите внимание, что кодировка Windows-1250 была выбрана в качестве примера. В данном пакете есть многие другие варианты кодировки символов.

Администрирую данный сайт с целью распространения как можно большего объема обучающего материала для языка программирования Go. В IT с 2008 года, с тех пор изучаю и применяю интересующие меня технологии. Проявляю огромный интерес к машинному обучению и анализу данных.

E-mail: vasile.buldumac@ati.utm.md

Образование

Технический Университет Молдовы (utm.md), Факультет Вычислительной Техники, Информатики и Микроэлектроники

• 2014 — 2018 Universitatea Tehnică a Moldovei, ИТ-Инженер. Тема дипломной работы «Автоматизация покупки и продажи криптовалюты используя технический анализ»
• 2018 — 2020 Universitatea Tehnică a Moldovei, Магистр, Магистерская диссертация «Идентификация человека в киберпространстве по фотографии лица»

Как из стоки windows-1251 получить строку UTF-8 на C#?

может так попробовать?

как вариант можно попробовать сериализовать в json с помощью специально для этого реализованными инструментами, например: newtonsoft json.

еще у WebClient`а есть свойство Encoding. Можно попробовать разные варианты.

В платформе .NET все строки представлены как UTF-16.
Поэтому нет «строки windows-1251», а есть UTF-16 строка, которая была заполнена символами из источника, в котором символы были сохранены в windows-1251.

Из этого становится виден сценарий:
1. Считать файл байтов, где символы кодируются в windows-1251.
2. Преобразовать в UTF-16
3. Выполнить над строками различные необходимые действия.
4. Сохранить результат с преобразованием в набор байт, где символы представленны как UTF-8.

И пример кода:
1-2. Построчное чтение из файла с windows-1251

4. Помещаем в тело запроса набор байт, где символы в UTF-8