Windows text to linux

Ubuntu Genius’s Blog

Cool UBUNTU Tips & Tricks brought to you by OzzyFrank

How to Convert Windows/DOS Text Files to Linux/UNIX Format

October 26, 2010 by Ubuntu Genius

A Quick Intro to End-Of-Line

Most people don’t realise that when they hit the Enter key to create a new paragraph in a text file, something very different is going on behind the scenes in the three major operating systems: Windows , Macintosh and Linux . The “end-of-line delimiter” (often expressed as “End-Of-Line“, “End of Line“, or just “EOL“) – which some of you know as the “line break” or “newline” – is a special character used to designate the end of a line within a text file .

UNIX -based operating systems (like all Linux distros and BSD derivatives) use the line feed character ( \n or ), “classic” Mac OS uses a carriage return ( \r or ), while DOS/Windows uses a carriage return followed by a line feed ( \r\n or ). Now that Mac OS X is based on FreeBSD‘s file system, it follows the UNIX convention.

Now, the reason most people don’t know about all this is because nobody really should have to. But while users of Linux distros and Mac OS can open Windows text files in basically any available editor and not even know the difference, the same can’t be said for Windows users opening files created in one of the other operating systems.

If you type up a simple text file in Ubuntu and save it in the default “ Unix/Linux ” format, in Windows it will appear as one continuous paragraph, with black squares where the line breaks (or new paragraphs) should be. While you can open the file in a more advanced text editor (or proper word processor) to view it as it should look, others you’ve sent it to are just likely to double-click it and let it open in Notepad (which can only handle MS-DOS EOL).

Occasionally, the reverse is the issue, but you can convert Windows text files to UNIX easily with Gedit , as well as convert them via the terminal, so hopefully the following guide will be of use.

For more detailed info on End-Of-Line , go to the Wikipedia page.

Converting Windows EOL to Linux via the Terminal

If you find the text editor you’re using to display Windows files in Ubuntu shows ^M instead of a line break (not very likely with even the most lightweight text editors, but something you’ll probably come across if you display the text in a terminal), don’t worry – just convert them to Unix/Linux format.

While you can actually open them in Gedit and use Save As… to save over them (or to create copies) in the correct format, for more than a couple of files this would be the long, complicated solution.

By far the quickest and easiest approach is to convert the offending files via the command-line. This way, you could batch-convert hundreds of such files at once, not have to do them individually.
There are actually quite a few ways to do this, but we’ll look at a couple of tiny packages you can install, and the related commands to use.

The first – the tofrodos package – is undoubtedly the most widely-used, so we’ll look at that in detail – especially since many of the guides out there are outdated, since the commands it contains have been renamed.

The second is a little package called flip , and since it’s tiny and won’t cause any issues, it’s worth installing as a backup (just in case. I found it useful after trying to get tofrodos going on a new system, before I found out the commands were changed).

There is no actual command tofrodos , as it is just the package that contains the commands todos and fromdos . Currently, the vast majority of online guides will list the commands as unix2dos and dos2unix , but as the developer states:

With this release the symlinks “unix2dos” and “dos2unix” are dropped from the package. This will allow the introduction of the original dos2unix package, which also supports conversion to MacOS style files.

So now you can choose to use either todos (to convert to Windows ) and fromdos (to convert to Linux ), or just fromdos with options ( fromdos -u to convert to DOS , and fromdos -d to convert to UNIX , though obviously the -d option really isn’t needed, as it is the default behaviour for the fromdos command).

We’ll use fromdos , as it is easier to remember, and show how to alter a single file, or all text files in a given folder. When you’re ready to proceed, open a terminal in the folder containing the text file(s) and use one of the following commands (note that for the purpose of illustration, the .txt suffix is used, but you can specify any other extension for your text files).

To Convert to UNIX/Linux via Terminal :

Single file (remember to replace filename.txt with the actual name of the file)

fromdos filename.txt

All text files in a folder (if the extension differs to .txt, simply replace it in the command)

fromdos *.txt

Similarly, flip is easy to use:

flip -u filename.txt (or flip -u *.txt for multiple files)

Converting Windows EOL to Linux with Gedit

It’s actually very easy to convert text files with Windows EOL to Unix/Linux in Ubuntu using the default Text Editor , Gedit . Simply open the files, choose Save As…, go to Line Ending in the dialogue box and choose Unix/Linux instead of Windows . While that is easy enough, for more than one or two you’d really want to save yourself some time and hassle and perform a batch-conversion via the terminal.

Did this information make your day? Did it rescue you from hours of headache? Then please consider making a donation via PayPal, to buy me a donut, beer, or some fish’n’chips for my time and effort! Many thanks!

Источник

Convert between Unix and Windows text files

Overview

The format of Windows and Unix text files differs slightly. In Windows, lines end with both the line feed and carriage return ASCII characters, but Unix uses only a line feed. As a consequence, some Windows applications will not show the line breaks in Unix-format files. Likewise, Unix programs may display the carriage returns in Windows text files with Ctrl-m ( ^M ) characters at the end of each line.

There are many ways to solve this problem. This document provides instructions for using FTP, screen capture, unix2dos and dos2unix, tr , awk , Perl, and vi to do the conversion. To use these utilities, the files you are converting must be on a Unix computer.

When using an FTP program to move a text file between Unix and Windows, be sure the file is transferred in ASCII format, so the document is transformed into a text format appropriate for the host. Some FTP programs, especially graphical applications, do this automatically. If you are using command line FTP, before you begin the transfer, enter:

You can use tr to remove all carriage returns and Ctrl-z ( ^Z ) characters from a Windows file:

However, you cannot use tr to convert a document from Unix format to Windows.

To use awk to convert a Windows file to Unix, enter:

To convert a Unix file to Windows, enter:

Older versions of awk do not include the sub function. In such cases, use the same command, but replace awk with gawk or nawk .

To convert a Windows text file to a Unix text file using Perl, enter:

To convert from a Unix text file to a Windows text file, enter:

You must use single quotation marks in either command line. This prevents your shell from trying to evaluate anything inside.

In vi, you can remove carriage return ( ^M ) characters with the following command:

To input the ^M character, press Ctrl-v , and then press Enter or return .

In vim, use :set ff=unix to convert to Unix; use :set ff=dos to convert to Windows.

Related documents

This is document acux in the Knowledge Base.
Last modified on 2019-12-17 14:27:06 .

Источник

20 советов для линукс-гиков

Что отличает обычного пользователя Линукса от профессионала? Ответ прост: это — годы, проведенные за изучением хитростей и приемов, которые позволяют решать не быстрые задачи в одно мгновение. Если вы хотите увеличить скорость работы без долгого набивания шишек в консоли, подобрано 20 легких для изучения приемов. Они помогут сделать вашу работу эффективной и выжать максимум возможностей из вашего компьютера.

1. Список не ваших процессов

Представьте ситуацию: вы уже приготовились к игре в Counter-Strike с вашими коллегами в пятничный вечер, но одно — ваш комп не слабо подтормаживает, а указатель мыши показывает вам слайд-шоу. Это может быть кто-то из тех пользователей, которые «крадут» драгоценное время своими научными экспериментами, веб-серверами и другими гиковскими штучками.

Нет проблем, получим список всех процессов, которые запустили не вы:

ps aux —sort=-%cpu | grep -m 11 -v `whoami`

2. Замена текста в файлах

Сложность: средняя
Приложение: find/Perl

Если надо заменить текст не в одном файле, то есть несколько способов. Для того, чтобы заменить текст «Windows» на «Linux» во всех файлах в текущей директории, название которой начинается с «test», введите в консоли:

perl -i -pe ‘s/Windows/Linux/;’ test*

find. -name ‘*.txt’ -print | xargs perl -pi -e’s/Windows/Linux/ig’ *.txt

find -type f -name ‘*.txt’ -print0 | xargs —null perl -pi -e ‘s/Windows/Linux/’

Сохраните немало времени и получите статус гуру Линкуса.

3. Исправить консоль

Сложность: легкая
Приложение: bash

Если использовать команду less или cat для просмотра файла, в конце которого — бинарные данные, то можно легко испортить консоль. Потому что в бинарных данных могут попасться любые сочетания управляющих кодов: компьютер будет издавать звуки «бип-бип», появятся прикольные символы, странные цветовые сочетания. В конце концов, шрифт изменится на какие-то иероглифы. Bash, очевидно, продолжает работать, но вы ничего не можете прочитать и не сделать. Просто наберите в консоли команду инициализации:

и все будет хорошо.

4. Создать keywords в Mozill’е

Сложность: легкая
Приложение: Firefox/Mozilla

Полезной особенностью Konqueror’а является возможность, набрав в адресной строке «gg onion», прогуглить слово onion. Тоже самое можно сделать в Firefox’е: сперва найдите меню Bookmarks>Manage Bookmarks и выберите Add a New Bookmark. Добавьте этот URL:

Выберите эту запись в редакторе закладок и откройте ее свойства. Введите в поле keyword gg — и все. Вместо %s будет подставлен текст после gg. Этот прием можно применить к другим сайтам, которые полагаются на данные в URL’е.

Другой вариант: сделайте клик правой кнопкой мыши в поисковом поле и выберите пункт меню Add a Keyword for this Search. . Появится окно, где можно задать keyword.

5. Запуск множественных X-сессий

Сложность: простая
Приложение: Х

Если надо дать кому-нибудь доступ к Вашему компьютеру, то вы может откроете для себя, что это не всегда необходимо. Если предположить, что компьютер стартует в графическом режиме (runlevel 5), то, одновременно нажав Ctrl+Alt+ , вы попадете в консоль. Введите логин и пароль, потом исполните следующий код:

чтобы воити в графическое окружение. Чтобы вернуться в предыдущую сессию, нажмите Ctrl+Alt+ , для еще одного возврата — Ctrl+Alt+ . Вы можете этот трюк: клавиши с F1 по F6 отвечают за 6 сессий консоли, а клавиши с F7 по F12 — за 6 Х-сессий. Подводный камень: в разных дистрибутивах могут использоваться разные сочетания клавиш.

6. Ускорение серфинга

Сложность: простая
Приложение: KDE

В KDE есть малоизвестная, но полезная опция для ускорения веб-серфинга. Запустите KDE Control Center и выберите System > KDE performanсe. Вы можете включить предварительную загрузку Konqueror’а. То есть браузер загрузится при запуске системы в фоновом режиме. Когда он потребуется, то появится практически мгновенно. Совет: прочитайте еще 20 подсказок для ускорения KDE

7. Легкое резервное копирование

Сложность: простая
Приложение: Backups

Если надо сделать резервную копию папки и скопировать только изменившиеся файлы, то можно использовать для этого rsync (вам нужен аккаунт на удаленном компьютере):

rsync -vare ssh jono@192.168.0.2:/home/jono/importantfiles/* /home/jono/backup/

Эта команда делает резервную копию всех файлов из /home/jono/backup/ в /home/jono/importantfiles/ на компьютере с IP-адресом 192.168.0.2

8. Поддерживать ваши часы в актуальном состоянии

Сложность: простая
Приложение: NTP

Если кажется, что ваши часы спешат или отстают, то используйте NTP для гарантированной синхронизации с очень высокой точностью. Необходимо установить NTP-пакет и потом произвести синхронизацию с сервером:

Список подходящих NTP-серверов можно найти на http://support.ntp.org/bin/view/Servers/NTPPoolServers. Добавьте эту команду в автозагрузку — и ваши часы всегда будут точными.

9. Поиск самых больших файлов

Сложность: низкая
Приложение: оболочка

Можно столкнуться с проблемой, когда надо удалить несколько больших файлов. Их можно найти в текущей директории с помощью команды:

10. Горячие клавиши Nautilus’а

Сложность: низкая
Приложение: Nautilus

Хотя в наши дни большинство файловых менеджеров должны поддерживать управление мышью, иногда полезно использовать клавиатуру. У Nautilus’а есть несколько сочетаний, которые позволяют мгновенно перемещаться между файлами:

— Открыть директорию — Ctrl+L
— Подняться на уровень выше — Ctrl+Up
— Перемещение внутри директории — стрелки

11. Оптимизация баз данных

Сложность: низкая
Приложение: MySQL

При любом изменении структуры базы данных или удалении больших объемов данных, файлы могут стать фрагментированными, что приводит к потере производительности. Просто запомните простое правило: запускать оптимизатор базы при любом изменении базы:

Вы можете заметить, что следует регулярно оптимизировать базы при использовании полей с типом VARCHAR: эти поля с переменной длиной особенно подвержены фрагментации.

12. Быстрые письма

Сложность: низкая
Приложение: KMail

Не можете позволить себе потерять 3 секунды на поиски вашего почтового клиента? Не устали от поиска указателя мыши среди всей красивой суматохи на вашем рабочем столе? Чтобы вы не делали в KDE, вас отделяет всего несколько нажатий клавиш от отправки письма. Нажмите Alt+F2 для открытия диалога ‘Run command’. Наберите:

Нажмите Enter — и KMail автоматически откроется. Вам даже необязательно набирать полный почтовый адрес. Этот трюк работает также и с Интернет-адресами: просто наберите www.hab.ru для запуска Konqueror’а.

13. Распараллеливание сборки

Сложность: низкая
Приложение: GCC

Если у вас многоядерная система с приличным количеством оперативной памяти, то можно значительно увеличить скорость при помощи параллельной сборки. Если сравнивать с последовательной сборкой, то прирост скорости в несколько раз. Для того, чтобы использовать два и более потока, добавьте ключ -j:

make -j4; make -j4 modules

14. Увеличение время работы батареи

Сложность: средняя
Приложение: hdparm

Вы вероятно сталкивались с hdparm для тюнинга жесткого диска, но это также может увелитчить время работы батареи вашего ноутбука и снизить шум вращающихся деталей.

hdparm -y /dev/hdb
hdparm -Y /dev/hdb
hdparm -S 36 /dev/hdb

Первая команда заставляет перейти в режим ожидания, вторая — в спящий режим, а последняя выставляет время автоматического выключения. Числовой параметр кратен 5.

15. Управление скоростью беспроводного подключения

Сложность: средняя
Приложение: iwconfig

Скорость, на которой радио-приемник и передатчик могут взаимодействовать, зависит от силы сигнала. Для того, чтобы поддерживать связь при ухудшении сигнала, данные должны передаваться с меньшей скоростью. Обычно, радио пытается вычислить доступный сигнал и автоматически выбирает наибольшую скорость передачи.

В областях интерференции с недостаточным уровнем сигнала, пакеты могут самопроизвольно пропадать, при этом приемник и передатчик постоянно регулируют скорость. Если нельзя добавить антенны или переместить ваше оборудование для усиления сигнала, то надо уменьшить скорость синхронизации. Это означает меньшее количество переподключений и может быть значительно быстрей, чем триггерное (flip-flop) соединение. У каждой сетевой карты свой способ установки соединения. В Линуксе ограничение скорости можно задать через iwconfig:

iwconfig eth0 rate 2M

iwconfig eth0 rate 5.5M auto

iwconfig eth0 rate auto

Сетевые карты могут работать на больших расстояниях при скорости 1Mbps, чем при скорости 11Mbps. Разница между 1Mbps и 11Mbps — 12 децибел для карт Orinocco, т.е., теоретически, можно увеличить максимальную дистанцию работы в 4 раза, уменьшив скорость передачи.

16. Список откртых портов

Сложность: средняя
Приложение: nestat

Получить список открытых портов в состоянии Listen очень просто в Линуксе:

# netstat -lnp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
tcp 0 0 0.0.0.0:5280 0.0.0.0:* LISTEN 698/perl
tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN 217/httpd
tcp 0 0 10.42.3.2:53 0.0.0.0:* LISTEN 220/named
tcp 0 0 10.42.4.6:53 0.0.0.0:* LISTEN 220/named
tcp 0 0 127.0.0.1:53 0.0.0.0:* LISTEN 220/named
tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 200/sshd
udp 0 0 0.0.0.0:32768 0.0.0.0:* 220/named
udp 0 0 10.42.3.2:53 0.0.0.0:* 220/named
udp 0 0 10.42.4.6:53 0.0.0.0:* 220/named
udp 0 0 127.0.0.1:53 0.0.0.0:* 220/named
udp 0 0 0.0.0.0:67 0.0.0.0:* 222/dhcpd
raw 0 0 0.0.0.0:1 0.0.0.0:* 7 222/dhcpd

В этом примере видно, что процесс с PID’ом 698 — процесс интерпретатора Перл, который слушает порт 5280. Если вы не рут в системе, то система не покажет пути к программам.

17. Увеличение скорости работы жестких дисков

Сложность: высокая
Приложение: hdparm

hdarm можно использовать для повышения производительности. Будьте осторожны: изменение этих настроек может привести к потере данных, поэтому предварительно сделайте резервную копию данных. Тестирование скорости можно произвести следующей команды:

hdparm -Tt /dev/sda
/dev/sda:
Timing cached reads: 1784 MB in 2.00 seconds = 892.56 MB/sec
Timing buffered disk reads: 82 MB in 3.04 seconds = 26.96 MB/sec

/dev/sda:
IO_support = 0 (default)
readonly = 0 (off)
readahead = 256 (on)
geometry = 4865/255/63, sectors = 78165360, start = 0

В большинстве дистрибутивов выбраны безопасные настройки, подходящие для большинства жестких дисков. Для того, чтобы увеличить скорость, можно включить DMA-режим. Большинство компьютеров поддерживают 3 режим — 32-битная передача данных, что увеличивает скорость почти в два раза:

18. Удаленный доступ к вашим программ.

Сложность: низкая
Приложение: X

Если необходим удаленный доступ к графическим приложениям, то это можно сделать с помощью SSH. Во-первых, надо включить эту опцию в /etc/ssh/sshd_config:

19. Более удобные маны
Сложность: низкая
Приложение: man

Если вы ищите информацию по определенной команде или тематике, то маны — хорошее место для начала поисков. Обычный доступ к манам — man , но можно искать нужные страницы по ключевому слову. Например, поиск манов, связанные с процессом входа в систему:

При чтении манов полезно использовать поиск: просто нажмите клавишу / и набирайте нужное слово.

20. Диаграмма взаимосвязи пакетов

Сложность: низкая
Приложение: Debian

Наиболее важная часть Debian’а — возможность устанавливать пакеты вместе со всеми зависимостями. Если вы хотите увидеть все взаимосвязи между пакетами, можно использовать пакет Graphiz из несвободного (non-free) репозитория Debian:

apt-cache dotty > debain.dot

21. Принудительное отключение занятых устройств

Сложность: низкая
Приложение: bash

Вам наверняка сталкивались с ситуацией, когда надо отмаунтить диск, но система при попытке отключения сообщает о том, что он занят. Одной командой можно узнать, какое приложение использует его:

Она показывает PID и команду запуска любого процесса, использующего /mnt/windows.

22. Конвертирование кодировок текстовых файлов

Сложность: низкая
Приложение: recode

recode — маленькая утилита, которая упростит перенос текстовых файлов, созданных на разных платформах. Одна из главных причин — различие переносов строк. В некоторых системах используется символ переноса строки, в других — символ возврата каретки, в остальных — оба способа. В итоге, если вы переносете текст с одной платформы на другую, то вы, открыв файл, увидете множество (или, наоборот, мало) переносов строк и много странных символов.

Параметры утилиты немного запутаны, но это можно обойти задав алиасы:

alias dos2unix=’recode dos/CR-LF..l1′
alias unix2win=’recode l1..windows-1250′
alias unix2dos=’recode l1..dos/CR-LF’

Существуют множество опций: recode может конвертировать тексты между рядом кодировок.

23. Поиск измененных сегодня файлов

Сложность: низкая
Приложение: различные

Например, утром вы создали файл, который именно сейчас очень нужен. Однако, вы не можете вспомнить его название. Вручную перебирать домашнюю директорию бессмысленно, где скопилась не одна тысяча файлов. Но есть небольшой прием, показывающий эффективность пайпов и объединения нескольких комманд консоли:

Параметры команды ls требуют вывода даты в определенном формате. Хитрость в том: то, что выдаст ls, идет на вход grep. Параметр grep сами по себе команда (заключена в обратные апострофы), которая подставляет текущую дату в шаблон для отсева. Ее легко модифицировать для поиска по другим датам, размеру файла и т.д.

Источник