ВИФ2 NE : Ветка : Re: Не могу...

От	Hokum
К	Глеб Бараев
Дата	04.02.2005 16:41:41
Рубрики	Космос;

Re: Не могу...

Приветствую, джентльмены!
Это не является ни одной из кириллических кодировок (как современных, так и доисторических). Гораздо больше похоже на текст, прошедший через две-три кодировки. Когда исходный документ, к примеру, в 866, почтовый сервер его посылает как KOI8, а другой принимает его как 1251
Ряд почтовых серверов нормально обрабатывают файлы сложного формата (Word, Excel, картинки и т.п.), т.е. считают их бинарными и передают как есть. А вот текстовые аттачменты (а csv - это текстовый файл) пытаются конвертировать в соответствии с кодировкой письма. А если это еще и reply, то за основу будет взята кодировка исходного сообщения.
По крайней мере, восьмой бит не потерян (иначе половину текста занимали бы знаки вопроса).
Есть программы, позволяющие восстанавливать подобные сообщения (до трех перекодировок, если мне склероз не изменяет). MailReader, к примеру. Попробуйте, вдруг поможет.
Да, а вы уверены, что исходный текст кириллический?
С уважением,

Роман

От	Hokum
К	Hokum (04.02.2005 16:41:41)
Дата	05.02.2005 00:55:17

Re: Не могу...

Приветствую, джентльмены!
В дополнение к вышеизложенному.
Это не русский текст. Defenately, то бишь сто пудов.
Его не берет Agama Mail Reader, не берет лебедевский декодер http://www.artlebedev.ru/tools/decoder/ (оба надежно распознают до 4-х последовательных перекодировок, включая транслит). Кроме того, в тексте есть слово "Внешторг", написанное латиницей.
Стало быть, гадать можно до бесконечности. Например, на японский оно переводится вот так:

ｿﾑ厘ｪﾐｭﾐ厰孟榧ｭﾐｧﾐ厰･ﾐ毛孟

Что это - осмысленная фраза или просто набор иероглифов? Склоняюсь ко второму (шесть одинаковых иероглифов в одной короткой строке), но гарантировать, понятное дело, не могу.
В-общем, "математически обосновать не могу, но интуитивно чувствую - литр" :-))))
С уважением,

Роман

От	СанитарЖеня
К	Hokum (04.02.2005 16:41:41)
Дата	04.02.2005 19:45:48

Предложения.

>Это не является ни одной из кириллических кодировок (как современных, так и доисторических). Гораздо больше похоже на текст, прошедший через две-три кодировки. Когда исходный документ, к примеру, в 866, почтовый сервер его посылает как KOI8, а другой принимает его как 1251
>Ряд почтовых серверов нормально обрабатывают файлы сложного формата (Word, Excel, картинки и т.п.), т.е. считают их бинарными и передают как есть. А вот текстовые аттачменты (а csv - это текстовый файл) пытаются конвертировать в соответствии с кодировкой письма. А если это еще и reply, то за основу будет взята кодировка исходного сообщения.
>По крайней мере, восьмой бит не потерян (иначе половину текста занимали бы знаки вопроса).
>Есть программы, позволяющие восстанавливать подобные сообщения (до трех перекодировок, если мне склероз не изменяет). MailReader, к примеру. Попробуйте, вдруг поможет.

После попыток восстановить "автоматическим перекодировщиком" остановился на 6 перекодировках%)
Возможно, использовалась кодировка, которой он не знает...
(ДКОИ, кодировки времен Минсков или ТА80).
Можно попытаться ломать, как шифр Цезаря.
Для этого:
1. Все названия начинаются с одной и той же строки:
їЪЭЙЖОЭЧЙХЖі
(i - не латинское!)
2. далее идет текст, заключенный в Ў с двух сторон (кавычки?)
3. В следующей графе идет единица измерения:
·ЫҐТ°ДЩ
1000·ЫҐТ°ДЩ
1000ДЭ
1000є
1000їё
1000НІОіҐГЮ¶ҐТ°ДЩ
1000НІОіҐТ°ДЩ
1000ПІ
1000Т°ДЩ
100ПЭҐПІ
1јЮ¶Э±АШҐАЮІ
АЮІ
ДЭ
ѕЇД
ОЭ
Можно попытаться догадаться, что каждый из них значит (1000шт 1000кг 1комплект шт и т.п.)
4. Далее от этого можно попытаться восстанавливать.

>Да, а вы уверены, что исходный текст кириллический?

Один японский вариант я приложил. Если г-да японисты взглянут - возможно, узнают знакомое.
Какие еще языки с не-кириллической графикой? Иврит?

От	ThuW
К	СанитарЖеня (04.02.2005 19:45:48)
Дата	04.02.2005 20:00:42

Если бы была уверенность, что это точно русский текст (+)

>>Это не является ни одной из кириллических кодировок (как современных, так и доисторических). Гораздо больше похоже на текст, прошедший через две-три кодировки. Когда исходный документ, к примеру, в 866, почтовый сервер его посылает как KOI8, а другой принимает его как 1251

Можно составить частотную таблицу букв.
Предполагаю, что ' - это пробел
Еще есть часто повторяющиеся предлоги(аббревиатура/артикль?) - "АЮІ" и "ДЭ" и "ДЩ"

Но если это японский, то шансов нет. :-)

С уважением

От	Глеб Бараев
К	ThuW (04.02.2005 20:00:42)
Дата	05.02.2005 00:37:21

Это точно не русский текст

Это - английский текст, но писали его японцы.
В итоге должна получиться таблица (скорее всего - неотформатированная).
По содержанию известно, что представлены данные об импорте из Японии в СССР, начиная с 1940 года.
Импорт представлен в физических величинах, т.е. штуки, тонны, литры (единицы, тысячи, миллионы).
В нечитаемой левой части как раз даны наименования предметов импорта.

С уважением, Глеб Бараев http://histosev.fastbb.ru/?-0

От	Василий Т.
К	Глеб Бараев (05.02.2005 00:37:21)
Дата	05.02.2005 00:49:50

Re: Это точно...

Доброе время суток

>Это - английский текст, но писали его японцы.

И скорее всего иероглифами... :o))
Т.к. английские слова в заглавиях колонок переданы верно.

>В итоге должна получиться таблица (скорее всего - неотформатированная).

При чтении файла в Excel получается вполне отформатированная таблица с колонками
CODE NUMBER, FULL NAME, UNIT, SOURCE и далее с 1940 по 1989 год

Единственное, какие-то данные (1 колонка) выходят за рамки таблицы...

>По содержанию известно, что представлены данные об импорте из Японии в СССР, начиная с 1940 года.

С 1956-го... Ячейки с 1940 по 1955 заполнены нулями.

>Импорт представлен в физических величинах, т.е. штуки, тонны, литры (единицы, тысячи, миллионы).

В метрической системе?

>В нечитаемой левой части как раз даны наименования предметов импорта.

С уважением, Василий Т. http://ww2doc.50megs.com/Issues.html

От	Глеб Бараев
К	Василий Т. (05.02.2005 00:49:50)
Дата	05.02.2005 01:28:04

Re: Это точно...

>И скорее всего иероглифами... :o))
>Т.к. английские слова в заглавиях колонок переданы верно.

не знаю какой клавиатурой пользуются в Японии.

>Единственное, какие-то данные (1 колонка) выходят за рамки таблицы...

а данные по колонкам никак нельзя расставить?

>>Импорт представлен в физических величинах, т.е. штуки, тонны, литры (единицы, тысячи, миллионы).
>
>В метрической системе?

для японцев это нормально

С уважением, Глеб Бараев http://histosev.fastbb.ru/?-0

От	Василий Т.
К	Глеб Бараев (05.02.2005 01:28:04)
Дата	05.02.2005 03:34:53

Re: Это точно...

Доброе время суток

>>Единственное, какие-то данные (1 колонка) выходят за рамки таблицы...
>а данные по колонкам никак нельзя расставить?

Не зная даже приблизительное назначение этих данных - нет.
Что достаточно точно - это то, что последняя колонка не является суммарными значениями строк...

На всякий случай перевел данные в формат WinWord и временно поместил в копилку:

http://vif2ne.ru/nvk/forum/files/Tash_v/Glebu_Baraevu.zip

Таблицы пришлось немного перестроить - данные по годам разбиты по "пятилеткам". Для каждой "пятилетки" сделана отдельная таблица.

С уважением, Василий Т. http://ww2doc.50megs.com/Issues.html

От	Глеб Бараев
К	Василий Т. (05.02.2005 03:34:53)
Дата	05.02.2005 04:38:28

Спасибо. Кажется понял, как сей ларчик открывается

Скорее всего Vneshorg - ссылка на ежегодники "Внешняя торговря СССР".
Да, а я уж подумал, что получил японские данные:-)

С уважением, Глеб Бараев http://histosev.fastbb.ru/?-0

От	СанитарЖеня
К	СанитарЖеня (04.02.2005 19:45:48)
Дата	04.02.2005 19:46:43

Еще японский вариант (EUC)