От astro-02
К tarasv
Дата 28.06.2010 21:45:53
Рубрики Космос;

Re: Ладно

>
> Я поверил на слово насчет 100гигабайт а зря.
Нет, не зря именно так и написано.
>По ссылке написано что система может за три часа собрать максимум 810 млн отсчетов (не переданно а принято отраженных импульсов) а в среднем, при полете над лесом, будет получено 380 млн отраженных импульсов. Тоесть речь иднт о единицах или от силы десятке гигабайт. То что они умудряются получить 5мб данных только по первому отраженному имупульсу на 6 миль полета и потом жалуются что много то это проблемы с навыками у их програмимистов, а не свойство потока данных - нефиг писать отсчеты в ASCII файлы.

В полевых условиях лидар фиксирует кучу информации - а итоговые облака точек относительно небольшого объема (десятки гигабайт) образуются лишь в результате постобработки. Например, используется Waveform digitization
Объем сырых данных очень велик - это медицинский факт во всех лидарах.

Так что похоже неувязка остается.
От tarasv
К astro-02 (28.06.2010 21:45:53)
Дата 28.06.2010 22:54:03

Re: Ладно

>> Я поверил на слово насчет 100гигабайт а зря.
>Нет, не зря именно так и написано.

Там написано что 100гиг им нужно потому что они умудряются записывать данные с минимум 25ти кратной избыточностью. Так-же приводится реальное количество измерений и соответсвенно данных за полет которое очень хорошо коррелирует с объемами хранения. Тоесть объемы реально собранных несжатых данных за полет не превышают 4гигабайт. Для съемки это совершенно мизерные объемы.

>В полевых условиях лидар фиксирует кучу информации - а итоговые облака точек относительно небольшого объема (десятки гигабайт) образуются лишь в результате постобработки. Например, используется Waveform digitization
>Объем сырых данных очень велик - это медицинский факт во всех лидарах.

Чтобы забить 100гиг за полет каждый отсчет должен иметь объем порядка 1кб. Еще раз прочтите статью по ссылке там написано, в несколько туманной форме, что они хранят с каждым отсчетом - время, координаты и углы по трем осям и возможно несколько характеристик отраженного сигнала. Надо быть очень косоруким или очень ленивым программистом чтобы эти данные заняли 1кб.

Для примера - записанныей таким методом снимок 10Мп камеры будет иметь размеры 120-150Мб в зависимости от разрядности ADC.

>Так что похоже неувязка остается.

Скорее всего эсперты по ссылке из корневого сообщения приняли характеристики и форматы хранения данных привычного им софта для работы с лидаром за характеристики аппаратуры - бывает.

Орфографический словарь читал - не помогает :)
От astro-02
К tarasv (28.06.2010 22:54:03)
Дата 29.06.2010 08:28:48

Re: Ладно


> Чтобы забить 100гиг за полет каждый отсчет должен иметь объем порядка 1кб.
Ну это медицинский факт, что тут спорить. Все лидары - такие, возможностей процессоров для обработки "на лету"

>там написано, в несколько туманной форме, что они хранят с каждым отсчетом... возможно несколько характеристик отраженного сигнала.
Что значит "возможно"? Именно это и есть основная информация, а все остальное - только служебная. Оцифровывается фронт отраженной волны, теперь вот и цвет начинают использовать. Много чего пишут, и огромные объемы получаемых исходных данных - это факт. Потом их конечно сжимают, кто же спорит.
От tarasv
К astro-02 (29.06.2010 08:28:48)
Дата 29.06.2010 10:36:15

Re: Ладно

>> Чтобы забить 100гиг за полет каждый отсчет должен иметь объем порядка 1кб.
>Ну это медицинский факт, что тут спорить.

Предпринимаю последнюю попытку объяснить. 100Гб обсуждаемому лидару нужны не потому что он генерирует именно такой объем информации, а потому что ленивые программисты записывают их в кодировке которая занимает во много раз больше места на диске чем можно было бы если бы не лень или особенности используемого софта. В каждом байте можно сохранить 256 значений а они сохраняют 10 и например целое число занимающее 4 байта записывают в 10 байт. К томуже возможно что они записывают не пересчитанные координаты а всю информацию для их рассчета, но никаких проблем, кроме недостаточно хорошего софта, для того чтобы пересчитывать координаты точки на лету нет.

>Все лидары - такие, возможностей процессоров для обработки "на лету"

От того что вы сто раз повторите "халва" во рту слаще не станет - наличия сверхобъемов вы так с цифрами и не показали.

>>там написано, в несколько туманной форме, что они хранят с каждым отсчетом... возможно несколько характеристик отраженного сигнала.
>Что значит "возможно"? Именно это и есть основная информация, а все остальное - только служебная.

Приехали :( Основные данные на выходе лидара это какраз три координаты точки откуда пришел отраженный сигнал. Остальные данные - дополнительные которых может и не быть. А координаты в опесорсном лидарном софте это аж 6 (приписью - шесть) байт правда лесники их запишут в 15 и будут стонать что объемы огромные.
Кстати вопрос имею "Несложный одноканальный авиационный лидар для лесников с частотой повторения на порядок меньшей". У несложного лидара ЧПИ 15кГц у предполагаемого орбитального лазера ЧПИ килогерцы что по русски значит от 1 до 10кГц. Где вы тут увидели разницу на порядок да еще и в пользу космического лидара?

>Оцифровывается фронт отраженной волны, теперь вот и цвет начинают использовать.

Насколько я понимаю наоборот - интенсивность и спектральные характеристики можно было получать давно а вот оцифровать фронт импульса с 300км орбиты и сотен ватт в импульсе это свежо. Хорошо если коррелометр не будет отраженные импульсы пропускать. Кстати почемы

>Много чего пишут, и огромные объемы получаемых исходных данных - это факт. Потом их конечно сжимают, кто же спорит.

Я Вам уже на пальцах показал что фотоаппарату винчестера лесников при равном объему схемки не хватит а если писать еще и в такой кодировке как они пишут то будет вобще швах.
Орфографический словарь читал - не помогает :)
От astro-02
К tarasv (29.06.2010 10:36:15)
Дата 29.06.2010 11:26:46

Re: Ладно

>>> Чтобы забить 100гиг за полет каждый отсчет должен иметь объем порядка 1кб.
>>Ну это медицинский факт, что тут спорить.
>
>100Гб потому что ленивые программисты
Конспирология. Сказано же - мощности компов не хватает.
>К томуже возможно что они записывают не пересчитанные координаты а всю информацию для их рассчета, но никаких проблем, кроме недостаточно хорошего софта, для того чтобы пересчитывать координаты точки на лету нет.
Проблема есть, и она очевидна - не хватает вычислительных мощностей для обработки на лету. Тем более их не хватит для компа работающего в космосе

> От того что вы сто раз повторите "халва" во рту слаще не станет - наличия сверхобъемов вы так с цифрами и не показали.
Вы сами их признали выше, попытавшись объяснить конспирологически. Обработка на лету невозможна, только постобработка. До нее пишут сырые данные.

>
> Приехали :( Основные данные на выходе лидара это какраз три координаты точки откуда пришел отраженный сигнал. Остальные данные - дополнительные которых может и не быть. А координаты в опесорсном лидарном софте это аж 6 (приписью - шесть) байт правда лесники их запишут в 15 и будут стонать что объемы огромные.
Записываются координаты лидара по GPS/INS, и данные со сканирующего дальномера.
>Кстати вопрос имею "Несложный одноканальный авиационный лидар для лесников с частотой повторения на порядок меньшей". У несложного лидара ЧПИ 15кГц у предполагаемого орбитального лазера ЧПИ килогерцы что по русски значит от 1 до 10кГц. Где вы тут увидели разницу на порядок да еще и в пользу космического лидара?
У космического - 100 кГц.
>>Оцифровывается фронт отраженной волны, теперь вот и цвет начинают использовать.
>
> Насколько я понимаю наоборот - интенсивность и спектральные характеристики можно было получать давно а вот оцифровать фронт импульса с 300км орбиты и сотен ватт в импульсе это свежо. Хорошо если коррелометр не будет отраженные импульсы пропускать.

Наоборот. Цветной лидар вроде только один пока на рынке, и то цвет - опциональный, а запись "сырых" сигналов без их обработки даже в GPS-приёмниках применяется. Сильно энергопотребление снижает.
От tarasv
К astro-02 (29.06.2010 11:26:46)
Дата 30.06.2010 00:46:10

Re: Ладно

>>100Гб потому что ленивые программисты
>Конспирология. Сказано же - мощности компов не хватает.

То что там написанно дает повод для здорового смеха. Для получения карты на лету производительности возможно и не хватит, а для преобразования координат, а не забивания винчестера сырыми данными от лидара, gps и ins хватит любого компа но хочется ведь все из коробки. А из коробки нет. Поэтому и стенания о "огромных" потоках данных аж в 2.5Мб в минуту. Для обработки которых якобы нужен "Very robust data processing software and hardware".

>Проблема есть, и она очевидна - не хватает вычислительных мощностей для обработки на лету. Тем более их не хватит для компа работающего в космосе

Для какой обработки? Привязка к данным GIS в автомате тем более в космосе бессмысленна, а с получением из относительных координат с вызода лидара координат абсолютных никаких проблем не будет даже у процессора мобильного телефона, про более мощные процессоры и заикаться не стоит.

>Вы сами их признали выше, попытавшись объяснить конспирологически. >

Ну если элементарный рассчет потоков данных для Вас конспирология то могу только посоветовать Вам заняться самообразованием.

>Обработка на лету невозможна, только постобработка. До нее пишут сырые данные.

Пишут потому что лидар так выдает и софт лидара пишет только в файл, софт для обработки данных которые преобразует все к компактному виду тоже работает только с файлами, а написать чтото свое что будет работать с аппаратурой лесникам похоже не под силу. Это действительно требует несколько больших знаний чем умение пользоваться пайпами в скриптах род Линуксом. Но вот в отсутсвие квалифицированных програмиистов embedded систем в Northrop Grumman и решение элементарной задачи методом "не полчается возьмите молоток винчестер побольше" это уже действительно махровая конспирологи.

>Записываются координаты лидара по GPS/INS, и данные со сканирующего дальномера.

Нет они пишут чистый сырец тоесть x-z-y в локальных координатах лидара (и как он бедненький из полярной системы координат в которой он измеряет в прямоугольную то пересчитывает это какая-же вычислительная моща нужна, там у него унутри наверно суперкомп стоит а не копеешный ARM), координаты от GPS и INS и ориентацию по осям носителя от INS и все это везут на землю.

>>Где вы тут увидели разницу на порядок да еще и в пользу космического лидара?
>У космического - 100 кГц.

По вашей ссылке написано что до 10кГц. Приведете другую?

>Наоборот. Цветной лидар вроде только один пока на рынке, и то цвет - опциональный,

Конечно ведь спектральные характеристики отраженного сигнала от монохромного излучателя это чистый маркетинговый лохоразвод. Но измерить их никаких проблем ;) и даже поля под эти данные есть в самом распространенно формате лидарных данных.

>а запись "сырых" сигналов без их обработки даже в GPS-приёмниках применяется. Сильно энергопотребление снижает.

На борту самолета нет проблем с энергетикой для работы ноутбука который, при наличии должного софта, сделает первичныую обработку сырцов. Но взять молоток потяжелее всегда проще. На борту спутника энергопотребление процессора первичной обработки будет просто незаметно на фоне энергопотребления самого лидара и системы передачи данных. В компактных устройствах может оказаться энергетически выгодней писать в энергонезависимую память сырые данные GPS. Но эти сырые данные это не аналог оцифрованного фронта волны, а аналог локальных координат лидара - по природе GPS сигнала байпаса корелятора смысла не имеет.

Орфографический словарь читал - не помогает :)