От tarasv
К astro-02
Дата 25.06.2010 22:43:58
Рубрики Космос;

Re: Ладно

>Лидары всем хороши, только объемы собираемых ими данных - огромны, по радиоканалу не сбросить.

Можно отсюда подробней - почему у лидара объемы данных должны быть принципиально больше чем у пассивного фотоаппарата?

Орфографический словарь читал - не помогает :)
От astro-02
К tarasv (25.06.2010 22:43:58)
Дата 25.06.2010 23:12:14

Re: Ладно

>>Лидары всем хороши, только объемы собираемых ими данных - огромны, по радиоканалу не сбросить.
>
> Можно отсюда подробней - почему у лидара объемы данных должны быть принципиально больше чем у пассивного фотоаппарата?
Потому что хранится не только информация о цвете пикселя (яркость, спектральные характеристика), но и дальности по лучу зрения.

>Орфографический словарь читал - не помогает :)
От sergе ts
К astro-02 (25.06.2010 23:12:14)
Дата 26.06.2010 00:14:03

Фигню какую то несёте

>> Можно отсюда подробней - почему у лидара объемы данных должны быть принципиально больше чем у пассивного фотоаппарата?
>Потому что хранится не только информация о цвете пикселя (яркость, спектральные характеристика), но и дальности по лучу зрения.

Обшепринятый в индустрии форамт данных лидара хранит информацию не как буфер пикелсей а как облако точек. И уж цвета там точно нет. Там три координаты, интенсивность и служебные флаги. Никаких причин для этих файлов быть особо гигантскими (по современным понятиям) нет. Несколько сотен мега, и обычно сжимаются до десятков.
От tarasv
К astro-02 (25.06.2010 23:12:14)
Дата 25.06.2010 23:59:27

Re: Ладно

>> Можно отсюда подробней - почему у лидара объемы данных должны быть принципиально больше чем у пассивного фотоаппарата?
>Потому что хранится не только информация о цвете пикселя (яркость, спектральные характеристика), но и дальности по лучу зрения.

Не убедительно. Информация к размышелению - трех байт достаточно для измерения расстояния до Земли с орбиты с сантиметровой точностью. Для представления рельефа Земли с метровой точности даже два байта избыточны. Теперь смотрим скольки разрадные DAC стоят в матрицах а потом умножаем на чило спектральных каналов. И приходим к выводу что поток данных может разве что удвоиться. Это если не сжимать данные о дальности, а они сжимаются гораздо лучше чем картинка потому что высота изменяется плавнее чем яркость и спектр.

Орфографический словарь читал - не помогает :)
От astro-02
К tarasv (25.06.2010 23:59:27)
Дата 27.06.2010 09:48:18

Re: Ладно

> Не убедительно. Информация к размышелению - трех байт достаточно для измерения расстояния до Земли с орбиты с сантиметровой точностью. Для представления рельефа Земли с метровой точности даже два байта избыточны. Это если не сжимать данные о дальности, а они сжимаются гораздо лучше чем картинка потому что высота изменяется плавнее чем яркость и спектр.

Не убедительно. Во-первых, измеряются сразу несколько расстояний - до объектов в атмосфере, разных ярусов растительности, сооружений, земли. В ситуации космического лидара ситуация только ухудшается. Рельеф нужен и возможен с дециметровой или сантиметровой точностью.
Так много чего набегает.

От astro-02
К astro-02 (27.06.2010 09:48:18)
Дата 27.06.2010 14:06:12

Re: Ладно

>> Не убедительно.
>Не убедительно. Во-первых, измеряются сразу несколько расстояний - до объектов в атмосфере, разных ярусов растительности, сооружений, земли. В ситуации космического лидара ситуация только ухудшается. Рельеф нужен и возможен с дециметровой или сантиметровой точностью.
 http://www.ndep.gov/USDAFS_LIDAR.pdf
А вот собственно опытные данные, для примера. Несложный одноканальный авиационный лидар для лесников с частотой повторения на порядок меньшей даёт "за миссию" (по контексту - 3 часа полёта) 100 гигабайт.

В принципе на порядок большее (1 терабайт) ПЗУ стоит на новейшем спутнике Геоай-1, но не факт что оно все свободно для записи (наверняка есть какое-то резервирование и т.д.). Плюс лидар ведет съемку на обеих половинах витка, что увеличивает объемы данных, и параллельно обычно ведется съемка пассивных изображений во всех доступных диапазонах (так по крайней мере поступают при авиационной лидарной съемке - ЛЭП, например). Сброс данных по радиоканалу возможен лишь пару минут в зоне видимости наземной станции (да и то не на каждом витке), доступная скорость на том же новейшем геоае-1 - 740 Мбит/с.
Так что неувязка получается. Данных можно собирать больше, чем сбрасывать.
От tarasv
К astro-02 (27.06.2010 14:06:12)
Дата 28.06.2010 20:19:20

Re: Ладно

>А вот собственно опытные данные, для примера. Несложный одноканальный авиационный лидар для лесников с частотой повторения на порядок меньшей даёт "за миссию" (по контексту - 3 часа полёта) 100 гигабайт.

Я поверил на слово насчет 100гигабайт а зря. По ссылке написано что система может за три часа собрать максимум 810 млн отсчетов (не переданно а принято отраженных импульсов) а в среднем, при полете над лесом, будет получено 380 млн отраженных импульсов. Тоесть речь иднт о единицах или от силы десятке гигабайт. То что они умудряются получить 5мб данных только по первому отраженному имупульсу на 6 миль полета и потом жалуются что много то это проблемы с навыками у их програмимистов, а не свойство потока данных - нефиг писать отсчеты в ASCII файлы.

>Так что неувязка получается. Данных можно собирать больше, чем сбрасывать.

Как видете данных лидаром по сравнению со съемкой в приведенном вами примере собирается гораздо, как минимум на порядок, меньше.

Орфографический словарь читал - не помогает :)
От astro-02
К tarasv (28.06.2010 20:19:20)
Дата 28.06.2010 21:45:53

Re: Ладно

>
> Я поверил на слово насчет 100гигабайт а зря.
Нет, не зря именно так и написано.
>По ссылке написано что система может за три часа собрать максимум 810 млн отсчетов (не переданно а принято отраженных импульсов) а в среднем, при полете над лесом, будет получено 380 млн отраженных импульсов. Тоесть речь иднт о единицах или от силы десятке гигабайт. То что они умудряются получить 5мб данных только по первому отраженному имупульсу на 6 миль полета и потом жалуются что много то это проблемы с навыками у их програмимистов, а не свойство потока данных - нефиг писать отсчеты в ASCII файлы.

В полевых условиях лидар фиксирует кучу информации - а итоговые облака точек относительно небольшого объема (десятки гигабайт) образуются лишь в результате постобработки. Например, используется Waveform digitization
Объем сырых данных очень велик - это медицинский факт во всех лидарах.

Так что похоже неувязка остается.
От tarasv
К astro-02 (28.06.2010 21:45:53)
Дата 28.06.2010 22:54:03

Re: Ладно

>> Я поверил на слово насчет 100гигабайт а зря.
>Нет, не зря именно так и написано.

Там написано что 100гиг им нужно потому что они умудряются записывать данные с минимум 25ти кратной избыточностью. Так-же приводится реальное количество измерений и соответсвенно данных за полет которое очень хорошо коррелирует с объемами хранения. Тоесть объемы реально собранных несжатых данных за полет не превышают 4гигабайт. Для съемки это совершенно мизерные объемы.

>В полевых условиях лидар фиксирует кучу информации - а итоговые облака точек относительно небольшого объема (десятки гигабайт) образуются лишь в результате постобработки. Например, используется Waveform digitization
>Объем сырых данных очень велик - это медицинский факт во всех лидарах.

Чтобы забить 100гиг за полет каждый отсчет должен иметь объем порядка 1кб. Еще раз прочтите статью по ссылке там написано, в несколько туманной форме, что они хранят с каждым отсчетом - время, координаты и углы по трем осям и возможно несколько характеристик отраженного сигнала. Надо быть очень косоруким или очень ленивым программистом чтобы эти данные заняли 1кб.

Для примера - записанныей таким методом снимок 10Мп камеры будет иметь размеры 120-150Мб в зависимости от разрядности ADC.

>Так что похоже неувязка остается.

Скорее всего эсперты по ссылке из корневого сообщения приняли характеристики и форматы хранения данных привычного им софта для работы с лидаром за характеристики аппаратуры - бывает.

Орфографический словарь читал - не помогает :)
От astro-02
К tarasv (28.06.2010 22:54:03)
Дата 29.06.2010 08:28:48

Re: Ладно


> Чтобы забить 100гиг за полет каждый отсчет должен иметь объем порядка 1кб.
Ну это медицинский факт, что тут спорить. Все лидары - такие, возможностей процессоров для обработки "на лету"

>там написано, в несколько туманной форме, что они хранят с каждым отсчетом... возможно несколько характеристик отраженного сигнала.
Что значит "возможно"? Именно это и есть основная информация, а все остальное - только служебная. Оцифровывается фронт отраженной волны, теперь вот и цвет начинают использовать. Много чего пишут, и огромные объемы получаемых исходных данных - это факт. Потом их конечно сжимают, кто же спорит.
От tarasv
К astro-02 (29.06.2010 08:28:48)
Дата 29.06.2010 10:36:15

Re: Ладно

>> Чтобы забить 100гиг за полет каждый отсчет должен иметь объем порядка 1кб.
>Ну это медицинский факт, что тут спорить.

Предпринимаю последнюю попытку объяснить. 100Гб обсуждаемому лидару нужны не потому что он генерирует именно такой объем информации, а потому что ленивые программисты записывают их в кодировке которая занимает во много раз больше места на диске чем можно было бы если бы не лень или особенности используемого софта. В каждом байте можно сохранить 256 значений а они сохраняют 10 и например целое число занимающее 4 байта записывают в 10 байт. К томуже возможно что они записывают не пересчитанные координаты а всю информацию для их рассчета, но никаких проблем, кроме недостаточно хорошего софта, для того чтобы пересчитывать координаты точки на лету нет.

>Все лидары - такие, возможностей процессоров для обработки "на лету"

От того что вы сто раз повторите "халва" во рту слаще не станет - наличия сверхобъемов вы так с цифрами и не показали.

>>там написано, в несколько туманной форме, что они хранят с каждым отсчетом... возможно несколько характеристик отраженного сигнала.
>Что значит "возможно"? Именно это и есть основная информация, а все остальное - только служебная.

Приехали :( Основные данные на выходе лидара это какраз три координаты точки откуда пришел отраженный сигнал. Остальные данные - дополнительные которых может и не быть. А координаты в опесорсном лидарном софте это аж 6 (приписью - шесть) байт правда лесники их запишут в 15 и будут стонать что объемы огромные.
Кстати вопрос имею "Несложный одноканальный авиационный лидар для лесников с частотой повторения на порядок меньшей". У несложного лидара ЧПИ 15кГц у предполагаемого орбитального лазера ЧПИ килогерцы что по русски значит от 1 до 10кГц. Где вы тут увидели разницу на порядок да еще и в пользу космического лидара?

>Оцифровывается фронт отраженной волны, теперь вот и цвет начинают использовать.

Насколько я понимаю наоборот - интенсивность и спектральные характеристики можно было получать давно а вот оцифровать фронт импульса с 300км орбиты и сотен ватт в импульсе это свежо. Хорошо если коррелометр не будет отраженные импульсы пропускать. Кстати почемы

>Много чего пишут, и огромные объемы получаемых исходных данных - это факт. Потом их конечно сжимают, кто же спорит.

Я Вам уже на пальцах показал что фотоаппарату винчестера лесников при равном объему схемки не хватит а если писать еще и в такой кодировке как они пишут то будет вобще швах.
Орфографический словарь читал - не помогает :)
От astro-02
К tarasv (29.06.2010 10:36:15)
Дата 29.06.2010 11:26:46

Re: Ладно

>>> Чтобы забить 100гиг за полет каждый отсчет должен иметь объем порядка 1кб.
>>Ну это медицинский факт, что тут спорить.
>
>100Гб потому что ленивые программисты
Конспирология. Сказано же - мощности компов не хватает.
>К томуже возможно что они записывают не пересчитанные координаты а всю информацию для их рассчета, но никаких проблем, кроме недостаточно хорошего софта, для того чтобы пересчитывать координаты точки на лету нет.
Проблема есть, и она очевидна - не хватает вычислительных мощностей для обработки на лету. Тем более их не хватит для компа работающего в космосе

> От того что вы сто раз повторите "халва" во рту слаще не станет - наличия сверхобъемов вы так с цифрами и не показали.
Вы сами их признали выше, попытавшись объяснить конспирологически. Обработка на лету невозможна, только постобработка. До нее пишут сырые данные.

>
> Приехали :( Основные данные на выходе лидара это какраз три координаты точки откуда пришел отраженный сигнал. Остальные данные - дополнительные которых может и не быть. А координаты в опесорсном лидарном софте это аж 6 (приписью - шесть) байт правда лесники их запишут в 15 и будут стонать что объемы огромные.
Записываются координаты лидара по GPS/INS, и данные со сканирующего дальномера.
>Кстати вопрос имею "Несложный одноканальный авиационный лидар для лесников с частотой повторения на порядок меньшей". У несложного лидара ЧПИ 15кГц у предполагаемого орбитального лазера ЧПИ килогерцы что по русски значит от 1 до 10кГц. Где вы тут увидели разницу на порядок да еще и в пользу космического лидара?
У космического - 100 кГц.
>>Оцифровывается фронт отраженной волны, теперь вот и цвет начинают использовать.
>
> Насколько я понимаю наоборот - интенсивность и спектральные характеристики можно было получать давно а вот оцифровать фронт импульса с 300км орбиты и сотен ватт в импульсе это свежо. Хорошо если коррелометр не будет отраженные импульсы пропускать.

Наоборот. Цветной лидар вроде только один пока на рынке, и то цвет - опциональный, а запись "сырых" сигналов без их обработки даже в GPS-приёмниках применяется. Сильно энергопотребление снижает.
От tarasv
К astro-02 (29.06.2010 11:26:46)
Дата 30.06.2010 00:46:10

Re: Ладно

>>100Гб потому что ленивые программисты
>Конспирология. Сказано же - мощности компов не хватает.

То что там написанно дает повод для здорового смеха. Для получения карты на лету производительности возможно и не хватит, а для преобразования координат, а не забивания винчестера сырыми данными от лидара, gps и ins хватит любого компа но хочется ведь все из коробки. А из коробки нет. Поэтому и стенания о "огромных" потоках данных аж в 2.5Мб в минуту. Для обработки которых якобы нужен "Very robust data processing software and hardware".

>Проблема есть, и она очевидна - не хватает вычислительных мощностей для обработки на лету. Тем более их не хватит для компа работающего в космосе

Для какой обработки? Привязка к данным GIS в автомате тем более в космосе бессмысленна, а с получением из относительных координат с вызода лидара координат абсолютных никаких проблем не будет даже у процессора мобильного телефона, про более мощные процессоры и заикаться не стоит.

>Вы сами их признали выше, попытавшись объяснить конспирологически. >

Ну если элементарный рассчет потоков данных для Вас конспирология то могу только посоветовать Вам заняться самообразованием.

>Обработка на лету невозможна, только постобработка. До нее пишут сырые данные.

Пишут потому что лидар так выдает и софт лидара пишет только в файл, софт для обработки данных которые преобразует все к компактному виду тоже работает только с файлами, а написать чтото свое что будет работать с аппаратурой лесникам похоже не под силу. Это действительно требует несколько больших знаний чем умение пользоваться пайпами в скриптах род Линуксом. Но вот в отсутсвие квалифицированных програмиистов embedded систем в Northrop Grumman и решение элементарной задачи методом "не полчается возьмите молоток винчестер побольше" это уже действительно махровая конспирологи.

>Записываются координаты лидара по GPS/INS, и данные со сканирующего дальномера.

Нет они пишут чистый сырец тоесть x-z-y в локальных координатах лидара (и как он бедненький из полярной системы координат в которой он измеряет в прямоугольную то пересчитывает это какая-же вычислительная моща нужна, там у него унутри наверно суперкомп стоит а не копеешный ARM), координаты от GPS и INS и ориентацию по осям носителя от INS и все это везут на землю.

>>Где вы тут увидели разницу на порядок да еще и в пользу космического лидара?
>У космического - 100 кГц.

По вашей ссылке написано что до 10кГц. Приведете другую?

>Наоборот. Цветной лидар вроде только один пока на рынке, и то цвет - опциональный,

Конечно ведь спектральные характеристики отраженного сигнала от монохромного излучателя это чистый маркетинговый лохоразвод. Но измерить их никаких проблем ;) и даже поля под эти данные есть в самом распространенно формате лидарных данных.

>а запись "сырых" сигналов без их обработки даже в GPS-приёмниках применяется. Сильно энергопотребление снижает.

На борту самолета нет проблем с энергетикой для работы ноутбука который, при наличии должного софта, сделает первичныую обработку сырцов. Но взять молоток потяжелее всегда проще. На борту спутника энергопотребление процессора первичной обработки будет просто незаметно на фоне энергопотребления самого лидара и системы передачи данных. В компактных устройствах может оказаться энергетически выгодней писать в энергонезависимую память сырые данные GPS. Но эти сырые данные это не аналог оцифрованного фронта волны, а аналог локальных координат лидара - по природе GPS сигнала байпаса корелятора смысла не имеет.

Орфографический словарь читал - не помогает :)
От tarasv
К astro-02 (27.06.2010 14:06:12)
Дата 28.06.2010 07:00:20

Re: Ладно

>А вот собственно опытные данные, для примера. Несложный одноканальный авиационный лидар для лесников с частотой повторения на порядок меньшей даёт "за миссию" (по контексту - 3 часа полёта) 100 гигабайт.

По моему это совсем не много, за три часа полета вполне можно отснять 1000кв.км, 100гигабайт данных в этом случае будет при разрешение похуже 30см на пиксель трехканального 12бит RAW. Тоесть никакого превышения объемов данных от лидара по сравнению с фотоснимками нет, скорее наоборот аэрофотосъемка в хорошем (а это никак не 30см на пиксель) разрешении дает на порядок большие объемы данных чем простой лидар.

Орфографический словарь читал - не помогает :)
От Esq
К astro-02 (27.06.2010 14:06:12)
Дата 27.06.2010 16:16:00

Ре: Ладно

>Сброс данных по радиоканалу возможен лишь пару минут в зоне видимости наземной станции (да и то не на каждом витке), доступная скорость на том же новейшем геоае-1 - 740 Мбит/с.

Три TDRS обеспечивают покрытие до 60% периода обращения.