От damdor
К All
Дата 29.02.2020 11:47:05
Рубрики Современность; Флот; Армия; ВВС;

Скайнет не пройдёт?

Доброго времени суток!

https://www.defense.gov/Explore/News/Article/Article/2094085/dod-adopts-5-principles-of-artificial-intelligence-ethics/

25 ФЕВРАЛЯ 2020 Г.

Министерство обороны официально утвердило пять принципов этического развития возможностей искусственного интеллекта.

Пять этических принципов ИИ, основанных на рекомендациях Совета по оборонным инновациям:

1. Ответственность. Персонал министерства обороны США будет проявлять надлежащий уровень здравомыслия и внимательности, будучи ответственным за разработку, развертывание и использование возможностей AI.

2. Беспристрастность. Министерство обороны США предпримет шаги к минимизации непреднамеренных изменений в возможностях AI.

3. Доступность для анализа. Разработка и развертывание AI в Министерстве обороны США будет прозрачной, основанной на проверяемых методологиях, источниках данных, процедурах проектирования и документации. Персонал должен иметь надлежащее понимание технологий, процессов разработки и методов работы, применяемых при этом.

4. Надежность. AI найдет четко определенное применение, безопасность, надежность и эффективность которого будут подлежать проверке.

5. Управляемость. Министерство обороны США будет проектировать и разрабатывать возможности ИИ для выполнения их намеченных функций, обладая способностью обнаруживать и избегать непреднамеренных последствий, а также способностью отключать или деактивировать развернутые системы, которые демонстрируют непреднамеренное поведение.

А каким документом вводятся подобные принципы?

К чему они ближе к ТБ или разного рода принципам наподобие "Этики судьи"?

Т.е. они получат какую-то дополнительную нормативно-правовую базу с фиксируемой ответственностью или бла-бла-бла?
От astro~cat
К damdor (29.02.2020 11:47:05)
Дата 04.03.2020 16:58:26

Re: Скайнет не...

Добрый день, уважаемые.
>Т.е. они получат какую-то дополнительную нормативно-правовую базу с фиксируемой ответственностью или бла-бла-бла?

Бла-бла для телепузиков! И коды прямого доступа совсем не панацея, существует немало методов их обхода или блокировки. По сути они сейчас принимают принципиальное решение пущать или нет ИИ в военное дело. При этом прекрасно понимают, что контроль будет принципиально ограниченным, а в перспективе будет вообще утерян. А документ представленный есть обычная отмазка типа "мы уверенно попытаемся, но ничего точно не гарантируем"...

А вообще принципиально-глобальными набросками вся эта электронная эволюция вооружений читалось еще у дедушки Лема в чуть не полвека назад(1984) вышедшей книжке с пафосным названием "Мир на Земле". Существенных расхождений с предсказаниями деда пока нет.
Вот один вопрос меня до сих пор интересует и остается неизвестным, кто ж у него был консультантом по науке, ведь область затронутого знания все-таки довольно далека от его основной квалификации доктора и никаким, даже отдаленным, боком с медициной не соприкасается. Это ж какой умище-то среди поляков остался неизвестным...

С уважением, кот.
От digger
К damdor (29.02.2020 11:47:05)
Дата 04.03.2020 16:30:17

Re: Персонал министерства обороны США будет

Скорее как в прошлые разы : главный профит - обвинять противников в негуманности их оружия и оправдывать свою агрессию.
От Estel
К damdor (29.02.2020 11:47:05)
Дата 29.02.2020 13:04:51

Больше интересно, как они собираются это всё обеспечивать?

>1. Ответственность. Персонал министерства обороны США будет проявлять надлежащий уровень здравомыслия и внимательности, будучи ответственным за разработку, развертывание и использование возможностей AI.

"И если Родина прикажет мне сделать самолёт, летающий на коньяке..." Насчёт здравомыслия и внимательности есть большие вопросы. Особенно после полёта с ёмбами.

>2. Беспристрастность. Министерство обороны США предпримет шаги к минимизации непреднамеренных изменений в возможностях AI.

К минимизации, а не к исключению. Само по себе прекрасно.

>3. Доступность для анализа. Разработка и развертывание AI в Министерстве обороны США будет прозрачной, основанной на проверяемых методологиях, источниках данных, процедурах проектирования и документации. Персонал должен иметь надлежащее понимание технологий, процессов разработки и методов работы, применяемых при этом.

Прозрачной для кого? Разработчиков конечного кода? В жизни не поверю. Не было такого и никогда не будет.

>4. Надежность. AI найдет четко определенное применение, безопасность, надежность и эффективность которого будут подлежать проверке.

А кто проверять будет? Те же, кто пишет? Или с помощью прозрачности отдельный отдел тестеров?

>5. Управляемость. Министерство обороны США будет проектировать и разрабатывать возможности ИИ для выполнения их намеченных функций, обладая способностью обнаруживать и избегать непреднамеренных последствий, а также способностью отключать или деактивировать развернутые системы, которые демонстрируют непреднамеренное поведение.

Т.е. по сути, заранее все предупреждаются, что последствия будут. Но типа, у нас будет рука на пульсе, ага.

>К чему они ближе к ТБ или разного рода принципам наподобие "Этики судьи"?

Скорее к антинаучной фантастике.
От bedal
К Estel (29.02.2020 13:04:51)
Дата 29.02.2020 19:51:43

Прозрачность - отдельная тема, интересная и глубокая


>>3. Доступность для анализа. Разработка и развертывание AI в Министерстве обороны США будет прозрачной, основанной на проверяемых методологиях, источниках данных, процедурах проектирования и документации. Персонал должен иметь надлежащее понимание технологий, процессов разработки и методов работы, применяемых при этом.
>Прозрачной для кого? Разработчиков конечного кода? В жизни не поверю. Не было такого и никогда не будет.
Речь идёт о том, что при работе с нейросетями можно получить результат, но нельзя получить строгое объяснение, почему результат именно таков. Прямо как у людей :-), но с людьми это типа терпимо, а с компьютером нельзя.
Есть направление разработки нейросетей, из которых можно получать промежуточные вменяемые результаты. Но такие сети намного, в разы и на порядки, больше потребляют вычислительных ресурсов или, что то же самое, очень медленно работают.

На самом деле всё ещё хуже: дело идёт к тому, что настоящие решения в перспективе будут вырабатываться на квантовых компьютерах, а там промежуточные пояснения невозможно получить теоретически.

Думаю, что тамошние специалисты всё это прекрасно понимают - но, применяя AI в вооружениях, они обязательно столкнутся с критикой "машина бесконтрольно убивает человека". Потому - приходится хотя бы на уровне деклараций заявлять "мы контролируем всё".
От Митрофанище
К Estel (29.02.2020 13:04:51)
Дата 29.02.2020 18:08:30

И у кого будут коды прямого доступа - в виде исключения, как все мы понимаем

На всякий пожарный (с)