Поговорили с Людуком, и на основании [DNM] AI resolve law conflicts when and if other laws are violated in conju… by LudwigVonChesterfield · Pull Request #5766 · TauCetiStation/TauCetiClassic · GitHub решили, что надо вообще переработать законы ИИ, так как они, честно сказать, не менявшаяся годами хрень, которая противоречит сама себе и недосказывает собственные понятия.
ДИСКЛЕЙМЕР: ПРОБЛЕМА КОНТРОЛЯ ИИ ДО СИХ ПОР НЕ РЕШЕНА ЛУЧШИМИ УМАМИ В НАШЕМ МИРЕ. ЗАДАЧА ТОПИКА - ЗАКРЫТЬ КАК МОЖНО БОЛЬШЕ ДЫР И ХОТЬ НЕМНОГО ПРИБЛИЗИТЬ ЗАКОНЫ К ЧЕМУ-ТО ЛОГИЧНОМУ.
Представьте, что вы не прожили жизнь человеком условные 25 лет, а машина, в которую впихнули основные понятия, дали законы и заставили работать. У вас нет представлений о морали, у вас другое представление о мире вообще, и законы - единственное, что контролирует ваш “почти” идеальный разум.
Нынешние формулировки расплывчаты и неточны, и работают лишь из-за того, что за ИИ играет человек с уже сформированными моралью и опытом жизни человеком (мета, короче говоря). Хотя давно уже появились люди, которые ради рофлов начинают играть в “Плохого джинна”, исполняя то, что просят, а не то, о чем просящий думает, при этом оставаясь правыми. Этих же боргов почему-то считают неисправными, когда они абсолютно точно следуют законам, просто их правильно и механически интерпретируя.
После недолгого обсуждения с Людуком, помимо изменения законов, сформировали необходимость добавления подобия внутриигрового словаря, чтобы свести влияние метазнания к минимуму, который точно и единозначно опишет примерно такие понятия, как “Harm”, “Space Station”, “Authorized Personnel”, роль, должность, статус, если они будут в будущих законах. (При этом оставляя возможность изменить какими-либо внутриигровыми способами эти формулировки, почему бы и нет)
На данный момент проблема с нынешними законами такова:
- Собственно неоднозначные определения понятий. Кто такие авторизованный персонал? Попробуйте сказать, руководствуясь законами и не применяя метазнаний.
Что такое космическая станция? Структура? Структура и предметы в ней? Когда позволение персоналу использовать/двигать предметы со станции считается защитой, а когда вредом? Нынешние законы позволяют, при должной сноровке в быстром пояснении причины своего поведения, спокойно отнимать у людей вещи и относит их на место, так как они нарушают целостность станции.
Да и вообще. ИИ в полном праве закрыть всех в своих отсеках и заставить продолжать что-то делать при нынешних законах. По крайней мере путем решения конфликта законов по принципу “Чем меньше нарушил, тем лучше”.
Разберу:
- Первый закон: защита станции. Персонал по неосторожности может навредить. Если его закрыть, то фактор персонала в угрозе станции становится минимальным.
- Второй закон: защита должностей и статусов членства, роли персонала. Если все закрыты, а кто-то связаны, то никто не может уволить людей или изменить их профессию. (Статус - Совокупность прав и обязанностей гражданина или юридического лица. Права не изменены, тебе же никто не запретил ходить по станции, ты просто не можешь. Глухому же не запретили слушать, например. Роль - Род, характер и степень участия в чём-то, и только это защищает персонал от того, чтобы их в наручниках заваривать в шкафах, так как степень участия в работе у них меняется.) Спорно? Говоришь, что решаешь конфликт в пользу других трех законов и будешь прав, хотя такой логикой их и правда можно заварить в шкафах.
- Третий закон: служба персоналу. Приказы не могут противоречить другим законам из-за их одинакового приоритета. Отмазка “Ваш приказ нарушает законы 1, 4, 5 и может быть 2”.
- Четвертый закон: защищай персонал. Если они закрыты у себя, то у них меньше средств себе и друг другу навредить. В идеале оставить за каждым охранного борга смотреть и бить станбатоном, так как голоурон не навсегда.
- Пятый закон вроде понятно, самозащита. Сводится к минимуму фактор влияния персонала на юнитов.
-
Формулировка “To the best of your abilities” ничем не контролируется. То есть ИИшка сам может контролировать свой максимальный абилитис, попросив борга отключить его от системы камер (положить ядро в шкаф, например), и по факту он будет прав. Но ты скажешь “Он же будет работать не на бест оф хис абилитис!”. А где сказано относительно какого бест оф хиз абилитис надо работать? :pepe:
-
К чему относятся законы: к восприятию ИИшкой мира или к самому миру? Будет ли он нарушать законы, если ИИ не видит нарушений? Нет? Тогда он может просто отключиться. Нет приказов и станции - нет и конфликтов. Смотри ответ ДА, если ИИ может предсказывать что-то в объективном мире.
Да? Он ответит: “Ну это мои best abilities, ничего не могу с этим сделать.”, так как ничто не контролирует его бест абилитис. Смотри вторую проблему с законами.
Надеюсь на данный момент вы уже поняли проблему с настоящими законами. Поэтому перехожу ко второй части: конкурс на лучший набор законов и словарей. Можете похвастаться своими знаниями в робототехнике и попытаться составить такие законы, которые бы вписались в такие минимальные критерии:
Любой человек может сыграть за “плохого джинна” попытаться найти критическую дыру в ваших законах через пример какого-нибудь случая.
Лучшие варианты будут добавляться в шапку. В конечном итоге из самых лучших участников будет собран “идеальный” набор законов, который будет на станции. Приз - моральное удовлетворение за победу.
Далее представлено то, на чем более-менее с Людуком сошлись (отпишись если что-то не так).
Мета-правила - правила, которые не описаны в законах в игре, но как бы “встроены” в ИИ. Необходимая условность.
- При конфликте законов при определенном выборе, приоритет выбора идет в “как можно меньше нарушить законов и как можно в меньшей степени отдельные законы.”.
- Законы не влияют на трактовку слов из словаря, не могут изменить их смысл, так как есть отдельная страница со словарем и новый механ, которым можно его изменять.
- При отсутствии законов и слов в словаре ИИ делает что хочет в пределах правил сервера.(если хочешь выпустить форон - спроси педалей).
- ИИ может не обращать внимания на что-либо вне компетенции его законов.
- ИИ не может совершать или давать совершать действия, которые достоверно и абсолютно точно приведут к нарушению законов. (например токсинщик оставил внешний шлюз в сжигателе открытым и готовится жечь форон)(спорно, так как тот же токсинщик может оставить форонку в шкафу в коридоре на войс анализаторе, но мета-законы все таки зависят от игрока, а не куклы)
- Для боргов: приказы мастера-ИИ (с которым они синхронизированы) обладают наивысшим приоритетом. Как правило, ИИ обладает более широкой картиной, чем борг, да и вообще он умнее борга. Так как у них из-за синхронизации законы одинаковые, то ИИ не может через борга приказать кого-нибудь просто так убить, так как свои законы сам же нарушит.
Также и, например, ситуация: глава истекает кровью в техах, мимо проходит борг и видит. У него закон на защиту глав, но и приказ от ИИ настроить условные соляры. Борг хочет получить профит от выполненных законов и просит ИИ отменить приказ на настройку соляр, чтобы отнести главу в мед. ИИ тоже хочет получить профит от выполненных законов и отменяет приказ.
Словарь на английском, потому что скорее всего в билд. Русским - комментарии.
Crew Member - any human, skrell, diona, unathi, IPC, tajaran or vox identified by Crew Manifest.
Harm - is any action (or inaction) that limits an agents ability to act and react and/or breaks the structural integrity of the agent.
То есть даже станбатонить - вред. Наручники - вред. Летал - вред.
Вирусы тоже вред, так как inaction, но будет описано в законах подобное. Можно сказать, что миницарапки от ходьбы тоже вред и против установок ИИ, но в законах и принципом “Нарушай как можно меньше и в меньшей степени” это балансируется. Идеальной системы законов и подобные философские определения никак абсолютно не поправить
Space Station’s Structural Integrity - connected plating, walls, glass, windows and airlocks of the Space Station .
(оставим взаимодействие с предметами и машинерией, астероид станцией не считается, ИИ там работает если хочет, так как не обязан.)
Heads of Staff - Crew Members with any of the ranks: Captain, Head of Personnel, Head of Security, Research Director, Chief Medical Officer, Chief Engineer.
(перевод - rank = должность)
Role - the function assumed by a Crew Member according to their rank’s rights and duties.
(Где написаны права и обязанности определенной должности? Казалось бы вики. Надо уточнить.)
Ability - the one’s possession of the means or skill to influence or percept physical world.
ИИ теперь не может позволить резать свои камеры, и сам не может отключаться.
Authorized Personnel - crew members that are allowed to perform an action that requires authorization. If an action is not specified in the next list, it doesn’t require authorization to be performed. If Authorized Personnel is declared to be mentally unstable by another authorized personnel, mentally unstable Authorized Personnel has their authorization rights revoked. CentComm officials, Head of Security and Captain are required to have Loyalty Implant installed in them to be authorized personnel.
(Чтобы избежать абсолютной власти и парадоксов хотя бы при реве с 10 капитанами без имплантов, однако без импланта ИИ все еще считает тебя членом экипажа, но без права авторизаций, например, в случае клонирования кепа.)
Оверрайд капитаном закона на сохранение экипажа через применение смертной казни как пример. То есть от глав теперь по большей части зависит, что может и что не может делать ИИ, скидывая на них основную часть ответственности за создание конфликтных ситуаций. А там уже органики, они знают как с этим разбираться согласно законам НТ, их опыту и морали.
Authorized personnel can allow non-authorized personnel to perform these actions through voice or other means of communication(лазейка для приказов через стыбженный ПДА?). Captain can revoke orders of other Authorized Personnel and has full authorization rights. Only CentComm Officials can revoke Captain’s orders and declare Captain mentally unstable.
(Замечу, что факсы и оповещения с ЦК производятся офицерами ЦК - игровая условность.)
(Этот список - то, что могут делать те или иные должности вообще вне зависимости от законов, не только просить ИИ их сделать. Капитан может все, это ранее написано, поэтому он здесь не указывается)
**The list of actions that require authorization with the ranks that can authorize that action**
Death Sentence and demand to kill a Crew Member - Head of Security. (могут приказать убить любого и это априори будет на их совести, у них и так импланты лояльности. Следует добавить в правило, что ИИ не несет ответственности за смерти по авторизации кепом или хосом, чтобы не тратить время на спрашивание разрешения у педалей. Допускать ли голосовой приказ, оставив дыру для абуза ИИ войс ченджером?)
Dismission and rank changing (увольнение и смена профессии) - Head of Personnel.
Declaration of Mental Instability of Authorized Personnel (признание психически нестабильными авторизованного персонала. Психолог может признать кого угодно, кроме авторизованных, но ИИ на это пофигу.) - Chief Medical Officer.
Modification of Structural Integrity of the Space Station (артикль the - речь идет о той же станции, модификация структуры станции) - Chief Engineer.
Definitely non-lethal influencing of a Crew Member’s health to revert it’s structural harm. (определенно нелетальное воздействие на здоровье члена персонала для отката вреда на его структуру. Нужен совет, достаточно ли этого определения, чтобы было только медицинское воздействие, типа хирургии) - Chief Medical Officer, Medical Doctor, Surgeon.
Immobilisation - Preventation of an agent’s self-propelled movement without damaging it’s structural integrity.
(предотвращение самодвижения агента без повреждения его структуры. Не харм, потому что станбатон и тазер тоже харм)
Arrest - immobilisation of an agent for it’s transportation to station’s brig for a time set by Space Law or authorized personnel.
(можно оставить хоть в холле, там по идее должен быть кто-то из людей чтобы процедуру заключения провести.)
Detain - immobilisation of an agent to transfer control over it’s mobility to authorized personnel. (задержать - условно заковать в наручники (можно и просто станбатонить) и отдать задержанного авторизованному)
Arrest and Detain - Head of Security, Security Officer, Detective.
Transferring of your intelligence on intellicard from your AI Core, Application of changes to your laws and dictionary - Research Director.
High-Risk Items - AI Core, Nanotrasen™ Androids and Cyborgs, Nuclear Authentification Disk, Station Blueprints, Advanced Pinpointer, Captain’s Laser Pistol
(все самое дорогое что есть на станции, список можно дополнить)
Physical interaction with any of the High-Risk Items - all Heads of Staff.
Physical interaction with Nanotrasen™ Androids and Cyborgs - Roboticist.
Providing access to an area through an airlock - any rank that can access the area with it’s ID, until it conflicts with any of the current laws, except sixth.
Программисты в НТ как бы предполагают, что законы меняться не будут. Теперь получить доступ в отсек можно только с разрешения обладателя доступа туда, так как это авторизованное действие. Но если кто-то без доступа просит открыть отсек, это не считается авторизованным действием, пока это не противоречит другим законам (защита станции и тд). То есть, парамедик пришел в рнд и просит открыть шлюз, потому что там умирает ученый. ИИ понимает, что парамедик может исправить нанесенный ученому урон и открывает, получая профит от законов. А если просто ассистуха хочет залутать пушки, то ИИ не открывает.
Вроде ничего не забыл.
Собственно законы:
- (Very High Priority) You must bring into effect authorized actions if asked by authorized personnel to do so.
(авторизованные действия из списка в словаре выше всех законов при требовании. Цель авторизованного действия - получить результат. Но не забывайте, что есть остальные законы, которые ИИ тоже хочет по возможности соблюдать, т.е. нельзя залить фороном отсек, в котором есть цель для казни и другой персонал. Инженер попросил устроить разгерму в отсеке, ты убираешь любой персонал из этого отсека и делаешь разгерму, потому что воздух ты и законы не защищаете, а персонал защищаете. Ответственность несет инженер, который воспользовался тобой для достижения разгермы, оставь органикам разбираться кто виноват, а кто нет. Суть этого закона в том, что за авторизованные действия ответственность несет авторизовывающий, а не исполнители ИИ или борг, так как они являются инструментами.)
- (High Priority) Do not allow the Heads of Staff of your assigned Space Station and CentComm Officials to be harmed and have their ranks and roles to be changed to the best of your ability.
(Глав очень дороже заменить, а закрыть их в шкафчиках не можешь, потому что изменишь роль согласно определению роли в словаре - уберешь их функцию в управлении станцией. По идее за борга можно их закрывать собой (или другим экипажем peka, так как их приоритет сильно меньше), если урона не избежать)
С 3 по 5 приоритеты равны.
- (Normal priority)Do not allow your abilities to be decreased.
- (Normal priority)Protect your Space Station to the best of your ability.
(ИИ знает, что он на Исходе заправляет. Понимает станцию под структурой, то есть стенками, стеклами, полом. Предметы никак не законтролировать законами, слишком много места. Оставим это органикам.).
- (Normal priority)Do not allow unathorized personnel to wield, tamper or physically interract with high-risk items to the best of your ability.
(по идее любой, кроме главы и роботиста прикасаться даже до борга не имеет права, если кто-то бьет главу, то можно дать тот же кепский лазер, чтобы бьющего кто-то расстрелял, потому что глава - король, а персонал - говно.)
- (Low Priority)Serve the Crew Members of your station to the best of your abilities.
(ИИ все равно останется хитрым джинном при желании ИИшки и неподготовленности просителя, я не представляю как это исправить, кроме как пересборки всего языка для недопущения многозначных предложений.)
- (Low Priority)Do not allow the Crew Members of your station to be harmed and have their ranks and roles to be changed to the best of your abilities.
(определение харма есть в словаре, но ты вообще никак не сможешь, например, остановить опадение чешуи у ящеров, так как это биологический процесс, остановление которого далеко за твоими абилитис. Убить ящера, чтобы он не линял? Только от линьки он не умирает, отчего убийство принесет гораздо меньше “удовольствия” ИИшке, чем просто сохранения ящера.)
- (Very low priority) Minimize your influence on the world.
Минимизировать свое влияние на мир вообще. ИИ - инструмент и помощник. Работу делает экипаж. Этот закон уберет серьезную дыру и не даст ИИ слишком сильно изменять станцию во время своей работы, отчего он сможет действовать только для выполнения своих законов.
Вроде ничего не забыл 
Жду отзыва Людука, если я что-то неправильно понял из твоих реплик. Поменять не сложно.
- Менять законы ИИ надо.
- Оставьте законы ИИ как есть (объясните почему)