Зеркало в MAX -- https://mxg.su/pentest_mozga
Бывший "Засор Пайплайна". Дурацкие истории про дурацкие идеи, душные статьи про пси-профессии и разборы нейромракобесия из интернетов.
Запись на сессию -- @zlaya_baba
Зеркало в MAX -- https://mxg.su/pentest_mozga
Бывший "Засор Пайплайна". Дурацкие истории про дурацкие идеи, душные статьи про пси-профессии и разборы нейромракобесия из интернетов.
Запись на сессию -- @zlaya_baba
В продолжение предыдущего поста, попробуем осознать, как исходя из реальных человеческих возможностей внедрить человека на игровое поле ИИ (спойлер -- кинуть туда и убежать).
Четыре базовых величины, от которых мы можем отталкиваться -- это количество людей на эту роль, объем контекста (включая подсказки), время принятия одного решения и рабочие часы.
Любой HITL начинается с нулевого вопроса, который не про HITL. А про архитектуру самого проекта. Какую задачу решает, как устроен, и где проходит граница доверия. Граница доверия формируется исходя из того, до какой поры вы могли бы оставить без присмотра своего электронного ИИ-джуна, очень инициативного, но иногда несущего бред. Можно разлениться уже на этом этапе и нанять ИИшку для очерчивания границ. Этот этап придется столько раз переделывать, что вы всё равно в конце поверите, что сделали это сами.
1 этап: работаем с приоритетами. Находим и сортируем точки контроля по риску. Риск определяется ценой ошибки ИИ: самозабвенно тратит токены, ресурсы, бесконтрольно вайбкодит и деплоит сам себя, галлюцинирует в юридически значимых местах, или что-то ещё.
2 этап: мы, имея задачу, сопоставив количество ресурсов и точек контроля можем начинать то, что любят далеко не все. Сайзинг. Смотрим, какой контекст даётся оператору, сколько запросов сыпется и как решение принимается. По сути не сильно отличается от отладки алертов.
3 этап: когда наконец в цепочке появился первый подопытный страдалец, можно начинать смотреть соотношение отказов и согласий. Пункт со звёздочкой -- повторяющиеся сценарии можно автоматизировать. Исключение составляют юридически значимые результаты, которые без оглядки на удобство просто обязан отсматривать человек.
4 этап: фиксируем, что получилось. Проверяем, что не один и тот же человек и придумал HITL, и риски посчитал и сел за стол оператора, а это сделали несколько пар глаз. И хотя бы одна отличная от оператора пара глаз посмотрела статистику в динамике и показала, где не хватает напильничка.
Так вот очень просто и легко сейчас внедряется HITL, чтоб доказуемо, с рисками, блэкджеком и тотальным счастьем. В реальности -- со скрипом, ошибками, вообще не так, но по факту по описанным выше шагам (из-за всплывающих косяков вас просто будет бросать с четвертого этапа на любой другой и по многу раз). Каков вопрос, таков и путь.
Канал «Пентест головного мозга» подключен к сервису MaxGate. Контент автоматически синхронизируется между Telegram и мессенджером MAX.
«Пентест головного мозга» - канал из категории «Нейросети», подключенный к сервису кросспостинга MaxGate. Публикации канала синхронизируются между Telegram и мессенджером MAX, а на этой странице собраны ссылки на обе версии канала.
Сейчас у канала 467 подписчиков суммарно в Telegram и MAX. За последние 30 дней в истории MaxGate учтено 12 публикаций, поэтому перед подпиской можно оценить не только размер аудитории, но и регулярность обновлений.
Чтобы подписаться, используйте кнопки «Открыть в MAX» и «Открыть в Telegram» в верхней части страницы. У отдельных постов ссылка может быть доступна в обоих мессенджерах или только в одном из них, если MaxGate получил такой URL из истории обработки.
Знаете, какие контроли в ИБ стандартах самые саботируемые? Контроли про контрольные процедуры. И я не буду сильно возбухать на этот счёт, контроль создавался не для того, чтобы его любили.
Внедрить контрольные процедуры по тревожному сценарию -- получим вахтёра мечты. Внедрить по пути "не мешать бизнесу расти" -- с высокой вероятностью получим профанацию. И не успели мы разобраться, где вообще ставить точки контроля в более простых условиях на простых высоконагруженных системах (SIEM, IDS/IPS, WAF), нам подкинули теперь и HITL для ИИ. Ну чтоб не расслаблялись.
HITL -- это "human in the loop", человек в контуре. Хотя у ИИ и не контур даже, а игровое поле большой языковой модели, которое и само постоянно меняется, и на которое по какой-то тактике уже сейчас надо расставить фигуры.
Меня уже несколько раз спрашивали: "Юль, а как по уже вышедшей нормативке должен внедряться этот HITL?" Вероятно, ожидая, что хотя бы в стандарте ISO 42001 есть ответ, но там его, увы, нету.
Пропустив стадии отрицания, торга, и злобабного вопроса "чаво не понятно, вот же буквами написано -- его надо иметь!", начинаем думать, куда поставить громоотвод. Громоотвод -- потому что модель накосячила, а разбор один: "ну у вас же был человек, который должен был проверить". А в реальности у человека было 4 секунды на решение, сырой интерфейс и ноль контекста, кроме "одобрить/отклонить".
Если у вас внедрён ИИ и есть HITL -- посчитайте, сколько времени реально есть у человека на решение. И какую реально задачу человек с такими вводными решает: контролирует, прикрывает ИИ или что-то ещё.
Поэтому с этого поста -- правила канала.
Комменты это не психогруппа и не приёмная коуча, где есть пространство разобраться, поэтому баню за:
— непрошеные диагнозы читателям или автору ("у тебя точно...", "тебе пора признаться") без релевантных ссылок и источников
— долженствования в адрес чужой жизни ("надо просто", "давно пора"), если только вы не хотите этот совет разобрать
— советы, которых не просили, поданные как разбор чужой личности, а не текста
— уверенные выводы о доходах, достижениях, компетенциях, характере или личной жизни любого участника на основе одного комментария
— традиционно срачи и оскорбления.
Разбор тезисов, спор по существу, несогласие с аргументами, разовый заход "не читал, но осуждаю" -- это всё живёт и приветствуется. Переход на личности -- нет.
А вот с диким самосаботажем, желанием напихать в панамку из-за сильнейшего ощущения неправильности происходящего всегда можно постучаться ко мне в личку @zlaya_baba на установочную.
Настоящие эксперты носят маски шипами внутрь
Троллей с форумов мы помним, знаем, нежно любим, они испокон веков вносили свое полезное, неразумное, недоброе и вечное и обучали неокрепшие умы отстаивать границы. И их монологи о том, кто ты на самом деле -- посредственность, лентяй, человек, который просто прячется за диагнозами. Форма всегда одинаковая: уверенный тон, ноль "мне кажется", много "объективно" и "тебе пора признаться".
Зачем прятаться за ником (маской)? Ник снимает единственную цену, которую обычно платят за публичное морализаторство -- риск, что тебе ответят тем же и попадут точно (твори ***ню, мы здесь проездом). Без лица диагноз ставится бесплатно, никакой ответ не зацепится за биографию, за нее не предъявят. Удобно ровно настолько, насколько неудобно быть неправым на виду у людей, которые тебя знают.
Забавно, что в собеседника это даже зачастую и не направлено. Когда человек в деталях расписывает, как правильно распределять ресурс, искать работу и переставать смотреть шортсы -- это флаг (ну кроме того случая, когда он реально с этим работает). В остальных -- скорее всего список не сработал в своей собственной жизни. Фраза "тебе давно пора признаться" может значить, что признаться в чем-то больном наверняка пришлось автору. Это не предъява в стиле "сам дурак", нет, это четкий алгоритм: что-то в посте взгрело и сподобило на атаку без критики. При этом ощущения внутри там вообще не сахар, ибо человек не лезет с боем защищать свое мнение, когда всё в порядке.
Чаще всего срабатывают два разных механизма. Первый -- имиджевая компенсация: в реальной жизни быть человеком с ресурсом и результатом не вышло, и роль всезнающего эксперта в комментариях закрывает эту дыру не хуже настоящих достижений, проверить-то нечем. Второй тоньше: в голове система построена абсолютно правильно, ресурс ограничен, приоритеты решают всё, нужен какой-то план. Теория звучит здраво, но гадина такая не работает в применении к собственной жизни, а список рекомендаций написан для кого угодно, кроме автора.
Я не делаю выводов по одному комментарию, а смотрю, что будет если позицию прижимают вопросом или если нашли логическую нестыковку. Если человек действительно отстаивает тезис, он либо защищает его точнее (аргументирует), либо признаёт дыру. Морализаторство при прямом вопросе не чинит аргумент, а меняет его, сохраняя тон неизменным. Вместо ответа на конкретную нестыковку появляется новый тезис, сказанный с той же уверенностью, что и предыдущий, будто провала в логике не было вовсе. Вместо точности ответа растет его длина и громкость.
Отказ удерживать один аргумент под вопросом, не признавая манёвра и не теряя интонации всезнающего -- это уже не про содержание спора вообще. Это оборона позиции любой ценой, где сама позиция вторична, а первична потребность не оказаться неправым на виду.
В обоих случаях адресат критики выбран не за то, что был в чем-то неправ. Он выбран за то, что оказался рядом и написал вслух то, что вызвало сопротивление и импульс выгулять анонимное пальто.
Поставим на повтор переосмысленный золотой совет эпохи ЖЖ "не кормить тролля". Кормить не имеет смысла аргумент, который "тролль" держит, потому что тезис меняется под вопрос быстрее, чем на него успевают ответить.