Знакомство со взглядом социолога: почему за каждым «умным» решением стоит сборка из людей, кода, серверов и регламентов.
Стартовая диагностика · 90 секунд на человека
Собираем на доске и не комментируем · доска понадобится нам ещё дважды, на неделях 2 и 3
Первое различение
Представился
Голосовой помощник с именем и голосом, чат-бот с аватаркой, надпись «ответ сгенерирован ИИ». Мы знаем, с чем имеем дело, и можем отнестись к этому критически.
Работал тихо
Порядок ленты, скоринг заявки, фильтр спама, отбор резюме. Решение состоялось, а точка, в которой можно было бы возразить, не была обозначена.
Второй столбец — источник почти всех тем этого курса
Три ловушки
Каждая мешает по-своему: первая прячет авторов решения, вторая переносит разговор в будущее, третья выдаёт доверие за интонацию.
«Оно само!» Решение приписывается системе целиком. Вопрос о том, кто задал цель и порог срабатывания, просто не возникает.
«Захватят мир». Разговор уходит в далёкое будущее, а конкретный отказ в кредите сегодня остаётся неразобранным.
«Он же такой милый». Уверенный тон принимается за компетентность. Самая дорогая из трёх ловушек — к ней вернёмся на неделях 6 и 9.
ИИ — это не робот из кино и не умный собеседник. Это сборка из людей, кода, серверов, законов, продакт-менеджеров и регламентов.
Большая идея курса · мы научимся её видеть
Из чего собрана система
Техническая часть не отделена от социальной: её цели, данные и последствия формируются в отношениях между людьми и организациями.
Отобранные записи о событиях и людях. Кто-то решил, что записывать, а что нет.
Правило преобразования признаков в результат: балл, категорию, ранг.
Как результат показан человеку: лента, балл, уведомление, флажок, отказ.
Что сотрудник или платформа делают с этим результатом дальше.
Закон, внутренние инструкции, рыночные стимулы, культурные представления.
Доверие, отказ, обход, адаптация поведения, жалоба или молчаливое принятие.
Разбор вживую
Система отметила перевод как подозрительный. Разложим один флажок на всю цепочку.
Классификация по признакам: сумма, время, маршрут, устройство, история операций.
Кто выбрал набор признаков и что счёл нормальным поведением.
Банк решает: блокировать сразу, задать вопрос, передать сотруднику или пропустить.
Здесь и лежит основная развилка. Модель одна — последствия разные.
Понятно ли, почему операция остановлена, и можно ли быстро подтвердить её законность.
Кто спроектировал процедуру возражения — и спроектировал ли вообще.
И что происходит с человеком после этого решения.
Рабочий инструмент
Они не заменяют друг друга. Остановиться на первом — значит поверить, что система автономна.
Что видит человек: кнопку, рекомендацию, предупреждение, рейтинг, отказ.
Какие признаки используются, чему система училась, что считает нормальным и подозрительным.
Кто заказал систему, кто внедрил, кто получает выгоду, кто принимает решение по результату.
Какие законы, рынки, нормы и неравенства делают систему возможной и задают её последствия.
Семинар · разбор кейсов
Чат-бот пообещал пассажиру условия, которых у авиакомпании не было. Вопрос семинара: кого судили и кто в итоге отвечал за слова бота.
Чат-бот за сутки научился ругаться. Вопрос: чему именно он научился, у кого, и кто решил выпустить его без ограничений.
Алиса или Маруся иногда «звучит странно». Вопрос: это дефект распознавания или следствие того, какой тон продукт считает нормой.
Держим норму 2: что известно из открытых источников, а что мы достраиваем сами
Работа в группах по три
Группа выбирает один из трёх разобранных случаев и работает только с ним. Не «ИИ вообще», а этот конкретный.
Пользователь, бот, компания, программисты, журналисты, юристы, законы. Один участник — один стикер.
Через две недели вернёмся к этой же доске и перепишем её словами «актор», «чёрный ящик», «ситуативное действие».
Слово «актор» сегодня не произносим — оно появится на неделе 2
Словарь на весь семестр
Их не надо заучивать. Их надо уметь применить к своему случаю.
Одна рамка на три разных случая
Слово «ошибка» означает здесь три разные вещи — в зависимости от последствия и процедуры.
Что и в каком порядке показать.
Цель удержания внимания, сигналы поведения, альтернативы, которых вы не увидели.
Кто отвечает за дизайн ленты и за последствия усиления контента?
Какой уровень риска присвоить.
Прошлые практики, признаки-заместители, цена ложного срабатывания.
Кто разрешил использовать вероятность как основание для отказа?
Допустимо изображение или нет.
Норма «приемлемого», контекст, культурные различия, процедура пересмотра.
Кто сформулировал правило и кто исправляет ошибку?
Чего социологический анализ делать не должен
Система автономна технически, но у неё нет человеческих целей. Говорим точно: «модель классифицировала», «организация связала результат с отказом».
Неравное последствие не всегда дискриминация по замыслу. Оно бывает следствием неполных данных, неверной категории или отсутствия контроля.
Публикация описания модели не помогает человеку, который не может исправить данные по своему случаю.
Вопрос не «ИИ хорош или плох», а «при каких условиях эта система оправданна, проверяема и оспорима».
А в том, что организация связала вероятностную оценку с необратимым решением и не предоставила понятной процедуры возражения. Хороший вывод не обязан быть окончательным — он обязан быть устроен вот так.
Словарь недели 1
Самопроверка
Если на все шесть отвечаете уверенно — вы готовы к неделе 2.
Почему рекомендация в ленте может быть социальным решением, хотя выглядит технической функцией?
Чем данные отличаются от нейтральной фотографии реальности?
В чём разница между ошибкой модели и проблемой организации, которая её использует?
Что именно делает ситуацию чёрным ящиком — сложность или отсутствие процедуры?
Почему распределённая ответственность не означает, что отвечать некому?
Где в мини-разборе вы ждёте наибольшую трудность и почему?
Домашняя работа · дедлайн воскресенье
Как отличить одно от другого
Начальный уровень
Есть моральная оценка технологии. Нет решения, нет предполагаемых данных, нет последствия, нет различения формальной и реальной возможности возразить. Ответственность целиком передана компании одним словом.
Уверенный уровень
Вероятно, использовались история просмотров и длительность остановки. Последствие — сужение информационной среды. Скрыть ролик можно, оспорить саму гипотезу о вашем интересе — нет. Ответственность распределена по функциям.
Оценивается качество рассуждения, а не позиция «за» или «против» ИИ
На следующей неделе мы получим слово, которым эти участники называются, — и обнаружим, что половину из них сегодня забыли.