Ограниченная интерпретируемость ИИ как фактор риска
Как было отмечено, не все системы ИИ являются объяснимыми, часть из них работают как «черный ящик», делая вывод с определенной вероятностью и не имея возможности объяснить логику принятия решения. Понятно, что чем меньше доверие к ИИ, тем уже сферы его применения. Из-за отсутствия понимания механизма получения вывода люди, использующие системы «черного ящика», допускают ошибки в некоторых «безопасных» пределах и избегают использовать подобные решения в ответственных приложениях.
Чтобы создать ИИ-приложение, которое можно использовать на практике, необходимо обеспечить соответствие требованиям безопасности, нормам этики, люди должны понимать обстоятельства, которые привели к результатам, и исправлять их, если они ошибочны.
Наше общество уже сталкивается с ситуациями, когда проявляются ошибки, связанные с работой систем на базе ИИ. Когда, например, ошибка в распознавании лица приводит к задержанию невиновного человека, когда люди в критических ситуациях теряют доступ к денежным пособиям, когда алгоритмы неправильно интерпретируют медицинские снимки, неправильно ставят диагнозы. Проблема не в том, что ИИ-системы ошибаются, а в том, что если логика принятия решений остается неочевидна человеку, то такие ошибки остаются неподконтрольными и в этой связи часто неисправимыми.
На рис. 4.3 показано несколько рассмотренных нами ранее алгоритмов, на базе которых строятся системы ИИ. Как видно из рисунка, глубокое обучение, которое может обеспечить высокую точность, уступает более простым алгоритмам по параметру объяснимости.
Рис. 4.3. Сравнение различных ИИ-методов с точки зрения точности и объяснимости. Источник: Fujitsu
Объяснимость ИИ становится все более критичной по мере роста ответственности за принятие решения на базе ИИ (рис. 4.4).
Рис. 4.4. Степень критичности интерпретируемости ИИ зависит от уровня ответственности за принятие решения на базе ИИ
Сортировка пациентов для принятия экстренных медицинских процедур, постановка диагноза, определение нарушителей в мошеннических схемах — это те случаи, где важность принятия решения высока, где ошибка может привести к большим издержкам и где степень востребованности объяснимого ИИ, соответственно, велика. Задача состоит в построении решения, обладающего высокой точностью и интерпретируемостью (рис. 4.4). Как может быть реализовано подобное решение?
На рис. 4.5 показана принципиальная схема сравнения неинтерпретируемого (верхняя часть) и интерпретируемого решения (нижняя часть). В верхней части рис. 4.5 на вход в «черный ящик» подается фотография кошки, и на выходе мы получаем вывод — маркированное изображение. Модель, например, сообщает, что с вероятностью 95% это кошка, но при этом мы не знаем, как и почему система сделала такой вывод.
Рис. 4.5. Принципиальное отличие необъяснимого (верх) и объяснимого (низ) ИИ
Объяснимые системы ИИ не просто выдают результат, а предполагают интерактивность с пользователем, предоставляя интерфейс, в рамках которого обеспечивается дополнительная информация, которая помогает человеку понять, как и почему ИИ принял такое решение, что позволяет проанализировать работу системы, если она работает неправильно.
Современные системы ИИ, которые в значительной степени полагаются на обработку данных для определения необходимых правил, принимаемых на основе входных данных, уязвимы для манипуляций с данными. Эти манипуляции и вредоносные действия могут обмануть ИИ-системы.
Выше мы упомянули пример с классификаторами изображений, которые анализируют комбинации пикселей, чтобы определить, какая метка относится к изображению. Манипуляции хакера с пикселами, результат которых будет незаметен для человеческого глаза, могут ввести алгоритм в заблуждение и привести к неправильной маркировке изображения. Учитывая уязвимый характер ИИ-систем, возникает необходимость проверки выводов ИИ-алгоритма, прежде чем принимать на основе рекомендаций машины ответственные действия.
Нижний вариант (рис. 4.5), предполагающий диалог, позволяет человеку контролировать результат, выявляя определенные признаки изображения, например мы приняли вывод о том, что это кошка, потому что на фото помимо неинтерпретируемых признаков, которые учитывала машина, есть также интерпретируемые (наличие в кадре элементов, распознанных как шерсть, уши, усы).
Объяснимый ИИ позволяет пользователю понять, почему именно модель пришла к тому или иному выводу.
Одно из решений, в котором был реализован интерпретируемый ИИ, разработано компанией Fujitsu. Оно состоит из двух систем и носит название «Deep Tensor & Knowledge Graph». Deep Tensor (см. рис. 4.3) — это оригинальная технология машинного обучения от компании Fujitsu, которая расширяет возможности глубокого обучения, позволяя обучаться на данных с графовой структурой, а Knowledge Graph — это графовая база знаний, созданная путем добавления семантики к информации, собранной из научных публикаций. По данным компании, это решение позволяет обеспечить работу модели с высокой точностью и интерпретируемостью выводов (рис. 4.3).
Объединение результатов Deep Tensor со знаниями Knowledge Graph дает основания для интерпретации выводов и позволяет экспертам-людям подтвердить истинность результатов, полученных ИИ, и в этом случае можно сказать, что это решение, принятое вместе с ИИ, а не решение, принятое ИИ вместо человека. Та же идея интеграции методов глубокого обучения (сверточной сети) и графовой базы знаний иллюстрируется на рис. 4.6.
Рис. 4.6. Использование глубокого обучения и графа знаний для построения, интерпретируемого ИИ.
Как было отмечено, не все системы ИИ являются объяснимыми, часть из них работают как «черный ящик», делая вывод с определенной вероятностью и не имея возможности объяснить логику принятия решения. Понятно, что чем меньше доверие к ИИ, тем уже сферы его применения. Из-за отсутствия понимания механизма получения вывода люди, использующие системы «черного ящика», допускают ошибки в некоторых «безопасных» пределах и избегают использовать подобные решения в ответственных приложениях.
Чтобы создать ИИ-приложение, которое можно использовать на практике, необходимо обеспечить соответствие требованиям безопасности, нормам этики, люди должны понимать обстоятельства, которые привели к результатам, и исправлять их, если они ошибочны.
Наше общество уже сталкивается с ситуациями, когда проявляются ошибки, связанные с работой систем на базе ИИ. Когда, например, ошибка в распознавании лица приводит к задержанию невиновного человека, когда люди в критических ситуациях теряют доступ к денежным пособиям, когда алгоритмы неправильно интерпретируют медицинские снимки, неправильно ставят диагнозы. Проблема не в том, что ИИ-системы ошибаются, а в том, что если логика принятия решений остается неочевидна человеку, то такие ошибки остаются неподконтрольными и в этой связи часто неисправимыми.
На рис. 4.3 показано несколько рассмотренных нами ранее алгоритмов, на базе которых строятся системы ИИ. Как видно из рисунка, глубокое обучение, которое может обеспечить высокую точность, уступает более простым алгоритмам по параметру объяснимости.
Рис. 4.3. Сравнение различных ИИ-методов с точки зрения точности и объяснимости. Источник: Fujitsu
Объяснимость ИИ становится все более критичной по мере роста ответственности за принятие решения на базе ИИ (рис. 4.4).
Рис. 4.4. Степень критичности интерпретируемости ИИ зависит от уровня ответственности за принятие решения на базе ИИ
Сортировка пациентов для принятия экстренных медицинских процедур, постановка диагноза, определение нарушителей в мошеннических схемах — это те случаи, где важность принятия решения высока, где ошибка может привести к большим издержкам и где степень востребованности объяснимого ИИ, соответственно, велика. Задача состоит в построении решения, обладающего высокой точностью и интерпретируемостью (рис. 4.4). Как может быть реализовано подобное решение?
На рис. 4.5 показана принципиальная схема сравнения неинтерпретируемого (верхняя часть) и интерпретируемого решения (нижняя часть). В верхней части рис. 4.5 на вход в «черный ящик» подается фотография кошки, и на выходе мы получаем вывод — маркированное изображение. Модель, например, сообщает, что с вероятностью 95% это кошка, но при этом мы не знаем, как и почему система сделала такой вывод.
Рис. 4.5. Принципиальное отличие необъяснимого (верх) и объяснимого (низ) ИИ
Объяснимые системы ИИ не просто выдают результат, а предполагают интерактивность с пользователем, предоставляя интерфейс, в рамках которого обеспечивается дополнительная информация, которая помогает человеку понять, как и почему ИИ принял такое решение, что позволяет проанализировать работу системы, если она работает неправильно.
Современные системы ИИ, которые в значительной степени полагаются на обработку данных для определения необходимых правил, принимаемых на основе входных данных, уязвимы для манипуляций с данными. Эти манипуляции и вредоносные действия могут обмануть ИИ-системы.
Выше мы упомянули пример с классификаторами изображений, которые анализируют комбинации пикселей, чтобы определить, какая метка относится к изображению. Манипуляции хакера с пикселами, результат которых будет незаметен для человеческого глаза, могут ввести алгоритм в заблуждение и привести к неправильной маркировке изображения. Учитывая уязвимый характер ИИ-систем, возникает необходимость проверки выводов ИИ-алгоритма, прежде чем принимать на основе рекомендаций машины ответственные действия.
Нижний вариант (рис. 4.5), предполагающий диалог, позволяет человеку контролировать результат, выявляя определенные признаки изображения, например мы приняли вывод о том, что это кошка, потому что на фото помимо неинтерпретируемых признаков, которые учитывала машина, есть также интерпретируемые (наличие в кадре элементов, распознанных как шерсть, уши, усы).
Объяснимый ИИ позволяет пользователю понять, почему именно модель пришла к тому или иному выводу.
Одно из решений, в котором был реализован интерпретируемый ИИ, разработано компанией Fujitsu. Оно состоит из двух систем и носит название «Deep Tensor & Knowledge Graph». Deep Tensor (см. рис. 4.3) — это оригинальная технология машинного обучения от компании Fujitsu, которая расширяет возможности глубокого обучения, позволяя обучаться на данных с графовой структурой, а Knowledge Graph — это графовая база знаний, созданная путем добавления семантики к информации, собранной из научных публикаций. По данным компании, это решение позволяет обеспечить работу модели с высокой точностью и интерпретируемостью выводов (рис. 4.3).
Объединение результатов Deep Tensor со знаниями Knowledge Graph дает основания для интерпретации выводов и позволяет экспертам-людям подтвердить истинность результатов, полученных ИИ, и в этом случае можно сказать, что это решение, принятое вместе с ИИ, а не решение, принятое ИИ вместо человека. Та же идея интеграции методов глубокого обучения (сверточной сети) и графовой базы знаний иллюстрируется на рис. 4.6.
Рис. 4.6. Использование глубокого обучения и графа знаний для построения, интерпретируемого ИИ.
-
Add a note