AI 기능 안전 가이드라인 ISO/IEC TR 5469:2024 핵심 총정리

AI 시대, 기능 안전의 새로운 기준이 되는 ISO/IEC TR 5469:2024는 AI/ML 시스템의 고유한 리스크를 체계적으로 관리하기 위한 가이드라인을 제시합니다. 이 보고서는 기존 기능 안전 표준의 한계를 보완하며, AI 기술의 안전한 적용을 위한 분류 체계와 실무적 접근 방법을 제공합니다.

AI 시대, 기능 안전의 새로운 과제는 무엇인가요?

AI 기술은 자동차 ADAS, 산업 장비 예측 유지보수, 협동 로봇 제어 등 다양한 분야에서 안전과 직결되는 핵심 요소로 자리 잡았습니다. 하지만 AI/ML 시스템은 데이터 기반 학습과 결과의 비결정성 때문에 기존의 사양 기반 개발 방식이나 IEC 61508, ISO 26262와 같은 기능 안전 표준만으로는 충분히 안전성을 평가하고 관리하기 어렵다는 '갭(Gap)'이 존재합니다. ISO/IEC TR 5469:2024는 이러한 AI 고유의 리스크를 다루고 기존 표준을 보완하기 위해 발행된 기술 보고서로, AI/ML 시스템의 기능 안전을 위한 개념, 분류 체계, 실무적 접근 방법을 제시합니다. 이 보고서는 AI 시스템의 안전성을 확보하기 위한 새로운 패러다임을 제공합니다.

ISO/IEC TR 5469:2024는 어떤 문서이며, 목적은 무엇인가요?

ISO/IEC TR 5469:2024는 강제 표준이 아닌 기술 보고서(Technical Report)로서, 기존 기능 안전 표준을 대체하기보다는 AI/ML 기술 요소에 대한 기존 표준 원칙의 적용 해석을 제공하고 AI 고유의 리스크를 다루기 위한 확장을 제시하는 보완적 역할을 수행합니다. 본 보고서의 핵심 목적은 AI/ML 시스템이 야기할 수 있는 고유한 리스크 요인을 식별 및 분류하고, 이러한 리스크에 대응하기 위한 접근 방법과 분류 체계를 제시하는 것입니다. 또한, 기존 기능 안전 표준을 보완할 수 있는 방법론과 고려사항을 제공하여 AI 시스템의 안전성을 체계적으로 관리할 수 있도록 돕습니다. 이를 통해 AI 기술이 적용된 다양한 시스템에서 발생할 수 있는 잠재적 위험을 효과적으로 관리할 수 있습니다.

ISO/IEC TR 5469:2024의 적용 범위와 관련 표준 체계는 어떻게 되나요?

ISO/IEC TR 5469:2024는 일반 산업 분야의 AI 안전 시스템을 다루며, 자동차 분야에서는 ISO PAS 8800이 이에 대응됩니다. 보고서에서 다루는 주요 사용 시나리오는 크게 세 가지입니다. 첫째, AI를 안전 기능으로 직접 사용하는 경우(예: AI 카메라로 위험 구역 침입 감지). 둘째, 비AI 시스템으로 AI 제어 대상을 안전하게 운용하는 경우(예: 기존 안전 PLC로 AI 로봇 팔 모니터링 및 정지). 셋째, AI를 안전 기능 개발 과정에 활용하는 경우(예: AI를 이용한 테스트 데이터 자동 생성 및 위험 분석 지원). 이러한 AI 안전 시스템은 일반 산업 분야의 IEC 61508, 자동차 분야의 ISO 26262 및 ISO 21448과 같은 기존 기능 안전 표준과 연계하여 관리됩니다.

AI 기술 분류 체계와 고유 리스크 요인은 무엇인가요?

TR 5469는 AI 시스템의 안전 조치 엄격성과 접근 방식을 결정하기 위해 두 가지 축으로 구성된 분류 체계를 제시합니다. 첫 번째 축은 'AI 적용/사용 수준(Usage Level A~D)'으로, AI가 시스템에서 어떤 역할을 하며 안전에 어떻게 영향을 미치는지를 나타냅니다. Level A는 안전 관련 시스템에서 직접 사용(A1: 자동 의사결정 포함, A2: 미포함), Level B는 개발 시 사용, Level C는 비안전 기능이지만 간접적으로 안전에 영향, Level D는 안전 기능에 영향이 없는 경우입니다. 두 번째 축은 'AI 기술 클래스(Technology Class I~III)'로, AI의 안전성을 기존 표준으로 다룰 수 있는지, 아니면 새로운 접근이 필요한지를 구분합니다. Class I은 설명 가능하고 검증 가능한 AI(예: 단순 규칙 기반 AI), Class II는 추가 조치가 필요한 AI(예: 대부분의 DNN 모델), Class III는 안전성 증명이 어려운 AI(예: 온라인 자기 진화형 AI)입니다. Clause 8에서는 이러한 분류에 따라 AI 시스템이 야기할 수 있는 투명성 및 설명 가능성 부족, 데이터 편향성, 예측 불가능성 등의 고유 리스크 요인을 네 가지 핵심 카테고리로 분류하여 제시합니다.

AI 시스템의 안전성 확보를 위해 어떤 실천적 조치가 필요한가요?

ISO/IEC TR 5469:2024는 AI 시스템의 기능 안전을 확보하기 위한 실천적 조치로 검증 및 확인(V&V), 아키텍처 설계, 프로세스 구축을 강조합니다. Clause 9에서는 AI 시스템의 성능과 안전성을 보장하기 위한 V&V 활동으로, 학습 데이터의 품질 관리, 모델의 견고성 테스트, 잠재적 편향성 검증 등을 포함해야 함을 명시합니다. Clause 10은 AI 시스템의 안전 아키텍처 설계 시, AI 컴포넌트와 기존 안전 메커니즘 간의 인터페이스를 명확히 하고, 오류 감지 및 완화 전략을 포함해야 한다고 제안합니다. Clause 11에서는 AI 개발 및 운영 전반에 걸쳐 안전 문화를 정착시키고, 변경 관리 절차를 수립하며, 지속적인 모니터링 및 피드백 루프를 구축하는 것이 중요하다고 강조합니다. 이러한 실천적 조치들은 AI 시스템의 복잡성과 동적인 특성을 고려하여, 잠재적 위험을 최소화하고 안전성을 극대화하는 데 필수적입니다.