AI가 맡을 업무의 경계를 정합니다
문서 검색과 요약, 답변 초안, 외부 시스템을 변경하는 자동화는 서로 다른 위험을 갖습니다. 먼저 입력과 출력, 사람이 확인할 지점, 실패했을 때 되돌릴 방법을 정해야 합니다.
초기 검증은 읽기 전용 업무로 범위를 좁히고, 평가용 사례를 준비해 정확성과 근거 제시 여부를 비교하는 방식으로 진행할 수 있습니다. 이는 특정 모델이나 도입 성과를 보장하는 절차가 아닙니다.
문서 검색에도 기존 권한을 적용합니다
사내 문서를 검색하는 AI가 사용자가 원래 볼 수 없는 문서를 답변에 포함하지 않도록 접근권한을 적용해야 합니다. 원문, 검색 색인, 프롬프트, 응답과 로그 각각의 저장·접근 범위를 검토합니다.
외부 서비스로 어떤 데이터가 전송되는지, 보관·삭제 설정과 운영자의 접근 범위는 무엇인지 확인합니다. 폐쇄망이라는 배치 방식만으로 결과의 정확성이나 모든 정보 유출 위험이 해결되지는 않습니다.
운영 중에도 평가를 이어갑니다
모델과 데이터가 바뀌면 같은 질문에 대한 결과도 달라질 수 있습니다. 근거 누락, 잘못된 답변, 권한 밖 요청을 평가 항목에 넣고 사람이 이의를 제기하거나 업무를 중단할 경로를 둡니다.
아래 NIST 프레임워크는 AI 위험 관리의 참고자료입니다. 이 글의 업무 순서는 이를 참고해 정리한 일반적인 검토 제안이며, 인증이나 규제 준수를 의미하지 않습니다.