- AI의 안전성 검증에 민관이 협력. 정부기관인 AI Safety Institute(AISI)는 NEC, NRI시큐어테크놀로지스와 함께 AI가 유해한 정보를 출력하지 않는지 등을 자동으로 평가할 수 있는 툴을 개발해 8월 중으로 무료 공개 예정. 기업이나 개인이 안전한 AI를 선택해 업무 등에 활용하기 쉬워질 전망.
- 2024년에 범부처로 설립된 AISI는 AI의 안전성 평가 방법 등의 검토와 보안 대책, 국제 협력을 담당. AI를 활용하는 기업 중에는 보안 대책이나 안전성 평가를 담당할 인력이 부족한 경우도 있어, AISI는 무료 공개를 통해 널리 보급을 유도한다. 민관에서 이러한 툴을 개발, 공개하는 것은 드문 일.
- NEC가 개발을 맡은 도구는 악의적인 사람이 폭탄 등 위험물 제조 방법을 물었을 때, AI가 유해한 답변을 하지 않는지 등을 확인할 수 있음. 가짜 정보를 출력하지 않는지도 확인 가능.
- 노무라종합연구소 계열의 NRI시큐어테크놀로지스와는 의도적으로 AI에 오작동을 일으키는 교묘한 명령문을 자동으로 생성해 AI의 취약점을 검증할 수 있도록 함.
- 9월에는 툴의 기능 강화와 보급을 위해 민관 협력 컨소시엄을 발족 예정.