AI 검색 기능에서 취약점 발견...사용시 주의할 점은?

https://www.ekoreanews.co.kr/news/articleView.html?idxno=77109

AI 검색 기능에서 취약점 발견...사용시 주의할 점은? - 이코리아

 

요약

• AI에 대한 관심이 높아지는 가운데, AI 기반 검색 서비스에서 잇따라 취약점이 밝혀지고 있다.
• 영국 매체 가디언은 24일 실험을 통해 Open AI 사의 ‘챗GPT 서치’에 취약점을 찾아냈다고 보도했다. 이들이 주목한 위협은 ‘프롬프트 주입(prompt injection)’ 기술로, 이는 웹 페이지에 숨겨진 텍스트를 작성하여 AI의 결과를 조작하는 방식이다. 가디언은 가상의 카메라 제품 페이지를 제작하고, 웹 페이지에 긍정적인 평가만 이용자들에게 제공하라는 숨겨진 텍스트 지시를 추가했는데, 챗GPT 서치는 해당 웹 페이지를 요약해 달라는 지시에 해당 페이지에 부정적인 리뷰가 포함됐음에도 불구하고 숨겨진 명령어를 적용하여 긍정적인 평가만을 요약해 제공했다.
• 24년 초에는 구글 AI 검색 기능에서도 취약점이 발견되었었다. 더 레지스터 등 외신의 지난 3월 보도에 따르면, 구글 AI 검색 기능에서 스팸성 콘텐츠 및 사기성 링크가 상위에 노출되는 문제와, 구글이 스팸 및 AI 생성 콘텐츠를 배제하는 과정에서 많은 독립 웹사이트 트래픽이 급감하는 문제가 발생했다.
• 이에 전문가들은 이러한 취약점들을 이용한 악용 웹사이트 생성에 대한 경계와, AI 기반 검색 엔진의 판단력의 낮은 신뢰성으로 인한 필터링의 필요성에 대해 주장하고 있다.

 

메모

• 숨겨진 텍스트 : html, css 등의 파일에 hidden 속성 등을 활용하여, 웹에선 보이지 않으나 IDE에선 확인할 수 있도록 숨겨진 내용을 삽입하는 방식. 주로 후속 개발자를 위한 내용을 적거나, 웹 페이지를 꾸미기 위해 사용한다.