Microsoft 기술 발전에 있어서 핵심적인 역할을 해오던 조직으로 Microsoft Research가 있었습니다. 우리가 지금 사용하고 있는 LINQ와 TPL도 Microsoft Research의 작품인데, AI 시대에 맞는 새롭고 흥미로운 기술이 또 하나 발표되었습니다. UFO² 프로젝트로, 자연어 만으로 Windows OS의 세부 사항을 자유롭게 제어할 수 있는 것을 목표로 하는 데스크톱 에이전트 OS 프로젝트입니다.
- 심층 OS 통합: Windows UIA, Win32, WinCOM을 결합하여 네이티브 명령과 제어 감지를 지원합니다. (이 부분이 기존의 유사 기술과 가장 구별되는 점이 되겠습니다.)
- 하이브리드 GUI + API 액션: 가능한 경우 네이티브 API를 사용하고, 그렇지 않으면 클릭/키 입력으로 대체하여 빠르고 안정적인 자동화를 제공합니다.
- 지속적인 지식 기반: 도큐먼트, Bing 검색, 사용자 데모, 실행 추적을 혼합하여 에이전트가 시간이 지남에 따라 학습할 수 있도록 합니다.
- 추측 기반 다중 액션 실행: 여러 예측된 단계를 하나의 LLM 호출로 묶어 실시간으로 검증하여 최대 51%의 쿼리를 줄입니다.
- UIA + 시각적 제어 감지: 표준 및 사용자 지정 컨트롤을 하이브리드 UIA + 비전 파이프라인으로 감지합니다.
추후에 어떻게 실제 Windows OS 제품에 통합될지는 알 수 없지만, 발표된 것만으로도 이미 많은 주목을 받고 있어서 매우 흥미롭습니다. ONNX, Windows ML과 통합된 On-Device 형태의 제품으로 발전한다면 아마 쓰임새가 매우 넓어지지 않을까 예상됩니다.
깃헙 리포지터리:
실제로 설치하고 사용하는 방법을 정리한 문서화 사이트: