UFO²: The Desktop AgentOS (Microsoft Research 프로젝트)

Microsoft 기술 발전에 있어서 핵심적인 역할을 해오던 조직으로 Microsoft Research가 있었습니다. 우리가 지금 사용하고 있는 LINQ와 TPL도 Microsoft Research의 작품인데, AI 시대에 맞는 새롭고 흥미로운 기술이 또 하나 발표되었습니다. UFO² 프로젝트로, 자연어 만으로 Windows OS의 세부 사항을 자유롭게 제어할 수 있는 것을 목표로 하는 데스크톱 에이전트 OS 프로젝트입니다.

  • 심층 OS 통합: Windows UIA, Win32, WinCOM을 결합하여 네이티브 명령과 제어 감지를 지원합니다. (이 부분이 기존의 유사 기술과 가장 구별되는 점이 되겠습니다.)
  • 하이브리드 GUI + API 액션: 가능한 경우 네이티브 API를 사용하고, 그렇지 않으면 클릭/키 입력으로 대체하여 빠르고 안정적인 자동화를 제공합니다.
  • 지속적인 지식 기반: 도큐먼트, Bing 검색, 사용자 데모, 실행 추적을 혼합하여 에이전트가 시간이 지남에 따라 학습할 수 있도록 합니다.
  • 추측 기반 다중 액션 실행: 여러 예측된 단계를 하나의 LLM 호출로 묶어 실시간으로 검증하여 최대 51%의 쿼리를 줄입니다.
  • UIA + 시각적 제어 감지: 표준 및 사용자 지정 컨트롤을 하이브리드 UIA + 비전 파이프라인으로 감지합니다.

추후에 어떻게 실제 Windows OS 제품에 통합될지는 알 수 없지만, 발표된 것만으로도 이미 많은 주목을 받고 있어서 매우 흥미롭습니다. ONNX, Windows ML과 통합된 On-Device 형태의 제품으로 발전한다면 아마 쓰임새가 매우 넓어지지 않을까 예상됩니다. :smiley:

깃헙 리포지터리:

실제로 설치하고 사용하는 방법을 정리한 문서화 사이트:

5개의 좋아요

흥미롭군요. 좋은 정보 감사합니다.
출근하면 한번 살펴 봐야겠군요

2개의 좋아요

역시 이런 자동화는 OS를 만든 업체에서 해줘야 더 자연스러운 것 같습니다. ^^

2개의 좋아요

MCP는 조금 기다려야겠군요 :sweat_smile:

2개의 좋아요