이 기사는 OpenAI’s plans according to Sam Altman을 DeepL을 이용해서 빠르게 번역한 글로, 번역이 매끄럽지 않은 부분이 있을 수 있음을 미리 말씀드립니다.
지난주 저는 샘 알트만과 20명의 다른 개발자들과 함께 OpenAI의 API와 제품 계획에 대해 논의할 수 있는 특권을 누렸습니다. 샘은 놀라울 정도로 개방적이었습니다. 이 토론에서는 실질적인 개발자 문제뿐만 아니라 OpenAI의 사명과 AI의 사회적 영향과 관련된 큰 그림에 대한 질문도 다루었습니다. 주요 내용은 다음과 같습니다:
1. OpenAI는 현재 GPU에 크게 제한되어 있습니다.
토론 전반에 걸쳐 공통적으로 제기된 주제는 현재 OpenAI는 GPU에 극도로 제한되어 있으며 이로 인해 많은 단기 계획이 지연되고 있다는 것이었습니다. 가장 큰 고객 불만은 API의 안정성과 속도에 관한 것이었습니다. 샘은 고객의 우려를 인정하고 대부분의 문제가 GPU 부족으로 인한 것이라고 설명했습니다.
더 긴 32k 컨텍스트는 아직 더 많은 사람들에게 배포할 수 없습니다. OpenAI는 관심의 O(n^2) 스케일링을 극복하지 못했기 때문에 조만간(올해) 10만~100만 개의 토큰 컨텍스트 창을 갖게 될 것으로 보이지만, 그보다 더 큰 것은 연구의 돌파구가 필요할 것입니다.
미세 조정 API는 현재 GPU 가용성으로 인해 병목 현상이 발생하고 있습니다. 아직 어댑터나 LoRa와 같은 효율적인 미세 조정 방법을 사용하지 않기 때문에 미세 조정은 실행하고 관리하는 데 컴퓨팅 집약적입니다. 향후에는 미세 조정에 대한 더 나은 지원이 제공될 예정입니다. 심지어 커뮤니티 기여 모델 마켓플레이스를 호스팅할 수도 있습니다.
전용 용량 제공은 GPU 가용성에 따라 제한됩니다. 또한 OpenAI는 고객에게 모델의 개인 사본을 제공하는 전용 용량도 제공합니다. 이 서비스를 이용하려면 고객은 선불로 10만 달러를 지불할 의향이 있어야 합니다.
2. OpenAI의 단기 로드맵
Sam은 API에 대한 OpenAI의 잠정적인 단기 로드맵을 공유했습니다.
2023:
-
더 저렴하고 빠른 GPT-4 - 이것이 그들의 최우선 과제입니다. 일반적으로 OpenAI의 목표는 "인텔리전스 비용"을 최대한 낮추는 것이므로 시간이 지남에 따라 API 비용을 계속 낮추기 위해 열심히 노력할 것입니다.
-
더 긴 컨텍스트 윈도우 - 가까운 시일 내에 1백만 토큰에 달하는 컨텍스트 윈도우도 가능할 것입니다.
-
미세 조정 API - 미세 조정 API는 최신 모델로 확장될 예정이지만, 정확한 형태는 개발자가 실제로 원하는 바에 따라 결정될 것입니다.
-
스테이트풀 API - 현재 채팅 API를 호출할 때, 동일한 대화 내역을 반복적으로 통과하고 동일한 토큰을 반복해서 지불해야 합니다. 앞으로는 대화 내역을 기억하는 API 버전이 출시될 예정입니다.
2024:
- 멀티모달리티 - GPT-4 릴리스의 일부로 시연되었지만, 더 많은 GPU가 온라인 상태가 될 때까지는 모든 사용자에게 확장될 수 없습니다.
3. “PMF가 없는” 플러그인은 조만간 API에 제공되지 않을 것입니다.
많은 개발자들이 API를 통해 ChatGPT 플러그인에 액세스하는 데 관심이 있지만, 샘은 조만간 출시될 것 같지는 않다고 말했습니다. 검색 이외의 플러그인 사용을 보면 아직 PMF가 없다는 것을 알 수 있습니다. 그는 많은 사람들이 자신의 앱이 ChatGPT에 포함되기를 원한다고 생각하지만, 실제로 원하는 것은 앱에 ChatGPT가 포함되는 것이라고 제안했습니다.
4. OpenAI는 ChatGPT를 제외한 다른 고객과의 경쟁을 피할 것입니다.
상당수의 개발자가 OpenAI가 경쟁 제품을 출시할지도 모른다는 생각에 OpenAI API로 구축하는 것이 불안하다고 말했습니다. 샘은 OpenAI가 ChatGPT 외에 다른 제품을 더 출시하지 않을 것이라고 말했습니다. 그는 훌륭한 플랫폼 회사들이 킬러 앱을 개발한 역사가 있으며 ChatGPT를 통해 자사 제품의 고객이 됨으로써 더 나은 API를 만들 수 있을 것이라고 말했습니다. ChatGPT의 비전은 업무용 슈퍼 스마트 어시스턴트가 되는 것이지만, OpenAI가 손대지 않을 다른 GPT 사용 사례도 많이 있을 것입니다.
5. 규제는 필요하지만 오픈소스도 필요합니다.
샘은 미래 모델에 대한 규제를 요구하고 있지만, 기존 모델이 위험하다고 생각하지 않으며 이를 규제하거나 금지하는 것은 큰 실수라고 생각했습니다. 그는 오픈소스의 중요성에 대한 자신의 믿음을 다시 한 번 강조하며 OpenAI가 GPT-3의 오픈소싱을 고려하고 있다고 말했습니다. 아직 오픈소스를 공개하지 않은 이유 중 하나는 얼마나 많은 개인과 기업이 대규모 LLM을 호스팅하고 서비스할 수 있을지에 대해 회의적이었기 때문입니다.
6. 스케일링 법칙은 여전히 유효합니다.
최근 많은 기사에서 "거대 인공지능 모델의 시대는 이미 끝났다"고 주장했습니다. 하지만 이는 정확한 의미의 표현이 아닙니다.
OpenAI의 내부 데이터에 따르면 모델 성능에 대한 스케일링 법칙은 여전히 유효하며, 모델을 더 크게 만들면 계속해서 성능이 향상됩니다. OpenAI는 불과 몇 년 만에 모델을 수백만 배 더 크게 만들었기 때문에 확장 속도를 유지할 수 없으며, 앞으로도 그렇게 하는 것은 지속 가능하지 않을 것입니다. 그렇다고 OpenAI가 계속해서 모델을 더 크게 만들려고 하지 않는다는 뜻은 아니며, 단지 모델이 몇 배로 커지기보다는 매년 두 배 또는 세 배로 커질 가능성이 높다는 뜻입니다.
스케일링이 계속 작동한다는 사실은 AGI 개발 일정에 중요한 의미를 갖습니다. 확장 가설은 AGI를 구축하는 데 필요한 대부분의 요소를 갖추고 있으며, 남은 작업은 기존 방법을 더 큰 모델과 더 큰 데이터 세트로 확장하는 것이 대부분일 것이라는 생각입니다. 만약 확장의 시대가 끝났다면 AGI는 훨씬 더 멀리 떨어져 있을 것이라고 예상해야 할 것입니다. 스케일링 법칙이 계속 유지되고 있다는 사실은 더 짧은 타임라인을 강력하게 시사합니다.