[논문 리딩] Choose Your Weapon: Survival Strategies for Depressed AI Academics

 

Abstract

당신이 학계에 몸을 담은 AI 연구자이거나, 최근 AI 트렌드에 따라가지 못하는 것 같아 불안한 마음을 가지고 있거나, 혹은 AI연구에 필요한 충분한 인적/컴퓨팅 리소스가 없다고 느낀다면 당신은 혼자가 아니다. 최신 AI 연구에 대한 투자의 규모가 점점 방대해지면서, 세계적인 스케일에서 경쟁하기 위한 방법이나 자원을 찾기 어려워하는 연구자의 수는 점점 늘고 있다. 이 논문에서는 학계에 머무르면서도 경쟁력을 갖출 수 있는 방법들에 대해서 논의하고, 대학들이 이런 상황을 개선하기 위해서 어떤 행동을 취할 수 있을지에 대해서도 간단하게 이야기한다. 

 

1. Introduction

대학에서 AI 연구를 업으로 삼은 사람이라면 DeepMind, OpenAI, GoogleBrain, Meta AI와 같은 대형 기업의 AI기관에 대해서는 복잡한 감정을 가지고 있을 것이다. 대형 기관에서는 대규모 뉴럴 넷 모델을 이용해 기존에는 가능 여부조차 확실하지 않았던 태스크에 SOTA를 달성하고는 한다. 이런 결과를 보면 가능과 불가능에 대한 개념을 다시 생각하게 된다. 한편으로는 AI 기술이 발전한 데 경탄이 들면서도, 다른 한편으로는 우리가 어떻게 이런 기술을 따라가면 좋을지 막연한 심정이 든다. 연구실에 있는 몇 명의 박사과정 학생과 포닥, 몇십개의 GPU를 가지고는 애초에 달성할 수 없는 과제이기 때문이다.

 

사실 시류가 이렇게 된 것은 최근의 일이다. 10년 전만 해도, 꽤 괜찮은 데스크톱 컴퓨터와 인터넷 연결만 있으면 AI 분야의 첨단에서 경쟁력을 갖출 수 있었다. 혁신적인 논문들은 때로 한명이나 두 명의 손, 그리고 평범한 컴퓨팅 리소스로부터 탄생했다. 이런 사실을 상기하는 것은 특히 아주 큰 규모의 컴퓨팅 리소스가 당연시된 지난 10년간 이 분야에 진입한 사람들에게는 중요한 일이다.

 

딥 러닝으로부터 배울 점이 있다면 바로 스케일을 올릴수록 성능도 좋아진다는 것이다. ImageNet 벤치마크에서 높은 자리를 차지했던 모델들로부터 ChatGPT, Gato, 그리고 최근의 GPT-4까지를 관찰해 보면 더 많은 데이터와 더 많은 컴퓨팅 파워는 양적, 질적으로 더 좋은 결과를 약속한다는 것을 알 수 있다. 물론 학습 알고리즘과 네트워크 구조의 혁신도 있었지만, 이러한 혁신은 오직 방대한 규모의 실험을 전제로 해야만 의미가 있는 경우가 많았다. 그리고 이런 규모는 최근의 학계 종사자들에게는 그림의 떡인 경우가 많다. 더욱이 AI 분야의 첨단을 달리기 위해 필요한 컴퓨팅 리소스와, 평범한 연구자들에게 주어진 리소스의 격차는 날이 갈수록 벌어지고 있다.

 

이런 현상을 토대로 한다면 AI 연구자들이 대형 회사에 느끼는 감정을 좀 더 쉽게 이해할 수 있다. 동료들과의 건강한 경쟁과, 아무리 좋은 아이디어를 짜낸다 해도 절대 도달할 수 없는 자원을 가진 자와의 경쟁은 전혀 다른 것이기 때문이다. 내가 한동안 전념하던 연구 주제가 있었는데, DeepMind나 OpenAI가 갑자기 해당 주제에 대해 작업하게 된다면 내 기분은 마치 마을 슈퍼를 운영하고 있는데 건너편에 월마트가 들어설 때의 주인의 기분과 같을 것이다. 연구라는 것을 모든 사람의 헌신과 노력이 인정받을 수 있는 분야로 생각하고 있었다면 이것은 매우 슬픈 일이다.

 

이런 상황에서 작은 팀에서 한정된 컴퓨팅 리소스로 연구를 진행하고 있는 연구자가 무지막지하게 지원이 탄탄한 연구 조직들의 공세에도 불구하고 트렌드를 따라가기 위해서는 어떻게 해야 할까? 이 질문은 많은 연구자들을 과거 몇 년간 괴롭혔고, 그리고 지금도 괴롭히고 있다. 최근에 출시된 GPT-4는 충격적일 정도로 성능이 좋고, 마찬가지로 충격적일 정도로 폐쇄적이라 게시된 정보가 많지 않아 이런 질문들에 대한 시의성은 더 짙어졌다. 저자는 한정된 리소스 내에서 의미 있는 연구 진행에 대한 고민과,  빅테크 회사들과의 불공정한 경쟁에 대해 우려를 품고 있는 다양한 시니어 연구자들을 인터뷰했다. 인터뷰는 대면으로 혹은 소셜 미디어를 통해 이루어졌다.

 

먼저 한 가지를 짚고 넘어가자. 시니어 연구자나 교수들은 안전하다. 이들은 종신 교수직을 획득하거나 비디오 게임 AI 분야에서 한계를 넘으며 학계의 사다리를 빠르게 올라갔다. 이 논문은 그들보다는 진로 고민을 하고 있는 주니어 연구자들을 위해 쓰여졌다. 학계에 남아서 연구를 하는 것이 더 좋을까, 아니면 빅테크 기업에 취직하거나 스타트업을 차리는게 좋을까? AI에서 경력을 쌓는 게 좋은 생각일까, 아니면 배관공이 되는 게 나을까? 큰 기계의 톱니바퀴가 될까, 반항아가 될까? (잃을 게 없다면 반항아가 되기가 보다 쉽다. 즉, 이미 종신 교수직이 있거나 커리어의 시작지점에서다.) 아무리 숙련된 개인이라도, 경쟁력을 확보하기 위한 이 싸움에서는 이미 진 것은 아닐까? 이 논문은 일부는 진지한 조언을 위해, 나머지는 감정적인 독려를 위해 쓰여졌다. 그러나 무엇보다도 빅테크 기업과의 싸움에서 아주 패배해 버리기 전에 이런 논의를 시작해서 연구자들의 위치를 개선하는 데 목적이 있다.

 

 2. Give Up!

포기하는 것도 언제나 방법이다. 연구 자체를 포기한다는 뜻이 아니라, 세상을 뒤흔드는 혁신적인 것을 주제로 잡는 것을 포기한다는 뜻이다. 그런 주제 외에도 기술적 세부사항에 대한 문제나, sub-sub 문제에 대해 연구해 중위 티어의 컨퍼런스나 저널에 논문을 제출해볼 수 있다. 다만 (1) 이 전략은 이미 안정적인 위치에 있어서 승진에 대해 크게 고려할 필요가 없을 때 유효하며, (2) 아마 학계에 들어올 때 이런 것을 목표로 하지는 않았을 것이다. 외부의 강렬한 경쟁 현황 때문에 연구 주제를 조정하는 것은 펀딩해주는 곳의 임의의 우선순위에 따라 연구주제를 조정하는 것과 크게 다르지 않다. 적어도 후자를 선택할 때는 연구실에 조금 더 나은 펀딩을 받을 수 있을 것이다. 또한, 연구 아젠다를 뒷받침할 수 있고 연구자의 입지를 다질 수 있는 여러 개의 작거나 큰 규모의 연구 프로젝트에 참여할 수 있는 것은 큰 행운이라는 것을 상기할 필요가 있다.

 

3. Try Scaling Anyway

지금 이루어지고 있는 압도적인 규모의 경쟁에 참여하는 것은 누구나 바랄 만한 일이다. 만약 규모를 상승시켜 성능을 높이는 것이에 성공할 수 있다면, 돈키호테처럼 풍차를 한 번 공격해 보자.

 

이런 접근법에서의 가장 명확한 문제는 CPU와 GPU 자원이다. 만약 실험을 위해 6천만원을 후원받았다고 해보자. 그러나 GPT-3과 같은 모델을 훈련하는 데 있어서는 이는 턱없이 적은 금액이다. 최근 공개된 마인크래프트에서 다이아몬드 낫을 만들기 위한 AI agent는 720개의 v100 GPU에서 9일간을 훈련했다. 한 개의 실험을 위해서 수억이 필요한 것이다. ERC나 NSF 조차도 이런 방대한 규모의 투자를 해줄 수 없다. 클라우드 컴퓨팅에 6천만원을 투자하는 것은 여러 개의 게이밍 PC를 사용하는 것보다 훨씬 나은 결과를 보장하기는 한다. 그러나 우리 모두 알고 있듯이 실험은 일회성으로 끝나지 않는다. 많은 실험들은 몇 달에서 몇 년간의 프로토타입 제작, PoC 진행, 디버깅, 파라미터 튜닝, 그리고 실패한 시작을 필요로 한다. 그러니 비슷한 규모의 컴퓨팅 리소스가 지속적으로 필요하다는 것이다.

 

또 하나의 문제는 큰 규모에 걸맞는 실험 소프트웨어를 만들어낼 수 있는 적합한 팀이 필요하다는 것이다. 그러나 학계에서 이는 쉽지 않다. 컴퓨터 과학 연구실에서 대부분의 구성원은 박사 과정 학생인데, 졸업을 위해 몇 년 안에 제 1저자 논문을 낼 수 있는 개별 프로젝트를 여러 개 진행해야 한다. 큰 규모의 AI 프로젝트는 일반적으로 대부분의 팀 멤버들이 같은 프로젝트에서 몇 달, 혹은 몇 년을 일하는 것을 전제로 하며, 그들 중 단 하나만 제 1저자로 이름을 올릴 수 있다. 또한 이런 프로젝트에는 "지루한" 소프트웨어 엔지니어링 작업을 하는, 연구자가 아닌 사람들도 필수적이다.  즉, 대규모의 AI 프로젝트를 성공적으로 완수하는데 필요한 구조는 학계의 구조와는 잘 맞지 않는다.

 

4. Scale Down

상술한 이슈를 회피하기 위한 인기있는 방법 하나는 간단하지만 대표성을 띄는 (토이) 문제를 푸는 것이다. 이 문제는 새로운 접근법의 이론적인 이점을 잘 증명하거나, 상대적인 이점들을 보여줄 수 있어야 한다.  일례로, Behaviour Transformers라는 최근 논문은 간단한 multi layer perceptron만을 사용해서 토이 태스크에서의 새로운 접근법의 이점을 보여주었다. 2023년에 발표된 Imitating human behavior with diffusion models역시 같은 전략을 재택했다. 그러나 이런 연구들은 그다지 영향력이 크지 않을 수 있는데, 두 연구 모두 거대한 모델과 많은 컴퓨팅 리소스가 필요한 game과 robotic 문제를 채택했기 때문이다. 2022년 발표된 You can't count on luck: Why decision transformers fail in stochastic environments역시 같은 패턴을 보인다. 논문에 등장한 실험은 토이 gambling 환경에서 실행되었으나, 실제적인 영향력은 해당 알고리즘이 더욱 복잡하고 또한 컴퓨팅 리소스가 많이 필요한 문제에서 어떤 이점을 보이느냐에 달려 있다고 말할 수 있다.

 

이 접근법의 단점은 사람들은 고해상도의 예쁜 결과물에 더 쉽게 감명받고, 장난감 차보다는 실제 차를 주행하는 머신을 더 진지하게 받아들인다는 것이다. 심지어는 두 가지의 기술적 난이도가 동일하다고 해도 그렇다. 즉, 이런 전략을 택하게 되면 미디어의 주목을 덜 받을 수 있다. 또한 언어와 같이 스케일을 낮추는 것 자체가 매우 어려운 문제들도 존재한다.

 

5. Reuse and Remaster 

지난 10년간 AI 기술이 빠르게 발전한 핵심적인 이유 중 하나는 연구자들이 생산한 코드와 모델을 과학계에 공개했기 때문이다. 모델과 코드를 공유하는 것은 과거에는 규범도, 우선적으로 고려해야 할 사항도 아니었다. ImageNet, ViT, GPT 시리즈와 같은 사전학습 모델에 접근할 수 있다면, 그래서 대부분을 그대로 차용하고 작은 부분만 fine-tune해서 적용할 수 있다면 문제를 풀기 위한 시간과 노력이 크게 절약된다. 그러나 이를 위해서는 사전학습 모델들이 한정적인 fine-tune을 통해서도 downstream task에 잘 적용될 수 있을 만큼 일반적이라는 것을 전제해야 하는데, 이것은 생각할 거리가 있는 전제이다. 안타깝게도 fine-tuning과 post-hoc 분석은 항상 충분히 좋은 성능을 보여주지는 않는다.

 

6. Analysis Instead of Synthesis

공개된 사전학습 모델으로 할 수 있는 것이 하나 더있는데, 바로 분석하는 것이다. 분석 작업은 성능 향상에 직접적으로 기여하지는 않을 수 있지만 과학적 발전에는 기여할 수 있다. 우리는 지금 이미지와 텍스트에 대한 뛰어난 모델들을 가지고 있지만, 그 모델들을 잘 이해하고 있기는 커녕 전혀 이해하지 못하고 있는 것에 가깝다. 사실을 직시하자면 Transformer 모델은 전혀 직관적이지 않으며, 모델들을 학습하는데 들어간 데이터도 사실은 사람이 전부 읽을 수는 없는 정도의 규모이다. 거대한 모델들을 창의적인 방법으로 조사하고 시각화하는 등 모델 안에서 어떤 일이 일어나는지를 분석하는 것은 모델 이해에 큰 도움을 준다.

 

이런 분석에 서로 다른 마음가짐으로 임할 수 있는데, 예를 들어 모델이 학습하는 매커니즘을 찾고 묘사하는 데 집중해 (리소스가 있는 누군가가) 미래에 더 나은 모델을 만드는 데에 기여할 수 있다. 또 한 가지는 어깃장을 놓는 역할이다. 즉, 거대한 모델들을 부수는 데 집중할 수도 있다. 이는 거대 모델들로 수익을 만들려는 측이 뭐라고 이야기하건 값진 연구 주제이다.

 

7. RL! No DaTa!

데이터에 대한 요구사항을 대폭 줄이는 대신, RL(강화학습)의 측면에서 AI 문제들을 풀어볼 수도 있다. RL의 길을 걷다 보면 데이터 접근성, 데이터 분석, 저장, 관리에 대한 많은 걱정거리들을 회피할 수 있다. (그러나 컴퓨팅 리소스는 항상 최소화할 수 있는 것은 아니다) 사실 가장 효율적인 RL 방법론들도 exploration과정 때문에 많은 컴퓨팅 리소스를 요구한다. 이에 더해, reward 함수를 설계하는 것은 black art, 즉 경험적인 지혜를 필요로 한다. 이 말은 연구자가 서로 다른 리워드들을 가지고 긴 실험들을 계속해서 돌려야 마음에 드는 결과를 얻어낼 수도 있다는 말이다. 따라서 이 많은 실험들을 진행하기 위해 한 번 더 문제를 단순화할 필요가 있다. 핵심은 만약 큰 데이터셋에서부터 자유로워지기 위해 RL을 선택해도, 큰 컴퓨팅 리소스로부터는 자유로워질 수 없다는 것이다. 만약 토이 문제나 특수한 도메인을 선택한다면 이야기가 다른데, 이는 다음 섹션에서 다룰 것이다.

 

8. Small Models! No Compute!

다른 하나의 전략은 컴퓨팅 리소스를 절약하기 위해 모델의 규모를 줄이는 것이다. 사실 작은 모델을 필요로 하는 여러 상황이 있다. 문제를 풀거나 작업을 수행하는 데 필요한 가장 작은 모델을 생각해 보자. 이런 접근법은 실제 세계의 문제를 해결하는 데 있어 특히 중요하다. 게임, IoT, 자율주행 차량과 같은 In-the-wild 도메인에서는 AI 모델을 end user에 가깝게 놓을 필요가 있다. 이는 edge AI라고 불리는데, 어플리케이션이 적은 메모리를 가지고 빠르게 inference를 진행해야 한다는 특징이 있다. edge AI에 사용될 수 있는 기술들은 Neuroevoluation, neural architecture search, knowledge distillation등이 있다. 또한, 작은 모델로 학습하는 것을 넘어서 더 작은 데이터로 학습하는 것도 연구해볼만하다.

 

이 연구 전략을 선택한다면 모델의 내부 구조를 이해하는 데 있어 상당한 통찰을 제공할 수 있다. 작은 AI 모델은 상대적으로 분석하기가 훨씬 쉬우며, 모델의 행동에 대한 설명 가능성도 높다. 장치에 모델을 심는 것은 또한 개인정보 보호의 측면에서도 좋다. 또한 이는 환경 발자국을 줄여, Green AI 이니셔티브도 지지할 수 있다. 작은 모델들이 할 수 있는 것들에는 명백한 한계가 존재하지만, 이 방향의 연구는 시간이 지날수록 점점 중요해지고 있다.

 

9. Work on Specialized Application Areas or Domains

하나의 효율적인 전략은 확립된 하나의 연구 분야이지만, 산업적인 기관의 관심 분야가 아닌 틈새시장을 선택하는 것이다. 전혀 새로운 도메인에서 아이디어를 테스트하는 데 있어 종종 성공적인 전략이지만, 결과가 해당 도메인을 넘어서까지 영향력이 있을 확률은 상대적으로 적기도 하다. 몇몇의 헌신적인 연구자의 노력으로 틈새 분야에서 주요 분야로 부상한 예시들이 존재한다. 저자도 이 전략을 채택하고 있는데, 게임에서의 AI 적용을 진지하게 다루는 회사가 별로 없는 만큼 게임 커뮤니티에서의 AI를 연구하고 있다고 한다. 

 

이른 00년대에는 로보틱과 컴퓨터 비전 분야를 비디오 게임 도메인이 지배하다시피 했다. 또한, SVM과 regression 에 집중하고 있던 때 인공 신경망의 급부상을 생각해볼 수 있다. 강화학습과 딥 러닝은 multi-agent learning, cognitive/affect 모델링의 주요 프린시플이 되었다. 이 전략의 핵심적인 단점은 NeurIPS, AAAI, ICML, IJCAI와 같이 AI 분야에서 영향력이 큰 학회나 저널에 논문을 억셉받기가 힘들다는 것이다. 이런 전략을 채택한 논문이나 결과물은 어쩌면 많은 사람의 관심을 얻지 못할 수도 있다. 그러나, 이는 새로운 분야를 열 수 있는 좋은 가능성을 제시해주기도 한다.

 

10. Solve Problems Few Care About (For Now!)

이미 어느 정도 확립된 연구 분야, 혹은 응용 분야 중에서 틈새시장을 찾는 것은 상대적으로 안전한 선택이다. 좀 더 위험한 선택으로는 아직 존재하지 않는 영역을 찾아내는 것이 있다. 말하자면 거의 아무도 중요성을 발견하지 못하는 문제를 찾아내거나, 아무도 유망하다고 생각하지 않는 방법론을 시도해보는 것이다. 아무도 AI를 적용하지 않은 분야를 찾아보는 것이 하나의 방법이다.

 

시의 적절하지도, "섹시"하지도 않은 필드를 찾아보는 것도 좋은 방법이다. 여기서 도박 요소는 이 특수한 도메인이 미래에 중요해질지 아닐지이다. 도메인 자체가 중요해질수도, 이 도메인이 무언가 다른 것을 가능하게 해서 중요해질 수도 있다. 게임에서의 procedural content generation은 15년 전에는 아주 마이너한 주제였다. 그러나 저자들이 학계에 이를 끌고오고 난 후, 최근에는 게임 산업뿐 아니라 강화학습의 일반화에 있어서도 중요한 문제가 되었다. 강화학습에 대한 연구는 일 년에 몇 천 개의 논문이 출판되는, AI 분야에 있어 매우 주요한 세부 주제이다. 즉, procedural content generation 역시 이로 인해 더 높은 중요도를 가지게 된다. 이는 하이 리스크 하이 리턴 전략으로, 이를 선택할 경우 외롭지만 미래에 큰 보상을 받을 수도 있는 길을 걷게 된다.

 

11 Try things that Shouldn't Work

작은 연구팀의 경쟁력 중 하나는 바로 "될 리가 없는 것"을 시도해볼 수 있다는 것이다. 예컨대 이론적 토대가 없거나, 실험적인 증거가 없는 경우일 수 있다. 산업계의 거대한 연구팀들은 주로 될 법한 것들을 시도하는 데에서 이득을 취한다. 만약 성공하지 못한다면 금전적 손실이 발생하기 때문이다. 그러나 학계에서는 실패가 성공만큼이나 교훈적이고 값질 수 있다. 실패에 따르는 비용도 상대적으로 낮다. 인공지능 분야에서의 많은 중요한 발견과 아이디어는 "틀린" 것을 시도하는 데서 왔다. 예컨대, 딥 러닝은 연구자들이 딥 러닝이 될 리가 없는 합당한 이론적 이유들에도 불구하고 뚝심 있게 연구를 계속하지 않았다면 탄생하지 못했을 것이다.

 

12 Do Things that Have Bad Optics

더 크거나 중요한 회사일수록, 회사의 관점이나 윤리로부터의 제약이 심해진다. 어떤 회사건간에 최종적으로는 그들의 주주에게 책임을 져야 하기 때문이다. 만약 주주들이 회사가 "평판에 손해"를 입었다고 판단한다면 그들은 쉽게 CEO를 해고할 수 있다. 따라서, 대기업은 부정적으로 비춰질 수 있는 시도는 피하려고 할 가능성이 높다. 이런 위험성을 우회하기 위해 대기업들은 종종 잘못될 수도 있는 실험적인 프로젝트를 대신 해줄 수 있는 스타트업들을 펀딩하는 방식을 취하기도 한다. 그러나 그런 방법조차도 한계가 있고, 나쁜 평판은 샌프란시스코 베이의 파도처럼 돌아올 수 있다.

 

포지션이 안정적이지 않거나 혹은 아예 포지션이 없는 개인 연구자는 잃을 것이 없다. 법과 양심이 허락하는 한 아무리 정신나간 짓이라도 가능하다. 여기에서 윤리적이지 않은 연구를 하라고 권장하는 것은 아니다. 물론 모든 수단을 동원해서 옳은 일을 해야 한다. 그러나 만약 과도하게 교육받은 백인 자유주의자가 대다수를 차지하는 미국 연안의 주류의 관점과 개인 연구자의 관점은 아주 다를 수 있다. 부유한 테크 회사의 PR부서, 윤리위원회, 그리고 이사회는 아주 특수한 가치를 추구한다. 그러나 세상은 넓고, 문화도 사람도 다양하다. 그러니 빅테크 회사들이 연구하지 않는 주제도 충분히 큰 기회가 될 것이다.

 

이런 기회를 잡은 사례가 있다. 먼저, 저자들 중 하나는 최근의 작문 교정 시스템 상에서의 "중립적 영어"의 규범을 비판적으로 검증하는 프로젝트에 참여했다. 이 프로젝트는 사용자가 우스꽝스럽고 공상과학적, 풍자적인 게이 에로티카 작가인 Chuck Tingle의 문체로 작성한다고 추정하는 LM 기반 자동완성 시스템을 만듦으로써 진행되었다. 이 프로젝트는 아마존이나 구글이 절대 출간하지 않을 것이라는 게 우리의 추측이다. 다른 한 예시는 바로 이 논문이다.

 

유사하게, 누드, 섹슈얼리티, 무례함, 종교, 자본주의, 공산주의, 법과 질서, 정의, 평등, 복지, 무엇을 대표할 것인지, 역사, 재생산, 폭력과 같은 주제들에서 빅테크 기업들의 컨센서스와 다른 관점을 찾아낼 수 있을 것이다. 모든 AI리서치가 문화적 그리고 정치적 맥락 안에서 생산되고 또 영향을 받는 이상, 규범과 다른 사고를 하는 것은 기회이다. 그들이 해낼 수 없는 연구를 할 수 없다면, 그들이 하지 않을 연구를 하라.

 

13. Start it up; Spin it Out!

이쯤 되어서는 학계가 역설적으로 학술적 AI 연구에 많은 한계점을 가지고 있다는 것이 뚜렷할 것이다. 누군가 몇십달러의 투자를 받아 큰 규모의 프로젝트를 시작한다고 해도, 이는 현대 AI 연구에 필요한 인적, 물적 자원 중의 자그마한 부분만 커버할 수 있을 뿐이다. AI과학자들 사이에서 인기 많은 대안 중 하나는 대학 연구실에 머무는 대신, AI연구를 상업적 기준의 서비스나 프로덕트로 변환하는 회사를 설립하는 것이다. 이 논문을 작성한 두 저자는 modl.ai를 런칭하는 데 참여했고, 이로부터 많은 것을 배웠다고 한다.

응용 AI 분야에서 작업하는 것에는 많은 이점이 있다. 현실에서 오는 풍부한 데이터를 접할 수 있다는 것이 첫 번째이다. 이런 데이터는 다른 방식으로는 접하기 어렵다. 또한, 작업한 AI 알고리즘을 높은 상업적 기준에 의거하여 시험해볼 수 있고, 실제 상황에서 작동하는지도 검증할 수 있다. 마지막으로, (특히 스타트업이 점점 커질수록) 좀 더 많은 인적, 물적(컴퓨팅) 자원을 사용할 수 있다.

그러나 이것이 이상적이기만 한 전략은 아닌데, 고려해야 할 여러 가지 제한이 존재하기 때문이다. 먼저, 모든 연구 착상이 스타트업 사업 모델에 들어맞는 것은 아니다. 세상을 이해하는 데 좋은 관점을 제시해주는, 심지어는 명망 높은 저널에 출간될 수 있는 훌륭한 아이디어조차도 그것을 바로 프로덕트화할 수 있음을 보장하지는 않는다. 다음으로, 연구실에서 탄생하는 특출한 결과들은 산업계에서 활용되기까지 많은 시간이 필요한 경우가 많다. 많은 스타트업에서는 2년 정도 단위로 다음 투자를 받아야 하기 때문에 우선 작동하는 프로덕트가 필요하다. 따라서 연구보다는 개발을 주로 하게 된다. 세 번째로, 투자를 받게 되더라도 컴퓨팅 리소스를 무한정 사용할 수 있는 것은 아니다. 몇십 억원 정도의 시드 투자금으로부터 OpenAI 정도의 실험 환경을 구비하기는 쉽지 않다. 더욱이, 직원들에게 월급을 지급해야 하는 상황이라면 말이다. 네 번째, 모든 AI 연구자가 이런 도전을 즐기는 것은 아니다. 결국 학계에 입문한다는 것은 그에 맞는 우선순위를 가졌다는 것을 뜻하기 때문이다. 학문적 환경의 안정성은 잠재적으로 높은 봉급이나 다른 산업계가 줄 수 있는 혜택보다 더 값질 수 있다.

14. Collaborate or Jump Ship!

나열한 옵션들이 전부 마음에 들지 않고, 많은 데이터에서 학습하는 큰 규모의 방법론을 통해 혁신을 만들고 싶다면 컴퓨팅 파워와 데이터를 둘 다 가진 주체와 협업하는 선택지가 있다. 이런 방향으로 움직일 수 있는 여러 가지 선택지가 있다.

AI 분야를 선도하는 기업들과 인접한 대학들은 지역 인맥과 대면 미팅 등을 통해 협업을 시도하기 쉬운 이점등이 있다. 더 먼 대학들의 연구자는 연구 목적의 방문, 현장 실습, 공동 연구 프로젝트 인턴십과 같은 기회를 통해 협업의 창구를 열 수 있다. 더 급진적으로는, 몇몇 성공한 AI 교수는 연구 시간의 일부를 산업계의 파트너와 함께 하는 데 할애하거나, 심지어는 연구실을 회사 안에 차리기도 한다. 연구실과 기업간의 파트너십, 현장 실습, 혹은 연구실 이전은 놀라운 결과를 낳기도 한다. 얼핏 보기에는 이 방법이 AI 학계를 위한 제일 좋은 방법같기도 하다. 그러나, 1) 만들어진 결과물을 출판할 수 없기도 하고 2) 모든 사람이 산업 기반의 연구실에서 일할 수는 없고, 모두가 일하고 싶어하지도 않을 것이다.

혁신이란 공공기관의 지원을 받은 산업계가 이루는 것이 아 산업계의 지원을 받아 공공기관이 이뤄야 한다고 주장하는 측도 있다. 그렇기 때문에 대학의 책임은 (최소한 일부의) AI 연구자와 지적 재산권을 유치하는 것도 있다. 그렇지 않으면 인공지능 교육과 연구는 결국 대학 현장과는 무관해질 것이기 때문이다. 다음으로, 학계와 산업계의 관계에 대해서 좀 더 자세히 살펴보고 각자가 조력할 수 있는 길을 개략적으로 그려보자.

15. How Can Large Players in Industry Help?

탄탄한 재정을 가진 AI 연구기관을 가진 큰 회사가 이 상황을 개선하고 싶어할지는 확실하지 않다. 개별적인 연구자들과 매니저들은 학계의 AI 연구가 침체되는 현상에 대해 걱정할 수 있겠지만, 회사가 신경쓰는 것은 결과물과 주주가 원하는 것이다. 학술 연구 커뮤니티가 경쟁력 있어지는 것은 회사의 우선순위에서는 밀려나있을 수 있다. 그러나, 여기에 그들이 할 수 있는 일이 있다.

가장 기본적인 단계로, 가중치와 학습 코드를 포함해서 모델을 오픈소스화하는 것이 있다. 모델이 오픈소스화되면 AI 연구자들이 학습된 모델을 분석하거나 fine tune 하고, 이를 이용해서 시스템을 만들 수 있다. 이렇게 한다 해도 새로운 모델을 학습하는 데 있어서 여전히 연구자들이 경쟁력이 떨어지는 상황이기는 하지만, 좋은 시작이라고는 할 수 있다. 몇몇 기업의 연구 조직은 정기적으로 보유한 것 중 가장 경쟁력 있는 모델을 공개하는데, 이는 인정할 만한 공로이다. 그러나 다른 기업들은 모델의 세부 구조를 비밀에 부치고 있고 이것은 부끄러워할 만한 일이다.

현 상황을 해소할 수 있는 다음 단계는 학계와 협업하는 것이다. 섹션 14에서 언급했던 것처럼, 일부 큰 기관들은 박사 과정 학생을 인턴으로 받아서 대규모 프로젝트를 수행하게 하는 등의 방식으로 정기적으로 학계와 협업을 한다. 어떤 기업들은 공동 연구를 제안하고, 심지어는 연구 보조금을 제공하기도 한다. 이 모든 활동은 바람직하지만, 사실은 더 많이 이루어지는 것이 좋다. 예컨대, 학계에서 먼저 협업 과제를 제시함으로써 협업을 시작하는 매커니즘을 만드는 것도 방법일 것이다.

더 멀리 나아가자면, 학계와 산업계의 분리 문제에 대해 걱정하는 영리 회사라면 공개적으로 일함으로써 이를 개선할 수 있을 것이다. 계획을 포스팅하고, 코드와 모델, 그리고 개발상의 업데이트를 공개 리포에 게시하고 학계에서 자유롭게 기여할 수 있게 하는 것이다. 보통 회사들은 보안 문제 때문에 이런 방식으로 일하지 않는다. 그러나 다른한 편으로는, 코드와 학습을 대중에 공개함으로써 학계로부터 얻는 이득도 생각해볼 수 있을 것이다.

16. How Can Universities Help?

산업계가 아무리 문제를 해결하고 싶어한다고 해도, 주요한 개선안은 혁신을 만들고 싶은 대학으로부터 와야 한다. 가장 영향력 있는 논문들 중의 여러 개에 대학의 연구자들이 공동 저자로서 들어가 있다는 것은 중요한 사실이다. 이 연구자들은 산업계와 협업을 하거나, 산업계의 일부가 되어 논문을 작성했다. Dueling network architectures for deep RL, Attention is all you need, RL via seqwuence modeling 이 그 대표적인 예시이다. 그러나 이런 파트너십을 위해 대학 측의 노력이 더 필요하다. 사실, 산업계와의 협업을 위해 학술적 기관이 할 수 있는 일은 다양하다.

대학들은 교수진이 더 위험을 감수할 수 있도록 허용함으로써 변화하는 경쟁 구도에 그들이 발맞추도록 할 수 있다. 인공지능 분야에서의 학계 연구자들의 이점은 리스크가 높은 탐구를 하는 데 있으므로, 대학의 인센티브 시스템도 이에 걸맞게 바뀌어야 한다. 예컨대, NeruIPS와 AAAI와 같은 탑티어 컨퍼런스에 지속적으로 논문을 투고하기를 바라는 것은 합리적이지 않다. 크고, 재정이 탄탄한 기업에서의 연구가 이런 컨퍼런스에 받아들여질만한 논문을 쓰기에 훨씬 적합하기 때문이다. 유사하게, 큰 규모의 펀딩을 받으라는 것은 인기 많은 주제에 대한 점진적이고 안전한 연구를 하라는 것과 다름 없다. 펀딩하는 기관이 아무리 “파괴적”같은 말을 많이 쓴다고 해도, 이는 연구 보조금 신청의 내재적 특성이며 바뀔 여지가 없다. 이런 타입의 연구는 학계가 산업계와 경쟁하기 힘든 대표적인 사례 중 하나이다. 따라서, 대학들은 큰 규모의 펀딩을 받아오는 것을 고용 조건이나 진급 조건으로 삼는 것을 지양해야 한다. 만약 대학이 인공지능 분야의 역량을 끌어올리고 싶다면, 시도와 실패에 보상을 해야 하고, 위험이 크지만 보상도 큰 펀딩 구조를 만들고 그런 연구 계획을 지지해야 한다. 그렇다면 펀딩 에이전시도 기초 과학과 blue sky reseasrch에 더 투자할 수밖에 없을 것이다.

17. Parting Words

저자들이 생각한 이 논문의 목표는 여러 가지이다. 먼저, 동료 AI 연구자들과 고민을 나누고 공통적인 원인과 구제책을 찾고자 하는 희망이 있었다. 둘째로, 저자들의 경험과 학계, 산업계에서 나누었던 논의를 기반으로 가이드라인을 제시하는 것이다. 마지막으로, 토론의 장을 열어 모든 연구자들을 위한 새롭고 효율적인 아이디어를 구하는 것이다. 여기에 나열한 전략들은 존재하는 모든 방법을 포함하지는 않는다. 그러나 저자들은 이것이 아주 시급한 대화의 시작이 될 수 있다고 믿는다.