[ML-Agents] 유니티에 ML-Agents 적용하기

// 파이토치와 유니티 ML-Agents로 배우는 강화학습 책에 대한 공부 요약 글입니다.

 

 

개요

 

  유니티에서 ML-Agents를 활용해 강화학습을 진행하려면, 학습을 진행할 환경을 구축할 수 있어야 한다. 본 글에서는 환경 구축에 필요한 과정, 특히나 유니티에 ML-Agents를 적용하는 과정에 대해 알아본다.

 

 

파이썬 설치 / 유니티 설치 버전 확인하기

  책이나 ML-Agents 공식 문서에서 권장하는 버전은 생각보다 잘 동작하지 않았다. 본 글에서는 시행착오 끝에 다음 버전을 사용한다.

• Python : 3.9.13
• Unity : 2022.3.28f1
• ml-agents : 0.30.0
• ml-agents-envs : 0.30.0
• PyTorch : 2.4.0
• numpy : 1.12.1

 

깃허브에서 ML-Agents 다운로드

 

https://github.com/Unity-Technologies/ml-agents

GitHub - Unity-Technologies/ml-agents: The Unity Machine Learning Agents Toolkit (ML-Agents) is an open-source project that enab

 

 

 

 

  먼저, 유니티에서 직접 운영하는 ML-Agents 깃허브 사이트에 접속하여, ML-Agents 패키지의 최신 릴리즈를 다운받아준다.

 

 

유니티에 ML-Agents 패키지 설치

유니티의 Package Manager에서 다운로드 받은 ML-Agents 패키지를 설치한다.

 

 

 

다운로드 받은 파일에서 찾을 수 있다.

 

 

  패키지 매니저 왼쪽 상단의 + 버튼을 클릭하고, Add Package from disk를 누른 뒤, 다운로드 받은 ML-Agents, ML-Agents-Extensions 의 .json파일을 클릭하여 설치한다.

 

 

 

예제 씬들의 위치

 

 

 

  패키지를 다운로드 했으면, ML-Agents의 예제 씬들도 함께 임포트한다.

 

 

파이썬 가상환경 구축

 

   파이썬으로 이런저런 라이브러리를 이미 설치했다면, 다양한 라이브러리들의 버전이 서로 호환되지 않는 등의 문제로  ml-agents 환경 구축에서 문제를 겪게 된다. 이를 방지하기 위해, 프로젝트 진행을 위한 가상 환경을 따로 구축하는 것이 좋다.

 

  cmd 창에서 유니티 프로젝트의 솔루션(.sln) 파일이 존재하는 경로로 들어가서, 다음 명령어를 통해 가상환경을 만들어준다.

 

-m venv venv

 

 

  그러면 다음과 같이 venv 파일이 설치되고, Scripts 폴더의 activate.bat 을 실행하면 가상환경에 진입할 수 있다. 그리고 다음 명령어를 통해 pip 버전을 업그레이드 해준다.

 

py -m pip install --upgrade pip

 

  

 

파이썬 ml-agents 관련 라이브러리 설치

 

  파이썬에서 ml-agents를 사용하기 위해서, 관련 라이브러리를 명령 프롬프트를 통해 설치해야 한다. 설치할 라이브러리들은 다음 명령어를 통해 설치할 수 있다.

  

pip install ml-agents
pip install torch torchvision torchaudio

 

 

  설치가 완료되었으면, 다음 명령어를 통해 제대로 동작하는지 확인한다.

 

mlagents-learn --help