2021.08.31 현대자동차그룹
딥러닝 경량화 알고리즘과 하드웨어의 콜라보(feat. MIT Song Han)
안녕하세요. 현대자동차그룹 신상훈 책임연구원입니다. 현대차그룹과 MIT(Massachusetts Institute of Technology) HAN Lab의 산학협력연구 산출물인 딥러닝 알고리즘이 AI Driving Olympics에서 1등을 차지했다는 기쁜 소식과 함께 현재 진행 중인 산학협력연구를 소개하려 합니다.
소개드릴 산학협력연구는 MIT의 Song Han 교수와 함께하고 있습니다. Song Han 교수는 AI 분야 최고 권위의 전문가로 손꼽히며, 우수한 연구성과 뿐 아니라 Deephi라는 회사의 공동 창업자이자 CTO(최고기술경영자)의 이력도 가지고 있습니다.
그럼, 현대차그룹이 Song Han 교수와 함께 연구 중인 딥러닝 경량화 알고리즘과 하드웨어 최적화에 대해 알아보도록 하겠습니다.
현대차그룹 x MIT, 자율주행을 향한 LiDAR 3D Point Cloud 산학연구
완전자율주행을 구현하기 위해서는 3차원 공간을 인식할 수 있는 센서가 필요합니다. 2D 기반인 카메라를 이용해 3D를 구현하는 것은 복잡한 연산을 요구하기 때문에 현재는 3D 공간 인식이 가능한 LiDAR 센서를 적용하고 있습니다. LiDAR는 360도로 방사한 레이저가 반사돼 다시 되돌아오는 것을 감지해 3차원 공간을 인식합니다. 수많은 레이저의 점(point)들이 구름(cloud)처럼 뭉쳐 X, Y, Z축의 좌표를 표현하는 것이죠. 그렇게 표현된 점들의 집합을 3D Point Cloud라고 합니다.
3D Point Cloud의 데이터는 X, Y, Z축의 3D 딥러닝 방식으로 계산하기 때문에 카메라와 같은 X, Y 축의 2D 데이터 딥러닝 대비 많은 계산을 필요로 합니다. 그리고 자율주행에서는 운전자의 안전과 직결되기 때문에 수집된 데이터의 빠른 처리가 필수입니다. 따라서 3D Point Cloud로 표현되는 LiDAR 신호를 고속으로 처리하는 경량화된 딥러닝 알고리즘을 산학협력연구의 첫 번째 과제로 선정했습니다.
또한 자동차는 Edge Device로서 서버와 연결되지 않은 상태에서도 단독으로 사용이 가능해야 합니다. 한정된 물리적 공간으로 인해 활용 가능한 하드웨어 자원이 제한되며, 이러한 환경적 제약을 극복하기 위해서는 하드웨어의 최적화된 설계 또한 중요합니다. 따라서 효율적인 알고리즘에 대한 연구와 더불어 산학협력연구의 두 번째 과제로 하드웨어의 최적화 설계를 선정하여 연구하고 있습니다.
산학협력연구의 첫 번째 성과, AI Driving Olympics의 LiDAR Segmentation 챌린지 1위 달성
AI Driving Olympic(AI-DO)은 자율주행 관련 AI 알고리즘을 대표하는 세계적인 대회입니다. 우리가 잘 알고 있는 구글, 화웨이, 바이두 등 글로벌 기업과 MIT, 스탠포드 대학, 난양공과대학(싱가포르)을 비롯한 유명 대학들이 본 대회에 참여해 함께 경쟁하고 있습니다. NuScenes 데이터셋을 활용한 본 대회를 통해 대회 참가자들은 알고리즘을 검증하고, 개선하는 방식으로 자율주행 분야의 연구가 활발하게 진행되고 있습니다.
위의 대회에서 현대차그룹과 Song Han 교수의 산학협력연구를 통해 제출된 딥러닝 알고리즘이 우수함을 인정 받아 1위를 차지할 수 있었습니다.
기존 연구들은 LiDAR를 통해 획득한 Point Cloud를 Voxel(3D 공간의 한 점을 정의한 일단의 그래픽 정보) 단위로 균일하게 격자화한 후, 3D Volumetric Convolution 기법으로 Voxel 내 점들의 정보를 추출했습니다. 이때 Point Cloud가 저해상도인 경우에는 여러 점이 하나의 점으로 합쳐지며 정보 손실이 일어날 수 있는데요. 자동차에서는 안전상의 문제로 이어질 수 있습니다. 따라서 정보 손실을 줄이기 위한 고해상도의 Point Cloud가 필요하지만 Voxel의 해상도가 증가할수록 계산 비용과 메모리 크기의 요구량이 입체적으로 증가하기 때문에 이 방식 역시 자동차에서는 사용하기 쉽지 않습니다.
최근에는 이런 문제점을 해결하기 위해 Point Cloud를 이루는 점들을 Voxel화 하지 않고 직접 정보를 추출하는 알고리즘이 등장하기도 했습니다. 그러나 Random Memory Access 패턴이 발생하였고 결국 하드웨어의 전체 처리량(throughput)이 떨어지는 문제가 나타나 실제 적용하는 데에는 무리가 있었습니다.
이번 연구과제에서는 이러한 문제점들을 해결하기 위해 각 알고리즘들의 장점만을 적용하는 것을 목표로 알고리즘을 개발했습니다. 그 결과 우수한 메커니즘을 인정받아 6th AI Driving Olympics에서 좋은 결과를 가져올 수 있었습니다.
보다 자세한 이야기, 담당자 인터뷰
우수한 성적을 낸 현대차그룹과 MIT HAN Lab의 산학협력연구에 대해 연구과제 PM인 나희연 책임연구원과 Song Han 교수의 인터뷰를 준비했습니다. 미처 담지 못한 자세한 내용들은 인터뷰를 통해 확인하실 수 있습니다.
※ Song Han 교수의 인터뷰 원문은 영문 콘텐츠를 통해 확인 가능합니다.
Q. 함께 연구하는 분야에 대해서 간략히 소개를 부탁드려요.
Song Han 교수 | 저는 딥러닝을 위한 효율적인 알고리즘과 시스템 및 하드웨어를 연구해 왔는데요, 이를 통해 자율주행 자동차의 인지 연산 효율성을 개선하고 있습니다.
나희연 책임연구원 | MIT와의 산학연구를 통해서 Point Cloud를 활용해 효율적으로 물체를 감지할 수 있는 알고리즘과 이 알고리즘을 효과적으로 가속시킬 수 있는 하드웨어 설계를 연구하고 있습니다.
Q. 이번 산학협력과제의 목적과 성과가 궁금합니다.
Song Han 교수 | 저희 목표는 리소스가 제한적인 하드웨어 플랫폼에서 3D LiDAR 인식을 실시간으로 활성화하는 효율적인 알고리즘과 시스템 및 하드웨어를 개발하는 것입니다.
나희연 책임연구원 | 그리고 이 연구를 통해 개발한 알고리즘이 Motional사와 ICRA가 공동 개최한 6th AI Driving Olympics에서 쟁쟁한 경쟁자들을 제치고 1위를 차지한 것이 주요 성과라고 할 수 있습니다.
Q. SPVCNN++ (Sparse Point-Voxel Convolution Neural Network)의 특징은 무엇이며, 기존 알고리즘과 비교하여 어떤 점이 개선되었나요?
나희연 책임연구원 | 딥러닝 경량화에 대한 연구는 알고리즘 자체를 적은 연산과 효율적인 구조로 설계해서 기존 모델 대비 효율을 극대화하는 ‘경랑 딥러닝 알고리즘 연구’와, 이미 만들어진 모델의 파라미터를 줄이는 ‘모델 압축’ 기법으로 나눌 수 있습니다. 이번 MIT와의 협력과제에서는 전자의 접근 방식으로 알고리즘의 최적화와 경량화를 동시에 이뤄낼 수 있었습니다.
Song Han 교수 | SPVCNN++는 제약이 있는 하드웨어 조건에서 최고 수준의 3D 신경망 아키텍처를 설계할 수 있는 자동화된 솔루션을 제공합니다. 또한 Temporal Fusion과 Pseudo Labeling을 통해 레이블링 되지 않은 풍부한 데이터(nuScenes 데이터 셋의 레이블링 데이터보다 9배 더 많음)를 활용합니다. 최적화된 Inference Engine이 적용된 SPVCNN++는 1개의 NVIDIA GTX 1080Ti GPU에서 12.8 FPS 수준으로 실시간 동작하며, 현재 최고 수준인 81% 이상의 mIoU를 달성했습니다.
Q. ‘the NuScenes LiDAR Segmentation Challenge at the 6th AI Driving Olympics’에서 1위를 차지한다는 것은 어떤 의미를 가질까요?
Song Han 교수 | 이번 대회에서 1위를 차지함으로써 뛰어난 자율주행을 위한 LiDAR 인식 기술력을 성공적으로 증명했습니다. 또한 ‘하드웨어를 고려한 3D 딥러닝 모델’을 설계하고, ‘레이블링되지 않은 데이터를 통한 학습’을 통하여 자율주행 애플리케이션 분야에 큰 진척을 이뤘다고 생각합니다.
Q. 자율주행 및 로봇 분야에서 딥러닝 모델의 경량화가 중요한 이유는 무엇인가요?
나희연 책임연구원 | 딥러닝 경량화에 대한 연구는 클라우드 기반으로 학습된 모델을 Edge Device에 내장하기 위해 반드시 필요합니다. 배터리 소모량과 연산량, 지연시간, 네트워크 트래픽 등을 모두 감소시키는 다양한 효과를 거둘 수 있습니다. 이에 대한 최적화 작업 역시 이루어져야 하고요.
Q. 산학협력과제의 또 다른 주제인 H/W 아키텍처 연구는 어떤 연구인가요?
Song Han 교수 | Point Cloud는 밀도가 매우 낮아 기존의 범용 하드웨어로 연산하는 것은 비효율적입니다. 따라서 저희는 Sparse한 Point Cloud를 위한 3D 하드웨어 가속기인 PointAcc를 함께 연구 중입니다. PointAcc는 다양한 타입의 Sparse Mapping 연산을 효율적으로 지원하며, 메모리 Footprint 최적화를 통해 DRAM 액세스를 6.3배 감소시키는 데이터 오케스트레이션 유닛(Data Orchestration Unit)도 갖추고 있습니다. 그 결과, PointAcc는 GPU와 TPU와 비교했을 때 속도는 각각 3.7배와 79배, 그리고 에너지는 각각 21배와 268배 개선했고, 최근 최고 수준의 컴퓨터 아키텍처 컨퍼런스인 MICRO 2021에서도 논문이 채택된 바 있습니다.
나희연 책임연구원 | 부연 설명을 드리자면, Point Cloud 데이터는 집적도가 높은 2D 이미지 데이터와는 달리, 밀도가 굉장히 낮은 특성이 있습니다. 모든(X, Y, Z) 좌표에 데이터가 존재하는 것이 아니라 공간의 어떤 부분에는 점들이 집중적으로 존재하기도 하고, 공간의 다른 일부에는 점들이 전혀 존재하지 않기도 합니다. 따라서 2D 이미지에 Convolution 연산을 적용하는 방식을 그대로 Point Cloud에 적용하면 연산의 낭비가 굉장히 많아지므로 실제 점들이 존재하는 곳에만 선택적으로 연산하는 알고리즘과 이런 연산 방식을 효율적으로 지원해 주는 하드웨어 역시 함께 연구가 필요합니다.
Q. 앞으로 현대차그룹과 산학협력연구를 계속할 계획인가요? 그렇다면 연구 주제는 무엇인가요?
Song Han 교수 | 앞으로도 현대차그룹과의 산학협력연구를 계속 진행할 계획입니다. 알고리즘부터 하드웨어 가속기 프로토타입에 이르기까지, 전체적인 스택 설계를 비롯하여 자율주행의 인식능력을 개선하기 위한 신경망과 추론 엔진의 공동 설계 작업에 중점을 두려고 합니다. 효율적인 하드웨어 아키텍처에서 실행되는 높은 정확도의 경량화 모델을 목표로, AI를 더욱 빠르고 친환경적이며 모든 사람들이 더욱 쉽게 접근할 수 있도록 만들 것입니다.
지금까지 현대차그룹의 MIT Song Han 교수 산학협력연구와 성과를 소개 드렸습니다. 안전한 자율주행의 실현을 위해 딥러닝 알고리즘의 경량화와 하드웨어 최적화는 매우 중요하기 때문에 앞으로도 이에 대한 연구를 이어 나갈 계획입니다. 이 외에도 현대차그룹은 우수한 외부 조직들과 함께 다양한 협력연구를 진행 중입니다. 최고의 파트너와의 심도 있는 연구를 지속할 수 있도록 많은 관심과 응원을 부탁드립니다.
현대자동차그룹 신상훈 책임연구원
신기술을 자동차에 적용하고, 신사업 기회를 발굴하는 업무를 맡고 있습니다.
현대자동차그룹 나희연 책임연구원
딥러닝을 이용한 컴퓨터 비전 분야의 연구 개발을 담당하고 있습니다.
MIT Song Han 교수
딥러닝을 위한 효율적인 알고리즘과 시스템 및 하드웨어를 연구해 왔습니다. 최근에는 자율주행 자동차의 인지 성능 향상에 많은 관심을 가지고 있습니다.
