이노베이터 2007년 5,6월호 - [Innovator] 슈퍼컴퓨팅의 혁신자 Frank Chism 기술 이사 & 이상문 박사

PDF 문서

현재 우리는 일반적인 개인용 컴퓨터와 흡사하게 저렴하고 편리한 환경에서 슈퍼컴퓨팅을 활용할 수 있는 시대를 맞고 있다. 이러한 시대적 요청에 발맞춰 마이크로소프트는 저렴한 비용으로 쉽게 구현할 수 있는 슈퍼컴퓨팅 WCCS(Windows Compute Cluster Server)를 출시해 주목을 끌고 있다. 슈퍼컴퓨팅의 이노베이터인 마이크로소프트의 Frank Chism 기술 이사와 삼성종합기술원의 이상문 박사가 간담회를 통해 전세계 슈퍼컴퓨팅 분야의 최신 동향과 함께 국내의 상황에 대해 의견을 나누었다.

Frank Chism : 슈퍼컴퓨팅뿐만 아니라 클러스터링 컴퓨팅 분야에 대한 중요한 트렌드는 멀티코어 마이크로프로세서의 이용이 늘고 있다는 것입니다. 그러한 멀티코어 마이크로프로세서 환경이 서버에 연결되면 클러스터 환경을 구축하거나, MPP 환경을 구축하는 사례가 늘어나게 됩니다. 특히 후자의 사례는 IBM의 BlueGene 또는 Cray의 XT3이라고 말씀드릴 수 있습니다. 이런 사례들은 제가 볼 때 클러스터 환경이라기보다는 Massively Parallel MPP 환경인 것 같습니다.

사실 저는 슈퍼컴퓨팅 시장은 별로 변화한 것이 없다고 생각합니다. 그러나 시장의 깊이는

더 깊어졌다고 보고 있습니다. 일례로 제 아내가 사진작가인데 그녀의 수준에서 쓰는 프로세싱 파워만 해도 15년 전의 슈퍼컴퓨터의 성능보다 현재가 더 뛰어납니다. 사회 전체가 바뀌고 있고, 전에는 불가능하다고 생각했던 것들이 가능해지고 있습니다. 영화 프린트도 마찬가지고 사진 프린트 기술도 그렇습니다. 모든 것이 디지털화되고 있고 슈퍼컴퓨팅 파워 수준의 성능이 일반 상품과 같은 가격대로 공급되고 있습니다. Commodity화 되고 있는 것이죠. 이런 트렌드는 앞으로도 계속 될 것이라고 생각합니다. 다만 기술적인 발전에 있어서는 병렬 애플리케이션이 지속적으로 개발되어 이런 뛰어난 컴퓨팅 성능들을 십분 활용할 수 있는 수준이 될 수 있겠느냐는 것이 관건이겠지요. 그래서 저는 ISV를 볼 때마다, 기회가 있을 때마다 점점 더 병렬 애플리케이션을 개발하지 않으면 앞으로 살아 남기 어려울 것이라고 이야기합니다. 왜냐하면 자기가 안하면 다른 벤더가 할 것이고, 시장을 뺏어갈 것이라고 보고 있기 때문이죠. ‘연말이 되면 단일 프로세서 머신은 더 이상 찾아볼 수 없지 않을까?’ ‘소비자들이 선택하는 소비자 레벨의 제품에서도 단일 프로세서 제품의 머신은 더 이상 없지 않을까?’ 하고 생각하기도 합니다. 분명한 것은 ISV들이 신속하게 병렬 애플리케이션 환경으로 가야 한다는 점, 그런데 그렇게 못하고 있다는 점입니다. 그리고 하드웨어의 성능이 굉장히 빠른 속도로 향상되고 있다는 것입니다.

이상문 박사 : 전 세계적인 고성능컴퓨팅(HPC : High Performance Computing) 트렌드에 대한 말씀 감사드립니다. 한국적인 HPC는 두 가지로 나누어 생각할 수 있는데 하나는 과학 분야에서, 또 다른 하나는 기업체에서 쓰는 HPC 분야입니다. 과학 연구 분야에 한국의 연구능력이 많이 발전하여 대규모의 Challenging Problems 들이 생겨날 수도 있지 않을까 합니다. 이를 위하여 많은 분들이 여러 연구소에서 연구를 진행하시리라 생각합니다. 실질적으로 한국 내에서도 대규모 computing 파워를 필요로 하는 애플리케이션이 결국에는 출현하게 되지 않을까 생각합니다.

국내 다른 쪽을 바라본다면, 기업에서 사용하는 HPC가 있습니다. 예전에는 Cray, IBM, SGI, HP의 슈퍼돔, 그리고 이러한 SMP 머신을 통해 큰 메모리를 사용하는 HPC 시스템을 많이 사용했습니다. 하지만 지금은 많은 사람들이 좀전에 말씀하신 것처럼 병렬화라고 하는 프로그램에 대해 관심을 가지고 있으며, 거기에 대해 자신이 직접 프로그램을 하는 것보다 상용 애플리케이션을 사용하는 측면이 많아졌지요. 특히 Fluent, Abaqus 등은 지금 Parallel 버전이 나오고 있습니다. 기업체 관점에서 이야기한다면 대부분 자신들이 쓰고 있는 시스템이 어느 회사의 것인지에 상관없이 어떤 애플리케이션이든 잘 활용해서 Total Turnaround Time을 줄이는 데 가장 큰 노력을 기울이고 있습니다.

Frank Chism : 맞습니다. 이 박사님 말씀에 전적으로 동의합니다. 저는 지난 발표 때 우리에게 가장 중요한 것은 유저에게, 유저들이 필요로 하는 애플리케이션을 제공해야 한다는 것이라고, 그러므로 소프트웨어 벤더나 하드웨어 벤더들이 유저에게 최고의 valuable한 플랫폼을 지원할 수 있도록 해야 한다고 이야기했습니다.

이상문 박사 : 삼성종합기술원에서 지금 만들고 있는 하드웨어 인프라스트럭처 같은 경우 한국의 연구소와 다른 기업에서 벤치마킹하는 대상이 되고 있습니다. 우리가 예전에는 MPP 머신, SMP, DSMP를 사고 나중에 클러스터를 샀었지만 지금은 이것을 다 포괄하는 클러스터를 운영하고 있지요. 이러한 하드웨어 아키텍처 같은 것이 우리가 쓰고 있는 측면에서의 효율을 높일 뿐만 아니라, 다른 회사들에게 한국의 HPC 트렌드가 어떻게 나아가고 있는지 알리고 공유하는 자리를 많이 만들고 있습니다.

Frank Chism : 굉장히 좋은 말씀입니다. 지금 말씀해주신 한국의 트렌드는 제가 봤을 때 Single System 이미지 모델을 말씀해주신 것 같은데, 이것이

과거의 트렌드였다면 이제는 클러스터 쪽으로 가고 있다는 뜻이겠지요. 클러스터가 대세로 자리잡고 있기 때문에 클러스터 환경으로 가고 있다는 것이고…. 따라서 삼성종합기술원의 경우 삼성 내부적으로나 한국의 다른 기업들을 위해서 클러스터 중의 클러스터를 구축할 필요가 있다고 보고 계신 것 같습니다.

그런데 클러스터 중의 클러스터라는 것은 굉장히 흥미로운 개념입니다. 제가 지금까지 많은 사람을 만나면서 강조해왔던 것이 사실 ‘클러스터라는 것은 하나의 빌딩 블록에 불과하다’라는 것입니다. 클러스터와 그리드를 구별해서 이해할 필요가 있다고 항상 생각해왔고 기회가 있을 때마다 말씀을 드리고 있습니다.

클러스터를 관리할 때 클러스터에 대한 그리드, Grid of Cluster로 관리를 한다면 좀더 효율적으로 시스템의 클러스터별 Capability가 다를 것입니다. 그리고 그런 것들이 시스템의 다양한 차이점 등을 잘 관리할 수 있을 것으로 생각합니다. 그리드는 소프트웨어를 이용해서 관리하고 유저들이 자기의 업무, 자기 쪽과 관련된 클러스터 관리를 좀더 용이하게 할 수 있도록 하는 데 필요성이 있다고 생각합니다.

Frank Chism : 마이크로소프트 WCCS의 플랫폼으로서의 강점은 이 WCCS가 마이크로소프트 소프트웨어 프로덕트뿐만 아니라, 업계의 전체 에코 시스템에 완전히 인터그레이션 될 수 있다는 것입니다. 그래서 마이크로소프트의 WCCS는 고유한 어떤 이탈자와 비유할 수 있는 열외의 프로덕트가 아니라 주류에 포함되는 프로덕트라고 생각합니다. 이 점은 특히 중요하지요. 이는 아주 높은 컴퓨터 파워를 엔드유저가 익숙한 폼으로 Windows 환경에서 엔드유저에게 바로 제공할 수 있다는 뜻이니까요. 또한 여기서 굉장히 새로운 아이디어가 반짝이는데 엔드유저들이 보다 효율적으로 컴퓨팅 파워를 사용할 수 있도록 WCCS의 version 2 에서는 상호운용성 부분을 강화할 예정입니다. 유저들이 데스크톱 시스템을 전에 쓰던 형식으로 굉장히 난이도가 높은 계산이 필요할 때 컴퓨터에서 자동으로 클러스터로 job을 보내서 자기가 익숙한 형태로 결과를 보게 해줄 수 있는 것입니다. 두 번째로 중요한 것은 지금 곧 가능할 것 같고, 지금도 가능한 것 같은 것으로 웹 페이지를 5∼6번 클릭하면 pre-configured cluster를 바로 제공받을 수 있다는 것입니다. 이로써 모든 사람의 클러스터 관념을 바꿔놓는 것이 가능해졌는데 과거에는 클러스터가 대기업이 운영하는 것이고 이것이

중앙화된 어떤 에셋이고, 굉장히 많은 비용을 지불해야 하는 솔루션이라고 생각했었습니다. 그러나 이제는 그룹이나 개인이 예전 Department, Division 단위에서 같은 테크놀로지와 애플리케이션 환경에서 클러스터를 작게 구축하거나 아니면 확장시켜서 사용할 수 있게 되었다는 거죠. 일을 하는 방식이나 일의 흐름에 대한 방식을 많이 바꿔주고 있습니다.

이상문 박사 : WCCS가 슈퍼컴퓨팅 분야뿐만 아니라, 회사 내의 환경도 굉장히 많이 바꿀 것이라고 기대를 하고 있어요. 저 역시 4월에 마이크로소프트의 Early Adoptor Program의 템(TAP) 프로그램을 신청했었고 그것을 통해 WCCS에 대해 많이 배우고 있습니다. 또한 파일럿 프로젝트를 한국마이크로소프트와 추진하고 있습니다. 그런데 가장 중요한 것은 마이크로소프트가 이런 HPC부분에 있어서 연구를 할 때 고객에게 미치는 임팩트가 클것이냐의 문제입니다. 한국에서 많은 사람이 Windows Server를 사용하고 있고, 그래서 과학계에서까지 적용될 수 있는 WCCS 시스템을 내놓았다고 하니 대단히 큰 이슈로 받아들여지고 있는 것입니다.

배칭에 대해서 이야기를 했는데, 배칭으로 job을 던지고 있는 부분은 한국의 슈퍼컴퓨팅 업계에서 굉장히 흔한 일이 되었습니다. 그렇지만 사람들은 상호운용성이 가능한 환경에서 WCCS를 통하여 그리드로 진행할 수 있는 환경이 구축되기를 바라는 경향이 있지요. 그래서 지난 3월에 마이크로소프트에 의견을 개진했습니다만, 인터액티브하게 job을 submit하고 슈퍼컴퓨팅뿐만 아니라 일반 기업들의 기간 인프라를 많이 바꿀 수 있는 솔루션이 될 것이라고 생각을 합니다.

이상문 박사 : 마지막으로 부탁할 것이 있다면 많은 솔루션 업체, 예를 들어 HP, SGI, SUN, IBM 등에서는 사용자 유저 미팅을 주선하여 많은 실무자가 미팅에 참석하도록 해야 합니다. 이런 미팅에서는 솔루션을 어떻게 운영하고 있는지, 무엇이 문제인지, 잘 활용하기 위해서 어떻게 구성을 해야 하는지 등의 정보를 공유할 수 있지요. 뿐만 아니라 실제적으로 자신들의 인프라에 문제가 있다면 의견 제시나 불만을 위로 전달할 수 있게 만들어줍니다. 이런 것을 마이크로소프트 WCCS 내에서도 구성할 수 있다면 좋은 결과가 있지 않을까 기대하고 있습니다.

Frank Chism : 굉장히 좋은 아이디어를 제시해주셨습니다. 아주 활발한 유저그룹이 있는 회사에서 오랫동안 일을 해봤습니다. 당시에 유저그룹을 통해서 고객들이 다른 고객의 어떤 경험에 대해서 들으면서 유용한 시간을 가졌고, 기능기능 중에서 중요한 기능에 대한 유저들의 의견이 수렴되면서, 벤더가 그 유저들이 좋아하고 중요하다고 생각한 기능에 촛점을 맞춰 제품을 보완하고 개발하는 사례를 많이 봐왔습니다. 그런 형식의 의견을 제시할 수 있는 장이 중요하다고 하신 말씀 본사에 가서 반영하도록 하겠습니다.

Innovator Ⅰ << Innovator Ⅱ