강력한 인덱싱 검색 엔진을 활용해 로그 분석 분야에서 두각을 나타내고 있는 스플렁크가 하둡 분석을 위한 '헝크(Hunk)의 베타버전을 발표했다. 스플렁크는 헝크가 하둡에 저장된 데이터의 탐색, 분석, 시각화를 지원하는 기능을 갖춘 독립 플랫폼이라고 전했다.

스플렁크는 지난해부터 클라우데라(Cloudera), 호튼웍스(Hortonworks), 맵R 같은 빅데이터 하둡 플랫폼 전문 업체들과 협력해 EMC나 넷앱(Netapp) 같은 전통적인 스토리지 업체의 NAS 장비에 로그를 저장하는 대신 x86 서버에 로그를 저장하고 이렇게 저장된 데이터들을 손쉽게 관리하고 또 이를 분석하기 위해 노력해 왔다. 헝크를 발표하면서 클라우데라, 호튼웍스, 맵R 업체와 지속적인 협력 메시지를 보내고 있는 것도 전세계 많은 기업들이 빅데이터 플랫폼으로 하둡을 빠르게 도입하고 있기 때문인 것으로 보인다.

최근 마이크로스트레티지 같은 BI 전문 업체들도 하둡 진영과 손잡고 시각화 문제 해결에 적극 나서고 있다. 물론 전통적인 BI 업체들도 관련 움직임을 보이고 있다. 하둡 인프라가 빅데이터 기본 플랫폼으로 자리잡고 있는 상황에서 전통적인 RDB와 연동시켰던 BI 툴이나 서비스 업체들이 하둡 진영 끌어안기 경쟁도 흥미를 끈다.

[gallery ids="290,289,288,287"]

다음은 한글과 영어 보도자료(http://www.splunk.com/view/SP-CAAAH25) 전문.

스플렁크, 하둡용 애널리틱스 헝크 베타 버전 발표

- 하둡에 저장된 데이터의 신속한 탐색, 분석 및 시각화를 지원하는 올인원 플랫폼

2013년 7월 1일 - 실시간 운영 인텔리전스(Operational Intelligence)용 소프트웨어 플랫폼 공급업체인 스플렁크(Splunk Inc.)가 하둡용 스플렁크® 애널리틱스(Splunk® Analytics for Hadoop) 즉, 헝크(Hunk)의 베타 버전을 발표했다. 헝크는 하둡에 저장된 데이터의 탐색, 분석 및 시각화를 지원하는 모든 기능을 갖춘 독립 플랫폼이다.

헝크는 실제 현장에서 수천 여 고객을 통해 입증된 다년간의 스플렁크 빅데이터 분석 기술을 토대로 개발되었다. 그리고 막대한 비용이 소요되는 시스템간 통합이나 강제적인 데이터 마이그레이션, 혹은 복잡한 프로그래밍 과정 없이도 하둡에 저장된 데이터와 상호 작용하고 이를 분석하는데 있어 그 속도와 간결함을 획기적으로 향상시킨다. 보다 자세한 내용은 헝크 동영상에서 확인할 수 있다.

스플렁크의 제품 부문 수석 부사장인 기도 슈뢰더(Guido Schroeder)는 "헝크는 획기적인 신제품이다. 우리 고객들은 스플렁크라는 소프트웨어가 얼마나 손쉽게 데이터를 분석하고 또 시각화하는지 그 방식을 상당히 높이 평가하고있으며, 이미 하둡으로 개발한 저렴한 비용의 대용량 데이터 저장소에서도 이와 동일한 방식을 적용할 수는 없는지 문의해 왔다.. 이를 개발하기 위해 우리가 보유한 기술위에 현재 특허 출원 중인 새로운 버추얼 인덱스(virtual indexing)라는 기술을 추가했다. 하둡은 그 안에 있는데이터에 접근하고 이를 활용할 수 이만 있다면 그 자체로 충분한 잠재력을 가진 훌륭한 기술임에 틀림없다. 헝크는 맞춤형 개발로 막대한 비용이 소요되는 데이터 모델링이 필요 없고 장기적인 배치 처리의 반복 작업 등을 수행하지 않고도 보다 다양한 사용자 그룹에게 자체 데이터 자산에 대한 통찰력을 제공할 수 있는 올인원 플랫폼으로 개발되었다. 또한 대화형으로 데이터를 탐색하고 발견하고, 분석할 수 있는 기능을 제공함으로써 사용자들이 하둡안에 있는 원시 데이터로부터 실행 가능한 통찰력을 도출할 수 있도록 지원한다"고 설명했다.

451 리서치(451 Research)의 맷 애슬렛(Matt Aslett)은 "스플렁크는 '빅데이터’에서 통찰력을 확보할 수 있도록 함으로써 계속해서 보다 높은 가치를 창출하고 있다. 헝크를 통해 IT 및 현업 부서 사용자들이 하둡에 저장된 데이터를 탐색, 시각화 및 분석할 수 있게 하였고 이로 인해 운영 인텔리전스(Operational Intelligence)와 머신 데이터에 대한 스플렁크의 전문성을 넓히게 되었다"고 밝혔다.

신속한 통찰력과 가치는 높이고 프로그래밍 또는 통합의 필요성은 낮추고

헝크는 하둡에 저장된 데이터를 탐색, 분석, 시각화 및 공유하는 보다 빠르고 단순한 방법을 찾고 있는 조직을 위한 소프트웨어이다. 주요 특징은 다음과 같다.

• ·         스플렁크 버추얼 인덱스(Splunk Virtual Index, 특허 출원 중): 스플렁크 버추얼 인덱스 기술은 전체 스플렁크 기술을 원활하게 활용할 수 있도록 지원한다. 스플렁크 서치 프로세싱 랭귀지(SPL, Splunk Search Processing Language) 같은 기술은 마치 데이터가 스플렁크 인덱스(Splunk Index)로 저장된 것처럼 저장된 위치와 상관없이 원하는 데이터에 대한 상호 탐색, 분석 및 시각화를 가능하게 한다. 헝크는 이와 같은 혁신 기술을 통해 탄생한 첫 번째 제품이다.

• ·         한 곳에서 하둡 내 데이터 탐색:: 헝크는 대규모의 이기종 데이터 집합 전반에 걸쳐 데이터 탐색을 수행할 수 있도록 설계됐다. 사전에 데이터를 ‘이해’하도록 요구하지 않으며,, 단순히 하둡 클러스터 내에서 헝크를 클릭하면 즉시 데이터 탐색이 시작된다.

• ·         하둡 내 데이터의 대화형 분석:: 테라바이트 또는 페타바이트 규모의 데이터 전반에서 심층적인 분석을 수행하고 예외 항목을 찾아낼 수 있다. 데이터를 상호 연계시켜 트렌드를 파악하고 관련 패턴을 식별할 수 있다. 뿐만 아니라, 스플렁크 DB 커넥트(Splunk DB Connect)를 이용해 외부 관계형 데이터베이스의 데이터를 연결함으로써 통찰력을 더욱 완벽하게 향상시킬 수 있다.

• ·         하둡 내 데이터의 보고 및 시각화:: 고급 그래프와 차트를 즉시 작성하여 보다 의미 있는 데이터를 생성할 수 있으며 이를 모든 장치에서 다른 사용자들과 공유할 수 있다.

• ·         맞춤형 대시보드 생성:: 다수의 차트와 뷰 및 보고서를 서로 조합하여 역할에 따라 다양한 대시보드를 만들 수 있고, 이를 노트북, 태블릿 또는 이동 기기에서 보고 편집할 수 있으며 역할 기반 접근 제어를 통해 안전하게 접근할 수 있도록 보장한다.

• ·         엔터프라이즈 앱 프레임워크: 개발자 팀은 자바(Java), 자바스크립트(JavaScript), 파이썬(Python), PHP, C# 및 루비(Ruby)로 작성된 강력한 API 및 소프트웨어 개발자 킷을 포함한 풍부한 개발자 플랫폼 및 툴 체인을 이용해 신속하게 강력한 빅데이터 애플리케이션을 개발할 수 있다.

업계 최고의 하둡 배포판 활용

클라우데라의 비즈니스 및 기업 개발 담당 부사장인 팀 스티븐스(Tim Stevens)는 "클라우데라(Cloudera)와 스플렁크는 계속해서 빅데이터를 통해 실행 가능한 가능성의 범위를 확대하고 있다. 이번 발표를 통해 스플렁크는 하둡 커뮤니티에 더 많은 혁신과 전문성을 제공하게 될 것이다. 클라우데라는 앞으로 계속해서 스플렁크와 협력하여 아파치 하둡용 클라우데라 배포판(Cloudera Distribution for Apache Hadoop)에서 헝크를 검증할 계획이다"라고 밝혔다.

호튼웍스(Hortonworks)의 기업전략 부사장인 샤운 코널리(Shaun Connolly)는 "헝크는 스플렁크의 강점인 사용 용이성과 신속한 상호 분석 기능을 하둡에 있는 데이터에도 적용할 수 있도록 해준다. 호톤웍스(Hortonworks)는 스플렁크와 매우 긴밀히 협력하여 호톤웍스 데이터 플랫폼(Hortonworks Data Platform)상에서 헝크를 검증하고 있으며 양 사 고객들에게 새로운 가능성을 제시하게 될 것으로 기대하고 있다."고 밝혔다.

맵알 테크놀로지(MapR Technologies)의 사업부 부사장인 빌 보닌(Bill Bonin)은 "헝크는 기업 내 하둡 사용을 가속화하고 그 잠재성을 완벽하게 실현할 수 있도록 지원할 것이며 전체 생태계, 특히 고가의 스토리지 시스템을 하둡으로 교체하고 있는 수 만 여 조직들이 그 혜택을 누리게 될 것이다. 맵알은 맵알 네트워크 파일 시스템(MapR Network File System)상에서 헝크를 검증하기 위해 스플렁크와 협력하고 있다"라고 설명했다.

스플렁크는 헝크 비공개 베타 프로그램에 대한 참가 인원 수를 제한하고 있다. 본 베타 프로그램 참여 방법이나 헝크에 대한 자세한 내용은 스플렁크 웹 사이트에서 확인할 수 있다.

스플렁크는 오는 9월30일부터 10월 3일까지 라스베이거스 코스모폴리탄 호텔에서 올해로 4회째를 맞는 .conf2013를 개최한다. .conf2013은 스플렁크의 전세계 유저 컨퍼러스로 지금 등록할 수 있다. 이 행사는 스플렁크 고객, 파트너, 전문가 및 직원 등이 진행하는 100개 이상의 세션으로 구성되어 있다.

Splunk Announces Beta Version of Hunk: Splunk Analytics for Hadoop

New Software Product to Explore, Analyze and Visualize Data in Hadoop

HADOOP SUMMIT NORTH AMERICA 2013, SAN JOSE - June 26, 2013 - Splunk Inc. (NASDAQ: SPLK), the leading software platform for real-time operational intelligence, today announced the beta version of Hunk: Splunk® Analytics for Hadoop. Hunk (beta) is a new software product from Splunk that integrates exploration, analysis and visualization of data in Hadoop. Building upon Splunk's years of experience with big data analytics technology deployed at thousands of customers, Hunk drives dramatic improvements in the speed and simplicity of interacting with and analyzing data in Hadoop without programming, costly integrations or forced data migrations. Watch the Hunk video to learn more.

"Hunk is an important addition to the Splunk product portfolio. Our customers love how Splunk software enables them to easily visualize and analyze data, and they asked us if we could help them do the same on the sizeable low-cost data stores they've built up in Hadoop. To create it, we extended our technology with a new patent-pending virtual index technology," said Guido Schroeder, senior vice president of products, Splunk. "Hadoop is a tremendous technology full of potential - if you can get to the data and act on it. We developed Hunk as a standalone software product to help organizations give broader user groups insight into their data assets without custom development, costly data modeling or lengthy batch processing iterations. By providing interactive data exploration, discovery and analytics, Hunk empowers users to derive actionable insights from this raw data in Hadoop."

"Splunk continues to increase its value to enterprises by enabling them to gain insight from 'big data'," said Matt Aslett, research director, data management and analytics, 451 Research. "The beta release of Hunk sees Splunk building on its expertise in operational intelligence and machine data by enabling IT and business users to explore, visualize and analyze data stored in Hadoop."

Rapid Insights and Value, No Programming or Integrations

Hunk (beta) is for organizations that are seeking a faster, simpler way to explore, analyze, visualize and share data being stored in Hadoop. Key features include:

• Splunk Virtual Index (patent pending): Splunk virtual index technology enables the seamless use of the entire Splunk technology stack, including the Splunk Search Processing Language (SPL), for interactive exploration, analysis and visualization of data stored anywhere, as if it was stored in a Splunk software index. Hunk uses this foundational technology and is the first product to come from this innovation.
• Explore Data in Hadoop from One Place: Hunk is designed for interactive data exploration across large, diverse data sets. There is no requirement to "understand" data upfront, simply point Hunk at the Hadoop cluster and start exploring data immediately.
• Interactive Analysis of Data in Hadoop: Hunk enables users to drive deep analysis, detect patterns and find anomalies across terabytes and petabytes of data. Users can correlate data to spot trends, identify patterns of interest and enrich insights even further by connecting data from external relational databases usingSplunk DB Connect.
• Report on and Visualize Data in Hadoop: Users can build advanced graphs and charts on-the-fly to make their data more meaningful. Share these with other users on laptops, tablets or other mobile devices.
• Create Custom Dashboards: Hunk users can combine multiple charts, views and reports into role-specific dashboards which can be viewed and edited on laptops, tablets or other mobile devices. Hunk also allows users to ensure secure access with role-based access controls.

Hunk is Splunk's latest offering to address challenges interacting with and extracting value from data in Hadoop, in addition to Splunk Hadoop Connect and the Splunk App for HadoopOps. Splunk Hadoop Connect provides bi-directional integration with Splunk Enterprise while the Splunk App for HadoopOps monitors the entire Hadoop deployment from Splunk Enterprise.

Works with Leading Hadoop Distributions

"Cloudera and Splunk continue to push the boundaries of what can be done with big data, and with this announcement Splunk is bringing more of its considerable innovation and expertise to the Hadoop community. Cloudera looks forward to continue working with Splunk to certify Hunk on the Cloudera Distribution for Apache Hadoop," said Tim Stevens, vice president, Business and Corporate Development, Cloudera.

"Hunk brings the ease of use and rapid, interactive analytics Splunk is known for to data in Hadoop. Hortonworks is working very closely at an engineering level with Splunk to certify Hunk on the Hortonworks Data Platform including integration with Apache Ambari, and we look forward to introducing our joint customers to a new set of possibilities," said Shaun Connolly, vice president of corporate strategy, Hortonworks.

"Hunk brings to tens of thousands of organizations the ability to replace costly storage systems with MapR's enterprise-grade distribution for Hadoop, providing the resilience and performance that they demand. MapR is excited to work with Splunk in certifying Hunk to perform interactive analysis on data in a MapR cluster," said Bill Bonin, vice president of business development, MapR Technologies.

Splunk is accepting a limited number of participants in the Hunk private beta. Please contact Splunk if you are interested in participating in the beta program. Go to the Splunk website to learn more about Hunk.

Register now for .conf2013, the 4th Annual Splunk Worldwide Users' Conference, featuring more than 100 sessions by Splunk customers, partners, experts and employees. .conf2013 is being held September 30-October 3 at The Cosmopolitan in Las Vegas.