Splunk - The minimum free disk space (5000MB) reached for /opt/splunk/var/run/splunk/dispatch

Splunk를 운영하다보면, 검색결과가 저장되어 저장 공간이 부족한 경우 이와 같은 오류가 발생할 수 있다.

이 오류는 운영중 검색이나 리포트 등의 데이터들도 공간을 차지하게 되는데, 이 저장 공간이 최소공간보다 부족해서 발생하는 오류라고 할 수 있다.

Search not executed: The minimum free disk space (5000MB) reached for /opt/splunk/var/run/splunk/dispatch. user=admin., concurrency_category="historical", concurrency_context="user_instance-wide", current_concurrency=0, concurrency_limit=5000

검색 실행 불가

다만 이 오류를 조치하기 전에 만약 Splunk의 최소 디스크 용량에 대해 확인후 해당 용량 이하로 Splunk 디스크 설정을 하였다면, Splunk 운영이 불가능한 상태이므로, 디스크 자체를 늘려주는 것을 권장한다.

• Standalone system requires 20GB for /opt/splunk
• Cluster system requires 50GB for /opt/splunk

그렇게 조치를 하고 나서 아래와 같이 운영중 저장된 event를 삭제하는 것으로 조치가 가능하다.

아래 명령으로 현재 운영중에 저장된 결과를 전체적으로 정리할 수 있다. 

$./splunk stop
$./splunk clean eventdata -f

 

만약 자주 발생하는 현상이라면, 데이터 저장공간을 늘려주는것이 좋지만, 임시적으로 조치할 수 있는 방법으로, 검색한 결과의 기본 저장시간을 변경을 하게 되면, 보다 빠르게 저장된 데이터를 삭제해주므로써 해소가 가능하다.

이 값은 /opt/splunk/etc/system/default/limits.conf 에서 변경이 가능하다.  아래 ttl 값을 변경하면 된다.

기본값은 10분간 유지하도록 되어 있다.

limits.conf - Splunk Documentation