Crawlie: 무료 오픈소스 SEO 감사 도구, CLI와 MCP까지 한 번에 (github.com)

한줄 요약

설치 한 줄로 사이트 전체를 진단하는 무료 오픈소스 SEO 감사 도구가 등장했다.

무엇이 달라지나?

기술 SEO 감사 도구 시장은 그동안 유료 SaaS가 지배해왔다. 크롤 한 번에 과금, 페이지 수 제한, 클라우드 의존—이게 당연한 구조처럼 굳어졌다. Crawlie는 그 전제를 정면으로 깬다.

Crawlie는 npm 한 줄(npm i -g @spronta/crawlie)로 설치하는 로컬 실행 SEO 크롤러다. 깨진 링크, 리다이렉트, 메타데이터 누락 등 40개 이상의 기술 SEO 항목을 검사하고, 각 항목에 대해 실제로 무엇을 고쳐야 하는지 평문 영어로 안내한다. MIT 라이선스로 공개됐고, 사용 비용은 없다.

특히 눈에 띄는 건 두 가지 점수 체계다. 전통적인 Health 점수(기술 SEO)와 함께 GEO 점수를 별도로 제공한다. GEO는 Generative Engine Optimization의 약자로, ChatGPT·Perplexity 같은 AI 검색 엔진이 해당 페이지를 얼마나 잘 인용할 수 있는지를 측정한다. 검색 트래픽의 패러다임이 키워드 기반에서 AI 답변 기반으로 이동하는 흐름을 도구 차원에서 반영한 것이다.

CLI는 crawlie crawl, crawlie audit 등 직관적인 명령어 구조를 갖는다. 출력 포맷은 터미널용 pretty, 자동화용 JSON, 공유용 HTML, 분석용 CSV를 지원한다. --fail-on error 플래그로 CI 파이프라인에 SEO 게이팅을 걸 수도 있다.

실무에서 어떤 의미인가?

웹 개발 외주를 진행하거나 자체 서비스를 운영하는 팀이라면, 배포 전후 SEO 상태를 자동으로 검증하는 파이프라인이 필요하다. 지금까지는 이 단계에서 유료 도구나 수동 점검에 의존하는 경우가 많았다.

Crawlie가 주목받는 이유 중 하나는 MCP(Model Context Protocol) 서버를 함께 제공한다는 점이다. Claude, Cursor, Cline 같은 LLM 에이전트가 Crawlie를 직접 호출해 사이트 전체를 감사하고 결과를 해석까지 할 수 있다. 개발자가 명령어를 직접 입력하지 않아도, 에이전트에게 "이 사이트 크롤해서 GEO 점수 낮은 이유 상위 5개 알려줘"라고 자연어로 요청하면 된다.

노출되는 MCP 툴은 crawl_site, audit_url, audit_urls, explain_issue, list_rules 등 여섯 가지다. 에이전트가 단순히 도구를 실행하는 수준을 넘어, 결과를 읽고 수정 방향까지 제안하는 자율 워크플로우를 구성할 수 있다.

엔진 자체는 Rust로 작성됐고, CLI와 MCP 바이너리는 npm 패키지를 통해 플랫폼별로 자동 설치된다. macOS용 서명된 .dmg 데스크탑 앱도 별도 제공된다. 소스에서 직접 빌드하려면 Rust 툴체인만 있으면 된다.

실제 개발 프로젝트에서 이 도구가 유용한 시나리오는 명확하다. 외주 개발 산출물의 SEO 품질을 납품 전에 자동 검증하거나, 콘텐츠 배포 자동화 파이프라인에 SEO 체크를 끼워 넣거나, LLM 기반 에이전트가 주기적으로 사이트를 모니터링하는 구조를 만드는 데 모두 쓸 수 있다.

도입 전 체크포인트

Crawlie를 프로젝트에 적용하기 전에 확인할 사항들이다.

환경 요건: npm 환경이면 즉시 사용 가능하다. 소스 빌드는 Rust 툴체인이 필요하고, 데스크탑 앱은 macOS 전용이다.

크롤 범위 설정: 기본값은 최대 500페이지, 동시 요청 16개다. 대형 사이트라면 --max-pages, --concurrency 플래그로 조정해야 한다. robots.txt 준수와 sitemap.xml 시딩은 기본 활성화 상태다.

CI 연동: --fail-on error 또는 --fail-on warning 플래그가 비정상 종료 코드를 반환하므로 GitHub Actions 등 CI 환경에 바로 붙일 수 있다.

MCP 에이전트 연동: Claude Desktop은 claude_desktop_config.json 수정, Claude Code는 claude mcp add crawlie crawlie-mcp 한 줄로 연결된다. 다른 MCP 호환 클라이언트도 stdio 기반 JSON-RPC로 연결 가능하다.

GEO 점수의 해석: GEO 점수는 AI 검색 엔진의 인용 가능성을 측정하는 지표로, 전통적인 검색 순위와는 별개의 개념이다. 점수 향상을 위한 구체적 가이드는 crawlie explain <rule-id> 명령어로 확인할 수 있다.