한줄 요약
210M 파라미터로 SOTA 품질, 10억 페이지 처리 비용을 $159,000에서 $7,900으로.
무엇이 달라지나?
HTML 본문 추출(web content extraction)은 LLM 개발 파이프라인에서 가장 조용하지만 가장 중요한 단계 중 하나다. 학습 데이터를 만들 때도, 검색 증강 생성(RAG)으로 맥락을 주입할 때도 결국 웹 페이지에서 '의미 있는 텍스트'만 뽑아내는 과정을 거친다. 문제는 일반적인 HTML 페이지의 약 70%가 네비게이션, 광고, 사이드바, 푸터 같은 노이즈라는 점이다.
Feyn이 공개한 Pulpie는 이 추출 단계를 인코더 아키텍처로 재설계해, 각 HTML 블록을 단일 포워드 패스에서 '본문'과 '보일러플레이트'로 분류한다. 기존 최고 성능 모델인 Dripper(0.6B 파라미터)가 디코더 구조로 토큰을 하나씩 뱉으며 레이블을 붙이는 방식과 달리, Pulpie는 모든 블록을 한 번에 처리한다. 이 구조적 차이가 속도와 비용에 결정적 차이를 만든다.
벤치마크인 WebMainBench 기준으로 Dripper가 ROUGE-5 F1 0.864를 기록할 때, Pulpie의 가장 작은 모델인 pulpie-orange-small(210M)은 0.862로 사실상 동등한 성능을 낸다. 처리 속도는 NVIDIA L4 GPU 기준 Dripper가 초당 0.68페이지인 반면 Pulpie는 13.7페이지다. 10억 페이지 처리 비용으로 환산하면 Dripper $159,000 대 Pulpie $7,900으로, 약 20배의 비용 격차가 생긴다.
실무에서 어떤 의미인가?
이 숫자가 중요한 이유는 단순히 '더 싸다'는 것 이상이다. 데이터 품질이 모델 성능에 미치는 영향은 생각보다 훨씬 직접적이다.
Ma et al.(2025)의 AICC 연구에서는 동일한 Common Crawl 스냅샷을 휴리스틱 파서와 모델 기반 파서로 각각 추출해 학습 코퍼스를 구성한 뒤, 동일한 모델 구조로 학습했다. 결과적으로 모델 기반 추출 코퍼스로 학습한 모델이 13개 벤치마크 평균 정확도에서 1.08%p 더 높았다. 더 주목할 만한 것은 이 모델이 FineWeb, RefinedWeb처럼 정교한 필터링으로 명성을 얻은 데이터셋으로 학습한 모델도 앞섰다는 점이다. 추출 품질 하나만 개선했는데 그런 결과가 나왔다.
구체적인 손상 사례도 있다. 휴리스틱 기반 추출기인 Trafilatura는 코드 블록에서 유사도 0.13, 수식에서 0.61을 기록한다. 반면 모델 기반 추출기는 각각 0.91, 0.94다. 코드와 수식이 망가진 채로 학습 데이터에 들어가면 그 손상은 모델에 그대로 전이된다. 개발 도구나 수학 관련 기능을 만드는 입장에서는 무시하기 어려운 차이다.
추론 단계에서도 마찬가지다. Shi et al.(ICML 2023)에 따르면 단 하나의 무관한 패시지가 모델의 답변을 틀리게 만들기에 충분하다. RAG 파이프라인에 웹 콘텐츠를 주입할 때 노이즈 비율이 높을수록 응답 품질이 떨어지는 이유가 여기에 있다.
Pulpie의 파이프라인은 HTML 단순화 → 블록 청킹(최대 8,192 토큰) → 분류 → 결과 반환의 4단계로 구성되며, 전체 페이지의 약 80%가 단일 청크로 처리된다. 모델은 Hugging Face에 오픈소스로 공개되어 있다.
학습 방식도 눈여겨볼 만하다. Feyn은 Common Crawl에서 16,670개 영어 페이지를 샘플링해 DeepSeek V3.2로 블록 레이블을 생성하고, Dripper 0.6B를 2차 레이블러로 활용해 일치율이 70% 이상인 14,959개 페이지만 남겼다. 이후 EuroBERT-2.1B를 교사 모델로 파인튜닝(ROUGE-5 F1 0.873)한 뒤, 지식 증류(knowledge distillation)로 610M짜리 Base와 210M짜리 Small 두 학생 모델을 만들었다. 210M 모델이 교사 대비 F1 1.1포인트 차이만 보인다는 점에서 증류 효율이 높다.
도입 전 체크포인트
Pulpie가 현실적으로 유용한 상황과 그렇지 않은 상황을 구분해 두는 것이 좋다.
유리한 케이스. 대규모 웹 크롤링 기반 학습 데이터 구축, RAG 파이프라인에서 웹 문서를 컨텍스트로 활용하는 구조, 코드나 수식처럼 구조적 콘텐츠가 포함된 데이터를 다루는 경우. GPU 인프라를 이미 운용 중이거나 클라우드 GPU 비용을 최적화해야 하는 프로젝트라면 비용 절감 효과가 바로 체감된다.
