크롤링은 쓸모없다 생각했지만…

저는 처음에 **크롤링(crawling)**과 스크래핑(scraping) 업무에 대해 부정적인 시각을 가지고 있었습니다.

“남의 사이트 데이터를 가져오거나 자동으로 등록하는 행위가 과연 바람직할까?”

이런 의문이 늘 마음속에 있었죠.

​

실제로 직원과 이야기하면서도 이렇게 말하곤 했습니다.

“크롤링 업무를 원하는 회사는 없을 거야.

차라리 ERP, MES 같은 정통 시스템을 개발해야 커리어에도 도움이 되고, 회사에도 더 가치가 있어.”

그러나 현실은 달랐다

시간이 지나면서 시장을 조금 더 깊게 들여다보니, 생각이 달라지기 시작했습니다.

기업들이 필요로 하는 건 거창한 시스템만이 아니었습니다.

ERP나 MES 같은 시스템은 물론 중요하지만, 현실에서는 당장 매일 반복되는 단순 작업을 줄여주는 자동화 도구도 절실히 원하고 있었습니다.

예를 들어:

• 매일 공공기관 사이트에서 입찰 공고를 확인하는 일

• 특정 협회에서 원자재 시세를 가져와 비교하는 일

• 검사 기관 사이트에서 시험·검사 결과를 확인하고 정리하는 일

이런 작업들을 사람이 직접 하려면 하루에도 몇 시간씩 소비됩니다.

하지만 크롤링을 적용하면 버튼 한 번, 혹은 자동 스케줄만으로 끝나는 거죠.

자동화라는 새로운 관점

처음엔 “편법”처럼 보였던 크롤링이, 업무 자동화의 핵심 기술로 보이기 시작했습니다.

사람이 기계처럼 반복하던 일을 소프트웨어가 대신하고,

직원들은 그 데이터를 활용해 더 중요한 업무에 집중할 수 있게 되는 겁니다.

결국 ERP, MES 같은 큰 시스템이든, 크롤링 같은 작은 자동화 도구든

모두 같은 목표를 향합니다.

👉 업무 효율성 극대화와 비용 절감.

처음에는 “크롤링은 쓸모없다, 시스템 개발(ERP, MES)이 커리어에 도움이 된다”라고 생각했지만,

이제는 크롤링 역시 시스템의 한 축이라는 걸 인정하게 되었습니다.

• ERP, MES 같은 큰 시스템은 회사의 뼈대를 세우고,

• 크롤링과 스크래핑은 그 뼈대 속에서 데이터를 흐르게 하는 혈관이 되며,

• 여기에 RPA가 더해지면, 데이터를 실제 업무로 연결하는 근육과 신경이 됩니다.

​

즉, 뼈대–혈관–근육이 하나로 연결될 때,

비로소 회사는 진정한 자동화된 유기체​처럼 움직이게 되는 겁니다.

👉 ERP/MES가 기반을 잡고, 크롤링이 정보를 공급하고, RPA가 행동을 대신하는 순간,

단순한 편리함을 넘어서 경쟁력을 강화하는 완전한 자동화가 완성됩니다.

​