구인업체 데이터 수집 크롤러 만들기 (바이브 코딩)
Gemini CLI나 Claude에게 프롬프트로 시켜서 잡코리아·사람인 크롤러를 직접 실행하는 방법을 배운다. 파이썬 가상환경 세팅부터 결과 Excel 확인까지 단계별로 따라간다.
코드 블록의 Try it Yourself 버튼으로 직접 실행할 수 있다.
구문
Claude나 Gemini CLI 같은 AI 코딩 도구에게 시켜서 잡코리아·사람인 채용공고 크롤러를 직접 실행해 보는 방법을 학습한다. 파이썬을 한 줄도 써 본 적이 없어도 프롬프트만 잘 주면 완성된 Excel 파일을 받을 수 있다.
- 파이썬 가상환경을 만들고 패키지를 설치한다
- Gemini CLI나 Claude에게 프롬프트로 크롤러 코드를 받아 실행한다
- 잡코리아·사람인 각각 채용공고를 수집해 Excel로 저장한다
- 조건(직무·지역·경력·직원수)을 자유롭게 바꿔서 재사용한다
AI에게 "무엇을 하고 싶은지" 만 설명하면 AI가 코드를 만들어 주고, 실행·디버깅·수정까지 대화로 해결하는 개발 방식이다. 문법을 몰라도 결과물을 만들 수 있다. 단, 실행 전 코드를 한번 훑어보는 습관은 필수다.
1. 준비물
| 항목 | 설명 |
|---|---|
| 컴퓨터 | 맥·윈도우·리눅스 모두 가능 |
| Python 3.10+ | python.org에서 설치 |
| AI 도구 | Claude(claude.ai) 또는 Gemini CLI |
| VS Code | code.visualstudio.com (선택) |
2. 파이썬 가상환경 만들기
프로젝트마다 독립된 파이썬 환경을 쓰면 패키지 충돌을 막을 수 있다.
# 1) 작업 폴더 만들기
mkdir ~/crawler && cd ~/crawler
# 2) 가상환경 생성
python3 -m venv .venv
# 3) 활성화
source .venv/bin/activate
# 프롬프트 앞에 (.venv) 가 붙으면 성공
2-1. 패키지 설치
가상환경이 활성화된 상태에서 실행한다.
pip install requests beautifulsoup4 lxml openpyxl
pip 명령이 없다는 오류가 나면 가상환경 활성화가 안 된 것이다. 프롬프트 앞에 (.venv) 가 있는지 확인한다.
3. Gemini CLI 또는 Claude 준비
구글 Gemini CLI는 터미널에서 바로 AI에게 코드를 받을 수 있다.
# 설치 (Node.js 필요)
npm install -g @google/gemini-cli
# 로그인 (브라우저가 열린다)
gemini auth login
# 실행 — 대화창이 열린다
gemini
장점: 터미널 안에서 파일 읽기·쓰기·실행까지 AI가 해준다. 단점: Node.js 설치 필요.
4. 잡코리아 크롤러 프롬프트
직무나 지역을 바꾸고 싶으면 프롬프트 맨 위 조건 부분만 바꿔서 다시 보내면 된다. 예를 들어 "프론트엔드개발자(1000230)만" 또는 "경력 3년 이상(careerType=2)" 으로.
4-1. 주요 직무 코드 목록
| 코드 | 직무 |
|---|---|
| 1000248 | 그래픽디자이너 |
| 1000252 | 광고디자이너 |
| 1000253 | 시각디자이너 |
| 1000255 | 웹디자이너 |
| 1000256 | UI·UX디자이너 |
| 1000258 | 편집디자이너 |
| 1000250 | 일러스트레이터 |
| 1000230 | 프론트엔드개발자 |
| 1000245 | 웹퍼블리셔 |
| 1000279 | 웹기획 |
| 1000188 | PL·PM·PO |
| 1000388 | 영상편집자 |
5. 사람인 크롤러 프롬프트
5-1. 주요 cat_kewd 코드 목록
| 코드 | 직무 |
|---|---|
| 1484 | 그래픽디자인 |
| 1483 | 광고디자인 |
| 1496 | 시각디자인 |
| 1502 | 웹디자인 |
| 1519 | 편집디자인 |
| 1504 | 일러스트레이터 |
| 1690 | UI/UX |
| 92 | 프론트엔드 |
| 91 | 퍼블리셔 |
| 1637 | 웹기획 |
| 1649 | PM |
| 1373 | 영상편집 |
6. 통합 크롤러 프롬프트 (잡코리아 + 사람인)
두 사이트 결과를 하나의 Excel로 합치고 싶을 때 쓰는 프롬프트다.
7. 실행하기
AI에게서 받은 코드를 crawler.py 로 저장한 뒤 실행한다.
# 가상환경이 활성화된 상태에서
python crawler.py
진행 상황이 터미널에 출력된다. 종료되면 같은 폴더에 Excel 파일이 생긴다.
============================================================
잡코리아 직무별 채용공고 크롤러
============================================================
[페이지 1/40] 20개 (20개 신규) | 누적 20개
[페이지 2/40] 20개 (20개 신규) | 누적 40개
...
→ 수집 완료: 782개
→ 서울 구 필터 후: 523개
→ 홈페이지지원 제외 후: 498개
직원수 병렬 조회 (workers=8)...
직원수 확인 100/498
...
→ 최종 471개
Excel 저장: 잡코리아_20260417.xlsx
8. 오류가 나면 AI에게 다시 시키기
에러 메시지를 그대로 복사해 AI에게 보내면 된다.
9. 조건 바꾸기
수집 조건을 바꾸고 싶으면 AI에게 간단히 요청하면 된다.
현재 코드는 웹디자이너 대상이다.
직무를 프론트엔드개발자(잡코리아 1000230, 사람인 92)로 바꿔라.
10. 학습 체크리스트
코드를 받아서 실행한 뒤 아래 항목을 스스로 확인해 본다.
11. 보안·윤리
크롤링은 상대 서버에 부담을 주는 행위다. 아래 원칙을 지킨다.
robots.txt를 확인하고 허용 범위를 지킨다- 사이트 이용약관의 크롤링 조항을 준수한다
- 수집한 데이터를 재배포하지 않는다
- 요청 간격을 두고 서버 부담을 최소화한다
- 개인정보(이메일·전화번호)는 수집·저장하지 않는다
- 상업적 용도로 사용하지 않는다