1. OS가 필요한 이유 (방화벽)
- 하드웨어에 접근하기 위해서는 메모리 주소 등과 같은 하드웨어 관련 정보를 알아야 한다.
- 32비트니까, 약 42억 9천개의 주소가 존재한다.
- 운영 체제(OS)가 하드웨어 기기를 관리해주는 역할을 하는 것
- 우리 개발자들은 애플리케이션(APP)을 통해 운영 체제(OS)에 명령을 내리는 것 * 때문에 애플리케이션(프로그램)은 운영 체제가 없으면 작동하지 않는다. * APP → OS → HW 순으로 명령을 내린다.
2. 운영체제 방화벽
- 운영 체제는 '방화벽 기능'을 가지고 있는데, 이 방화벽은 포트를 막아버린다.
- 기본적으로 운영 체제(OS)는 모든 포트를 막아두는 것이 보통이다. → 따라서 카카오톡에 접근하려면 카톡이 들고 있는 포트 5000에 대한 방화벽만 허용해야 한다. (포트가 막혀있다 = 통신이 안된다 = 해킹이 안된다)
* DMZ 개방 (=방화벽 전체 오픈) (비무장 지대를 만든다)
- 모든 포트를 다 개방하여 외부와의 통신을 자유롭게 하는 것을 의미
→ 이는 내부 네트워크의 보안에 취약할 수 있으며, 주의가 필요하다.
- DMZ에는 외부에서 접근해도 큰 문제가 없는 공개된 서비스 또는 웹 서버와 같은 시스템을 배치하고, 내부 네트워크에는 보안이 강화된 시스템이 위치하도록 구성
3. meta검색이란?
- 전세계의 모든 페이지를 다운로드하려면 모든 포트를 순차적으로 탐색해야 한다. (IP주소 : 42억9천 * 포트번호 65,536 = 이걸 매순간하면 모든 페이지 다운로드 가능)
- 매 순간 새로운 정보가 생성되고 업데이트 되고, (거의 매 순간 받아와야한다는 말) 웹 페이지를 다운로드하는 것은 단순히 데이터를 저장하는 것뿐만 아니라, 해당 페이지에 대한 연결된 이미지, 스크립트, 스타일시트 등의 리소스도 함께 다운로드해야 한다. → 이는 막대한 양의 데이터를 처리해야 함을 의미
- 메타 검색 - 웹 페이지의 메타 정보(간략한 요약 정보)를 활용 → 특정 주제나 키워드와 관련된 페이지를 검색하는 방식 ⇒ meta에 있는 정보만 읽고 서비스하는 것
- 장점 - 검색 엔진이 메타 정보 활용으로 관련 페이지 탐색 가능 (웹 페이지 내용을 일일이 분석하지 않아도 된다.) → 이를 통해 웹 사용자는 원하는 주제나 키워드와 관련된 정보를 빠르게 찾을 수 있다. (메타 정보를 활용하여 페이지를 빠르게 식별하고 분류할 수 있다.)
메타 정보 : 해당 페이지의 제목, 설명, 키워드 등 페이지에 대한 간략한 요약 정보
메타 키워드 : 해당 페이지의 주제나 핵심 단어를 나타내는 키워드
바디를 헤더가 설명해주기 때문에 이론적으론 이것도 meta데이터 라고 볼 수 있다.
4. 크롤링이란?
- 인터넷 상에 존재하는 다양한 웹 페이지를 자동으로 탐색하고 데이터를 수집하는 과정 → 크롤링은 정보 수집, 데이터 분석, 검색 엔진 인덱싱 등 다양한 목적으로 활용
웹 크롤러나 스파이더라고 불리는 프로그램이 웹 페이지를 순회하며 정보를 수집하는 작업
Share article
