consumer (3) 썸네일형 리스트형 [RabbitMQ] RabbitMQ 개념 설명 업무중 rabbitmq 를 사용할 상황이 생겼다. 이전에도 메시지 브로커를 사용해본적이 있지만 rabbitmq 는 사용해본적이 없다. 그래서 이번 기회에 rabbitmq 의 개념과 구조에 대해서 정리해보려 한다.1. 메시지 브로커RabbitMQ 는 메시지 지향 미들웨어를 위한 프로토콜인 AMQP 를 Erlang 으로 구현한 시스템으로 producer 와 consumer 사이에서 메시지를 중계해주는 메시지 브로커이다. RabbitMQ 를 사용하면 프로그램 간에 비동기적인 메시지 송수신이 가능하다.※ AMQP (Advanced Message Queuing Protocol)메시지 지향 미들웨어를 위한 개방형 표준 응용 계층 프로토콜이다. 메시지 지향, 큐잉, 라우팅 (p2p, pub-sub), 신뢰성, 보안 .. [Kafka] Kafka Consumer 예제 1. KafkaConsumer Kafka cluster 의 레코드를 사용하는 클라이언트, 컨슈머 객체를 생성하는 클래스이다. 매개변수로 넘겨주는 서버 정보, 데이터 역직렬화 정보, 그룹 ID 등을 설정으로하여 객체를 생성한다. 컨슈머는 poll 메서드를 사용해서 브로커에서 데이터를 가져온다. poll 메서드는 마지막으로 사용한 데이터 이후 입력된 데이터들을 가져온다. poll 메서드는 timeout 을 매개변수로 줄 수 있는데, 만약 레코드가 존재하면 해당 레코드를 반환하지만 timeout 을 초과하면 빈 레코드 집합이 반환된다. - bootstrap.servers 클라이언트가 레코드를 전송하기 위해서는 레코드가 전송될 토픽의 파티션 정보를 알아햐 한다. 클라이언트가 찾고자 하는 토픽 파티션의 메타데이터.. [Kafka] Kafka 기본 개념 1. event streaming 이벤트 스트리밍은 DB, 센서, 모바일 장치, 클라우드 서비스 및 소프트웨어 애플리케이션과 같은 이벤트 소스로부터 실시간 데이터를 이벤트 스트림 형식으로 획득하는 방식을 말한다. 이 방식은 이후에 이벤트를 검색할 수 있도록 이벤트 스트림을 저장하고, 실시간으로 이벤트 스트림을 조작, 처리하고 이에 대한 응답을 수행 할 수 있다. 또한 필요한 경우 이벤트 스트림을 다른 목적지로 전달하기도 한다. 이벤트 스트리밍은 데이터의 지속적인 흐름과 해석을 통해 정확한 데이터가 정확한 위치와 시점에 존재하도록 한다. 이러한 이벤트 스트리밍은 실시간 금융거래, 자동차 산업의 차량 실시간 모니터링과 같이 다양한 산업에서 사용할 수 있다. 또한 회사의 여러 부서에서 생성된 데이터를 연결, .. 이전 1 다음