행복한디벨로퍼

스프링부트의 기본 컨테이너는 톰캣임을 알고 있었는데 이를 제외하고

다른 컨테이너를 사용하기 위한 방법에 대해 간단히 포스팅해본다. 

spring-boot-starter-web을 사용하게 되면 내부에 spring-boot-starter-tomcat을 포함하게 된다.

의존성 관계를 보면 알 수 있다.

따라서 다른 컨테이너를 사용하고 싶다면 spring-boot-starter-web의존성에서 tomcat을 exclusion시켜주어야 한다.

위와 같이 tomcat을 exclusion시켜주고 jetty의존성을 주입하게 되면 컨테이너로 jetty를 사용할 수 있다.

자세한 내용은 spring docs를 참고하자!

https://docs.spring.io/spring-boot/docs/current/reference/html/howto-embedded-web-servers.html

스프링부트 프로젝트 생성 후 어플리케이션을 실행시켰는데 에러없이 실행되자마자 종료되는 경우가 있다. 

Process finished with exit code 0

라고 뜨며 어플리케이션이 바로 종료되어버린다.

스프링부트는 임베디드톰캣 기반으로 실행되는데 임베디드컨테이너의 클래스패스를 못잡아줘서 그런 것 같다.

따라서 메이븐에 다음과 같이 의존성을 추가해준다.

<dependency>

    <groupId>org.springframework.boot</groupId>

    <artifactId>spring-boot-starter-web</artifactId>

</dependency>

<dependency>

    <groupId>org.springframework.boot</groupId>

    <artifactId>spring-boot-starter-web</artifactId>

</dependency>

스프링부트(SpringBoot)로 카프카에서 데이터를 consume에 처리해야 하는 일이 있어 작업 중 발생한 에러에 대해 간단히 남겨본다...

나중에 같은 실수를 하지 않기 위해...

일단 현재 사용하고 있는 카프카 버전은 0.8.2.0이고 spring-integration-kafka를 사용하였다.

실제 클라우데라에 설치된 카프카 버전

카프카 낮은 버전을 사용하고 있어 요즘 spring-kafka 연동 가이드로는 에러가 발생해 삽질을 좀 하였다...

시간이 된다면 0.8.2.2 consume 모듈을 git에 올려서 링크 걸어보도록 하겠다.

다음과 같이 KafkaConfig를 설정해주고

[ 스프링 설정 및 코드 ]

@EnableIntegration
@Configuration
public class KafkaIntegration {

    private static final String BOOTSTRAP_SERVER = "serverIp:2181";
    private static final String ZOOKEEPER_CONNECT = "serverIp:2181";

    @Getter
    @Component
    public static class KafkaConfig {
        private String topic = "data_log";
        private String brokerAddress = BOOTSTRAP_SERVER;
        private String zookeeperAddress = ZOOKEEPER_CONNECT;

        KafkaConfig(){}

        public KafkaConfig(String t, String b, String zk) {
            this.topic = t;
            this.brokerAddress = b;
            this.zookeeperAddress = zk;
        }
    }
}

Consumer 빈 등록

@Configuration
public class ConsumerConfiguration {

    @Autowired
    private KafkaIntegration.KafkaConfig kafkaConfig;

    @Bean
    public IntegrationFlow consumer() {

        KafkaHighLevelConsumerMessageSourceSpec messageSourceSpec = Kafka.inboundChannelAdapter(
                new ZookeeperConnect(this.kafkaConfig.getZookeeperAddress()))
                .consumerProperties(props -> props.put("auto.offset.reset", "smallest")
                        .put("auto.commit.interval.ms", "100"))
                .addConsumer("ectc_dsp_test", metadata -> metadata.consumerTimeout(100)
                    .topicStreamMap(m -> m.put(this.kafkaConfig.getTopic(), 1))
                    .maxMessages(10).valueDecoder(String::new));

        Consumer<SourcePollingChannelAdapterSpec> endpointConfigurer = 
                e -> e.poller(p -> p.fixedDelay(100));

        return IntegrationFlows
                .from(messageSourceSpec, endpointConfigurer)
                .<Map<String, List<String>>>handle((payload, headers) -> {
                    payload.entrySet().forEach(
                            e -> System.out.println((e.getKey() + '=' + e.getValue())));
                    return null;
                })
                .get();
    }

}

으로 등록 후 어플리케이션을 실행하면 다음과 같은 에러메시지가 발생하였다.

[ 발생한 에러메세지 ]

분명 로그를 봐도 내가 KafkaConfig에서 설정해준 서버 IP와 정상적인 커넥션을 맺었는데 왜이런단 말인가???

[ 해 결 ]

주키퍼(Zookeeper) 내부적으로 클러스터간 통신시 혹은 zookeeper to kafka간 통신시 서버의 IP보다는 호스트명으로 서로를 인지한다는 말?을 들은적이 있어 로컬 host파일에 서버의 호스트와 IP를  등록하고 다시 실행해보았더니 정상적으로 카프카에서 메세지를 consume하는 것을 확인할 수 있었다.

혹시나 다음과 같은 문제가 발생한다면 host파일에 서버의 호스트명과 IP를 등록 후 다시 해보길...

정확한 원인은 나중에 관련한 문서나 Zookeeper를 좀더 깊게 공부하게 되어 발견하게 된다면 추후 또 포스팅해보도록 하겠습니다. 

ref : https://spring.io/blog/2015/04/15/using-apache-kafka-for-integration-and-data-processing-pipelines-with-spring

Java8 Stream을 사용하다 보면 자주 발생할 수 있는 미묘한 실수 중에 하나는

이미 사용했던 Stream을 다시 사용하려고 하는 것이다. Stream은 오직 한 번만 사용할 수 있다.

A Stream should be operated on (invoking an intermediate or terminal stream operation) only once. 

A Stream implementation may throw IllegalStateException if it detects that the Stream is being reused.

이미 사용했던 Stream을 또 사용하게 될 경우 다음과 같은 에러 로그를 발견할 수 있을 것이다.

[ 문제가 발생했던 코드 ]

코드를 보면 Stream을 두 번 사용하고 있는 것을 볼 수있다.

로깅기능으로 잠깐 보려고 했던 코드가 문제가 되었다.

정리하자면

Stream shoud be used only Once!!!

[ Spring ] 문제해결 no suitable constructor found, can not deserialize from Object value 

API로 JSON 데이터 받아와 모델에 매핑시키는 부분에서 다음과 같은 에러가 발생하였다.

쉽게 말해 API 응답으로 받아와 JSON 데이터가 내가 매핑하고자 하는 Model에 알맞지 않다는 것이다...

API호출 결과 날아오는 JSON의 형태는 다음과 같았다.

내가 받고자 했던 JAVA MODEL의 형태는 다음과 같았다.

문제는 Result Array 내부에 있는 데이터들을 매핑해 오지 못해생겼던 것 같다.

일단 해결은 내부의 BittrexCoin 클래스에 static을 선언해 해결하였다.

이렇게 inner class를 static으로 변경하고 나니 정상적으로 데이터를 받아 올 수 있었다.

static 지시사의 역할은 메소드나 변수를 메모리에 로딩해서 다른 클래스가 이 클래스의 인스턴스를

생성하지 않고서도 사용할 수 있게 해주는 목적이다. 

RestTemplate으로 요청을 날리면서 동시에 내가 원하는 모델에 매핑해서 데이터를 가져오는데 static을 선언해주지 않았을 경우에

inner class인스턴스를 못만들어내서 매핑이 되지 않는 것 같다. 더 정확한 원인까지는 잘 모르겠다...

나중에 시간되면 더 파고들어볼만한 이슈인 것 같다.

혹시 원인에 대해 아시는분이 계시다면 댓글남겨주시면 감사하겠습니다. 

웹 작업을 할 때 jsp내의 문구라던지 구조를 변경하고 확인해야하는데 실시간으로 반영이 안되면 무척이나 성가시지요...

빌드다시해줘야하고.....시간은 시간대로 잡아먹고...

SpringBoot를 쓰고 계신다면 application.properties에 다음과 같이 추가해 주세요.

추가 이후에는 어플리케이션 재시작 없이 바로 웹에 반영되는 것을 확인할수 있다.