2018년 10월 20일 토요일

CI/CD 란?

CI(Continuos Integration)란 ? 

개발자들이 개발한 소스를 모아서 특정 시점에 빌드하는 것과 반대로 주기적으로 수행함으로써 통합에서 발생하는 오류를 사전에 해결하고 이러한 과정들에 소요되는 시간을 줄이기 위한 기법으로 대표적인 툴로는 Jenkins 등 이 있다. 
(빌드,테스트를 실시하는 프로세스를 상시로 실시)


CI서버는 형상관리 서버에 커밋된 소스를 주기적으로 받아와 컴파일, 단위테스트 등의 과정을 수행하여 신규 또는 수정된 소스코드가 결함이 있는지 여부를 지속적으로 검증
또한 검증 결과를 이메일 등으로 전달하여 조기에 결함을 발견하여 해결할 수 있다고 함..


개발자 -> 형상관리 서버(ex. git,svn 등) -> CI 서버(jenkins, hudson 등) -> (최종 운영 서버에 배포 or ..?)
(이런식일까,, ??) 

>> 젠킨스의 설정에 따라 엄청 여러가지를 할 수 있는 듯 하다. 젠킨스의 셋팅을 직접해보면서 기능을 더 알아보는 것이 좋을 것 같다.(AWS하면 좋을  것같은데..언제하지..ㅠㅠ)

Jenkins가 제공하는 기능
- 웹 인터페이스를 통한 간편한 설정
- 강력하고 편리한 Reporting 기능
- 지속적인 자동화 빌드
- 지속적인 자동화 테스트
- 커버리지 감시
- 코드 품질 감시
- 다양한 인증기반과 결합한 인증 및 권한 관리 기능
- Groovy script를 이용한 고수준의 Job Scheculing 기능
- 커맨드라인 인터페이스 제공
- 자동화된 배포관리
- 분산빌드 기능
- 윈도우 커맨드 스케쥴링 실행 기능
(이 외에도 플러그인을 통해서 기능을 추가/확장 가능하다고함..)



CD(Continuous Delivery or Continuous Deploy)란? 

지속적 배포로 소프트웨어를 더 빠르게, 더 주기적으로 빌드하고 테스트하고 출시하는 것을 목표로한다. 

CI와의 차이점은 어디까지 자동화가 되어있느냐

소스를 푸쉬하고 빌드 시작 - CI
빌드 후 테스트 후 배포 - CD
(여기서도 배포 방식에 따라 수동화 - Delivery / 자동화 Depolyment) 

>>결국 CI/CD 를 통해 배포까지 자동화하는 것???  같음..

 기업들 기술블로그들에 좋은 자료가 많은 것 같다..ㅋㅋㅋ
참고해보쟝



- 컴투스 기술블로그 CI/CD
- 우아한형제들 기술블로그 CI/CD





2018년 10월 10일 수요일

만다라트 계획법

만다라트 계획법을 추천받아서 간단히 작성해보려고한다.

만다라트????

만다라트(MANDALA-ART)는 일본 디자이너가 '만다라'모양에서 영감을 얻어 고안했다고 한다. 

일본 유명 야구선수 '오타니 쇼헤이'가 고등학교 1학년 때 8구단 드래프트 1순위를 목표로 만다라트를 구성하고, 2년 만에 꿈을 이뤘다고 한다.. 
난 1학년 때 워3 카오스에 빠져서 게임하는 꿈을 꿨는데...ㅋㅋㅋㅋ


[사진]


엥 어디서 봤는데 했더니 예전에 인터넷에서 돌던 메뉴 결정장애를 위한 표랑 똑같다ㅋㅋㅋㅋㅋㅋㅋㅋ



아무튼 마인드 맵을 생각하게 되는데 
[가운데 핵심 목표] - [주변에 중간 목표] - [세부 목표] 
을 작성해가며 자신의 목표를 달성하기 위해 세부적이고 구체적인 계획을 세워서 달성하면 결국 핵심 목표까지 도달할 수 있게 도와주는 계획표 같은 느낌이다. 

'메뉴 결정장애를 위한 표'처럼 꼭 계획이 아니더라도 여러 분야에서 활용할 수 있고, 
장기적인 계획이 아니라 단기적인 계획표로도 쓸 수 있을 것 같다. 

단기적인 계획을 세워서 빙고처럼 하나씩 지우면서 중간목표 달성 시 
나를 위한 선물을 줘도 괜찮을 듯....???
남은 2018년 다 채워서 3개월 짜리 계획을 짜볼까....









2018년 10월 9일 화요일

JDBC , DBCP, JNDI (수정필요)

JDBC(Java Database Connectivity)
: 데이터베이스에 접근하여 SQL문을 실행하기 위한 자바 라이브러리

>>  자바프로그래밍의 일반적인 데이터 엑세스 제공 
>> 데이터베이스 풀 방식을 사용하지 않고 DB에서 정보를 가져올 때마다 매번 디비 연결을 열고 닫음
>> 효율이 떨어짐 
>> 그렇기 때문에 보통 pool 방식을 사용함. (ex DBCP)

==========================================================

DBCP(Database Connection Pool) 
: 데이터베이스와 연결된 커넥션을 미리 만들어서 저장해두고 있다가 필요할 때 저장된 공간(Pool)에서 가져다 쓰고 반환하는 기법

>> DB커넥션을 어플리케이션 소스 내에서 제어하면서 DB 풀을 가짐
>> 사용자가 요청할 경우 드라이버를 로드하고, 커넥션 객체를 생성해 연결하고 종료하는 비효율적인 작업을 하지 않아도 됨
>> 데이터베이스의 부하를 줄이고 자원을 효율적으로 관리

==========================================================

JNDI(Java Naming and Directory Interface)
: 디렉터리 서비스에서 제공하는 데이터 및 객체를 발견하고 참고하기 위한 자바API
(외부에 있는 객체를 가져오기 위한 기술)

>> DB커넥션을 WAS단(외부)에서 제어하면서 서버에서 하나의 커넥션 풀을 가짐
>> DBCP처럼 어플리케이션 소스단에 설정하느 방식이 아닌 WAS단에 데이터베이스 커넥션 객체를 미리 네이밍함
>> 소스단에 정보를 설정해놓으면 소스 개발자 외에는 정보를 찾기가 힘들다. 하지만 JNDI를 사용하면  WAS단에 저장하기 때문에 파악하기 쉬움..????
>> 서버단에서 어플리케이션 컨테이너는 하나이더라도 내부 어플리케이션 소스는 홈페이지 하나 이상이 될 수있는데(디렉토리 서비스, 서브도메인을 사용하여 서비스하는 경우) 이 경우, DBCP를 사용하면 각 어플리케이션마다 DB Pool이 각자 생성되어 풀이 많아져 효율이 떨어질 수 있음. 
JNDI는 WAS단에서 DB Pool를 하나로 관리하기 때문에 효율이 좋아진다고 함..
(WAS에 스태틱 객체를 생성 후에 쉽게 가져다 쓸 수 있기 때문??)


참고

http://eongeuni.tistory.com/43
http://all-record.tistory.com/104

todo

http://nastyle.tistory.com/15
https://d2.naver.com/helloworld/5102792

2018년 10월 2일 화요일

자바 로그(log) 남기기 - log4j, log4j2, logback, slf4j (간단한 logback 실습)

로그란? (log)

애플리케이션의 상태를 관찰할 수 있도록 애플리케이션이 제공하는 정보 

log4j, logback, log4j2  셋 다 java 로깅 유틸리티이다.

스프링프레임워크에서는  예전에는 commons.logging을 기본으로 사용하였지만, 지금은 slf4j, log4j 를 기본으로 사용?
시간 순서로 보면 Log4j -> Logback -> Log4j2 인듯?
----------------------------------------------------------------------------------------------

Log4j ? (log for java) 

Apache에서 만든 오픈소스 라이브러리로 프로그램을 작성하는 도중에 로그를 남기기 위해 사용되는 자바 기반 로깅 유틸리티

- 구조
Logger - 로깅이 일어나는 부분을 그룹화해, 필요한 그룹의 로그만을 출력하거나, 카테고리에 우선순위를 부여함으로써, 여러가지 출력 방법을 지원함. 실제 로그 긴으을 수행하는 역할을 담당.

Appender - 로그의 출력 위치를 지정. 콘솔, 파일, outputstream, java.io.Writer, Email(STMP), Network 등이 있음.
 - ConsoleAppender : 콘솔에 로그 메세지를 출력한다.
 - FileAppender: 파일에 로그메시지리를 출력한다.
 - RollingFileAppender: 로그의 크기가 지정한 용량 이상이 되면 다른 이름의 파일을 출력한다.
 - DailyRollingFileAppender: 하루를 단위로 로그 메세지를 파일에 출력한다.
 - SMTPAppender: 로그 메세지를 이메일로 보낸다.
 - NTEventLogAppender: 윈도우의 이벤트 로그 시스템에 기록한다.

Layout - 로그의 출력 포맷을 지정.
 - %d : 로그의 기록시간
 - %p : 로깅의 레벨
 - %F : 로깅이 발생한 프로그램의 파일명
 - %M : 로깅이 발생한 메소드의 이름
 - %I : 호출지의 정보
 - %L : 로깅이 발생한 호출지의 라인 수
 - %t : 로깅이 발생한 Thread 명
 - %c : 로깅이 발생한 카테고리
 - %C : 로깅이 발생한 클래스명
 - %m : 로그 메세지
 - %% : % 출력
 - %r : 시작 이후로부터 로깅이 발생한 시점까지의 시간

----------------------------------------------------------------------------------------------

Log4j2 ? 

이 후에 나온 버전으로 성능과 메시지 처리량 및 대기 시간이 향상되었다고 한다.
log4j 는 xml과 properties를 이용해서 설정하지만, log4j2 는 properties는 지원하지 않는다고함.

-특징
 - 자동적인 로깅 구성설정(?) 리로딩
 - 속성 서포트: Log4j2는 시스템의 속성을 불러오고
 - 자바8: 람다식에서 로그 메시지를 래핑하는 API 제공
 - Log4j2에는 쓰레기 값이 거의 없다.
 - LMAX Disruptor를 사용하는 비동기 logger

----------------------------------------------------------------------------------------------

logback ?

log4j 를 토대로 새롭게 만들어진 로깅 라이브러리로 스프링 부트의 기본 로그 객체.
ERROR < WARN < INFO < DEBUG < TRACE
스프링이나 일반적인 자바프로그램의 경우 resources 디렉토리 안에 logback.xml 참조
(logback.groovy -> logback-test.xml -> logback.xml 순서로 찾는다고함..)
스프링 부트는 logback-spring.xml 파일을 참조

-구조
Log4j와 유사한구조

Logger - 실제 로깅을 수행하는 구성요소로 Level 속성을 통해서 출력할 로그의 레벨을 조절할 수있음.

Appender - 로그 메시지가 출력될 대상을 결정하는 요소
 - ConsoleAppender : 콘솔에 로그를 찍는 방법
 - FileAppender : 파일이 로그를 찍는 방법
 - RollingFileAppender: 여러개의 파일을 순회하면서 로그를 찍는 방법
(상당히 다양하게 쓸 수있는 듯.....)
 - SMTPAppender : 로그를 메일에 찍어 보내는 방법
 - DBAppender:  데이터베이스에 로그를 찍는 방법
Socket, SSLSocket 등이 있음

패턴에 사용되는 요소
 - %Logger{length} : Logger name을 축약할 수 있음 {length}는 최대 자리 수
 - %thread : 현재 Thread 이름
 - %-5level : 로그 레벨, -5는 출력의 고정폭 값
 - %msg : 로그 메시지 ( =%message)
 - %n : new line
 - %highlight: 로그레벨에 따른 색을 줄 수 있는 듯 함

 - 나머지 log4j 와 비슷한 듯..


Encoder - Appender에 포함되어 사용자가 지정한 형식으로 표현 될 로그 메시지를 변환

*layout과 encoder의 차이점: 레이아웃은 들어오는 이벤트를 String으로 변환하고 에빈트가 기록될 때 제어할 수 없으며 이벤트를 일관처리로 집계한다. 반면에 encoder는 바이트를 소유하고 있는 appender가 관리하는 outputStream에 쓸 시간과 내용을 완전히 제어할 수 있음. 
FileAppender와 하위 클래스는 encoder를 필요로 하고 더 이상 layout은 사용하지 않는다.



-특징
1. log4j보다 약 10배 정도 빠름. 메모리 효율성 향상
2. 설정 파일을 변경하였을 경우, 서버 재기동 없이 변경 내용이 자동으로 갱신됨.
3. RollingFileAppender로 자동으로 오래된 로그를 지워줌.

----------------------------------------------------------------------------------------------

SLF4J ? (Simple Logging Facade for Java)

SLF4J 는 자바 로깅 유틸리티의 추상체 역할을 함. 인터페이스와 비슷한 역할을 하며, 사용하던 로깅 유틸리티가 변경되더라도 java소스의 변경을 방지해줌.

개발자는 어떤 상황에든 대처하고 확장될 수 있는 느슨하고 유연한 코드를 만들어야 합니다. 따라서 하나의 라이브러리에 너무 종속적이 되버리는 코드는 가급적 작성하지 않는쪽이 좋습니다. 그렇기에 어떤 라이브러리를 쓰든 동일하게 동작하는 코드를 만들어야하고 그것이 slf4j를 써야하는 이유입니다.


만약 log4j 에서 logback  으로 변경할 때 log4j를 import 하던 파일들을
다 logback 으로 바꿔줘야함.

1
2
import org.apache.log4j.Logger;
import org.apache.log4j.spi.LoggerFactory;
cs
소스들 마다 박혀있는 log4j를 바꿔줘야함...


하지만 slf4j를 쓴다면 사용하지 않는 dependency만 제거하면 됨.
1
2
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
cs


======================================================

간단 실습

pom.xml
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
...
    <properties>
...
        <jcloverslf4j.version>1.7.6</jcloverslf4j.version>
        <logback.version>1.1.7</logback.version>
...
    </properties>
...
        <!-- Logback --> 
         <dependency>                                    
                  <groupId>org.slf4j</groupId>                
                  <artifactId>jcl-over-slf4j</artifactId>     
                  <version>${jcloverslf4j.version}</version>  
         </dependency>
         <dependency>
                  <groupId>ch.qos.logback</groupId>
                  <artifactId>logback-classic</artifactId>
                  <version>${logback.version}</version>
         </dependency>
...
cs


src/main/resources 
logback.xml
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
<?xml version="1.0" encoding="UTF-8"?>
<configuration scan="true" scanPeriod="30 seconds">
    <!-- 로그파일 경로  -->
    <property name="LogFileDir" value="/logs/data.log" />
    <!-- CONSOLE appender -->
    <appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender">
        <encoder>
            <pattern> %d{yyyy-MM-dd HH:mm:ss} [%-5p] [%F]%M\(%L\) : %m%n </pattern>
        </encoder>
    </appender>
    <!--  FILE appender -->
    <appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <file>${LogFileDir}</file>
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <fileNamePattern>${LogFileDir}.%d{yyyy-MM-dd}</fileNamePattern>
            <maxHistory>30</maxHistory<!-- 보관의 기간 -->
        </rollingPolicy>
        <encoder>
            <pattern>%d{yyyy-MM-dd HH:mm:ss} [%-5p] [%F]%M\(%L\) : %m%n</pattern>
        </encoder>
    </appender>
    <logger name="org.springframework" level="info"/>
    <logger name="org.hibernate" level="debug"/>
    <root level="debug">
        <appender-ref ref="CONSOLE"/<!-- Console에 로그를 출력하고자 할 때 사용 -->
        <appender-ref ref="FILE"/<!-- File로 로그를 남기고자 할 때 사용 -->
    </root>
</configuration>
cs

컨트롤러
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
@Controller
@RequestMapping("/")
public class HomeController {
...
    private static final Logger LOG = LoggerFactory.getLogger(HomeController.class);
...
    @RequestMapping("/")
    public ModelAndView Home(HttpSession session) throws Exception{
        LOG.debug("-------------------WebBoardList_Start--------------------");
  ...
LOG.debug("-------------------WebBoardList_End--------------------");
...
    }
cs


콘솔창



log파일
파일 내부



출처 및 참고 :






2018년 9월 9일 일요일

git 작성자 수정하기

rebase란?

공부가 필요해.....
http://mafams.tistory.com/66
https://backlog.com/git-tutorial/kr/stepup/stepup2_8.html
https://elegantcoder.com/git-merge-or-rebase/
http://cyberx.tistory.com/96




git에 자꾸 다른 이름으로 커밋이 되어 작성자를 바꾸려고 하는데

rebase를 통해 가능한 것같다.


git저장소에

git rebase -i -p   [커밋번호]

>[커밋번호] 이 후의 커밋들이 rebase의 대상이 된다.


vi창이 보이는데 a를 눌러 바꾸고싶은 커밋을 pick 을 edit으로 교체 후 esc  > :wq

나의 경우에는 작성자를 바꾸려고했으니
 git commit --amend --author="cotgyu <이메일 주소>"

를 입력하면  해당 커밋 내용 같은게 보인다.. :wq 로 나와서
 git rebase --continue
를 입력하면 다음 수정할 커밋이 나온다.

이 과정을 마지막 커밋까지 반복하면
Successfully rebased and updated ~~ 가 나온다.

이제 pull 후 push하면 수정한 것들이 새롭게 커밋된다..


(그냥 새로운 작성자의 같은 내용의 기록이 새롭게 커밋되는 형태로 되었다.... 기존의 기록을 수정은 안되는건가.. 좀 더 공부할 것)

참조

2018년 8월 19일 일요일

이클립스-git 오류: cannot open git-upload-pack

오류 -  cannot open git-upload-pack


해결방법
window > preference > team > git > configuration

>add entry

key : http.sslVerify
value : false


추가 

MySQL 테이블 데이터 추출하기(.csv)

머하웃의 간단한 아이템 기반 추천알고리즘을 적용해보는 과정에서,
알고리즘이 .csv 파일을 읽어 특정 개수의 아이템을 추천해주는 방식이었기 때문에, DB의 테이블을 .csv 파일로 뽑아내는 작업이 필요하였다. 


여기를 참고하여 데이터를 뽑았는데, 나는 첫번째 SQL을 사용하였다.

1
2
3
4
5
6
SELECT * FROM recommend_coursedata
INTO OUTFILE 'C:/MySqlOutputData/test.csv'
CHARACTER SET euckr
FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"'
ESCAPED BY '\\'
LINES TERMINATED BY '\n';
cs
이를 실행하면 
Error Code: 1290. The MySQL server is running with the --secure-file-priv option so it cannot execute this statement

에러가 발생하는데, 파일이 생성되는 경로와 mysql서버의 secure-file-priv 경로와 달라서 발생하는 에러 같다. 

INTO OUTFILE 의 경로는 
mysql 서버의 secure_file_priv 에 명시에되어있다. 


여기서 나오는 데이터를 기준으로 추천을 해주기 때문에 관리자 계정이 버튼으로 추천 데이터를 업데이트해주자는 생각으로 진행하였다. 그렇기 때문에 버튼을 누를 때 마다 
저 경로의 파일을 지우고, 새로 파일을 생성하는 방식으로 진행하려고 하였다. 

하지만, 경로가 ProgramData 속에 있기 때문에 수정/삭제에 대해 관리자 권한이 필요하였고, 경로를 바꾸기로 하였다. 

나의 경우에는 
my.ini 
secure-file-priv 의 경로를 직접 바꾼 후 mysql을 재시작하여 진행하였다.