분류 전체보기

MySQL에서 auto increment를 통해 자동 증가 인덱스를 사용할 수 있다. PostgreSQL에서는 sequence를 통해 동일한 작용을 할 수 있다. 해당 sequence를 생성하고, 이용해서 id를 포함한 Table을 생성하는 쿼리이다. create sequence extn.keyword_seq; create table extn.keyword_dictionary( id int default nextval('extn.keyword_seq'), keyword varchar(255), created_at date default CURRENT_DATE, primary key (id) ) ; 아래는 Table을 삭제하고 Sequence도 삭제하는 쿼리이다. drop table extn.keyword..

AWS Summit Seoul 5월3일 1일차를 다녀오며,, 회사에서 팀원들과 함께 aws 행사를 참여했다. 강연이 11시부터 있어서 10시쯤 도착했는데 부스들이 되게 많았다.다양한 회사의 부스에 참여해서 설문조사하고 게임을 해서 선물을 한아름,,, 안고 본격적인 강연들 시작!@!(무거워서 어깨가 피멍든건 안비밀이다.. ) Amaxon Kendra로 원하는 자료로 적재적소 찾기삼성전자에서 HPC Cloud bursting한 사례를 설명해주셨다다른 강연이 마감되어서 옆에 들어간건데,,, HPC가 뭔지도 모르고 반도체도,, 몰라서 하나도 이해 못 하고 끝났다.IT 자원 프로지버닝 자동화 및 인스턴스 최적화를 하는 것이고코로나처럼 불확실성 시대의 대응을 위한 방안이라고 하셨다.Amazon Kendra는디지털 ..

파티셔닝 : 대용량 테이블이나 인덱스를 파티셔닝한다는 것은 Object를 여러 개의 세그먼트로 나눈다는 의미이다. 즉 하나의 테이블이나 인덱스가 동일한 논리적 속성을 가진 여러개의 단위로 나우어져 각각이 별도의 물리적 속성을 갖는 것이다. 특히 관리해야할 데이터가 늘어나면 성능과 스토리지 관점에서 문제가 생길 수 있는데, 이를 해결할 수 있는 효율적인 방법 가운데 하나가 곧 파티셔닝이다. 파티셔닝은 보통 다음과 같은 장점을 갖고 있다. > 데이터 엑세스시(특히 풀스캔시)엑세스의 범위를 줄여 성능을 향상시킨다. > 물리적으로 여러 영역으로 파티셔닝해 전체 데이터의 훼손 가능성이 줄어들고 데이터 가용성이 향상된다. > 각 파티션별로 백업, 복구 작업을 할 수 있다. > 테이블의 파티션 단위로 디스크 I/O를..

PostgreSQL | 데이터 형식(Data type) | 날짜/시간 형식(timestamp, interval, data 등) | devkuma PostgreSQL | 데이터 형식(Data type) | 날짜/시간 형식(timestamp, interval, data 등) 여기에서는 날짜 / 시간 데이터 형식에 대해 설명한다. 날짜/시간 형식 사용 가능한 형식은 다음과 같다. 형식 크기 설명 별칭 timestamp [(p)] [without time zone] 8 바이트 날짜와 시간 모두 timestamp [(p)] [ www.devkuma.com CREATE TABLE my_table ( my_column DATE DEFAULT (CURRENT_DATE - '1 mon'::INTERVAL)::DATE )..

우선 지금 나의 상황 : 커밋하고 푸시까지 했지만 커밋 메세지를 수정하고 싶은 상태 (issue 관리 등등의 이유로,,) 근데 다른사람과 같이 프로젝트를 진행할때는 rebase를 정말정말 조심해야한다. 하지만 나는 혼자 하구 있으니까 그냥 할거야. 뚱땅뚱땅🔨 # 커밋이 온라인으로 푸시되지 않은 상태 - 가장 최근의 커밋 메세지를 변경해야 하는 경우 git commit --amend - 그 이전의 커밋을 수정하고 싶다면 git log를 통해 고유번호를 확인하고 수정하는 방법이 있는데 이건 나중에 정리 # 커밋을 이미 푸시한 경우 - 가장 최근에 푸시된 커밋의 메시지 변경 git push --force-with-lease origin main - 더 아래의 커밋 메세지를 변경하고 싶은 경우 git rebas..

문제 상황 많은 코드를 작성하지도 않았다. pandas dataframe을 pyspark dataframe으로 바꾸려고 spark = SparkSession.builder.getOrCreate() df = spark.createDataFrame(items_df) 이렇게만 작성했는데 오류가 발생하였다. 오류 메세지는 제목에 있듯 C:\Users\___\AppData\Local\Programs\Python\Python311\Lib\site-packages\pyspark\sql\pandas\conversion.py:474: FutureWarning: iteritems is deprecated and will be removed in a future version. Use .items instead. for c..

1. Java 설치 확인하기 PySpark는 Java를 실행하기 때문에, Java가 설치되어 있는지 확인합니다. 설치되어 있지 않다면, Oracle Java 다운로드 페이지에서 Java를 다운로드하고 설치합니다. 설치 후, 명령 프롬프트나 PowerShell에서 java -version 명령어를 입력하여 설치된 Java 버전을 확인합니다. java 환경변수를 등록합니다. 2. Apache Spark 다운로드하기 Spark Downloads 페이지에서 원하는 버전의 Spark를 다운로드합니다. 여기에서는 spark-3.3.2-bin-hadoop3.2.tgz 파일을 사용합니다. 바로 다운을 원하면 https://dlcdn.apache.org/spark/spark-3.3.2/spark-3.3.2-bin-had..

채용과정을 유연하게 - 과정의 유연화 : 틀에 박힌 자기소개서 탈피, 대규모 시험의 춧고, 이색 면접 진행 - 지원동기, 성장과정, 입사 후 포부 등 획일화된 문항은 사라지고 대부분 자유양식 또는 자기소개서를 받지 않는 방식으로 전환, 면접 과정에서도 리버스 면접, MZ세대가 직접 보는 면접 등 다양한 방식 시도 - 24~48시간 내 서류 전형 발표, 무이력서 전형, 회사 밖 면접 등 출퇴근, 휴가도 유연하게 - 재택근무, 거점 오피스, 자율 출퇴근제, 주4일제 등 무조건 되는 취업 성공 방정식 취업시장은 정답이 없어. 모든 스펙을 가지고 있어도 모든 회사를 붙는건 아니다. 취업의 원칙을 지키면 성공할 수 밖에 없음 마인드 * 노력 * 지원 = 취업 1) 마인드: 본인의 모습을 명확히 그리고 있음 R =..