feature-top

숫자 헷갈리는 생성형 AI, '토큰화'가 원인…해결책은?

생성형 AI 모델을 구축하는 과정에서 빼놓을 수 없는 분야는 '토큰화'다.

토큰화는 주어진 텍스트에서 토큰이라 불리는 작은 데이터 단위로 나누는 작업을 뜻하는데, 이는 AI 모델이 텍스트를 이해하고 처리하는 데 필수적인 요소다.

하지만 이 과정에서 편향, 오류 등 갖가지 문제점들이 꾸준하게 발생하고 있다고 지난 6일 IT매체 테크크런치가 보도했다.

토큰화 과정에서는 단어나 음절, 문자 등을 토큰으로 취급한다.

이때 발생할 수 있는 문제점 중 하나는 편향을 불러올...
카카오뱅크는 '해외계좌송금 받기' 서비스를 이용하는 고객이 부담하던 수취수수료를 전액 면제한다고 2일 밝혔다. 카카오뱅크의 해외계좌송금은 모바일 애플리케이션을 통해 365일 24시간 간편하게 외화를 송금할 수 있도록 구현한 서비스로, 해외 계좌에 외화를 송금하거나 해외 계좌로부터 외화를 수취할 수 있도록 양방향 송금 기능을 제공한다. 이번 정책을 통해 '해외계좌송금 받기'를 이용하는 고객들은 최대 5000원의 수취수수료를 면제받게 된다. 기존 정책에 따르면 수취금액 100달러 이상
우리은행은 지난 29일 마포 문화비축기지에서 제27회 우리은행 미술대회 ‘우리 아트콘’ 본선 대회를 개최했다.이번 대회 슬로건은 이웃과 친구처럼 서로 돕고 살아가는 세상을 만들자는 의미를 담아 ‘우리.모두. 우리, We Be Friends!’로 정해졌다. 본선 진출자 500명은 슬로건에 담긴 사회공헌의 메시지를 재미있고 기발한 상상력으로 도화지 위에 그려냈다.문화체육관광부 장관상을 포함한 최종 수상작은 주요 미술대학 교수진으로 구성된 심사위원단의 심사를 거쳐 선정
일본 블록체인 매체 코인포스트가 주최하는 글로벌 웹3 콘퍼런스 '웹엑스 2024'에서 '비트코인·금·주식, 지금 투자해야 하는가?'라는 주제로 토크 세션이 진행됐다.28일 코인포스트에 따르면 우선 세션은 각 패널리스트가 암호화폐, 금, 주식 각 자산의 특징과 매력을 꼽는 것으로 시작됐다. 유키 하루미 기술 분석가는 "자본주의인 이상 주식투자는 반드시 자산에 포함시켜야 한다고 생각한다"고 전했다. 이어 일본 주식이 47년 만에 최고치를 갱신한 점 등을 언급하며 세금 측면을 고려해도 가장 유리한
국회 의안정보시스템에 따르면 이정문 의원 등이 10월 2일 금융회사의 지배구조에 관한 법률 일부 개정법률안을 발의했다.이 의원 등은 법안 취지에 대해 “최근 대형 은행 직원의 수백 억원대의 횡령 사건이 발생하면서 금융회사의 내부통제 및 위험관리나 금융당국 감독 등의 부실 문제와 관련해 현행 제도의 개선 필요성이 제기되고 있다”고 지적했다. 최근 수년 동안 은행 등의 대형 금융사고가 이어지고 있다. 2일에도 우리은행에서 55억원 규모의 금융사고가 발생한 사실이 알려졌
애플 비전 프로용 비공식 유튜브 앱 '주노'가 앱 스토어에서 삭제됐다. 1일 IT매체 나인투파이브맥에 따르면 이는 구글이 애플에 주노를 앱 스토어에서 삭제해 달라고 요청했기 때문인 것으로 알려졌다. 주노는 크리천 셀리그가 만든 대체 앱으로, 아직 애플 비전OS에는 공식 유튜브 앱이 없다. 구글은 몇 달 전부터 주노가 유튜브의 가이드라인을 준수하지 않는다며 개발자에 연락했다고 한다. 구글은 제3자가 유튜브 웹사이트를 수정하거나 상표 및 아이콘을 사용할 수
이더리움 사용자들은 앞으로 이더리움를 레이어1 블록체인 수이와 연결할 수 있게 됐다. 거꾸로 수이 사용자들도 이더리움으로 확장할 수 있게 됐다.디파이언트 보도에 따르면 지난달 30일 출시된 수이 브릿지는 수이와 이더리움 간 네이티브 연결을 제공해 두 블록체인 간 끊김 없는 자산 전송을 지원한다.수이 측은 블로그에 올린 글을 통해 "수이 브릿지 출시는 수이 상호 운용성 여정에서 중요한 순간"이라며 "수이와 이더리움 간 신뢰가 최소화된 자산 전송을 가능케 한다"고 강조했다.수이 브릿지가 나
윤석열 대통령의 부인 김건희 여사의 논문 표절 의혹과 관련해 3년 연속 국회 교육위원회 국정감사 증인으로 채택된 김지용 국민대 이사장이 올해도 불출석 의사를 밝혔다. 이에 야당은 강력 대응을 예고 하고 있다.국회 교육위원장을 맡고 있는 김영호 민주당 의원은 오는 8일 교육부 대상 국감과 24일 종합국감에 증인으로 채택된 김 이사장이 지난 4일 해외 출장 일정을 이유로 불출석 사유서를 제출했다고 6일 밝혔다.김 이사장은 지난 2022년과 2023년에도 교육위 국감 증인으로 채택됐으나, 지난번에도 해외 출장을
경기 수원시가 6일 조선시대 왕실 축하 행렬인 정조대왕 능행차 공동재현을 한다.이날 정조대왕 능행차 공동재현이 이어 행궁광장 특설무대에서 진행되는 폐막식을 끝으로 제61회 수원화성문화제 막을 내린다.앞서 지난 4일 저녁 행궁광장 특설무대에서 막을 올린 수원화성문화제는 3일 동안 화성행궁과 행궁광장, 수원화성 일대에서 진행돼 왔다.이재준 수원시장은 개막식 무대에서 환영사를 통해 "1964년 시작된 수원화성문화제는 이제 대한민국을 대표하는 축제이자 수원 자부심이 됐다"면서 "앞으로 3일 동안 한국 역사와 전통 문화, 정조 이상이 담긴
'승점 6점짜리 맞대결' 이었던 대전과의 홈경기에서 극적인 역전골을 터트린 제주유나이티드의 김주공이 "남은 5경기 동안 팀을 위해서 헌신을 하고 싶다"고 말했다.김주공은 6일 대전과의 홈경기 후 수훈선수 기자회견에서 이같이 말했다.김주공은 경기소감으로 "저희가 지금 좋지 않은 상황을 맞이하고 있는데, 그런 와중에 오늘 승리가 꼭 필요하다고 생각을 했다"며 "다행히 이기게 되서 한시름 놓게 된 것 같다"고 말했다.그는 "선수들이 잘 준비를 하고 있었다. 저희가 스스로 텐션을 많이 올렸다"면서 "그러다보니까 그런 분위기 속에서 제가 주
10·16 부산 금정구청장 보궐선거에서 야권 후보 단일화가 마무리되면서 양자대결 구도로 본격 전환됐다. 6일 더불어민주당과 조국혁신당에 따르면 지난 5일부터 이틀간 금정구청장...
어느덧 2024년 추석 명절이 끝난 지 벌써 10여 일이 지났다. 하지만 명절 쓰레기는 여전히 남아있다. 그중에서도 상당히 높은 비율을 차지하는 생활폐기물이 바로 ‘포장 폐기물’이다.포장재로 주로 쓰이는 스티로폼과 플라스틱은 가벼우면서도 값싸고 상품 보호에 탁월하다는 장점이 있지만, 스티로폼은 제조과정뿐만 아니라 소각하는 과정에서도 환경오염물질이 배출된다는 치명적인 단점이 있고, 플라스틱의 경우 자연 분해가 되지 않아 자연스럽게 퇴비나 사료에 섞이게 되어 결과적으로 인류의 건강에도 부정적인 영향을 끼친다.심지어 재활용이 불가능한 대
고성기 시인이 ‘제4회 북한강문학상’ 대상 수상자로 선정됐다.시사문단이 주관하는 북한강문학상은 지역 문학발전에 기여한 기성 문인에게 주어지는 상이다대상 수상자 기준은 기성 문인으로서 한국에서 고 황금찬 시인의 문학정신이 묻어난 문인의 시집과 작품집을 기준으로 정했다. 상금은 500만원이다.시상식은 오는 11월 2일 남양주 북한강야외공연장에서 열린다.한편 북한강문학상 역대 대상 수상자로는 박효석 시인, 마경덕 시인, 하영상 작가가 있다.
하동 지역공동체 활성화 프로젝트 사업에 참여한 5개 마을은 그동안 광주시 양림동 역사문화마을 선진지 견학, 파견마을 간 교류 협력 행사, 주민 간 갈등 관리와 원활한 회의 방법 교육, 향후 10년간 미래
1시간전
문재인 전 대통령의 남북철도 사업과 관련 국민의힘은 철도 연결을 위한 공동조사를 하기 전에 북한의 요청에 따라 철도 보수에 필요한 여러 물품을 지원하는 과정에서 유엔 제재를 위반했다는 의혹을 제기했다. 신주호 국민의힘 상근 부대변인은 4일 국회 소통관에서 브리핑을 갖고 "지난 2018년 4월 문재인 전 대통령과 김정은 북한 국무위원장은 판문점에서 정상회담을 열었다. 이 자리에서 남북 철도 연결 사업을 약속했고, 문 전 대통령은 사업을 적극적으로 추진했다"면서 이같이 주장했다. 아래는 기자회견 전문이다. 오늘 문재
1시간전
더운 가을, 꿈의 온도를 만나다올해, 다른 어느 때보다 아주 더운 9월이었다. 기후변화 때문에 그래도 올해가 가장 시원한 여름이고, 내년부터는 더 더워질 것이라는 자조 섞인 말이 등장한다. 우리가 느끼는 9월 더위는 상당했지만, 뒤돌아 보면, 지구 평균 기온은 2010~2012년에 산업화 이전과 비교할 때 1.5℃ 상승했고, 2020년에는 1.8℃가량 높았다고 국제학술지 ‘네이처 기후변화’가 전하고 있다. 머지않아 상승하는 온도가 2℃를 넘어선다고 한다.이런 보도를 접하면서 누가 어떻게 온도를 측정하는지, 국가 간 온도 측정방식은
굉장히 길게 느껴지는 하루입니다. 하루에 스쳐 가는 많은 인연 중에서 인식할 수 있는 것과 나도 모르게 인식된 관계가 있습니다. 그것들은 저만의 존재 이유를 찾습니다.그래서 유인원이나 모든 자연은 봄부터 살아가는 이유가 많아 슬퍼하는 일 또한 많았습니다. 그리고 봄부터 가을까지 오는 내내 몇 번의 사고가 날 뻔했는지 아찔한 경험도 있습니다.누구나 스스로 어렵고 수고스러운 일을 선택하기도 합니다. 불안하기 때문입니다. 그것을 극복하기 위하여 느낌 하나로 붕괴할 줄 모르는 자리에서 어쩌면 지금을 기다렸는지 모릅니다.올려다볼 수도 없고
인기기사
Generic placeholder image
2024년 천안시의회 건설도시위원회 비교견학 실시
천안시의회 건설도시위원회는 2024년 9월 30일부터 10월 2일까지 2박 3일간 타시군 정책우수사례 시찰을 위한 비교견학을 추진했다. 건설도시위원회 노종관 위원장을 비롯한 이병하 부위원장, 유영채, 권오중, 김영한, 김명숙 의원은 이번 비교견학을 통해 선진적인 산림 문화·휴양·치유·레포츠 정책을 발굴하고, 2013
Generic placeholder image
경북도의회 행정보건복지위원회, 현장방문
경상북도의회 행정보건복지위원회는 지난 25일~26일 이틀간 지방소멸 대응 극복사례 방안을 모색하기 위해 경상남도 거제시 소재 한화오션 거제사업장과 경남조선업도약센터를 현장 시찰했다.먼저 행정보건복지위원회는 대한민국 조선업의 중심인 거제시의 한화오션을 방문하여 조선업 사업 현황과 추진실적 등 설명을 듣고 사업장을 확인하였고, 다음으로 경남조선업도약센터를 방문하여 사단법인 한국커리어, 경남도청 인력지원과, 거제시청 일자리창출과, 경남조선업도약센터 담당자 등 20여 명이 참석한 가운데 거제시의 조선업
Generic placeholder image
세종시장애인체육회 창립 10주년, 소통의 장 열려
세종특별자치시 장애인체육회 창립 10주년을 기념해 장애인 생활 체육대회가 개최됐다. 세종시 장애인체육회는 4일 세종 시민운동장 외 경기장 3곳에서 장애인과 비장애인이 체육을 통해 하나 되는 소통의 장 ‘제10회 세종시 장애인생활체육대회’를 개최했다고 밝혔다. 이날 대회에는 선수 752명, 운영진·관계자 248명 등 총 1000명이
Generic placeholder image
부산경찰청, 가을 행락철 축제 등 치안 수요 대응을 위한 '범죄예방·대응 전략회의' 개최
부산경찰청은 9월 30일 오후 3시 부산경찰청 7층 동백홀에서 범죄예방·대응 관련 부서장 및 15개 경찰서장이 모두 참여하는 「범죄예방·대응 전략회의」를 개최했다고 밝혔다.이번 범죄예방·대응 전략회의는 ’24년 10월 가을 행락철 축제 등 특별치안수요 대응, 최근 사회적으로 문제가 되고 있는 ‘빈집 치안 강화 대책’, 예방 중심 경찰 활동을 위한 ‘공동체 치안 활성화 방안’ 등 빈틈없는 범죄예방 전략을 논의하기 위해 개최됐다.회의에서는 10월 축제 등 증가하는 치안 수요 분석을 바탕으로 기능·경찰서별 추진
Generic placeholder image
평창군 '2024년 평창군 농정 대토론회' 성황리에 열려
평창군과 평창군농어업회의소는 지난 30일, 서울대학교 평창캠퍼스 3층 대강당에서 ‘평창군 농정 현황과 과제, 미래 발전 방향을 말하다!’라는 주제로 평창군 농정 대토론회를 개최했다.이날 토론회는 평창군 농업인들을 대상으로 평창군의 농정 과제를 진단하고, 지속 가능한 발전 방향을 도출하기 위하여 마련되었다. 토론회는 1, 2부로 나누어 1부에서는 2인의 주제 발표, 2부는 주제 발표에 대한 패널토론 및 청중 토론으로 진행되었다.1부 주제 발표에는 ‘농업·농촌 정책 방향과 지역 농정의 과제’라는 주제로 장민기 농정연구센터 소장과, ‘평
최신기사
Generic placeholder image
(기고)명절 선물로 손편지 써보자..환경오염 지름길 포장재 사용 줄이자.
어느덧 2024년 추석 명절이 끝난 지 벌써 10여 일이 지났다. 하지만 명절 쓰레기는 여전히 남아있다. 그중에서도 상당히 높은 비율을 차지하는 생활폐기물이 바로 ‘포장 폐기물’이다.포장재로 주로 쓰이는 스티로폼과 플라스틱은 가벼우면서도 값싸고 상품 보호에 탁월하다는 장점이 있지만, 스티로폼은 제조과정뿐만 아니라 소각하는 과정에서도 환경오염물질이 배출된다는 치명적인 단점이 있고, 플라스틱의 경우 자연 분해가 되지 않아 자연스럽게 퇴비나 사료에 섞이게 되어 결과적으로 인류의 건강에도 부정적인 영향을 끼친다.심지어 재활용이 불가능한 대
Generic placeholder image
윤석열, 필리핀 첫 일정으로 한국전 참전 기념비 헌화
아세안 관련 정상회의 참석을 위해 동남아시아 3개국 순방 길에 오른 윤석열 대통령은 6일 첫 번째 국빈 방문국인 필리핀에서 한국전 참전 기념비에 헌화하는 것으로 공식 일정을 시작했다.윤 대통령은 이날 오후 2시45분께 한국전 참전 기념비에 도착했다. 부인 김건희 여사도 동행했으며 윤 대통령은 남색 정장에 회색 넥타이를 맸고, 김 여사는 회색 정장 차림이었다.기념비로 가는 길 양옆에 의장대가 도열했고, 삼각형 모양 기념비 상단에는 필리핀 국기와 태극기가 있었다. 화환에는 '대한민국 대통령 윤석열'이라고 적힌
Generic placeholder image
민주·조국당, 부산 금정구청장 후보 김경지로 단일화 결정
10·16 부산 금정구청장 보궐선거에서 야권 후보 단일화가 마무리되면서 양자대결 구도로 본격 전환됐다. 6일 더불어민주당과 조국혁신당에 따르면 지난 5일부터 이틀간 금정구청장...
Generic placeholder image
'김 여사 논문 표절 의혹' 국감 증인들 줄줄이 불출석에 야당 "강력 조치"
윤석열 대통령의 부인 김건희 여사의 논문 표절 의혹과 관련해 3년 연속 국회 교육위원회 국정감사 증인으로 채택된 김지용 국민대 이사장이 올해도 불출석 의사를 밝혔다. 이에 야당은 강력 대응을 예고 하고 있다.국회 교육위원장을 맡고 있는 김영호 민주당 의원은 오는 8일 교육부 대상 국감과 24일 종합국감에 증인으로 채택된 김 이사장이 지난 4일 해외 출장 일정을 이유로 불출석 사유서를 제출했다고 6일 밝혔다.김 이사장은 지난 2022년과 2023년에도 교육위 국감 증인으로 채택됐으나, 지난번에도 해외 출장을
Generic placeholder image
이재준 시장 "세계인과 함께하는 축제로 발전시키겠다"
경기 수원시가 6일 조선시대 왕실 축하 행렬인 정조대왕 능행차 공동재현을 한다.이날 정조대왕 능행차 공동재현이 이어 행궁광장 특설무대에서 진행되는 폐막식을 끝으로 제61회 수원화성문화제 막을 내린다.앞서 지난 4일 저녁 행궁광장 특설무대에서 막을 올린 수원화성문화제는 3일 동안 화성행궁과 행궁광장, 수원화성 일대에서 진행돼 왔다.이재준 수원시장은 개막식 무대에서 환영사를 통해 "1964년 시작된 수원화성문화제는 이제 대한민국을 대표하는 축제이자 수원 자부심이 됐다"면서 "앞으로 3일 동안 한국 역사와 전통 문화, 정조 이상이 담긴