feature-top

숫자 헷갈리는 생성형 AI, '토큰화'가 원인…해결책은?

생성형 AI 모델을 구축하는 과정에서 빼놓을 수 없는 분야는 '토큰화'다.

토큰화는 주어진 텍스트에서 토큰이라 불리는 작은 데이터 단위로 나누는 작업을 뜻하는데, 이는 AI 모델이 텍스트를 이해하고 처리하는 데 필수적인 요소다.

하지만 이 과정에서 편향, 오류 등 갖가지 문제점들이 꾸준하게 발생하고 있다고 지난 6일 IT매체 테크크런치가 보도했다.

토큰화 과정에서는 단어나 음절, 문자 등을 토큰으로 취급한다.

이때 발생할 수 있는 문제점 중 하나는 편향을 불러올...
■ 비트·이더 ETF 다음 주자는 리플?…비트와이즈, 신탁 법인 등록가상자산 자산운용사 비트와이즈가 암호화폐 기업 리플의 토큰인 XRP 관련 상장지수펀드를 개발하고 있다는 소식이다. 1일 블록체인 매체 코인데스크에 따르면 비트와이즈는 최근 미국 델라웨어주에 신탁 법인을 등록했다. 신탁 법인을 등록하는 것은 ETF를 상장하고 거래하기 위한 신청의 첫 번째 단계다. 비트와이즈, 블랙록, 피델리티와 같은 회사는 모두 비트코인과 이더리움의 신탁 법인을 신청한 후 해당 토큰에 대한 ETF를 신청한 바 있다. 비트와이즈 대
이더리움 사용자들은 앞으로 이더리움를 레이어1 블록체인 수이와 연결할 수 있게 됐다. 거꾸로 수이 사용자들도 이더리움으로 확장할 수 있게 됐다.디파이언트 보도에 따르면 지난달 30일 출시된 수이 브릿지는 수이와 이더리움 간 네이티브 연결을 제공해 두 블록체인 간 끊김 없는 자산 전송을 지원한다.수이 측은 블로그에 올린 글을 통해 "수이 브릿지 출시는 수이 상호 운용성 여정에서 중요한 순간"이라며 "수이와 이더리움 간 신뢰가 최소화된 자산 전송을 가능케 한다"고 강조했다.수이 브릿지가 나
우리은행은 지난 29일 마포 문화비축기지에서 제27회 우리은행 미술대회 ‘우리 아트콘’ 본선 대회를 개최했다.이번 대회 슬로건은 이웃과 친구처럼 서로 돕고 살아가는 세상을 만들자는 의미를 담아 ‘우리.모두. 우리, We Be Friends!’로 정해졌다. 본선 진출자 500명은 슬로건에 담긴 사회공헌의 메시지를 재미있고 기발한 상상력으로 도화지 위에 그려냈다.문화체육관광부 장관상을 포함한 최종 수상작은 주요 미술대학 교수진으로 구성된 심사위원단의 심사를 거쳐 선정
일본 블록체인 매체 코인포스트가 주최하는 글로벌 웹3 콘퍼런스 '웹엑스 2024'에서 '비트코인·금·주식, 지금 투자해야 하는가?'라는 주제로 토크 세션이 진행됐다.28일 코인포스트에 따르면 우선 세션은 각 패널리스트가 암호화폐, 금, 주식 각 자산의 특징과 매력을 꼽는 것으로 시작됐다. 유키 하루미 기술 분석가는 "자본주의인 이상 주식투자는 반드시 자산에 포함시켜야 한다고 생각한다"고 전했다. 이어 일본 주식이 47년 만에 최고치를 갱신한 점 등을 언급하며 세금 측면을 고려해도 가장 유리한
애플 비전 프로용 비공식 유튜브 앱 '주노'가 앱 스토어에서 삭제됐다. 1일 IT매체 나인투파이브맥에 따르면 이는 구글이 애플에 주노를 앱 스토어에서 삭제해 달라고 요청했기 때문인 것으로 알려졌다. 주노는 크리천 셀리그가 만든 대체 앱으로, 아직 애플 비전OS에는 공식 유튜브 앱이 없다. 구글은 몇 달 전부터 주노가 유튜브의 가이드라인을 준수하지 않는다며 개발자에 연락했다고 한다. 구글은 제3자가 유튜브 웹사이트를 수정하거나 상표 및 아이콘을 사용할 수
카카오뱅크는 '해외계좌송금 받기' 서비스를 이용하는 고객이 부담하던 수취수수료를 전액 면제한다고 2일 밝혔다. 카카오뱅크의 해외계좌송금은 모바일 애플리케이션을 통해 365일 24시간 간편하게 외화를 송금할 수 있도록 구현한 서비스로, 해외 계좌에 외화를 송금하거나 해외 계좌로부터 외화를 수취할 수 있도록 양방향 송금 기능을 제공한다. 이번 정책을 통해 '해외계좌송금 받기'를 이용하는 고객들은 최대 5000원의 수취수수료를 면제받게 된다. 기존 정책에 따르면 수취금액 100달러 이상
크래프톤의 산하 독립 스튜디오들이 잇달아 새 작품을 선보이며 기지개를 켜고 있다.6일 관련 업계에 따르면 5민랩, 플라이웨이게임즈, 렐루게임즈 등 크래프톤의 독립 스튜디오들이 최근 잇달아 신작을 발표하며 공개적인 시험대에 오르고 있다. 특히 시뮬레이션, 핵앤슬래시, 덱빌딩 로그라이크 등 다소 개성있는 장르의 작품들을 소개, 팬들로부터 긍정적인 반응을 얻어내고 있다.5민랩은 지난달 10일 신작 전술 시뮬레이션 게임 '민간군사기업 매니저'의 데모 버전을 게임 플랫폼 스팀을 통해 공개했다.이 작품은 플레이어가 민간군사기업(
2시간전
“전국적인 저출산 위기 상황에서 자녀를 가진 부모님들의 걱정을 덜고 자라나는 아이들이 행복할 수 있는 양주시를 만들기 위해 앞으로도 최선을 다하겠습니다”민선 8기의 반환점을 돌며 새로운 출발을 시작한 경기 양주시가 5년 전 대비 출생아가 증가한 10개 기초지자체에 들어가며 ‘살기 좋은 도시’의 위상을 입증했다.최근 통계청의 발표에 따르면 출생아 수 통계에서 지난 2023년 전국에서 태어난 출생아는 23만 28명으로 5년 전인 2018년보다 9만 6,794명이 줄어든 것으로 확인됐다.반면, 양주시(시장 강수현
고희의 나이에도 현역으로 왕성하게 활동하는 고재동 수필가의 "열쇠 구멍으로 본 풍경" 북콘서트가 2024년 10월 5일 오후 4시 계간 문장을 발행하는 북랜드 라온에서 열렸다. 작가의 지인 문학인과 가족 등 40여 명이 함께한 이날 행사는 서정랑 문장 사무국장의 사회로 진행되었으며 장호병 계간 문장 발행인의 인사말과 내빈 소개가 있었다. 참석 내빈은 손수여 펜클럽 대구지회장과 한국문인협회 안동지회장 김정화 시인 등이었으며 김영곤 시인이자 수필가의 마술쇼를 시작으로 북콘서트가 진행되었다. 고재동 작가가
한준호 더불어민주당 최고위원은 6일 전라남도 영광군 대한주택관리사협회와 정책간담회를 개최했다.이번 간담회는 하원선 전국주택관리사협회장, 김병훈 전남회장, 서금석 광주회장 등 20여명이 참석한 가운데 주택관리업자 선정 동의절차 완화, 장기수선제도 개선, 주택관리사법 제정 등을 건의하고, 정책 제안서를 전달하기 위해 마련됐다.특히, 이날 정책간담회에는 김포중 경기호남향우연합회장, 천범룡 관악구시설공단이사장, 박문석 전 성남시의회의장, 강민구 명지대교수 등도 영광군수 보궐선거 지원차 영광을 방문해 함께하기도 했다.하원선 전국주택관리사협회
4시간전
달성군이장연합회는 지난 10월 2일 송해공원 기세축구장에서 ‘제11회 달성군이장연합회 화합한마당’을 개최하였다고 밝혔다.이번 화합한마당 행사는 최재훈 달성군수를 비롯한 기관·사회단체장들과 이장연합회원 등 400여 명이 참석한 가운데 진행되었으며, 유공표창, 체육경기, 노래자랑 등을 통해 화합과 단합을 도모했다.특히, 읍·면별 체육경기 시간에는 몸을 써가며 줄다리기, 이어달리기 등 다양한 경기를 진행하여 회원들이 화합하고 한마음으로 소통하는 뜻깊은 시간을 가졌다.서석화 회장은 “이 자리를 통해 이장
4시간전
2024 공업축제 폐막식&불꽃쇼.10월 13일 일산해수욕장에서 펼쳐지는 울산불꽃축제.많은 참여과 관심부탁드립니다. 감사합니다.#울산불꽃축제 #서울불꽃축제 #불꽃축제 #불꽃쇼 #불꽃놀이
최근 5년간 0세 신생아에게 증여된 재산 총액이 2700억원을 넘어선 것으로 나타났다. 1건당 평균 증여 재산가액은 1억원에 육박했다.국세청이 6일 국회 기획재정위원회 소속 박성훈 국민의힘 의원실에 제출한 자료에 따르면 지난해 0세 636명이 증여받은 재산가액은 총 615억원이었다.
김만식 대표기자 = 중도보수진영 단일후보로 추대된 조전혁 서울시교육감 후보는 5일 서울에서 활동하는 인권지도사들과 간담회...
5시간전
서울특별시의회 이종환 부의장은 10월 3일 여의도 공원에서 열린 ‘2024 국제국민마라톤 대회’ 개막식에 참가하여 시민들과 함께했다. 이종환 부의장은 서울시민 2만명이 모인 마라톤 대회는 처음이라며 “시민들의 건강을 챙기는 일에는 항상 앞장서겠다. 시민들이 건강해야 서울이 건강해지고, 서울시민이 행복해지는 선행조건은 ‘건강’이다”라
6시간전
부산국제영화제가 2일 개막해 오는 11일까지 열흘간 영화의 향연을 펼친다.이 영화제는 아시아 최대 영화제답게 영화의전당을 비롯해 영화제의 발상지...
인기기사
Generic placeholder image
고양시, 주한미국상공회의소와 업무협약 체결
고양특례시가 주한미국상공회의소와 투자유치 촉진 상호협력을 위한 업무협약을 체결했다. 4일 시에 따르면 이동환 시장과 암참 제임스 김 회장, 에너지엑...
Generic placeholder image
서울의대 학생들 휴학 승인 .. '동맹휴학 불가' 교육부 대응 주목
서울대 의과대학이 학생들의 1학기 집단 휴학 신청을 승인했다. 의정 갈등 이후 집단 휴학을 승인한 것은 서울대가 처음이다. “동맹휴학은 안 된다"는 정부 방침과 배치된 것이어서 파장이 클것으로 보인다.1일 교육계에 따르면, 서울대 의대는 접수된 학생들의 1학기 휴학 신청을 전날 밤 일괄 승인한 것으로 나타났다.대부분 대학은 휴학 신청 허가권이 총장에게 있지만, 서울대 의대의 경우 학칙상 권한이 학장에게 있다. 대학 본부와의 상의할 필요 없이 단과대가 자체적으로 결정할 수 있다.
Generic placeholder image
정점식 "지난해 열차 부정승차 57만건 적발"
최근 5년간 여객열차 및 광역열차를 부정승차하다 적발된 건수가 최근 5년간 291만 6000건, 총 부과금액으로는 284억 2500만원에 달하는 것으로 나타났다.국회 국토교통위원회 국민의힘 정점식 의원이 한국철도공사로 부터 제출받은 부정승차 현황 자료에 따르면 2019년에 51만 4000건이었던 여객·광역열차 부정승차는 코로나 영향으로 탑승객이 줄며 자연스럽게 감소했다가 2022년 48만 9000건, 2023년 57만 건으로 다시 증가했다.주로 승차권 미소지가 다수를 차지(95
Generic placeholder image
"육아휴직 8만여 명 중 5.5만 명이 여성"
현재 육아휴직 중인 노동자 8만1000여 명 가운데 약 5만5000명은 여성, 2만6000명은 남성인 것으로 나타났다. 국회 환경노동위원회 소속 더불어민주당 박해철 의원이 국...
Generic placeholder image
경북도의회 행정보건복지위원회, 현장방문
경상북도의회 행정보건복지위원회는 지난 25일~26일 이틀간 지방소멸 대응 극복사례 방안을 모색하기 위해 경상남도 거제시 소재 한화오션 거제사업장과 경남조선업도약센터를 현장 시찰했다.먼저 행정보건복지위원회는 대한민국 조선업의 중심인 거제시의 한화오션을 방문하여 조선업 사업 현황과 추진실적 등 설명을 듣고 사업장을 확인하였고, 다음으로 경남조선업도약센터를 방문하여 사단법인 한국커리어, 경남도청 인력지원과, 거제시청 일자리창출과, 경남조선업도약센터 담당자 등 20여 명이 참석한 가운데 거제시의 조선업
최신기사
Generic placeholder image
추경호, 국감 앞두고 "끝장을 봐야 할건 이재명 방탄 국회"
24일 국민의힘 추경호 원내대표는 22대 국회 국정감사를 하루 앞둔 6일 "책임 있는 집권여당으로서 민생에 매진하는 모습을 보여드릴 것"이라고 다짐하며 "끝장을 봐야 할 건 이재명 대표의 방탄국회"라고 입장을 밝혔다.추 원내대표는 이날 오후 서울 여의도 국회에서 '국정감사 및 현안 관련 기자간담회' 자리에서 "민주당의 국정감사 기조가 '끝장 국감'이라는데, 민생 관련은 하나도 없고 모두 다 정쟁 사안"이라며 "끝장을 봐야 할 건 민주당의 입법 폭주와 정쟁 몰이이고 이 대표의 방탄 국회와 국정감사"라고 비판
Generic placeholder image
'극적 역전 결승골' 제주 김주공 "남은 5경기, 팀을 위해 헌신하고 싶어"
'승점 6점짜리 맞대결' 이었던 대전과의 홈경기에서 극적인 역전골을 터트린 제주유나이티드의 김주공이 "남은 5경기 동안 팀을 위해서 헌신을 하고 싶다"고 말했다.김주공은 6일 대전과의 홈경기 후 수훈선수 기자회견에서 이같이 말했다.김주공은 경기소감으로 "저희가 지금 좋지 않은 상황을 맞이하고 있는데, 그런 와중에 오늘 승리가 꼭 필요하다고 생각을 했다"며 "다행히 이기게 되서 한시름 놓게 된 것 같다"고 말했다.그는 "선수들이 잘 준비를 하고 있었다. 저희가 스스로 텐션을 많이 올렸다"면서 "그러다보니까 그런 분위기 속에서 제가 주
Generic placeholder image
윤석열, 필리핀 첫 일정으로 한국전 참전 기념비 헌화
아세안 관련 정상회의 참석을 위해 동남아시아 3개국 순방 길에 오른 윤석열 대통령은 6일 첫 번째 국빈 방문국인 필리핀에서 한국전 참전 기념비에 헌화하는 것으로 공식 일정을 시작했다.윤 대통령은 이날 오후 2시45분께 한국전 참전 기념비에 도착했다. 부인 김건희 여사도 동행했으며 윤 대통령은 남색 정장에 회색 넥타이를 맸고, 김 여사는 회색 정장 차림이었다.기념비로 가는 길 양옆에 의장대가 도열했고, 삼각형 모양 기념비 상단에는 필리핀 국기와 태극기가 있었다. 화환에는 '대한민국 대통령 윤석열'이라고 적힌
Generic placeholder image
[하동 지역공동체 활성화 프로젝트-6] 돌담 만들고 축제 즐기고...마을 활성화 스스로 이끄는 주민들
하동 지역공동체 활성화 프로젝트 사업에 참여한 5개 마을은 그동안 광주시 양림동 역사문화마을 선진지 견학, 파견마을 간 교류 협력 행사, 주민 간 갈등 관리와 원활한 회의 방법 교육, 향후 10년간 미래
Generic placeholder image
민주·조국당, 부산 금정구청장 후보 김경지로 단일화 결정
10·16 부산 금정구청장 보궐선거에서 야권 후보 단일화가 마무리되면서 양자대결 구도로 본격 전환됐다. 6일 더불어민주당과 조국혁신당에 따르면 지난 5일부터 이틀간 금정구청장...