feature-top

숫자 헷갈리는 생성형 AI, '토큰화'가 원인…해결책은?

생성형 AI 모델을 구축하는 과정에서 빼놓을 수 없는 분야는 '토큰화'다.

토큰화는 주어진 텍스트에서 토큰이라 불리는 작은 데이터 단위로 나누는 작업을 뜻하는데, 이는 AI 모델이 텍스트를 이해하고 처리하는 데 필수적인 요소다.

하지만 이 과정에서 편향, 오류 등 갖가지 문제점들이 꾸준하게 발생하고 있다고 지난 6일 IT매체 테크크런치가 보도했다.

토큰화 과정에서는 단어나 음절, 문자 등을 토큰으로 취급한다.

이때 발생할 수 있는 문제점 중 하나는 편향을 불러올...
일본 블록체인 매체 코인포스트가 주최하는 글로벌 웹3 콘퍼런스 '웹엑스 2024'에서 '비트코인·금·주식, 지금 투자해야 하는가?'라는 주제로 토크 세션이 진행됐다.28일 코인포스트에 따르면 우선 세션은 각 패널리스트가 암호화폐, 금, 주식 각 자산의 특징과 매력을 꼽는 것으로 시작됐다. 유키 하루미 기술 분석가는 "자본주의인 이상 주식투자는 반드시 자산에 포함시켜야 한다고 생각한다"고 전했다. 이어 일본 주식이 47년 만에 최고치를 갱신한 점 등을 언급하며 세금 측면을 고려해도 가장 유리한
우리은행은 지난 29일 마포 문화비축기지에서 제27회 우리은행 미술대회 ‘우리 아트콘’ 본선 대회를 개최했다.이번 대회 슬로건은 이웃과 친구처럼 서로 돕고 살아가는 세상을 만들자는 의미를 담아 ‘우리.모두. 우리, We Be Friends!’로 정해졌다. 본선 진출자 500명은 슬로건에 담긴 사회공헌의 메시지를 재미있고 기발한 상상력으로 도화지 위에 그려냈다.문화체육관광부 장관상을 포함한 최종 수상작은 주요 미술대학 교수진으로 구성된 심사위원단의 심사를 거쳐 선정
애플 비전 프로용 비공식 유튜브 앱 '주노'가 앱 스토어에서 삭제됐다. 1일 IT매체 나인투파이브맥에 따르면 이는 구글이 애플에 주노를 앱 스토어에서 삭제해 달라고 요청했기 때문인 것으로 알려졌다. 주노는 크리천 셀리그가 만든 대체 앱으로, 아직 애플 비전OS에는 공식 유튜브 앱이 없다. 구글은 몇 달 전부터 주노가 유튜브의 가이드라인을 준수하지 않는다며 개발자에 연락했다고 한다. 구글은 제3자가 유튜브 웹사이트를 수정하거나 상표 및 아이콘을 사용할 수
국회 의안정보시스템에 따르면 이정문 의원 등이 10월 2일 금융회사의 지배구조에 관한 법률 일부 개정법률안을 발의했다.이 의원 등은 법안 취지에 대해 “최근 대형 은행 직원의 수백 억원대의 횡령 사건이 발생하면서 금융회사의 내부통제 및 위험관리나 금융당국 감독 등의 부실 문제와 관련해 현행 제도의 개선 필요성이 제기되고 있다”고 지적했다. 최근 수년 동안 은행 등의 대형 금융사고가 이어지고 있다. 2일에도 우리은행에서 55억원 규모의 금융사고가 발생한 사실이 알려졌
■ 비트·이더 ETF 다음 주자는 리플?…비트와이즈, 신탁 법인 등록가상자산 자산운용사 비트와이즈가 암호화폐 기업 리플의 토큰인 XRP 관련 상장지수펀드를 개발하고 있다는 소식이다. 1일 블록체인 매체 코인데스크에 따르면 비트와이즈는 최근 미국 델라웨어주에 신탁 법인을 등록했다. 신탁 법인을 등록하는 것은 ETF를 상장하고 거래하기 위한 신청의 첫 번째 단계다. 비트와이즈, 블랙록, 피델리티와 같은 회사는 모두 비트코인과 이더리움의 신탁 법인을 신청한 후 해당 토큰에 대한 ETF를 신청한 바 있다. 비트와이즈 대
카카오뱅크는 '해외계좌송금 받기' 서비스를 이용하는 고객이 부담하던 수취수수료를 전액 면제한다고 2일 밝혔다. 카카오뱅크의 해외계좌송금은 모바일 애플리케이션을 통해 365일 24시간 간편하게 외화를 송금할 수 있도록 구현한 서비스로, 해외 계좌에 외화를 송금하거나 해외 계좌로부터 외화를 수취할 수 있도록 양방향 송금 기능을 제공한다. 이번 정책을 통해 '해외계좌송금 받기'를 이용하는 고객들은 최대 5000원의 수취수수료를 면제받게 된다. 기존 정책에 따르면 수취금액 100달러 이상
금융위원회는 올해 3분기 혁신금융서비스 지정 정기신청 접수를 진행한 결과 187건이 접수됐다고 6일 밝혔다.신청기업 유형은 금융회사 149건, 핀테크 기업 30건, 빅테크 기업 5건, 기타 3건으로 나타났다.전자금융·보안 분야의 경우 지난 8월 발표된 금융 분야 망분리 개선 로드맵에 맞춰 규제샌드박스 지정을 신청한 망분리 개선 관련 서비스가 대부분을 차지한 것으로 알려졌다.금융위는 이번에 접수된 신청서들에 대해 법정 심사기간 내(최대 120일
경남도의회 김태규 의원은 “고수온으로 인해 수산양식물 피해가 발생하는 경우 국가가 재해를 입은 어가에 대해 보조 및 지원을 하도록 규정하고 있으나 실제로는 충분한 지원이 이루어지지 않고 있다”며 지난달 30일 ‘양식수산물재해보험 제도 개선 촉구 대정부 건의안’을 대표 발의됐다.양식수산물재해보험 제도는 어업재해로 인한 피해발생시 어업인의 소득과 경영안정을 도모하고 안정적인 양식수산물 재생산 활동에 기여하기 위해 도입된 정책성 보험으로 2008년부터 시행되고 있으나 고수온에 따른 자연재해에 대해서는 어업 여건을 반영
그룹 티아라 지연과 프로야구 선수 황재균의 이혼 소송이 관심의 대상이 되고 있다. 지연...
단양교육지원청은 2024년 3분기 청렴 유공 표창 대상자로 행정과 정연범 주무관을, 친절 유공 표창 대상자로 매포중학교 권현주 조리실무사, 단양교육지원청 교육과 김홍규 주무관을 각각 선정했다.정연범 주무관은 공정한 재산업무처리로 청렴의식 강화에 노력하였고 권현주 조리실무사는 성실, 친절한 태도로 급식업무를 수행했으며 김홍규 주무관은 교육 취약계층에 대한 친절한 민원 응대를 통해 민원 만족도 향상에 기여했다.
중앙선거관리위원회는 10.16 재·보궐선거의 투표소 2404곳을 확정했다. 중앙선관위는 또한 재·보궐선거를 실시하는 지역의 매세대에 투표 안내문과 후보자의 선거공보를, 거소투표신고자 1만9000여 명에게는 거소투표용지를 함께 발송했다고 6일 밝혔다.영내 또는 부대 등에 기거하는 이유로 매세대에 보내주는 선거공보를 볼 수 없어 선관위에 발송을 신청한 군인과 경찰공무원 523명에게도 선거공보가 발송됐다.중앙선관위는 선거인의 투표소 접근성을 높이기 위해 전체 투표소 2404곳 중 2244곳의 투표
2시간전
육동한 춘천시장과 전현희 더불어민주당 최고위원은 6일, 춘천 '2024 세계태권도주니어선수권대회'가 열리고 있는 춘천 송암스포츠타운 에어돔을 찾았다.
2시간전
지난 5년간 주택 매수자 상위 1000명이 사들인 주택 수가 4만2000채에 육박하는 것으로 조사됐다.이는 1인당 평균 42채씩 사들였고 이들이 사들인 주택 가격은 모두 6조원을 넘는 것으로 파악됐다.6일 민홍철 더불어민주당 의원이 국토교통부로부터 제출받은 자료에 따르면 지난 2019년부터 2023년까지 아파트를 비롯해 연립, 다세대, 단독 및 다가구 등 주택을 가장 많이 사들인 상위 1000명이 매수한 주택은 총 4만1721채로 나타났다.이들의 매수금액은 6조1474억8000만원에 달한다.1위 매수자는
OK캐쉬백 오퀴즈에서 "코웨이 정수기"관련 퀴즈를 제시했다.일요일인 10월 6일 오후 4시경 제시된 '코웨이 정수기'관련 문제는"ㄱㅇㅁㅇ정수기 렌탈 기획전!1) 코웨이 정수기 > 최대 21만P 혜택​2) 코웨이 나노직수 모노 정수기 > 3개월 렌탈료 면제!​3) 설치비+등록비 = 무료!"다.정답은 '가을맞이'다.오퀴즈 정답을 맞추면 소정의 포인트가 지급된다.오퀴즈 참여는 OK캐쉬백 앱을 통해 할 수 있으며 오퀴즈 정답을 맞추면 소정의 포인트가 지급된다.OK캐쉬백 오퀴즈는 제너럴아이디어, 마마프로젝트,
2시간전
△인천녹색연합 창립 31주년 기념행사 '마을에 부는 녹색의 바람'=10일 오후 8시 인천 남동구 남동대로 765번길 36 농협중앙회 인천본부 대강당, 032-548-6274
크래프톤의 산하 독립 스튜디오들이 잇달아 새 작품을 선보이며 기지개를 켜고 있다.6일 관련 업계에 따르면 5민랩, 플라이웨이게임즈, 렐루게임즈 등 크래프톤의 독립 스튜디오들이 최근 잇달아 신작을 발표하며 공개적인 시험대에 오르고 있다. 특히 시뮬레이션, 핵앤슬래시, 덱빌딩 로그라이크 등 다소 개성있는 장르의 작품들을 소개, 팬들로부터 긍정적인 반응을 얻어내고 있다.5민랩은 지난달 10일 신작 전술 시뮬레이션 게임 '민간군사기업 매니저'의 데모 버전을 게임 플랫폼 스팀을 통해 공개했다.이 작품은 플레이어가 민간군사기업(
인기기사
Generic placeholder image
농심, 일본에서 신라면 팝업스토어 운영
농심이 일본 도쿄 하라주쿠에서 신라면 팝업스토어를 운영한다. 하라주쿠는 일본 MZ세대의 성지로 알려진 곳으로, 농심은 방문객들이 신라면의 매력을 직접 체험하고 즐길 수 있도록 해 현지 젊은 소비자층을 확대해 나간다는 계획이다. 농심은 일본 신라면 팝업스토어를 시작으로 체험형 이벤트와 협업 마케팅을 강화, 2023년 100억엔을 돌파
Generic placeholder image
세종시장애인체육회 창립 10주년, 소통의 장 열려
세종특별자치시 장애인체육회 창립 10주년을 기념해 장애인 생활 체육대회가 개최됐다. 세종시 장애인체육회는 4일 세종 시민운동장 외 경기장 3곳에서 장애인과 비장애인이 체육을 통해 하나 되는 소통의 장 ‘제10회 세종시 장애인생활체육대회’를 개최했다고 밝혔다. 이날 대회에는 선수 752명, 운영진·관계자 248명 등 총 1000명이
Generic placeholder image
의성군, 제38회 의성문화제 6일까지 개최
23시간전
의성군은 오는 6일까지 의성읍 동서1길 일대에서 ‘제38회 의성문화제’를 개최한다. 이번 문화제는 의성문화원이 주관하며, 제7회 의성슈퍼푸드마늘축제와 연계해 지역 주민과 방문객들에게 다양한 프로그램과 체험 거리를 제공할 예정이다. 이번 행사에서는 의성문화원의 40
Generic placeholder image
정점식 "지난해 열차 부정승차 57만건 적발"
최근 5년간 여객열차 및 광역열차를 부정승차하다 적발된 건수가 최근 5년간 291만 6000건, 총 부과금액으로는 284억 2500만원에 달하는 것으로 나타났다.국회 국토교통위원회 국민의힘 정점식 의원이 한국철도공사로 부터 제출받은 부정승차 현황 자료에 따르면 2019년에 51만 4000건이었던 여객·광역열차 부정승차는 코로나 영향으로 탑승객이 줄며 자연스럽게 감소했다가 2022년 48만 9000건, 2023년 57만 건으로 다시 증가했다.주로 승차권 미소지가 다수를 차지(95
Generic placeholder image
"육아휴직 8만여 명 중 5.5만 명이 여성"
현재 육아휴직 중인 노동자 8만1000여 명 가운데 약 5만5000명은 여성, 2만6000명은 남성인 것으로 나타났다. 국회 환경노동위원회 소속 더불어민주당 박해철 의원이 국...
최신기사
Generic placeholder image
서귀포시 대정 오일장 인근 등 3곳에 횡단보도 안전지킴이 설치
서귀포시는 오는 12월까지 3000만원을 투입해 대정읍 하모리 1066번지, 서홍동 1614-8번지, 상예동 1442-4번지에 다기능 시설 ‘횡단보도 안전지킴이’를 설치한다고 6일 밝혔다.다기능 횡단보도 안전지킴이는 발광형 교통표지판, LED 투광등이 결합된 시설로 횡단보도 위에 설치된다.서귀포시는 보행자 신호등이 없는 횡단보도를 중심으로 횡단보도 안전지킴이를 설치하고 있다.서귀포시는 올해 상반기에도 대정읍 하모리 873-1번지 등 7개소에 설치했다.지난 9월 기준으로 서귀포시지역 횡단보도 40여 개소에 설치돼
Generic placeholder image
오예진, 제주경찰청 딥페이크 예방 영상제작 참여
제주경찰청은 딥페이크 범죄 예방을 위해 파리올림픽 사격 금메달리스트 오예진 선수와 함께 공익영상을 제작했다고 6일 밝혔다.36초 분량으로 제작된 영상물에는 오예진 선수가 페이크 표적지를 찾아 격발하는 모습이 담겼다.이 영상물은 ‘딥페이크 범죄 무조건 잡힌다’는 메시지를 전달함으로써 경찰의 딥페이크 범죄 근절 의지가 잘 표현됐다는 평가를 받고 있다.제주경찰청 관계자는 “오예진 선수가 최근 급증하는 딥페이크 범죄의 심각성에 공감해 이번 영상 제작에 참여하게 됐다”고 설명했다.제주경찰청은 이 영상
Generic placeholder image
경남조달청-경남창조경제혁신센터, 창업 초기기업 지원 위해 손 잡아
경남지방조달청과 경남창조경제혁신센터가 창업 초기기업 지원을 위해 손을 맞잡았다.양 기관은 4일 ‘창업 초기기업의 공공조달 성장 지원’을 위한 업무협약을 했다.이번 협약은 경남창조경제혁신센터 창업기업의 공공조달 시장 접근성을 높이고, 기술우수 창업기업 제품 발굴 및 판로를 지원하고자 마
Generic placeholder image
'극적 역전 결승골' 제주 김주공 "남은 5경기, 팀을 위해 헌신하고 싶어"
'승점 6점짜리 맞대결' 이었던 대전과의 홈경기에서 극적인 역전골을 터트린 제주유나이티드의 김주공이 "남은 5경기 동안 팀을 위해서 헌신을 하고 싶다"고 말했다.김주공은 6일 대전과의 홈경기 후 수훈선수 기자회견에서 이같이 말했다.김주공은 경기소감으로 "저희가 지금 좋지 않은 상황을 맞이하고 있는데, 그런 와중에 오늘 승리가 꼭 필요하다고 생각을 했다"며 "다행히 이기게 되서 한시름 놓게 된 것 같다"고 말했다.그는 "선수들이 잘 준비를 하고 있었다. 저희가 스스로 텐션을 많이 올렸다"면서 "그러다보니까 그런 분위기 속에서 제가 주
Generic placeholder image
김학범 제주 감독 "선수들 의욕 있었기에 진다는 생각 안해"
대전을 상대로 극적인 역전승을 거둔 제주유나이티드의 김학범 감독이 6일 "선수들의 의욕이 있었기에 진다는 생각은 안했다"고 말했다.김 감독은 이날 경기 후 기자회견에서 이같이 말했다.김 감독은 "홈에서 대구한테 졌는데 이기는 모습 보여드려서 고맙다"면서 "열심히 뛰어준 선수들에게 고맙다"고 말했다.임채민 자책골 이후 어렵게 갈거라고 봤는데 빠르게 회복한 것에 대해서는 "모든 경기는 실수가 승패 가르는데, 임채민의 자책골로 실점했어도 진다는 생각은 안했다"며 "몸상태나 의욕 의지가 좋아보였기 때문에 이길 수 있다는 생각 갖고 있었다"