feature-top

숫자 헷갈리는 생성형 AI, '토큰화'가 원인…해결책은?

생성형 AI 모델을 구축하는 과정에서 빼놓을 수 없는 분야는 '토큰화'다.

토큰화는 주어진 텍스트에서 토큰이라 불리는 작은 데이터 단위로 나누는 작업을 뜻하는데, 이는 AI 모델이 텍스트를 이해하고 처리하는 데 필수적인 요소다.

하지만 이 과정에서 편향, 오류 등 갖가지 문제점들이 꾸준하게 발생하고 있다고 지난 6일 IT매체 테크크런치가 보도했다.

토큰화 과정에서는 단어나 음절, 문자 등을 토큰으로 취급한다.

이때 발생할 수 있는 문제점 중 하나는 편향을 불러올...
일본 블록체인 매체 코인포스트가 주최하는 글로벌 웹3 콘퍼런스 '웹엑스 2024'에서 '비트코인·금·주식, 지금 투자해야 하는가?'라는 주제로 토크 세션이 진행됐다.28일 코인포스트에 따르면 우선 세션은 각 패널리스트가 암호화폐, 금, 주식 각 자산의 특징과 매력을 꼽는 것으로 시작됐다. 유키 하루미 기술 분석가는 "자본주의인 이상 주식투자는 반드시 자산에 포함시켜야 한다고 생각한다"고 전했다. 이어 일본 주식이 47년 만에 최고치를 갱신한 점 등을 언급하며 세금 측면을 고려해도 가장 유리한
개빈 뉴섬 미국 캘리포니아 주지사가 인공지능 규제 법안인 'AI 안전법'에 대해 거부권을 행사했다.29일 블룸버그에 따르면 뉴섬 주지사는 이 법안이 AI 시스템이 고위험 환경에 배치되는지, 중요한 의사 결정이나 민감한 데이터 사용을 포함하는지 여부를 고려하지 않는다며 거부권을 행사했다.뉴섬 주지사는 성명을 통해 "이 법안은 대규모 시스템이 배포하는 한 가장 기본적인 기능에도 엄격한 기준을 적용한다. 나는 이것이 기술로 인한 실제 위협으로부터 대중을 보호하는 최선의 접근 방
카카오뱅크는 '해외계좌송금 받기' 서비스를 이용하는 고객이 부담하던 수취수수료를 전액 면제한다고 2일 밝혔다. 카카오뱅크의 해외계좌송금은 모바일 애플리케이션을 통해 365일 24시간 간편하게 외화를 송금할 수 있도록 구현한 서비스로, 해외 계좌에 외화를 송금하거나 해외 계좌로부터 외화를 수취할 수 있도록 양방향 송금 기능을 제공한다. 이번 정책을 통해 '해외계좌송금 받기'를 이용하는 고객들은 최대 5000원의 수취수수료를 면제받게 된다. 기존 정책에 따르면 수취금액 100달러 이상
■ 비트·이더 ETF 다음 주자는 리플?…비트와이즈, 신탁 법인 등록가상자산 자산운용사 비트와이즈가 암호화폐 기업 리플의 토큰인 XRP 관련 상장지수펀드를 개발하고 있다는 소식이다. 1일 블록체인 매체 코인데스크에 따르면 비트와이즈는 최근 미국 델라웨어주에 신탁 법인을 등록했다. 신탁 법인을 등록하는 것은 ETF를 상장하고 거래하기 위한 신청의 첫 번째 단계다. 비트와이즈, 블랙록, 피델리티와 같은 회사는 모두 비트코인과 이더리움의 신탁 법인을 신청한 후 해당 토큰에 대한 ETF를 신청한 바 있다. 비트와이즈 대
국회 의안정보시스템에 따르면 이정문 의원 등이 10월 2일 금융회사의 지배구조에 관한 법률 일부 개정법률안을 발의했다.이 의원 등은 법안 취지에 대해 “최근 대형 은행 직원의 수백 억원대의 횡령 사건이 발생하면서 금융회사의 내부통제 및 위험관리나 금융당국 감독 등의 부실 문제와 관련해 현행 제도의 개선 필요성이 제기되고 있다”고 지적했다. 최근 수년 동안 은행 등의 대형 금융사고가 이어지고 있다. 2일에도 우리은행에서 55억원 규모의 금융사고가 발생한 사실이 알려졌
우리은행은 지난 29일 마포 문화비축기지에서 제27회 우리은행 미술대회 ‘우리 아트콘’ 본선 대회를 개최했다.이번 대회 슬로건은 이웃과 친구처럼 서로 돕고 살아가는 세상을 만들자는 의미를 담아 ‘우리.모두. 우리, We Be Friends!’로 정해졌다. 본선 진출자 500명은 슬로건에 담긴 사회공헌의 메시지를 재미있고 기발한 상상력으로 도화지 위에 그려냈다.문화체육관광부 장관상을 포함한 최종 수상작은 주요 미술대학 교수진으로 구성된 심사위원단의 심사를 거쳐 선정
김해시는 4일 김해중소기업비즈니스센터에서 김해시 탄소중립지원센터 개소식과 함께 ‘기후안심도시 김해를 위한 탄소중립의 ...
◇부이사관 승진△기획재정담당관 부이사관 이준산 △목재산업과장 부이사관 조영희 /나무신문
경기도는 오는 12월까지 31개 시군에서 노인과 중장년에게 맞춤형 일자리를 연결하는 채용박람회를 열기로 하고 첫 번째 행사로 7일과 8일 이틀간 고양 킨텍스에서 '경기도 5070 일자리 박람회'를 개최한다.고양시를 시작으로 12월 수원시에서 막을 내릴 예정인 이번 일자리 박람회는 노인이나 중장년자들이 개인별로 능력이나 경력에 맞는 다양한 직종에 취업할 수 있도록 마련했다.박람회를 통해 도내 우수 중견·중소기업의 노인․중장년 종사자 비율을 높이고, 단순직종에 집중됐던 노인일자리를 다양한 양질의 일자리까지
실시간 랜섬웨어 탐지·차단 솔루션인 화이트디펜더 제품 개발기업 에브리존은 네트워크·보안 전문기업 파이오링크와 안티랜섬웨어 화이트디펜더 총판 계약을 체결했다고 밝혔다.에브리존은 엔드포인트 보안 안티바이러스, 안티랜섬웨어 소프트웨어 연구개발 전문 보안기업으로, 안티랜섬웨어 화이트디펜더 제품은 100% 시그니처리스 기반의 실시간 랜섬웨어 위협 탐지·차단 및 자동복구 기능을 제공한다. 또한 독자 기술로 개발한 행위탐지 최고의 알고리즘 엔진을 보유하고 있으며, 탐지와 차단, 복원 3단계 프로세스를 기
17세 이하 월드컵에 출전할 여자 청소년 대표팀 최종 명단이 확정됐다.대한축구협회는 오는 17일부터 도미니카공화국에서 열리는 2024 FIFA 여자 U-17 월드컵에 출전할 선수 명단을 3일 발표했다.21명 참가 엔트리에는 미국 프로리그 소속으로 여자 A대표팀에서도 활약하는 케이시 유진 페어가 지난 U-17 아시안컵에 이어 명단에 포함됐다. 그러나 팀의 주장이자 핵심 공격수였던 원주은은 최종훈련을 앞두고 부상으로 제외됐다.21명 선수 중 11명이 2007년생, 8명이 2008년생이며, 한국희(울산현대청운
오늘은 전국이 대체로 흐리겠고, 내일은 전국이 대체로 맑겠다.   자료제공 : 기상청 날씨누리  © 뉴스다임 오늘 오전부터 남부지방과 제주
최근 5년간 여객열차 및 광역열차를 부정승차하다 적발된 건수가 최근 5년간 291만 6000건, 총 부과금액으로는 284억 2500만원에 달하는 것으로 나타났다.국회 국토교통위원회 국민의힘 정점식 의원이 한국철도공사로 부터 제출받은 부정승차 현황 자료에 따르면 2019년에 51만 4000건이었던 여객·광역열차 부정승차는 코로나 영향으로 탑승객이 줄며 자연스럽게 감소했다가 2022년 48만 9000건, 2023년 57만 건으로 다시 증가했다.주로 승차권 미소지가 다수를 차지(95
국회 농림축산식품해양수산위원회 소속 국민의힘 정희용 국회의원은 지난 2일 국회의원회관 제2소회의실에서 국산재 및 산림바이오매스 이용 활성화를 위한 제도 및 법령 개선 국회토론회를 개최했다고 밝혔다.이번 토론회는 산림과 임업 분야에서 탄소중립의 대응책 중 하나인 국산재와 산림바이오매스 이용 활성화 방안을 모색하기 위해 마련됐으며, 산림청과 국립산림과학원, 학계 및 산림·임업 종사자 등 전문가와 관계자들이 참석한 가운데 관련 제도 및 법령의 개선방안을 논의했다.주제발표에는 원광
지역별 맞춤 사업으로 냄새 저감 효과 기대 경상남도는 지난 9월 13일 농림축산식품부에서 시행하는 2025년도 축산악취개선사업에 도내 5개 시군이 선정되어 국비 53억 원을 포함해 총 75억원의 사업비를 확보했다고 밝혔다. ‘축산악취개선사업’은 가축분뇨 적정 처리 및 축산악취 저감
인기기사
Generic placeholder image
"육아휴직 8만여 명 중 5.5만 명이 여성"
현재 육아휴직 중인 노동자 8만1000여 명 가운데 약 5만5000명은 여성, 2만6000명은 남성인 것으로 나타났다. 국회 환경노동위원회 소속 더불어민주당 박해철 의원이 국...
Generic placeholder image
대구시, 어린이 기호식품 제조·판매업소 93곳 대상 위생 점검
대구시가 오는 8일까지 햄버거 등 어린이 기호식품 제조·판매업소 93곳을 대상으로 위생 점검을 벌인다. 1일 대구시에 따르면 점검 대상은 과일 건조·냉동식품, 햄버거, 피자 등 어린이들이 간식으로 주로 섭취하는 식품 제조·판매 업소다. 최근 MZ세대 간식으로 새롭게 떠오르는 ‘두바이 초콜릿’ 및 ‘요거트 아이스크림’ 제조 업소에 대해서도 추가 점검을 펼친다. 또 ‘피스타치오’나 ‘카다이프’를 함유한 견과류 가공품 3건, 조리식품 5건에 대한 수거 검사를 병행한다. 주요 점검 사항으로는 △원재료 및 함량 거짓
Generic placeholder image
평창군 '2024년 평창군 농정 대토론회' 성황리에 열려
평창군과 평창군농어업회의소는 지난 30일, 서울대학교 평창캠퍼스 3층 대강당에서 ‘평창군 농정 현황과 과제, 미래 발전 방향을 말하다!’라는 주제로 평창군 농정 대토론회를 개최했다.이날 토론회는 평창군 농업인들을 대상으로 평창군의 농정 과제를 진단하고, 지속 가능한 발전 방향을 도출하기 위하여 마련되었다. 토론회는 1, 2부로 나누어 1부에서는 2인의 주제 발표, 2부는 주제 발표에 대한 패널토론 및 청중 토론으로 진행되었다.1부 주제 발표에는 ‘농업·농촌 정책 방향과 지역 농정의 과제’라는 주제로 장민기 농정연구센터 소장과, ‘평
Generic placeholder image
제주창조경제혁신센터 추천기업 2개사 팁스 선정
제주창조경제혁신센터는 투자기업인 ㈜비유와 공유어장㈜이 중소벤처기업부의 기술창업 지원 프로그램 팁스에 나란히 선정됐다고 4일 밝혔다.제주센터는 제주도 출연금을 활용한 시드머니 투자사업을 통해 지난해 ㈜비유에 투자했다. 공유어장은 21년 ‘스타트업아일랜드 제주 개인투자조합’과 올해 ’제주-비전 벤처투자조합‘을 통해 투자를 진행했다. 이후 지난 9월, 팁스 R&D 지원사업에 이들 기업을 추천했으며 2개사 모두 최종 선정되는 성과를 거두었다.팁스 선정기업은 2년간 최대
Generic placeholder image
서울의대 학생들 휴학 승인 .. '동맹휴학 불가' 교육부 대응 주목
서울대 의과대학이 학생들의 1학기 집단 휴학 신청을 승인했다. 의정 갈등 이후 집단 휴학을 승인한 것은 서울대가 처음이다. “동맹휴학은 안 된다"는 정부 방침과 배치된 것이어서 파장이 클것으로 보인다.1일 교육계에 따르면, 서울대 의대는 접수된 학생들의 1학기 휴학 신청을 전날 밤 일괄 승인한 것으로 나타났다.대부분 대학은 휴학 신청 허가권이 총장에게 있지만, 서울대 의대의 경우 학칙상 권한이 학장에게 있다. 대학 본부와의 상의할 필요 없이 단과대가 자체적으로 결정할 수 있다.
최신기사
Generic placeholder image
김학범 제주 감독 "선수들 의욕 있었기에 진다는 생각 안해"
대전을 상대로 극적인 역전승을 거둔 제주유나이티드의 김학범 감독이 6일 "선수들의 의욕이 있었기에 진다는 생각은 안했다"고 말했다.김 감독은 이날 경기 후 기자회견에서 이같이 말했다.김 감독은 "홈에서 대구한테 졌는데 이기는 모습 보여드려서 고맙다"면서 "열심히 뛰어준 선수들에게 고맙다"고 말했다.임채민 자책골 이후 어렵게 갈거라고 봤는데 빠르게 회복한 것에 대해서는 "모든 경기는 실수가 승패 가르는데, 임채민의 자책골로 실점했어도 진다는 생각은 안했다"며 "몸상태나 의욕 의지가 좋아보였기 때문에 이길 수 있다는 생각 갖고 있었다"
Generic placeholder image
서귀포시 대정 오일장 인근 등 3곳에 횡단보도 안전지킴이 설치
서귀포시는 오는 12월까지 3000만원을 투입해 대정읍 하모리 1066번지, 서홍동 1614-8번지, 상예동 1442-4번지에 다기능 시설 ‘횡단보도 안전지킴이’를 설치한다고 6일 밝혔다.다기능 횡단보도 안전지킴이는 발광형 교통표지판, LED 투광등이 결합된 시설로 횡단보도 위에 설치된다.서귀포시는 보행자 신호등이 없는 횡단보도를 중심으로 횡단보도 안전지킴이를 설치하고 있다.서귀포시는 올해 상반기에도 대정읍 하모리 873-1번지 등 7개소에 설치했다.지난 9월 기준으로 서귀포시지역 횡단보도 40여 개소에 설치돼
Generic placeholder image
(기고)명절 선물로 손편지 써보자..환경오염 지름길 포장재 사용 줄이자.
어느덧 2024년 추석 명절이 끝난 지 벌써 10여 일이 지났다. 하지만 명절 쓰레기는 여전히 남아있다. 그중에서도 상당히 높은 비율을 차지하는 생활폐기물이 바로 ‘포장 폐기물’이다.포장재로 주로 쓰이는 스티로폼과 플라스틱은 가벼우면서도 값싸고 상품 보호에 탁월하다는 장점이 있지만, 스티로폼은 제조과정뿐만 아니라 소각하는 과정에서도 환경오염물질이 배출된다는 치명적인 단점이 있고, 플라스틱의 경우 자연 분해가 되지 않아 자연스럽게 퇴비나 사료에 섞이게 되어 결과적으로 인류의 건강에도 부정적인 영향을 끼친다.심지어 재활용이 불가능한 대
Generic placeholder image
경남조달청-경남창조경제혁신센터, 창업 초기기업 지원 위해 손 잡아
경남지방조달청과 경남창조경제혁신센터가 창업 초기기업 지원을 위해 손을 맞잡았다.양 기관은 4일 ‘창업 초기기업의 공공조달 성장 지원’을 위한 업무협약을 했다.이번 협약은 경남창조경제혁신센터 창업기업의 공공조달 시장 접근성을 높이고, 기술우수 창업기업 제품 발굴 및 판로를 지원하고자 마
Generic placeholder image
달마 영향 신라 때 세워져 명승들 거쳐간 '비보의 사찰'
다솔사는 사천시 곤명면 봉명산에 자리한 사찰이다. 경상남도유형문화유산의 하나로 지정되어 관리되지만 어떤 이유에서인지 그 내력은 다소 복잡하다. 신라 지증왕때 처음 창건되었다고 전하지만 그 시기가 불분명하고, 본래 이름은 영악사라 하였지만 어떠