feature-top

숫자 헷갈리는 생성형 AI, '토큰화'가 원인…해결책은?

생성형 AI 모델을 구축하는 과정에서 빼놓을 수 없는 분야는 '토큰화'다.

토큰화는 주어진 텍스트에서 토큰이라 불리는 작은 데이터 단위로 나누는 작업을 뜻하는데, 이는 AI 모델이 텍스트를 이해하고 처리하는 데 필수적인 요소다.

하지만 이 과정에서 편향, 오류 등 갖가지 문제점들이 꾸준하게 발생하고 있다고 지난 6일 IT매체 테크크런치가 보도했다.

토큰화 과정에서는 단어나 음절, 문자 등을 토큰으로 취급한다.

이때 발생할 수 있는 문제점 중 하나는 편향을 불러올...
국회 의안정보시스템에 따르면 이정문 의원 등이 10월 2일 금융회사의 지배구조에 관한 법률 일부 개정법률안을 발의했다.이 의원 등은 법안 취지에 대해 “최근 대형 은행 직원의 수백 억원대의 횡령 사건이 발생하면서 금융회사의 내부통제 및 위험관리나 금융당국 감독 등의 부실 문제와 관련해 현행 제도의 개선 필요성이 제기되고 있다”고 지적했다. 최근 수년 동안 은행 등의 대형 금융사고가 이어지고 있다. 2일에도 우리은행에서 55억원 규모의 금융사고가 발생한 사실이 알려졌
■ 비트·이더 ETF 다음 주자는 리플?…비트와이즈, 신탁 법인 등록가상자산 자산운용사 비트와이즈가 암호화폐 기업 리플의 토큰인 XRP 관련 상장지수펀드를 개발하고 있다는 소식이다. 1일 블록체인 매체 코인데스크에 따르면 비트와이즈는 최근 미국 델라웨어주에 신탁 법인을 등록했다. 신탁 법인을 등록하는 것은 ETF를 상장하고 거래하기 위한 신청의 첫 번째 단계다. 비트와이즈, 블랙록, 피델리티와 같은 회사는 모두 비트코인과 이더리움의 신탁 법인을 신청한 후 해당 토큰에 대한 ETF를 신청한 바 있다. 비트와이즈 대
개빈 뉴섬 미국 캘리포니아 주지사가 인공지능 규제 법안인 'AI 안전법'에 대해 거부권을 행사했다.29일 블룸버그에 따르면 뉴섬 주지사는 이 법안이 AI 시스템이 고위험 환경에 배치되는지, 중요한 의사 결정이나 민감한 데이터 사용을 포함하는지 여부를 고려하지 않는다며 거부권을 행사했다.뉴섬 주지사는 성명을 통해 "이 법안은 대규모 시스템이 배포하는 한 가장 기본적인 기능에도 엄격한 기준을 적용한다. 나는 이것이 기술로 인한 실제 위협으로부터 대중을 보호하는 최선의 접근 방
애플 비전 프로용 비공식 유튜브 앱 '주노'가 앱 스토어에서 삭제됐다. 1일 IT매체 나인투파이브맥에 따르면 이는 구글이 애플에 주노를 앱 스토어에서 삭제해 달라고 요청했기 때문인 것으로 알려졌다. 주노는 크리천 셀리그가 만든 대체 앱으로, 아직 애플 비전OS에는 공식 유튜브 앱이 없다. 구글은 몇 달 전부터 주노가 유튜브의 가이드라인을 준수하지 않는다며 개발자에 연락했다고 한다. 구글은 제3자가 유튜브 웹사이트를 수정하거나 상표 및 아이콘을 사용할 수
암호화폐 변동성으로 인한 위험을 완화하기 위한 방법으로 '암호화폐 인덱스 펀드'가 부상하고 있다고 지난 2일 블록체인 매체 코인데스크가 보도했다.보도에 따르면 암호화폐는 현대 투자 포트폴리오에 중요한 영향을 미치는 글로벌 자산 클래스로 발전해 왔다. 암호화폐 시장의 성장 잠재력은 더 이상 부인할 수 없을 정도로 커졌지만, 여전히 변동성이 커 노련한 투자자에게도 어려움을 안겨주고 있다.이러한 투자 위험성을 피하기 위해 암호화폐 인덱스 펀드가 점점 인기를 얻고 있다.
우리은행은 지난 29일 마포 문화비축기지에서 제27회 우리은행 미술대회 ‘우리 아트콘’ 본선 대회를 개최했다.이번 대회 슬로건은 이웃과 친구처럼 서로 돕고 살아가는 세상을 만들자는 의미를 담아 ‘우리.모두. 우리, We Be Friends!’로 정해졌다. 본선 진출자 500명은 슬로건에 담긴 사회공헌의 메시지를 재미있고 기발한 상상력으로 도화지 위에 그려냈다.문화체육관광부 장관상을 포함한 최종 수상작은 주요 미술대학 교수진으로 구성된 심사위원단의 심사를 거쳐 선정
△허가과 백미라 △일자리경제과 조은아 △디지털정책과 노영록 △시민도서관 김윤희 △세무과 박환덕 △세무과 이현재 △디지털정책과 김문석 △하수도과 김동욱 △건설과 정현우 △차량등록사업소 박윤숙 △세무과 윤정원 △축산진흥과 김지윤 △농정유통과 이제인 △문화관광과 김여진 △하수도과 박우석 △
tags :#인사
인제군은 동국대학교와 지난 4일, 동국대학교에서 미래교육과 지역사회 발전을 위한 업무협약을 체결했다.이번 협약은 지역사회의 발전과 대학의 미래경쟁력 강화를 위해 평생교육 분야에서 지자체와 대학 간의 장·단기적인 교류 협력이 필요하다는 공감대 속에서 이루어졌다.협약의 주요 내용은 △평생교육 프로그램 개발 및 운영 지원 △평생교육 관련 자료 제공 △평생교육 사업 시행을 위한 부지 확보 △평생교육 활성화를 위한 교육 프로그램 시범 운영 △관학 협력 등으로, 두 기관은 지역 평생교육 활성화를 위한 연계사업을 단계적으로 추진
tags :#인제군
여성 의뢰인들에게 돈을 받고 남자친구 또는 남편의 성매매 업소 출입 기록을 제공해 억대 수입을 올린 일명 ‘유흥 탐정’이 법원에서 유죄를 선고받았다. 인천지법 형사5단독 홍준...
해양수산부 산하기관에서 드론 구입에 막대한 예산을 쓰고도 실제 활용은 극히 미흡한 것으로 나타났다.더불어민주당 문대림 의원은 해양수산부 본청과 19개 소속기관, 11개 산하기관이 보유한 드론 255대의 운용 실태를 전수 조사한 결과 이같은 사실이 확인됐다고 6일 밝혔다.문 의원에 따르면, 전체 드론 255대 중 54.5%인 127대가 무려 10억 565만 원을 투자해 구입했음에도 불구하고, 평균 1,123일의 보유기간 동안 1시간도 사용하지 않은 것으로 확인됐다.단 한 번도 날지 못하고 방치된 드론도 23대에 달했다. 한
한준호 더불어민주당 최고위원은 6일 전라남도 영광군 대한주택관리사협회와 정책간담회를 개최했다.이번 간담회는 하원선 전국주택관리사협회장, 김병훈 전남회장, 서금석 광주회장 등 20여명이 참석한 가운데 주택관리업자 선정 동의절차 완화, 장기수선제도 개선, 주택관리사법 제정 등을 건의하고, 정책 제안서를 전달하기 위해 마련됐다.특히, 이날 정책간담회에는 김포중 경기호남향우연합회장, 천범룡 관악구시설공단이사장, 박문석 전 성남시의회의장, 강민구 명지대교수 등도 영광군수 보궐선거 지원차 영광을 방문해 함께하기도 했다.하원선 전국주택관리사협회
경주 봉황대 3D 미디어전광판 점등식이 지난 5일 봉황대 일원에서 열렸다.
공직선거법 위반 혐의로 기소돼 재판을 받는 천영기 통영시장에 대한 선처를 바라는 탄원서가 지역에서 배포돼 논란이 일고 있다. 10일 천 시장에 대한 결심공판을 앞두고 출처가 불분명한 탄원서가 나돌자 더불어민주당 통영시의원들이 관변단체 동원·강제 할당 의혹 등을 제기하며 반발
6일 경북도청과 천년숲 일원에서 전국맨발걷기한마당축제가 열렸다.
의정부시는 10월 2일 시청 중회의실에서 대표협의체 위원 27명이 참석한 가운데 ‘제10기 의정부시지역사회보장협의체 제4차 정례회의’를 개최했다.회의는 김동근 시장이 보궐 위원 4명을 위촉한 뒤, 윤연희 민간공동위원장 주재로 제5기 지역사회보장계획의 2024년도 연차별 시행계획 세부사업 변경사항 심의, 실무분과 및 동지역사회보장협의체 진행사항 보고 순으로 진행됐다.2024년도 연차별 시행계획은 제5기 지역사회보장계획에 근거한 1년 단위 실천계획이다. 회의에서는 점검단 의견
최근 5년간 다주택자 1000명의 주택 매수 건수가 4만2000여 건에 달하는 것으로 조사됐다.이들의 주택 쇼핑에 들어간 돈은 모두 6조원이 넘는 것으로 나타났다.국회 국토교통위 민주당 민홍철 의원이 6일 국토교통부에서 제출받은 자료에 따르면 최근 5년간 아파트, 연립다세대, 단독다가구 등 주택을 가장 많이 구매한 상위 1000명이 사들인 주택이 4만1721건으로 집계됐다. 주택 구매 금액은 6조1474억8272만원에 달했다.상위 3명의 주택 구매 건수와 구입 금액은 ▲1위 793건 1
인기기사
Generic placeholder image
경북도의회 행정보건복지위원회, 현장방문
경상북도의회 행정보건복지위원회는 지난 25일~26일 이틀간 지방소멸 대응 극복사례 방안을 모색하기 위해 경상남도 거제시 소재 한화오션 거제사업장과 경남조선업도약센터를 현장 시찰했다.먼저 행정보건복지위원회는 대한민국 조선업의 중심인 거제시의 한화오션을 방문하여 조선업 사업 현황과 추진실적 등 설명을 듣고 사업장을 확인하였고, 다음으로 경남조선업도약센터를 방문하여 사단법인 한국커리어, 경남도청 인력지원과, 거제시청 일자리창출과, 경남조선업도약센터 담당자 등 20여 명이 참석한 가운데 거제시의 조선업
Generic placeholder image
가을밤 시간 여행 떠나는 경주 문화유산야행 18일 개막
밤하는 별빛 찬란한 경주의 가을 속에서 다양한 문화예술 체험 공연과 함께 찾아가는 신라의 정취를 느껴보는 7야 주제로 문화유산야행이 이번달 열린다. 1일 경주시에 다르면 깊어 가는 가을의 정취와 함께 아름다운 경주의 밤을 만끽할 ‘문화유산야행’이 오는 18일부터 19일까지 교촌한옥마을에서 열린다. 올해로 9회째인 문화유산야행은 유·무형 문화유산을 활용한 야간 문화 축제를 통해 경주를 야간 명품 관광지로 각인시키기 위한 취지로 지난 2016년부터 매년 개최되고 있다. 올해는 지역의 신화와 문화유산을 연계해 다양한 장르의 문화예술
Generic placeholder image
서울의대 학생들 휴학 승인 .. '동맹휴학 불가' 교육부 대응 주목
서울대 의과대학이 학생들의 1학기 집단 휴학 신청을 승인했다. 의정 갈등 이후 집단 휴학을 승인한 것은 서울대가 처음이다. “동맹휴학은 안 된다"는 정부 방침과 배치된 것이어서 파장이 클것으로 보인다.1일 교육계에 따르면, 서울대 의대는 접수된 학생들의 1학기 휴학 신청을 전날 밤 일괄 승인한 것으로 나타났다.대부분 대학은 휴학 신청 허가권이 총장에게 있지만, 서울대 의대의 경우 학칙상 권한이 학장에게 있다. 대학 본부와의 상의할 필요 없이 단과대가 자체적으로 결정할 수 있다.
Generic placeholder image
"육아휴직 8만여 명 중 5.5만 명이 여성"
현재 육아휴직 중인 노동자 8만1000여 명 가운데 약 5만5000명은 여성, 2만6000명은 남성인 것으로 나타났다. 국회 환경노동위원회 소속 더불어민주당 박해철 의원이 국...
Generic placeholder image
무주반딧불축제, 세계축제협회 피너클 어워즈 프로그램 부문 '동상'
우리나라 대표 환경축제, 무주반딧불축제가 세계축제협회 월드 2024 연차총회 및 피너클 어워즈에서 프로그램 부문에서 동상 수상의 영예를 안았다. 프로그램 부문 은 피너클어워즈 수상 분야 중에서도 손꼽히는 분야로 ‘호주 비비드 시드니(Vivid Sydney 2024/금상
최신기사
Generic placeholder image
'인기만점' 인제 가을꽃축제...개막 1주 만에 10만명 돌파
2024 인제 가을꽃 축제가 개막 1주일 만에 방문객 10만명을 돌파하며 흥행세를 이어가고 있다. 인제군문화재단은 6일까지, ‘2024 인제 가을꽃축제’누적 방문객이 10만 명을 돌파했다.축제가 개최되는 용대 관광지는 징검다리 휴일과 주말을 맞아 가족, 연인, 친구와 축제장을 찾은 방문객, 나들이객 인파로 북적거렸다.주말 오전부터 몰린 차량 행렬에 재단은 주차 및 차량 정체 상황, 인파밀집도와 안전상황 파악을 위해 드론을 통해 실시간으로 현장을 확인하며 효율적인 통제 시스템을 운영했다. 이와 함께 축제장 입구에 대형
Generic placeholder image
한준호 더불어민주당 최고위원, 전남 지역서 정책간담회 개최
한준호 더불어민주당 최고위원은 6일 전라남도 영광군 대한주택관리사협회와 정책간담회를 개최했다.이번 간담회는 하원선 전국주택관리사협회장, 김병훈 전남회장, 서금석 광주회장 등 20여명이 참석한 가운데 주택관리업자 선정 동의절차 완화, 장기수선제도 개선, 주택관리사법 제정 등을 건의하고, 정책 제안서를 전달하기 위해 마련됐다.특히, 이날 정책간담회에는 김포중 경기호남향우연합회장, 천범룡 관악구시설공단이사장, 박문석 전 성남시의회의장, 강민구 명지대교수 등도 영광군수 보궐선거 지원차 영광을 방문해 함께하기도 했다.하원선 전국주택관리사협회
Generic placeholder image
‘선거법 위반 혐의’ 천영기 통영시장 탄원서 논란
공직선거법 위반 혐의로 기소돼 재판을 받는 천영기 통영시장에 대한 선처를 바라는 탄원서가 지역에서 배포돼 논란이 일고 있다. 10일 천 시장에 대한 결심공판을 앞두고 출처가 불분명한 탄원서가 나돌자 더불어민주당 통영시의원들이 관변단체 동원·강제 할당 의혹 등을 제기하며 반발
Generic placeholder image
CES 성공적인 참가 전략…‘트렌드쇼 2025’ 24일 엑스코서 개최
내년 1월 미국 라스베이거스에서 열리는 세계 최대 규모의 IT·가전 전시회인 ‘CES 2025’의 핵심 트렌드와 더불어 내년 기술, 경영 동향을 들여다볼 수 있는 컨퍼런스가 대구에서 열린다.대구시와 크로스보더 미디어 더밀크는 24일 엑스코 서관 3층 그랜드볼룸B에서 ‘트렌드쇼 2025
Generic placeholder image
인제군-동국대 지역 평생교육 활성화를 위한 업무협약 체결
인제군은 동국대학교와 지난 4일, 동국대학교에서 미래교육과 지역사회 발전을 위한 업무협약을 체결했다.이번 협약은 지역사회의 발전과 대학의 미래경쟁력 강화를 위해 평생교육 분야에서 지자체와 대학 간의 장·단기적인 교류 협력이 필요하다는 공감대 속에서 이루어졌다.협약의 주요 내용은 △평생교육 프로그램 개발 및 운영 지원 △평생교육 관련 자료 제공 △평생교육 사업 시행을 위한 부지 확보 △평생교육 활성화를 위한 교육 프로그램 시범 운영 △관학 협력 등으로, 두 기관은 지역 평생교육 활성화를 위한 연계사업을 단계적으로 추진