feature-top

숫자 헷갈리는 생성형 AI, '토큰화'가 원인…해결책은?

생성형 AI 모델을 구축하는 과정에서 빼놓을 수 없는 분야는 '토큰화'다.

토큰화는 주어진 텍스트에서 토큰이라 불리는 작은 데이터 단위로 나누는 작업을 뜻하는데, 이는 AI 모델이 텍스트를 이해하고 처리하는 데 필수적인 요소다.

하지만 이 과정에서 편향, 오류 등 갖가지 문제점들이 꾸준하게 발생하고 있다고 지난 6일 IT매체 테크크런치가 보도했다.

토큰화 과정에서는 단어나 음절, 문자 등을 토큰으로 취급한다.

이때 발생할 수 있는 문제점 중 하나는 편향을 불러올...
애플 비전 프로용 비공식 유튜브 앱 '주노'가 앱 스토어에서 삭제됐다. 1일 IT매체 나인투파이브맥에 따르면 이는 구글이 애플에 주노를 앱 스토어에서 삭제해 달라고 요청했기 때문인 것으로 알려졌다. 주노는 크리천 셀리그가 만든 대체 앱으로, 아직 애플 비전OS에는 공식 유튜브 앱이 없다. 구글은 몇 달 전부터 주노가 유튜브의 가이드라인을 준수하지 않는다며 개발자에 연락했다고 한다. 구글은 제3자가 유튜브 웹사이트를 수정하거나 상표 및 아이콘을 사용할 수
암호화폐 변동성으로 인한 위험을 완화하기 위한 방법으로 '암호화폐 인덱스 펀드'가 부상하고 있다고 지난 2일 블록체인 매체 코인데스크가 보도했다.보도에 따르면 암호화폐는 현대 투자 포트폴리오에 중요한 영향을 미치는 글로벌 자산 클래스로 발전해 왔다. 암호화폐 시장의 성장 잠재력은 더 이상 부인할 수 없을 정도로 커졌지만, 여전히 변동성이 커 노련한 투자자에게도 어려움을 안겨주고 있다.이러한 투자 위험성을 피하기 위해 암호화폐 인덱스 펀드가 점점 인기를 얻고 있다.
카카오뱅크는 '해외계좌송금 받기' 서비스를 이용하는 고객이 부담하던 수취수수료를 전액 면제한다고 2일 밝혔다. 카카오뱅크의 해외계좌송금은 모바일 애플리케이션을 통해 365일 24시간 간편하게 외화를 송금할 수 있도록 구현한 서비스로, 해외 계좌에 외화를 송금하거나 해외 계좌로부터 외화를 수취할 수 있도록 양방향 송금 기능을 제공한다. 이번 정책을 통해 '해외계좌송금 받기'를 이용하는 고객들은 최대 5000원의 수취수수료를 면제받게 된다. 기존 정책에 따르면 수취금액 100달러 이상
우리은행은 지난 29일 마포 문화비축기지에서 제27회 우리은행 미술대회 ‘우리 아트콘’ 본선 대회를 개최했다.이번 대회 슬로건은 이웃과 친구처럼 서로 돕고 살아가는 세상을 만들자는 의미를 담아 ‘우리.모두. 우리, We Be Friends!’로 정해졌다. 본선 진출자 500명은 슬로건에 담긴 사회공헌의 메시지를 재미있고 기발한 상상력으로 도화지 위에 그려냈다.문화체육관광부 장관상을 포함한 최종 수상작은 주요 미술대학 교수진으로 구성된 심사위원단의 심사를 거쳐 선정
■ 비트·이더 ETF 다음 주자는 리플?…비트와이즈, 신탁 법인 등록가상자산 자산운용사 비트와이즈가 암호화폐 기업 리플의 토큰인 XRP 관련 상장지수펀드를 개발하고 있다는 소식이다. 1일 블록체인 매체 코인데스크에 따르면 비트와이즈는 최근 미국 델라웨어주에 신탁 법인을 등록했다. 신탁 법인을 등록하는 것은 ETF를 상장하고 거래하기 위한 신청의 첫 번째 단계다. 비트와이즈, 블랙록, 피델리티와 같은 회사는 모두 비트코인과 이더리움의 신탁 법인을 신청한 후 해당 토큰에 대한 ETF를 신청한 바 있다. 비트와이즈 대
한종희 삼성전자 DX부문장 부회장이 "삼성전자는 향후 '누가 말하는지', '어느 공간에 있는지'까지 인지해 고도화된 개인화 경험이 가능하도록 준비할 것"이라며 "이같은 서비스는 삼성전자의 AI 기반 SW·플랫폼 혁신과 보안 기술로 더 편리하고 안전하게 구현될 것"이라고 말했다.삼성전자가 3일 미국 새너제이 맥에너리 컨벤션 센터에서 '삼성 개발자 콘퍼런스 2024'를 개최했다. 이날 한 부회장은 기조연설을 통해 "지난 10년 동
공정거래위원회는 상호출자제한기업집단의 채무보증 현황과 금융·보험사의 의결권 행사 현황을 분석ㆍ공개했다.상호출자제한기업집단의 금년 채무보증금액은 5695억원으로, 지난해 대비 1490억원 증가했다. 이 중 제한대상 채무보증금액은 4428억원으로 지난해 대비 1792억원 증가했으나, 제한제외대상 채무보증은 신규 발생 없이 기존 집단의 채무보증이 일부 해소되어 302억원 감소했다.제한대상 채무보증은 신
베트남 DHI AFOODS은 9월 5일 서울 어린이대공원 파이팩토리에서 2일간 진행되는 '2024 베트남 쌀국수 축제'에서 한국 도시화로(대표 박경
광명지역신문=서인숙 기자> 제43회 광명시민의날 기념식이 4일 광명시민회관 대공연장에서 열렸다. 이날 기념식은 1981년 시 개청 당시 제정해 올해로 43년이 된 시민헌장을 변화하는 시대에 맞게 시대적 가치와 시민들의 요구를 담아 개정하고 이를 선포하는 순서를 마련했다. 개정된 시민헌장에는 향후 10년 안에 도래할 인구 50만 자족 도시에 대비하고 미래 100년을 위해 지속 가능한 광명시의 비전을 제시하는 내용을 담았다. 아울러 선포식에는 미래 광명을 이끌 청년 6인이 직접 참여해 의미를 더했다.이어진 시상식에서는 광명시민대상 수상
15시간전
철원군은 오는 10월 11일부터 13일까지 ‘2024 철원 오대쌀 축제’를 철원군 은하수교 주차장 일원에서 성대하게 개최한다.이번 축제는 ‘農心은 天心’을 주제로 농업인의 날 기념 ‘제37회 선진농업인대회’로 포문을 열어 철원의 자랑인 오대쌀을 비롯한 지역 농특산물을 홍보하고, 지역 주민과 방문객들에게 풍성한 체험과 즐길거리를 제공할 수 있도록 다양한 프로그램을 마련했다.10월 11일 축제 개막행사는 농악 길놀이와 농업인단체협의회 8개 단체 회원들의 기수 퍼레이드를 시작으로 미디어아트 공연, 오색절편
18시간전
부산 남구 용호2동에서 2024년 9월 주민자치 공모형 프로그램 『내가 피카소 할매다! 어르신 미술교실』을 개강했다.『내가 피카소 할매다! 어르신 미술교실』은 60세 이상 어르신을 대상으로 소근육을 자극하는 다양한 영역별 미술 프로그램을 진행해, 성취감과 자신감을 심어주고자 개설됐다. 수업에 참석한 어르신 수강생은 “오랜만에 느껴보는 설렘이었고 앞으로 수업시간이 너무나 기대된다” 라고 말했다.어르신 미술교실 수업은 9월 24일부터 11월 19일까지 진행하고, 이후 수료식 및 작품 전시회를 개최할 예정이다. 용호2동은 앞으로도 관내
상호 소통하는 친교의 장이 만들어내는 대화의 힘2023년 7월에 출시된 메타의 스레드가 출시 1년을 넘긴 지금, 과연 스레드는 출시 당시 공격 상대로 삼았던 트위터의 대항마로 자리 잡았을까?일단 한국에서의 성적표는 나쁘지 않다. 와이즈앱·리테일·굿즈가 한국인 스마트폰 사용자를 표본 조사한 결과 올해 7월 스레드 앱의 사용자 수는 382만 명으로 추정되었다. 인스타그램 2,554만 명, 엑스 714만 명에 비하면 낮은 편이지만 증가세가 무
홍종락 기자 = 대구행복진흥사회서비스원 전 원장이 자신이 소유한 회사에 일감을 몰아준 사실이 대구시 감사에서 드러났다.4일...
인근 입주 단지보다 ’억대‘의 가격 메리트로 경쟁력 있는 분양가 자랑10월 7일 특공·8일 1순위… 발코니 확장∙시스템 에어컨 등 무상 제공 DL이앤씨가 대구도시철도 명덕역 인근에 분양하는 ‘e편한세상 명덕역 퍼스트마크’가 10월 8일 1순위 청약접수를 진행한다. 분양가 상승이 이어지는 상황에서 주변 시세 대비 합리적인 분양가를 갖춘 데다 주변에서 보기 드문 고급 상품들이 적용돼 수요자들의 관심이 집중되고 있다.지난달 26일 부동산R114 자료에 따르면 올해 대구 아파트 평균 분양가는 3.3㎡당 2,08
현대차가 최근 미국 완성차 기업 제너럴모터스와 포괄적 협력관계를 맺은 데 이어 미국 빅테크 구글의 '형제 기업'과 손잡고 자율주행 기술 개발에 나선다.현대차는 4일 자율주행 기업 웨이모와 전략적 파트너십을 체결했다고 밝혔다.구글 모회사 알파벳의 자회사인 웨이모는 현재 샌프란시스코와 피닉스 전 지역에서 로보택시 서비스를 제공하고 있다. 로스앤젤레스와 텍사스주 오스틴 일부 지역에서도 운행을 확대하는 중이다.현대차와 웨이모는 이번 파트너십을 계기로 웨이모 6세대 완전 자율주행
2022년 11월 Chat GPT의 등장 이후 사람들은 일자리를 잃을 수 있다는 우려에서 최근에는 더욱 활용해야 한다는 목소리로 바뀌고 있다. 인공지능은 이제 현실과 뗄래야 뗄수 없는 밀접한 관계를 맺고 있으며, 나아가 미래학자들은 인공지능을 적극 활용하는 사용자와 그렇지않은 자로 구분될 것이라고 말하고 있다. 소개할 인공지능 멘토를 통해 자신의 분야에 앞선 선구자가 되어보자! 「적게 일하고 많이 버는 AI 워커스」김덕진, 김아람『AI 2024』, 『챗봇2025 트렌드&활용백과』로 서점 베스트셀러를 휩쓸며 국내 최고 AI 전문가로
인기기사
Generic placeholder image
의성군, 제38회 의성문화제 6일까지 개최
23시간전
의성군은 오는 6일까지 의성읍 동서1길 일대에서 ‘제38회 의성문화제’를 개최한다. 이번 문화제는 의성문화원이 주관하며, 제7회 의성슈퍼푸드마늘축제와 연계해 지역 주민과 방문객들에게 다양한 프로그램과 체험 거리를 제공할 예정이다. 이번 행사에서는 의성문화원의 40
Generic placeholder image
부산경찰청, 가을 행락철 축제 등 치안 수요 대응을 위한 '범죄예방·대응 전략회의' 개최
부산경찰청은 9월 30일 오후 3시 부산경찰청 7층 동백홀에서 범죄예방·대응 관련 부서장 및 15개 경찰서장이 모두 참여하는 「범죄예방·대응 전략회의」를 개최했다고 밝혔다.이번 범죄예방·대응 전략회의는 ’24년 10월 가을 행락철 축제 등 특별치안수요 대응, 최근 사회적으로 문제가 되고 있는 ‘빈집 치안 강화 대책’, 예방 중심 경찰 활동을 위한 ‘공동체 치안 활성화 방안’ 등 빈틈없는 범죄예방 전략을 논의하기 위해 개최됐다.회의에서는 10월 축제 등 증가하는 치안 수요 분석을 바탕으로 기능·경찰서별 추진
Generic placeholder image
농심, 일본에서 신라면 팝업스토어 운영
농심이 일본 도쿄 하라주쿠에서 신라면 팝업스토어를 운영한다. 하라주쿠는 일본 MZ세대의 성지로 알려진 곳으로, 농심은 방문객들이 신라면의 매력을 직접 체험하고 즐길 수 있도록 해 현지 젊은 소비자층을 확대해 나간다는 계획이다. 농심은 일본 신라면 팝업스토어를 시작으로 체험형 이벤트와 협업 마케팅을 강화, 2023년 100억엔을 돌파
Generic placeholder image
경북도의회 행정보건복지위원회, 현장방문
경상북도의회 행정보건복지위원회는 지난 25일~26일 이틀간 지방소멸 대응 극복사례 방안을 모색하기 위해 경상남도 거제시 소재 한화오션 거제사업장과 경남조선업도약센터를 현장 시찰했다.먼저 행정보건복지위원회는 대한민국 조선업의 중심인 거제시의 한화오션을 방문하여 조선업 사업 현황과 추진실적 등 설명을 듣고 사업장을 확인하였고, 다음으로 경남조선업도약센터를 방문하여 사단법인 한국커리어, 경남도청 인력지원과, 거제시청 일자리창출과, 경남조선업도약센터 담당자 등 20여 명이 참석한 가운데 거제시의 조선업
Generic placeholder image
대구시, 어린이 기호식품 제조·판매업소 93곳 대상 위생 점검
대구시가 오는 8일까지 햄버거 등 어린이 기호식품 제조·판매업소 93곳을 대상으로 위생 점검을 벌인다. 1일 대구시에 따르면 점검 대상은 과일 건조·냉동식품, 햄버거, 피자 등 어린이들이 간식으로 주로 섭취하는 식품 제조·판매 업소다. 최근 MZ세대 간식으로 새롭게 떠오르는 ‘두바이 초콜릿’ 및 ‘요거트 아이스크림’ 제조 업소에 대해서도 추가 점검을 펼친다. 또 ‘피스타치오’나 ‘카다이프’를 함유한 견과류 가공품 3건, 조리식품 5건에 대한 수거 검사를 병행한다. 주요 점검 사항으로는 △원재료 및 함량 거짓
최신기사
Generic placeholder image
경남조달청-경남창조경제혁신센터, 창업 초기기업 지원 위해 손 잡아
경남지방조달청과 경남창조경제혁신센터가 창업 초기기업 지원을 위해 손을 맞잡았다.양 기관은 4일 ‘창업 초기기업의 공공조달 성장 지원’을 위한 업무협약을 했다.이번 협약은 경남창조경제혁신센터 창업기업의 공공조달 시장 접근성을 높이고, 기술우수 창업기업 제품 발굴 및 판로를 지원하고자 마
Generic placeholder image
상위 1% 가구, 주택 4.7채 소유... 자산가액 평균 30억원
주택을 소유한 상위 1% 가구가 가진 주택들의 자산 가액이 평균 30억원 수준이며 이들 가구는 평균 4.7채의 주택을 소유한 것으로 나타났다.국회 기획재정위 민주당 임광현 의원이 6일 통계청으로부터 제출받은 '주택소유통계' 자료에 따르면 2022년 기준 주택을 소유한 가구 중 자산 가액을 기준으로 백분위로 구분했을 때 상위 1%에 해당하는 가구의 자산 가액은 평균 29억4500만원이었다.2022년 기준 공시가격은 실거래가격 대비 단독주택의 경우 평균 57.9%, 공동주택의 경우 71.5
Generic placeholder image
[하동 지역공동체 활성화 프로젝트-6] 돌담 만들고 축제 즐기고...마을 활성화 스스로 이끄는 주민들
하동 지역공동체 활성화 프로젝트 사업에 참여한 5개 마을은 그동안 광주시 양림동 역사문화마을 선진지 견학, 파견마을 간 교류 협력 행사, 주민 간 갈등 관리와 원활한 회의 방법 교육, 향후 10년간 미래
Generic placeholder image
인천시, 올해 마지막 중소기업 육성자금 지원
인천시는 중소기업의 경영 안정과 혁신 성장을 위해 올해 마지막 중소기업 육성자금 지원을 시행한다고 6일 밝혔다.시는 올해의 경우 지난해와 달리 자금 지원을 분기별로 실시해 기업들이 필요할 때 적시에 자금을 확보할 수 있도록 지원 체계를 변경해 신청을 받았다. 다섯 차례에 걸친 지원 공고 뒤 신청 서류 미비 및 지원 조건 미충족에 따른 남은 잔여 자금을 최대한 활용해 마지막으로 지원을 진행한다.주요 지원 내용은 중소기업육성자금의 일환인 이자의 일부를 지원하는 이차보전 지원이다. NH농협은행 500억원, 신한
Generic placeholder image
(기고)명절 선물로 손편지 써보자..환경오염 지름길 포장재 사용 줄이자.
어느덧 2024년 추석 명절이 끝난 지 벌써 10여 일이 지났다. 하지만 명절 쓰레기는 여전히 남아있다. 그중에서도 상당히 높은 비율을 차지하는 생활폐기물이 바로 ‘포장 폐기물’이다.포장재로 주로 쓰이는 스티로폼과 플라스틱은 가벼우면서도 값싸고 상품 보호에 탁월하다는 장점이 있지만, 스티로폼은 제조과정뿐만 아니라 소각하는 과정에서도 환경오염물질이 배출된다는 치명적인 단점이 있고, 플라스틱의 경우 자연 분해가 되지 않아 자연스럽게 퇴비나 사료에 섞이게 되어 결과적으로 인류의 건강에도 부정적인 영향을 끼친다.심지어 재활용이 불가능한 대