SERVER1 / ძიება

რას ეძებ?

მოძებნე სერვისები, გვერდები და სტატიები. შედეგები გამოჩნდება 2 სიმბოლოს შემდეგ.

იხილე ყველა სტატია
Servers & Infrastructure

როდის ჯდება საკუთარი AI სერვერი გარე API-ზე ნაკლები?

დაითვალე შეყვანა, პასუხი, განმეორებები, ქირა და მოვლა. ერთ პირობით მაგალითში ნახავ, რა დატვირთვაზე უთანაბრდება API-ის ხარჯი ფიზიკური სერვერისას.

SERVER1.GE3 წუთი წასაკითხად
როდის ჯდება საკუთარი AI სერვერი გარე API-ზე ნაკლები?

გუნდს თვეში 100 000 გამოსადეგი პასუხი სჭირდება. ერთი შეთავაზება გამოყენებულ API-ზე ანგარიშს უწევს, მეორე ფიზიკური სერვერის თვიურ ქირას სთავაზობს. რომელი აირჩიოს? ჯერ ორივეს მიეცი ერთნაირი ქართული კითხვები, ერთი ხარისხის ზღვარი და ერთნაირი ვადა პასუხისთვის. შემდეგ დაითვალე ფასი ყოველ 1 000 პასუხზე, რომელმაც ეს გამოცდა გაიარა.

რა ჩაწერო ხარჯთაღრიცხვაში

შესავსები ველიშენი მონაცემი
თვეში გამოსადეგი პასუხები / ყველა ფასიანი ცდა___ / ___
შემავალი / გამომავალი ტოკენი ერთ ცდაზე___ / ___
ორი ტარიფი მილიონ ტოკენზე, ერთ ვალუტაში___ / ___
ქირა / დამატებითი backup / ლიცენზია___ / ___ / ___ თვეში
ადმინისტრირების საათები × საათის ღირებულება___ × ___
პიკური მოთხოვნები წუთში / მაქსიმალური მისაღები დაყოვნება___ / ___ წამი

ტოკენი ტექსტის საანგარიშო ერთეულია. ქართული ტექსტისთვის აიღე რეალური მოთხოვნის გამოყენების ჩანაწერი და ცალ-ცალკე ამოიღე შეყვანა და გენერირებული პასუხი. თუ განსხვავებული სიგრძის ცდები გაქვს, თვის ჯამური ტოკენებით იმუშავე. ქეშირებული შეყვანა, დამატებითი ხელსაწყოები და ფასიანი ხელახალი ცდებიც შესაბამისი ტარიფით მიუმატე. რეალური ტარიფის ველების მაგალითი API-ის დოკუმენტაციაში.

პირობითი მაგალითი ერთი თვისთვის

ქვემოთ ყველა თანხა გამოგონილია, ლარშია და გადასახადს მოიცავს. მაგალითში არცერთი მხარე მრავალთვიან ავანსს არ ითხოვს. API თვეში ერთხელ ფაქტობრივ გამოყენებას არიცხავს, სერვერის ქირა ერთი თვის დასაწყისში იხდება. ორივე გზაზე ხარისხის საერთო შემოწმების შრომა ერთნაირია და შედარებიდან გამოტოვებულია. ეს SERVER1-ის კომერციული შეთავაზება არ არის.

API. 100 000 მიღებულ პასუხზე საჭიროა 120 000 ფასიანი ცდა, მათ შორის 20 000 განმეორება. თითო ცდაზე იხარჯება 2 000 შემავალი და 500 გამომავალი ტოკენი. პირობითი ფასი მილიონზე, თვის ფაქტობრივი მოხმარებით და ავანსის გარეშე, გადასახადის ჩათვლით, არის 2 GEL შეყვანაზე და 12 GEL გამომავალ ტექსტზე.

  • შეყვანა: 120 000 × 2 000 = 240 მილიონი ტოკენი. 240 × 2 = 480 GEL.
  • პასუხი: 120 000 × 500 = 60 მილიონი ტოკენი. 60 × 12 = 720 GEL.
  • თვის ჯამი 1 200 GEL. ყოველ 1 000 მიღებულ პასუხზე გამოდის 12 GEL.

ფიზიკური სერვერი. ერთი თვის წინასწარი ქირაა 720 GEL გადასახადის ჩათვლით. ცალკე დარიცხული თვის backup ჯდება 60 GEL, დამატებითი ლიცენზია 0 GEL, ხოლო ადმინისტრირების შიდა ხარჯია 6 საათი × 30 GEL = 180 GEL. ამ მაგალითში ელექტროენერგია და შეთანხმებული ქსელი ქირაში შედის. თვის ხარჯია 960 GEL. 100 000 მიღებულ პასუხზე ეს არის 9,60 GEL ყოველ 1 000-ზე.

სად იკვეთება ორი ხაზი?

თუ ცდების სიხშირე და სიგრძე უცვლელია, API-ზე ერთი მიღებული პასუხი 0,012 GEL გამოდის. სერვერისთვის ხარჯი თვეში 960 GEL რჩება იმ სიმძლავრის ფარგლებში, რომელიც ტესტმა დაადასტურა. ამ დაშვებებით 960 ÷ 0,012 = 80 000 მიღებული პასუხი თვეში. ამ მოცულობაზე ორივე გზა 960 GEL ჯდება. 40 000 პასუხზე API 480 GEL გამოვა, იმავე სერვერის ქირა და მოვლა ისევ 960 GEL დარჩება.

პირობით მაგალითში API თითო მიღებულ პასუხზე 0,012 GEL ჯდება, სერვერი კი თვეში 960 GEL. თანაბარი ხარჯი მიიღება 80 000 პასუხზე.
პირობით მაგალითში API თითო მიღებულ პასუხზე 0,012 GEL ჯდება, სერვერი კი თვეში 960 GEL. თანაბარი ხარჯი მიიღება 80 000 პასუხზე.

შუადღის პიკმა შეიძლება მეორე სერვერი მოითხოვოს, მაშინ როცა პირველი ღამით უქმად დგას. ამ შემთხვევაში 960-ლარიანი ხაზი გამოსათვლელია თავიდან. ჩაიწერე წუთში მაქსიმალური მოთხოვნები, რამდენი პასუხი ჩაეტია დაპირებულ დროში და რამდენი დაიწუნა რედაქტორმა. იაფი თვიური ჯამი საქმეს ვერ წყვეტს, თუ პიკის დროს რიგი იზრდება ან პასუხებს თავიდან წერა სჭირდება.

გამოყოფილ CPU სერვერს აზრი აქვს მონაცემების მომზადებისთვის, ინდექსისთვის ან ისეთი მოდელისთვის, რომელმაც CPU-ზე საჭირო სიჩქარე აჩვენა. თუ ყველაზე მეტი დრო მოდელის გამოთვლაზე მიდის, იმავე მაგალითებით გამოცადე GPU კონფიგურაცია. კონკრეტული ბარათი, ფასი და მიწოდება ცალკე დასადასტურებელია. მეხსიერების წინასწარ შესაფასებლად გამოგადგება GPU და VRAM-ის გზამკვლევი.

კონფიგურაციის შესარჩევად გამოგზავნე დატვირთვის პროფილი: ერთი თვის მიღებული პასუხები, ტოკენების ჯამი ორივე მიმართულებით, პიკური წუთი და მისაღები დაყოვნება. თუ გაქვს, დაურთე რამდენი ცდა დასჭირდა გუნდს იმავე ხარისხის მისაღებად.

SERVER1.GE

არ ხარ დარწმუნებული, რომელი ინფრასტრუქტურა ერგება ამ workload-ს?

მოგვწერე რა ტრაფიკს ელოდები და რა ინფრასტრუქტურა გაქვს ახლა - დაგეხმარებით სწორი ვარიანტის შერჩევაში.

შესაბამისი სერვისები
აირჩიე workload-ის მიხედვით.

შეადარე რეკომენდებული ვარიანტები სტატიის კონტექსტსა და შენს რეალურ რესურსულ მოთხოვნებს.