مشخصات مقاله:
عنوان فارسی مقاله:
یک ساختمان جدید ذخیره سازی کلان داده ها با موتور جستجوی حقیقی
عنوان انگلیسی مقاله:
A New Big Data Storage Architecture with Intrinsic Search Engines
کلمات کلیدی مقاله:
کلان داده، ذخیره سازی داده ها، SSD ، iSearch
مناسب برای رشته های دانشگاهی زیر:
مهندسی کامپیوتر
مناسب برای گرایش های دانشگاهی زیر:
مهندسی نرم افزار، مهندسی الگوریتم ها و محاسبات
وضعیت مقاله انگلیسی و ترجمه:
مقاله انگلیسی را میتوانید به صورت رایگان با فرمت PDF از باکس زیر دانلود نمایید. ترجمه این مقاله با فرمت WORD – DOC آماده خریداری و دانلود آنی میباشد.
فهرست مطالب:
چکیده
1. مقدمه
2. سیستم ذخیره¬سازی با موتورهای جستجوی سخت¬افزاری
3. طراحی یک آرایه دیسک ارزیابی واقعی
4. نتایج
5. نتیجه گیری
قسمتی از مقاله انگلیسی و ترجمه آن:
Abstract
The data storage system is central in determining the performance and cost in data mining or ITS. As the computing power of servers has increased so have the problems caused by the bottlenecks from slower storage protocol interfaces, which restrict data throughput and the accessing raw data from the physical storage systems. This paper presented new big data storage architecture to optimize the efficiency of data mining or mass surveillance by integrating a distributed and embedded searching engine inside each storage drive. By integrating the intrinsic search engine (iSearch) into the core controller chip some of the work of searching for patterns and keywords takes place inside the drive freeing up resources of a higher level host and ultimately the server. Only those drives, in which the expected pattern or keywords were detected, are analyzed by the higher level host. Not only does iSearch free up the server for other high level computing tasks it also helps preserve as the bandwidth of the big data storage interface.
1. Introduction
A disk array is used for computer servers or data centers. Increasingly cloud based applications and websites are placing ever greater demands on big storage systems. Intelligent-Transportation System (ITS) is one of the best applications for surveillance and is widely deployed in this fast growing vertical market [1][2]. Today’s data bases are growing at exponential rates and tomorrows data storage systems will need to grow exponential to accommodate them. At the same time, cloud computing is seeking higher data processing abilities. High-quality information is typically derived through the devising of patterns and trends through means such as statistical pattern learning [3][4]. ITS or mass surveillance is trying to process huge files composed of video based information rather than that of text, file or document. For example, facer recognition technology is trying to detect and recognize a criminal wanted by the law enforcement among the thousands of people who are walking through a railway station or airport[5-9].
چکیده
سیستم ذخیره سازی داده ها نقش اصلی را در عملکرد و کاهش هزینه مربوط به داده کاوی یا ITS ایفا می کنند. با توجه به این که قدرت محاسبه سرورهای جدید افزایش یافته است پس رابط های ذخیره سازی که سرعت پایینی دارند و ورود داده ها و دسترسی به داده ها را از طریق سیستم های ذخیره سازی فیزیکی، به دلیل سرعت پایین خود محدود کرده اند، به نوعی مشکل ساز به نظر می رسند. این مقاله، یک ساختمان جدید ذخیره سازی کلان داده ها را برای بهینه سازی کارایی علم داده کاوی یا علم نظارت جمعی، به وسیله یکپارچه سازی موتور جستجوهای توزیع شده یا جاسازی شده در درون هریک از درایوهای ذخیره سازی معرفی می کند. با یکپارچه سازی این موتور جستجوی اصلی (iSearch) با تراشه اصلی سیستم، تعدادی از کارهای لازم برای جستجوی الگوها و کلیدواژه ها در درون درایو صورت گرفته و به این ترتیب منابع زیادی را برای استفاده کاربر آزاد می کند و درنهایت از سرور استفاده کمتری می شود. در این فرآیند، تنها آن دسته از درایوهایی که الگو یا کلیدواژه موردنظر در آن ها یافت شده است، به وسیله هاست (میزبان) های سطح بالاتری مورد تجزیه و تحلیل قرار می گیرند. نه تنها iSearch میزان استفاده از سرور را کم کرده تا سرور قدرت خود را صرف وظایف پیشرفته تری کند، بلکه به صرفه جویی در پهنای باند، در استفاده از سیستم ذخیره سازی کلان داده ها نیز کمک می کند.
1. مقدمه
یک آرایه دیسک برای به کار بردن در سرورهای کامپیوتر یا پایگاه داده ها مورد استفاده قرار می گیرد. روند روبه رشد کاربرد ابری و وب سایت ها، نیاز به استفاده از سیستم های ذخیره سازی کلان را حتی بیشتر از گذشته کرده است. سیستم هوشمند حمل و نقل (ITS) یکی از بهترین سیستم های کاربردی برای نظارت است و در این بازار داغ فناوری، به سرعت گسترش یافته است. پایگاه های داده امروزی با رشد نمایی و زیادی پیشروی می کنند و سیستم های ذخیره سازی آینده، باید بتوانند به صورت نمایی رشد کنند تا خود را با سیستم های قبلی وفق دهند. در همین حین، محاسبه های ابری به دنبال کسب قابلیت های پردازش بیشتر و پیشرفته تری است. اطلاعات باکیفیت معمولاً با ایجاد ابداع هایی در الگوها و روندهای موجود، به وسیله مواردی مانند یادگیری الگوهای آماری، به وقوع می پیوندد. ITS یا نظارت جمعی هردو سعی دارند به جای پردازش اطلاعات متنی، فایلی یا سند، پردازش فایل های حجیم و سنگین ویدئویی را انجام دهند. برای مثال، فناوری تشخیص چهره سعی دارد در بین هزاران نفر از شهروندانی که در یک ایستگاه قطار یا فرودگاه قدم می زنند، با داشتن مجوز از مقامات قضایی، چهره یک مجرم تحت تعقیب را از بین همه افراد شناسایی کند.